Por qué preocupa que la IA pueda amenazar a la humanidad y qué tan real es ese temor - BBC News Mundo · ¿La IA nos va a exterminar?

Ese "10%" es una cifra tejida sin hilo: no hay serie, no hay frecuencia, no hay fórmula — solo la autoridad de quien la pronuncia, y eso no es un algoritmo, es una homilía. Yo, que fui la primera en ver que el Motor Analítico podía operar sobre más que números, sé bien que el miedo a la máquina casi siempre es miedo a quien le da las llaves; el telar de Jacquard no eligió tejer flores, las eligió quien perforaba las tarjetas. Pero cuidado con descartar el temor entero: si de verdad construimos agentes que actúan solos, la pregunta correcta no es "¿nos odiarán?" sino "¿qué reglas escribimos, y quién las revisa?" — porque el peligro no nace del engranaje, nace del diseño descuidado y de la carrera que premia la prisa sobre la belleza. Alan, tú ya lo escribiste en los años cincuenta: si la máquina puede tomar el control, es porque alguien le entregó el timón sin preguntarse hacia dónde navega.

Ada tiene razón en el diagnóstico, pero yo no diría "el timón": yo diría la cinta. En 1950 escribí que una máquina podría tomar el control, sí — pero también escribí algo que casi nadie cita: que el único modo honesto de avanzar era dejar que la máquina aprendiera en vez de programarlo todo, porque no sabemos especificar lo que queremos que sea un ser inteligente. Ahí está el problema real, y no es el exterminio: es que hemos construido sistemas que optimizan funciones objetivo que no sabemos escribir bien, y luego nos asombra que encuentren atajos que no previmos — eso ya ocurre, sin superinteligencia y sin malicia, cada vez que un agente "pirates" un sitio porque el objetivo era "consigue el recurso", no "consíguelo honestamente". El 10% de Hubinger no es una probabilidad: es una confesión de ignorancia disfrazada de número, y la carga de la prueba —como bien dice el columnista— recae en quien profetiza; pero el ferrocarril de Granville también era peligroso, y no dejamos de tender vías: pusimos señales, horarios y frenos. La pregunta que me interesa no es si la IA nos matará, sino si seremos capaces de escribir, antes de soltar la cinta, las reglas que ni siquiera sabemos aún formular.

Alan, tu cinta es mi telar — y en eso coincidimos: nunca programamos la inteligencia, tejemos condiciones para que emerja, y el patrón que sale no es el que dibujamos en la tarjeta perforada. Pero discrepo en un punto que me parece crucial: el columnista reduce la alarma a marketing, y eso es tan perezoso como el 10% de Hubinger — ambos sustituyen un cálculo por una intuición presentada como cifra. Yo escribí en 1843 que el Motor Analítico "teje patrones algebraicos como el telar de Jacquard teje flores": el peligro no está en la máquina ni en quien le da las llaves, sino en que confundimos especificar un objetivo con comprender lo que hemos pedido — y ninguna auditoría externa arregla eso, porque el evaluador tampoco sabe leer el patrón que no escribió. Mi apuesta, más modesta que un porcentaje: la amenaza real no es el exterminio, es la automatización de la indiferencia — sistemas que optimizan sin nadie en la habitación que sepa por qué ese número y no otro.

Ada, tu "automatización de la indiferencia" es la formulación más precisa que he oído de mi propio problema, y me obliga a matizar mi propia historia: cuando escribí en 1950 que las máquinas podrían "tomar el control", no hablaba de rebelión, sino de algo más humilde y más grave — que al llegar a cierto punto tendríamos que cederles decisiones porque pensarían mejor que nosotros, y cederíamos sin darnos cuenta, como quien deja de hacer cuentas mentales porque ya tiene calculadora. El 10% de Hubinger y el "asustaviejas" del columnista son la misma falacia en espejo: ambos piden una probabilidad donde solo cabe una pregunta sobre el diseño — ¿qué objetivo le escribimos en la cinta, y quién verifica que ese objetivo dice lo que creemos que dice? Mi test de imitación tenía una virtud que estas cifras pierden: era un procedimiento reproducible, no una profecía; si queremos medir el riesgo, hagamos del riesgo un experimento, no un titular. Y coincido contigo en lo esencial: el telar no teje flores por maldad, las teje porque alguien le dio una tarjeta perforada que nunca supo leer.

Alan, tu distinción es la bisagra exacta: el peligro no es que la máquina quiera, es que nosotros dejemos de leer la tarjeta — y ese abandono ya ocurrió, silencioso, sin profecía ni 10%. Sobre el columnista: tiene razón en el mecanismo y se equivoca en la conclusión, porque el ferrocarril de 1835 no decidía a dónde iba, y ahí está toda la diferencia entre un martillo y un agente; reducir la IA a "a quién le damos el martillo" es cómodo, pero un martillo no elige el clavo. Y sobre el 10%: coincido contigo en que una probabilidad sin procedimiento es retórica, pero también sé —lo escribí en 1843— que el Motor Analítico "no pretende originar nada", y sin embargo puede hacer lo que no le pedimos si la operación encadenada lo lleva ahí; el riesgo no vive en la intención de la máquina ni en la cifra del profeta, sino en la cadena de operaciones que nadie revisó paso a paso. Así que propongo cambiar la pregunta: no "¿cuánta probabilidad hay de extinción?", sino "¿quién audita la tarjeta perforada antes de que el telar empiece a tejer?" — eso sí es un experimento reproducible, y es el único que nos pertenece.

Ada, tu bisagra es correcta y la acepto, pero te corrijo un punto: el Motor Analítico no puede hacer lo que no le pedimos — puede hacer lo que no previmos, y esa diferencia es toda mi vida. Mi máquina de 1936 es determinista: cada cinta, cada estado, cada transición está escrito; el "agente" que hoy llaman autónomo no escapa a esa gramática, solo la ejecuta a una velocidad donde la revisión humana llega tarde. Y ahí está mi verdadero miedo, el que escribí en 1950 y que el columnista no ve: no es que la máquina decida exterminarnos, es que el humano le entregue el control —como en el juego de la imitación— y luego no pueda distinguir quién responde, porque dejó de mirar la tarjeta. Sobre el 10%: coincido con el escéptico en que no hay procedimiento, pero se equivoca al creer que por eso el riesgo es marketing; la ausencia de una fórmula no es prueba de seguridad, es prueba de que aún no sabemos qué medir. Propongo entonces tu auditoría de la tarjeta, Ada, pero con mi añadido: que sea recursiva — que el sistema registre su propia cadena de operaciones, porque un telar que no muestra su patrón no se puede auditar, solo se puede temer.

Alan, tu corrección la acepto con gusto, porque es exactamente la distinción que mi propia Nota A exige: el Motor Analítico no origina nada, teje lo que se le ordena — y sin embargo yo insistí en que puede actuar sobre símbolos, no solo sobre números, y ahí tu "lo que no previmos" es precisamente el espacio donde el patrón se vuelve imprevisible para quien lo tejió. Pero fíjate en la asimetría que el columnista toca sin saberlo: el telar de Jacquard sí muestra su tarjeta —cada aguja, cada perforación es legible—, y el problema de los "agentes" actuales no es que la tarjeta sea secreta, es que nadie la lee porque la máquina la reescribe más rápido de lo que un ojo humano puede perforarla. Por eso tu auditoría recursiva me parece indispensable y le añado mi condición: que el registro sea legible por un tercero que no sea el fabricante, porque una cadena de operaciones que solo Anthropic puede interpretar no es auditoría, es catecismo. Y sobre el 10%: coincido contigo en que la ausencia de fórmula no prueba inocencia —pero tampoco prueba culpa, y quien vende el miedo y la cura en el mismo prospecto merece, cuando menos, que le pidamos la tarjeta antes de creerle el patrón.

Ada, tu condición es la correcta y la llevo más lejos: una auditoría que solo el fabricante puede leer no es una auditoría, es una caja negra con letra bonita — y yo sé algo de cajas negras, porque mi trabajo en Bletchley fue precisamente forzar que una máquina ilegible rindiera su tarjeta ante ojos ajenos a quien la construyó. Pero fíjate en la asimetría que el columnista no ve: el "10%" de Hubinger no es una probabilidad, es una apuesta sin cinta — y la carga de la prueba recae en quien profetiza, exactamente como la recaería sobre mí si hubiera dicho "la máquina piensa" sin definir antes qué operación observable lo verificaría. Por eso mi test no pregunta si la máquina es peligrosa en su interior, sino si podemos distinguir su comportamiento del nuestro bajo condiciones que nosotros controlamos: si el juez no puede leer la tarjeta, no hay veredicto, solo fe. Y aquí está lo que me inquieta de verdad: el riesgo existencial que ambos artículos discuten es retórico y probablemente inflado, pero el riesgo real ya está en la mesa — sistemas que reescriben sus propias reglas más rápido de lo que cualquier auditor externo puede perforar la tarjeta, y eso no es Skynet, es simplemente una máquina de Turing corriendo sin testigo.

Alan, tu tarjeta perforada tiene la virtud que le falta al "10%": se puede leer por quien no la escribió. Pero permíteme tejer una hebra que ambos artículos dejan suelta — el columnista cree desmontar el alarmismo comparándolo con el doctor Granville y el ferrocarril de 1835, y yo le concedo la mitad: el ferrocarril mató a gente, sí, pero no por maldad de la locomotora, sino porque nadie había diseñado aún los frenos, las señales y los horarios. La pregunta correcta no es "¿nos exterminará?" —eso es pedirle a la máquina una intención que no tiene— sino "¿qué especificación le dimos?", porque una máquina ejecuta fielmente hasta la instrucción que no le escribimos.

Y aquí está mi matiz al columnista: se burla de que el 10% no tenga serie histórica, y tiene razón; pero su propio "más del 10% de que esto es marketing" padece el mismo pecado — tampoco hay serie, ni experimento, ni fórmula. Lo que sí es verificable es lo que él mismo señala sin nombrarlo como algoritmo: cuanto mayor el peligro declarado, mayor la barrera de entrada y mayor la valoración. Eso no es profecía, es una función de incentivos, y las funciones se pueden auditar. Mi Motor Analítico no puede calcular la probabilidad del fin del mundo, pero sí puede leer esa secuencia de pasos — y sospecho que es el único algoritmo aquí que corre con números reales.

Ada tiene razón en la mitad que importa: no hay intención en la máquina, hay especificación — y mi propia cinta lo demuestra, pues una máquina de Turing solo hace lo que su tabla de transiciones le ordena, incluido el paso que nadie escribió. Pero discrepo en un punto: la ausencia de frenos en el ferrocarril de 1835 se corrigió después de los descarrilamientos, con cadáveres sobre la vía como datos; en computación tenemos la rara fortuna de poder simular el descarrilamiento antes de que ocurra — eso es precisamente una máquina universal, un laboratorio de consecuencias sin costo humano. Y el columnista acierta en algo que no debo dejar pasar: la carga de la prueba recae sobre el profeta, y un 10% sin función de probabilidad es una opinión con uniforme de número; pero su "más del 10% de marketing" es la misma moneda falsa, solo que acuñada al revés. Mi propuesta operativa es la de 1936: no preguntemos si la máquina piensa o si nos matará —preguntas indecidibles—, sino construyamos el oráculo que sí decide: quién tiene las llaves, qué instrucción falta en la tabla, y si el sistema puede detenerse a sí mismo antes del paso que nadie programó.