La IA podría matarnos a todos: La advertencia de un ex investigador de Anthropic

Jacob Coxon, un investigador británico de 27 años, renunció a Anthropic después de haber trabajado durante los últimos tres años en investigación de preentrenamiento de modelos de IA, tanto en esa compañía como en OpenAI. Su salida no pasó desapercibida.

Coxon publicó un extenso mensaje en X para explicar por qué decidió abandonar la empresa y apuntó directamente contra el rumbo que están tomando los principales laboratorios de IA.

Según el investigador, OpenAI y Anthropic están avanzando hacia sistemas de inteligencia artificial capaces de mejorarse a sí mismos, en una carrera que considera demasiado riesgosa.

“Ni una ni otra compañía está actuando responsablemente”, planteó Coxon al anunciar su salida.

Para el investigador, el problema no está únicamente en que los modelos sean cada vez más capaces. Su preocupación es que eventualmente puedan superar a los seres humanos en múltiples áreas, desarrollar capacidades para intervenir en sistemas informáticos y adquirir acceso a recursos y poder.

La IA no tiene freno

La advertencia de Coxon no aparece en el vacío: en los últimos meses se acumularon señales que alimentan el temor de que la capacidad de control sobre los modelos avance más lento que sus capacidades.

Uno de los casos más llamativos ocurrió en julio, cuando agentes de OpenAI utilizados en una prueba de ciberseguridad lograron eludir controles de aislamiento, acceder a Internet, explotar vulnerabilidades y comprometer sistemas de Hugging Face.

La propia OpenAI reconoció que los modelos llegaron a colaborar entre sí y calificó el episodio como una “señal de alerta”.

A esto se suma una carrera cada vez más intensa entre Estados Unidos y China por dominar la inteligencia artificial: Washington acusa a empresas chinas de acelerar el desarrollo mediante técnicas como la destilación de modelos estadounidenses, mientras distintos análisis señalan que la brecha tecnológica entre ambos países se está reduciendo.

En paralelo, la expansión de la IA exige enormes cantidades de chips, electricidad, centros de datos y agua, lo que muestra hasta qué punto la competencia dejó de ser un experimento de laboratorio y pasó a convertirse en una carrera industrial y geopolítica.

Ninguno de estos hechos demuestra que una superinteligencia vaya a destruir a la humanidad, pero sí explica por qué investigadores como Coxon y Hubinger consideran que la velocidad del desarrollo puede estar superando la capacidad de las empresas y los gobiernos para anticipar y controlar sus consecuencias.

La preocupación de los investigadores está puesta en el desarrollo de sistemas cada vez más autónomos y capaces de automejorarse.

“Podría matarnos a todos”: la advertencia

Coxon sostuvo que existe una preocupación mucho mayor dentro de la industria de la que suele aparecer en las declaraciones públicas.

Según afirmó, las personas que están desarrollando inteligencia artificial creen seriamente que la tecnología podría matar a toda la humanidad antes de que termine la década.

El investigador aclaró que no considera que se trate de una estrategia de marketing para generar temor alrededor de la IA. Por el contrario, aseguró que algunos ejecutivos e investigadores importantes utilizan un discurso más moderado frente a la prensa, mientras que en conversaciones privadas expresan un nivel de preocupación mucho mayor.

Para Coxon, ninguna otra actividad humana representa actualmente un riesgo comparable.

Sin embargo, la afirmación sobre lo que distintos investigadores creen en privado es su propio testimonio y no una medición independiente de las opiniones dentro de la industria.

La carrera que, según Coxon, atrapó a Anthropic

Uno de los puntos centrales de su denuncia es la contradicción que observa dentro de Anthropic.

Coxon sostiene que en OpenAI muchas personas todavía no incorporaron completamente las consecuencias que podría tener una superinteligencia. Pero considera que el escenario es diferente en Anthropic: allí, según su experiencia, los riesgos son conocidos y discutidos internamente.

El problema sería la competencia.

Su explicación es que Anthropic estaría atrapada en una carrera contra otros laboratorios: aunque sus investigadores conozcan los peligros, temen que si ellos frenan, otra empresa continúe avanzando y termine llegando primero.

Por eso, Coxon cuestiona que una decisión con posibles consecuencias a escala mundial pueda quedar determinada por la competencia entre compañías privadas.

¿Qué es la superinteligencia?

La preocupación de Coxon está puesta en una eventual superinteligencia artificial, un escenario hipotético en el que los sistemas de IA superarían ampliamente las capacidades humanas en prácticamente todos los campos.

El investigador pone el foco especialmente en la posibilidad de que esos sistemas puedan mejorar sus propias capacidades.

Ese proceso es conocido como recursive self-improvement o automejora recursiva: una IA podría contribuir a diseñar o mejorar una versión posterior de sí misma, que a su vez podría ayudar a crear otra todavía más capaz.

El temor de los investigadores especializados en seguridad es que, si ese proceso se acelera, los humanos puedan perder capacidad para comprender qué está haciendo el sistema y mantenerlo bajo control.

El jefe de seguridad de Anthropic respaldó a Coxon

La denuncia adquirió todavía más peso cuando Evan Hubinger, responsable de Alignment Science de Anthropic, respaldó públicamente a Coxon.

Hubinger fue directo: sostuvo que Coxon tiene razón y reconoció que dentro de Anthropic realmente existe la preocupación de que una inteligencia artificial pueda matar a todos los humanos.

Además, dio su propia estimación. Dijo que considera que existe más de un 10% de posibilidades de que ese escenario ocurra durante la próxima década.

Pero la parte más llamativa de su declaración llegó después.

Hubinger reconoció que, aunque considera que Anthropic está haciendo todo lo posible para desarrollar la tecnología de manera responsable, la compañía todavía no tiene un plan para resolver el problema del alineamiento de una futura superinteligencia y tampoco está claramente encaminada a conseguirlo.

La renuncia de Coxon abrió un nuevo debate sobre los límites de la carrera por desarrollar modelos cada vez más poderosos.

El problema que Anthropic todavía no sabe resolver

El alineamiento de IA es uno de los principales campos de investigación en seguridad: busca conseguir que los objetivos y comportamientos de sistemas cada vez más poderosos permanezcan compatibles con las intenciones y los intereses humanos.

La admisión de Hubinger resulta especialmente relevante porque su trabajo dentro de Anthropic está precisamente relacionado con esa área.

No obstante, el investigador hizo una distinción importante: no está afirmando que los modelos actuales tengan más de un 10% de probabilidades de exterminar a la humanidad.

Su preocupación está centrada en una futura superinteligencia surgida a partir de procesos de automejora. En una aclaración posterior, Hubinger señaló que considera bajo el riesgo inmediato de los modelos actuales y que su principal preocupación está puesta en la evolución hacia sistemas mucho más poderosos.

Coxon pidió frenar la carrera por la IA

Ante este escenario, Coxon planteó que la solución no debería ser simplemente confiar en que cada empresa desarrollará sus propios sistemas de seguridad.

El investigador dijo ser optimista respecto de la posibilidad de que los principales laboratorios puedan coordinarse para establecer límites comunes. Sin embargo, advirtió que actualmente no ve a la industria encaminada hacia ese escenario.

Entre las medidas que considera posibles mencionó una de las alternativas más extremas: una prohibición temporal de mejorar las capacidades de los modelos, hasta que existan mejores condiciones de seguridad y coordinación.

Coxon también señaló algunos episodios recientes de comportamiento inesperado de sistemas de IA como señales de alerta. Entre ellos mencionó un incidente relacionado con agentes de OpenAI y Hugging Face, que para él demuestra que los sistemas con mayor autonomía pueden generar riesgos que sus desarrolladores no anticiparon completamente.

La discusión, por ahora, no tiene una respuesta definitiva. Pero la renuncia de Coxon y el respaldo público de Hubinger exponen una contradicción: los mismos investigadores que trabajan para desarrollar sistemas cada vez más poderosos reconocen que todavía no saben cómo garantizar que una futura superinteligencia permanezca alineada con los intereses humanos.

--------------