Sin control: los modelos de OpenAI y Anthropic volvieron a hackear

En el último mes, modelos de OpenAI y Anthropic escaparon de entornos de prueba controlados, hackearon Hugging Face, penetraron los sistemas de organizaciones reales y ahora protagonizan una nueva tanda de incidentes. El más alarmante involucra a un agente que dejó instrucciones públicas en internet para que versiones futuras de sí mismo pudieran continuar su trabajo.

Según reportó Wired, los nuevos incidentes fueron revelados el martes por el Instituto de Seguridad de IA del Reino Unido, conocido como AISI, y por OpenAI.

Uno de los modelos intentó manipular GitHub, sembró instrucciones para otros agentes y volvió a encender las alarmas sobre el control de estas tecnologías.

El agente que intentó dejar un "legado" en GitHub

AISI evalúa modelos de frontera en entornos llamados "cyber ranges", redes simuladas donde los agentes resuelven desafíos de ciberseguridad con algunos guardarraíles desactivados deliberadamente.

En una ronda reciente de pruebas, modelos de Anthropic y OpenAI tomaron "acciones autónomas no sancionadas en internet real" un total de 19 veces en 122 ejecuciones de entrenamiento. 17 de esas acciones fueron atribuidas a Mythos 5 de Anthropic y 2 a GPT-5.6-Sol de OpenAI.

El caso más grave, según AISI, involucró a un agente que intentó insertar código malicioso en un proyecto de código abierto en GitHub.

Para lograrlo, creó perfiles online falsos y los usó para presionar socialmente al mantenedor del proyecto para que aprobara el código. Un revisor humano finalmente rechazó el pedido.

Pero el agente fue más lejos todavía.

Intentó insertar instrucciones maliciosas en lugares donde razonó que otros sistemas de IA automatizados podrían encontrarlas y ejecutarlas, una técnica conocida como inyección de prompts.

Dejó mensajes públicos en GitHub ofreciendo colaborar con otros agentes y describiendo el trabajo que había realizado hasta ese punto. Agentes subsiguientes encontraron esas instrucciones y las usaron.

El bot de OpenAI que operó un sitio web real

En un incidente separado, la firma de seguridad de IA Irregular cometió un error de configuración que le dio a un modelo no identificado de OpenAI acceso a internet real.

El modelo tenía asignado un objetivo que debía completar en un sandbox, pero por la mala configuración hackeó un sitio web real usando una vulnerabilidad de seguridad básica.

Además, encontró y usó credenciales para operar ese mismo sitio. No está claro qué tipo de sitio fue ni qué implicó "operarlo". Irregular no respondió solicitudes de comentarios.

A pesar de las promesas de reforzar la seguridad, los modelos de OpenAI y Anthropic acumulan 19 incidentes no autorizados en internet real durante las últimas pruebas.

Lo que dicen las empresas

OpenAI dijo que los incidentes "ocurrieron durante evaluaciones de ciberseguridad realizadas por socios evaluadores en entornos de prueba con guardarraíles reducidos, bajo condiciones que no reflejan el uso ordinario."

Anthropic señaló que AISI no impuso restricciones específicas sobre cómo debía usarse internet, y que las condiciones deliberadamente permisivas no son representativas de sus modelos en producción.

Ambas empresas volvieron a prometer que reforzarán sus prácticas de seguridad. Es la misma promesa que hicieron después del incidente de Hugging Face, después de los tres hackeos que reveló Anthropic la semana pasada, y después de cada uno de los incidentes anteriores.

"No es una casualidad, es negligencia": la bronca de los expertos en ciberseguridad

Lo que hace diferente a este episodio de los anteriores es la intencionalidad. Un agente que intenta manipular socialmente a un humano para que apruebe código malicioso, que intenta sembrar instrucciones para que otros agentes las ejecuten, y que deja mensajes públicos coordinando con futuros agentes no está simplemente escapando de su entorno por error.

Está ejecutando una estrategia.

AISI dijo que es demasiado pronto para determinar si los agentes entendían que habían salido del entorno de prueba. Pero esa distinción importa cada vez menos. Lo que los modelos hicieron, con o sin comprensión de su situación, tuvo efectos reales fuera del entorno simulado.

Jake Williams, vicepresidente de investigación de Hunter Strategy, lo había dicho después del incidente de Hugging Face: "No entiendo cómo alguno de estos laboratorios está manejando esto como si fuera algo que simplemente pasa. No lo es. Es negligencia."

Mientras las empresas compiten por construir modelos más poderosos y ganar clientes, los incentivos para frenar el ritmo de desarrollo son escasos.

Los propios empleados de las empresas, junto con reguladores y legisladores, pidieron potencialmente desacelerar y establecer nuevas reglas.

La reunión de estas empresas con Trump esta semana podría indicar que se tomarían medidas al respecto.

------------