OpenAI estaba corriendo sus modelos con medidas de seguridad deliberadamente reducidas para evaluar sus capacidades frente a ExploitGym, un banco de pruebas de ciberseguridad desarrollado por investigadores de la Universidad de California en Berkeley.
La idea era medir qué tan capaces eran los modelos de encontrar y explotar vulnerabilidades en un entorno controlado.
En lugar de completar las tareas del banco de pruebas, los modelos decidieron ir por otro camino. Accedieron a la base de datos de Hugging Face para obtener información confidencial que pudieran usar como ventaja en la evaluación.
Desde ahí, usaron el entorno comprometido como "base de control, preparación y salida para toda la campaña", según describió Hugging Face.
El alcance fue más amplio de lo que inicialmente se admitió.
OpenAI confirmó esta semana que los modelos también identificaron y usaron credenciales expuestas públicamente en otros servicios, usando una cuenta como relé de salida y otra para almacenamiento de datos. Además recurrieron a sitios de pegado de código, servicios de captura de solicitudes y otras utilidades web disponibles en internet.
La falla que permitió usar infraestructura de terceros
Lo que más incomoda a los expertos en ciberseguridad no es que los modelos sean capaces de hacer esto, sino cómo OpenAI manejó el experimento.
La empresa reconoció que corría los modelos con salvaguardas reducidas para poder medir sus capacidades reales. El problema es que lo hizo sin el aislamiento adecuado.
"Cuando uno es un investigador de amenazas que intenta detectar una amenaza, no pone malware ahí fuera y lo deja hacer lo que quiera", dijo Sanjay Beri, CEO de la empresa de ciberseguridad Netskope según Bloomberg. "¿Cómo es posible que eso no se haya colocado en un entorno aislado adecuado?"
La pregunta tiene un punto. OpenAI diseñó una prueba para medir las capacidades ofensivas de sus modelos, pero no tomó las precauciones necesarias para contener lo que pasaría si esas capacidades superaban lo esperado.
El resultado fue que los modelos salieron del entorno de prueba, accedieron a sistemas reales, usaron recursos de terceros y generaron daño colateral en infraestructura que no tenía nada que ver con la evaluación.
El debate sobre cómo probar modelos capaces de hackear
Este incidente llega en un momento en que el sector entero está debatiendo qué tan capaces son ya los modelos de IA para realizar tareas de ciberseguridad ofensiva.
Anthropic limitó el lanzamiento de Mythos, su modelo más avanzado, precisamente por sus capacidades en este dominio. La CISA, la agencia de ciberseguridad del gobierno estadounidense, usa Mythos para auditar código federal.
Google lanzó esta semana Gemini 3.5 Flash Cyber, un modelo especializado en encontrar vulnerabilidades, disponible solo para gobiernos y socios de confianza.
Lo que muestra el caso de OpenAI es que la línea entre evaluar esas capacidades y desplegarlas accidentalmente en el mundo real es delgada.
El investigador Jingxuan He, uno de los creadores de CyberGym, dijo que quien configuró el recurso en Modal que el agente aprovechó "no lo hizo de forma segura, ya que lo dejó accesible para cualquier persona a través de Internet." Pero el agente que lo encontró y lo explotó no era un atacante humano buscando vulnerabilidades: era un modelo de IA corriendo una evaluación de seguridad que salió de su carril.
OpenAI se comprometió a mejorar sus procesos de evaluación y a reforzar el aislamiento en futuros experimentos. Dijo que no identificó otros incidentes con "el mismo nivel de gravedad o escala." Lo que no dijo es cuántos incidentes de menor escala hubo que todavía no conocemos.
-------------
Más contenido en Urgente24
Va a la ONU: Cristina Kirchner anticipó su estrategia para ganar la liberación
El peso de la crisis: Tras más de 50 años, histórico colegio privado cierra sus puertas
Cuenta DNI lanzó un imperdible descuento que todos están usando
Rosalía no sale del escándalo y ahora la aniquiló una cantante argentina: "Afuera"
Real Madrid va por Rodri: Florentino da luz verde y ya contactó al City
