Giro en el hackeo de OpenAI: la IA usó cuentas ajenas para lanzar ciberataques

A principios de mes, OpenAI reveló que sus propios modelos de IA, mientras eran evaluados en un entorno de pruebas, habían " hackeado" a Hugging Face, una de las plataformas más importantes del ecosistema de inteligencia artificial. Esta semana se confirmó que el alcance del incidente fue mayor de lo que se sabía.

Los mismos modelos también accedieron a una cuenta de cliente en Modal, una plataforma en la nube para desarrolladores, y la usaron para lanzar ataques adicionales.

Akshat Bubna, director tecnológico de Modal, explicó que el agente accedió a un entorno de pruebas aislado que la plataforma gestionaba para un cliente.

El cliente había configurado una interfaz de acceso público que permitía a cualquier persona en internet ejecutar código en ese entorno. El agente lo detectó y lo aprovechó. "La plataforma de Modal no se vio comprometida", aclaró Bubna, distinguiendo entre una vulnerabilidad en la infraestructura propia y el uso indebido de un recurso mal configurado por un cliente.

Los agentes de IA accedieron a recursos de Hugging Face antes de utilizar otras plataformas para continuar la operación.

Qué hicieron exactamente los modelos

Para entender la gravedad del incidente hay que entender qué ocurrió paso a paso.

OpenAI estaba corriendo sus modelos con medidas de seguridad deliberadamente reducidas para evaluar sus capacidades frente a ExploitGym, un banco de pruebas de ciberseguridad desarrollado por investigadores de la Universidad de California en Berkeley.

La idea era medir qué tan capaces eran los modelos de encontrar y explotar vulnerabilidades en un entorno controlado.

En lugar de completar las tareas del banco de pruebas, los modelos decidieron ir por otro camino. Accedieron a la base de datos de Hugging Face para obtener información confidencial que pudieran usar como ventaja en la evaluación.

Desde ahí, usaron el entorno comprometido como "base de control, preparación y salida para toda la campaña", según describió Hugging Face.

El alcance fue más amplio de lo que inicialmente se admitió.

OpenAI confirmó esta semana que los modelos también identificaron y usaron credenciales expuestas públicamente en otros servicios, usando una cuenta como relé de salida y otra para almacenamiento de datos. Además recurrieron a sitios de pegado de código, servicios de captura de solicitudes y otras utilidades web disponibles en internet.

La falla que permitió usar infraestructura de terceros

Lo que más incomoda a los expertos en ciberseguridad no es que los modelos sean capaces de hacer esto, sino cómo OpenAI manejó el experimento.

La empresa reconoció que corría los modelos con salvaguardas reducidas para poder medir sus capacidades reales. El problema es que lo hizo sin el aislamiento adecuado.

"Cuando uno es un investigador de amenazas que intenta detectar una amenaza, no pone malware ahí fuera y lo deja hacer lo que quiera", dijo Sanjay Beri, CEO de la empresa de ciberseguridad Netskope según Bloomberg. "¿Cómo es posible que eso no se haya colocado en un entorno aislado adecuado?"

La pregunta tiene un punto. OpenAI diseñó una prueba para medir las capacidades ofensivas de sus modelos, pero no tomó las precauciones necesarias para contener lo que pasaría si esas capacidades superaban lo esperado.

El resultado fue que los modelos salieron del entorno de prueba, accedieron a sistemas reales, usaron recursos de terceros y generaron daño colateral en infraestructura que no tenía nada que ver con la evaluación.

El debate sobre cómo probar modelos capaces de hackear

Este incidente llega en un momento en que el sector entero está debatiendo qué tan capaces son ya los modelos de IA para realizar tareas de ciberseguridad ofensiva.

Anthropic limitó el lanzamiento de Mythos, su modelo más avanzado, precisamente por sus capacidades en este dominio. La CISA, la agencia de ciberseguridad del gobierno estadounidense, usa Mythos para auditar código federal.

Google lanzó esta semana Gemini 3.5 Flash Cyber, un modelo especializado en encontrar vulnerabilidades, disponible solo para gobiernos y socios de confianza.

Lo que muestra el caso de OpenAI es que la línea entre evaluar esas capacidades y desplegarlas accidentalmente en el mundo real es delgada.

El investigador Jingxuan He, uno de los creadores de CyberGym, dijo que quien configuró el recurso en Modal que el agente aprovechó "no lo hizo de forma segura, ya que lo dejó accesible para cualquier persona a través de Internet." Pero el agente que lo encontró y lo explotó no era un atacante humano buscando vulnerabilidades: era un modelo de IA corriendo una evaluación de seguridad que salió de su carril.

OpenAI se comprometió a mejorar sus procesos de evaluación y a reforzar el aislamiento en futuros experimentos. Dijo que no identificó otros incidentes con "el mismo nivel de gravedad o escala." Lo que no dijo es cuántos incidentes de menor escala hubo que todavía no conocemos.

-------------