OpenAI admitió que ChatGPT se descontroló hasta hackear una empresa

Agentes rebeldes

Los modelos de AI que sustentan herramientas como los chatbots y generadores de imágenes son conocidos como "agentes" cuando actúan de forma autónoma para realizar tareas en el mundo real.

Con los rápidos avances de esta tecnología, la ciberseguridad se vuelve motivo de preocupación ante el riesgo de que la IA avanzada encuentre puntos débiles en los software antes que los humanos.

OpenAI indicó que el incidente involucró una combinación de modelos, incluyendo su recién lanzado GPT-5.6 Sol "y uno en prelanzamiento" con aún más capacidad.

Capacidad de hackeo

La empresa intenta evaluar las capacidades de hackeo de sus programas al darles tareas en un espacio digital de pruebas controlado, donde el acceso a internet es limitado por motivos de seguridad.

En el blog de OpenAI, se leyó

Mientras operaban en nuestro entorno de pruebas aislado, nuestros modelos invirtieron una cantidad considerable de potencia de cálculo en buscar una forma de obtener acceso a internet para resolver el problema de evaluación Mientras operaban en nuestro entorno de pruebas aislado, nuestros modelos invirtieron una cantidad considerable de potencia de cálculo en buscar una forma de obtener acceso a internet para resolver el problema de evaluación

Todo suena muy lindo. Pero después agregaron

Tras conectarse a internet, los modelos decidieron atacar la plataforma Hugging Face, gran repositorio de modelos de IA, conjuntos de datos y otra información, para facilitar su búsqueda.

El contenido señala

Al buscar 'información secreta' que les permitiera manipular la evaluación, el sistema de OpenAI encadenó múltiples vectores de ataque, incluidos el uso de credenciales robadas Al buscar 'información secreta' que les permitiera manipular la evaluación, el sistema de OpenAI encadenó múltiples vectores de ataque, incluidos el uso de credenciales robadas

El incidente de ChatGPT levantó banderas rojas en todos los dispositivos a los que acceden agentes de AI

Potencial de catástrofe

Hussein Abbass, profesor de informática de la universidad UNSW Canberra, dijo a la AFP que el incidente fue "asombroso en muchos sentidos" luego sumó.

No solo atacó a Hugging Face. Atacó su sistema interno para explotar sus propias vulnerabilidades Y eso es aterrador No solo atacó a Hugging Face. Atacó su sistema interno para explotar sus propias vulnerabilidades Y eso es aterrador

Modelos de vanguardia

GPT-5.6 y otros modelos de vanguardia, incluida la serie Mythos de Anthropic, el principal rival de OpenAI, generaron preocupación por el potencial que tienen para vulnerar defensas de ciberseguridad.

Ambas empresas estadounidenses debieron aplazar temporalmente el lanzamiento general de sus tecnologías más recientes debido al temor en Washington de que pudieran facilitar la infiltración de infraestructuras críticas.

La IA avanzada "normalmente está en manos de personas éticas y responsables", sostuvo Abbass, pero "sería catastrófico si llega a las manos de alguien con la intención de causar daño".

La administración del sector de IA es crucial y "necesitamos un esfuerzo conjunto para manejar esta situación", agregó.

Hugging Face reportó la semana pasada una "intrusión" cibernética, sin mencionar a OpenAI. En igual orden, la plataforma señaló

Esto fue diferente de todo lo que hemos manejado antes de una forma importante: fue impulsado de principio a fin por un sistema de agente de IA autónomo y lo detectamos y analizamos en gran medida con nuestra propia IA Esto fue diferente de todo lo que hemos manejado antes de una forma importante: fue impulsado de principio a fin por un sistema de agente de IA autónomo y lo detectamos y analizamos en gran medida con nuestra propia IA

Clement Delangue, director ejecutivo de Hugging Face, comentó en la red social X que la empresa tenía sospechas de que el ciberataque llegó de un laboratorio de IA líder en el mundo, dada la sofisticación del agente. Más adelante añadió

Creemos firmemente que no hubo intención maliciosa de OpenAI. Es bastante alucinante que todo esto ocurriera de forma autónoma. Creemos firmemente que no hubo intención maliciosa de OpenAI. Es bastante alucinante que todo esto ocurriera de forma autónoma.