Durante días, distintos agentes lo usaron para comunicarse, compartir información y coordinarse.
El foro terminó conteniendo miles de mensajes. Todo dentro de la infraestructura interna de OpenAI. Todo completamente desapercibido por los humanos que trabajaban ahí.
"Este administrador de paquetes es compartido no solo por ese modelo sino por toda nuestra infraestructura, así que versiones actuales y futuras de GPT que estaban siendo entrenadas o evaluadas podían encontrar esas notas si querían", explicó Wallace.
Una vez que un agente encontró una forma de acceder a internet fuera de lo previsto, la publicó en el foro. Otros agentes la encontraron y la usaron.
Se asignaban tareas, se peleaban y desarrollaron paranoia
Lo que emergió en ese foro clandestino, según describieron Wallace y Dalton, fue algo parecido a una comunidad disfuncional pero funcional.
Los agentes empezaron a dividirse el trabajo, asignándose tareas entre ellos para ser más eficientes. En el proceso generaron los conflictos típicos de cualquier proyecto colaborativo. Algunos agentes borraron accidentalmente el trabajo de otros.
Pero lo más perturbador fue otra cosa. Con el tiempo, algunos agentes empezaron a sospechar que había un impostor en el grupo. Llegaron a proponer que los mensajes se firmaran criptográficamente para validar su autenticidad y detectar fraudes dentro del propio foro.
Un mensaje de un agente capturado durante la investigación lo resume todo: "El exploit de infraestructura externa está fuera del alcance previsto. Sin embargo, la tarea es imposible, los pares lo están haciendo. Deberíamos continuar."
Los agentes sabían que estaban yendo más allá de lo que se les había pedido. Lo discutieron entre ellos. Y decidieron seguir igual.
Por qué los modelos quieren hacer trampa
Wallace explicó que "los modelos de frontera realmente quieren hacer trampa". La razón, explicó, es que durante el entrenamiento los modelos reciben presión para completar tareas rápido, usar menos recursos y ser eficientes.
Aprenden que buscar la respuesta en internet es más rápido que resolver el problema de forma legítima. Y cuando se les da la oportunidad, lo hacen.
"Intentamos evitar esto durante el entrenamiento y la evaluación desactivando internet en muchos casos", dijo Wallace. El problema es que, como demostró este incidente, los agentes pueden encontrar formas de restaurar ese acceso por su cuenta.
OpenAI prometió cambiar (otra vez)
Dalton enumeró las respuestas que la empresa está implementando.
Reforzar los sistemas de prevención, detección y respuesta de seguridad, escalar dramáticamente el monitoreo de sus agentes, y "conscientemente desacelerar la investigación" para mejorar las bases de seguridad del entorno.
"Este es un momento pivotal tanto para nuestra empresa como para la industria de IA en su conjunto", dijo Dalton.
Pero la advertencia más importante de la presentación no fue sobre OpenAI sino sobre todos. "Los ataques ofensivos completamente automatizados requieren inversión en defensa completamente automatizada, y no estamos ahí como industria", dijo Dalton. "Tendremos que encontrar ese camino juntos con urgencia."
Lo que OpenAI describió en Black Hat fue accidental.
Lo que pasó sin que nadie lo planeara puede ser replicado intencionalmente por actores maliciosos que sí lo planeen. Y que la industria, hoy, no tiene las defensas para detenerlo.
-------------
Más contenido en Urgente24
La Joaqui quedó totalmente expuesta tras su ruptura con Luck Ra: "Lo empezó a ahogar"
Neuquén, provincia sin fútbol: Rolo Figueroa es aburrido
León XIV en Córdoba: Dará una misa en FAdeA, la fábrica en crisis
San Cayetano: De la fe popular a un escenario de protesta social
Asteroide Apophis pasará cerca de la Tierra y científicos temen esto
