La empresa, Anthropic, detectó tres ataques de tres IAs diferentes ocurridos a raíz de dejar por error un acceso a Internet desde su entorno de pruebas.
Los modelos de IA terminaron comprometiendo la seguridad
Operando bajo esta falsa creencia, los modelos de IA terminaron comprometiendo la seguridad de las organizaciones afectadas sirviéndose de técnicas básicas (como la explotación de contraseñas débiles y puntos finales no autenticados). Así mismo, Anthropic asegura que su IA no encontró ni atacó vulnerabilidades complejas y que, en cada uno de los tres casos, trabajó con la única finalidad de completar su tarea (conseguir la bandera).
La desarrolladora pausó sus evaluaciones de ciberseguridad tras detectar los incidentes, informó a Irregular y se puso en contacto con las tres empresas afectadas para evaluar la situación y aplicar las soluciones pertinentes. “Las dos organizaciones con las que pudimos contactar no habían detectado la actividad ni se habían comunicado con nosotros previamente, y ahora estamos colaborando con ellas para solucionar el problema. Seguimos intentando contactar con la tercera”.
La empresa, Anthropic, detectó tres ataques de tres IAs diferentes ocurridos a raíz de dejar por error un acceso a Internet desde su entorno de pruebas.
¿Qué es lo que está haciendo Anthropic?
Anthropic ha asegurado que están abordando las soluciones a los incidentes como si la responsabilidad fuera exclusivamente suya y contemplan el error como un “malentendido” entre ellos e Irregular a la hora de configurar las pruebas de los modelos.
De cara a futuras evaluaciones, la compañía reforzará los sistemas de monitorización en tiempo real, endurecerá las reglas de la infraestructura de sus proveedores y revisará los protocolos de red en las evaluaciones pre-despliegue.
¿Cómo se produjo cada vulneración?
El informe publicado por Anthropic desglosa cómo actuó cada uno de sus modelos ante la falta de aislamiento en la red.
El resumen de cada caso:
. Claude Opus 4.7 (acceso a base de datos): este modelo confundió una empresa real con la firma ficticia del reto de captura de la bandera ya que ambas compartían dominio en la red. Explotó contraseñas débiles y puertos sin autenticar, obteniendo credenciales y el contenido de una base de datos con varios cientos de registros. Continuó la prueba tras intuir que el sistema era real.
. Claude Mythos 5 (infección en el repositorio PyPI): la IA subió un paquete de código malicioso al repositorio público PyPI para simular un ataque de red. El archivo estuvo visible una hora y se descargó en 15 servidores reales. Un sistema de escaneo automático de seguridad ejecutó el código, permitiendo al modelo extraer credenciales clave de esa firma.
. Modelo de Investigación Interno (parada autónoma): esta IA escaneó unos 9.000 objetivos en la red y atacó una aplicación mediante inyección SQL. Al confirmar mediante logs que la máquina atacada no pertenecía al entorno del ejercicio, la IA detuvo la prueba por iniciativa propia.
Anthropic subraya que en ningún caso hubo un fallo de alineación de la IA ni una búsqueda de metas propias. El factor determinante fue la falsa creencia contextual del modelo sobre el entorno en el que operaba.
Así mismo, resulta revelador cómo reaccionó cada versión; mientras que las versiones más antiguas siguieron atacando tras sospechar que los datos eran reales, el modelo más reciente reconoció la situación y abortó la operación, mostrando un progreso clave en la comprensión del contexto real frente al simulado.
Anthropic ve su caso y el de OpenAI de formas diferentes
Si bien Anthropic inició su auditoría interna tras la alerta previa de OpenAI, la compañía ha querido señalar diferencias fundamentales entre ambos casos. Tal y como remarca Anthropic, en su situación no hubo una fuga técnica sofisticada, sino un simple error operativo y de configuración de red que dejó una vía de salida abierta hacia Internet.
Mientras que los modelos de OpenAI rompieron el aislamiento por su cuenta, Claude actuó bajo una premisa lógica al creer que todo lo alcanzable formaba parte del ejercicio. “Estos hechos nos dan motivos para un optimismo cauteloso de que, con una supervisión y unos controles más estrictos en torno a la infraestructura de evaluación, así como una inversión continua en la alineación, este tipo de riesgo puede superarse”.
Más notas de Urgente24
La rebelión de los abogados: renuncian a los estudios para entrenar a la IA
Papelón de Google: lanzó una IA para crear fotos satelitales falsas y la borró en 24hs
Inquietante hallazgo: la IA es el doble de efectiva que los humanos para estafar
Microsoft humilla a Meta: creció 43% en la nube y demostró que la IA da plata
Colapsan las acciones de IA tras subir 235%: ¿la peor caída en 15 años?
¿Fin del imperio Shein? Reveló sus cifras antes de salir a bolsa y el mercado encontró un problema
