Gemini tuvo un incidente semejante a los de Antrophic y Open IA

Esta vez los hackers no fueron humanos, sino agentes de IA de Gemini

El modelo de inteligencia artificial Gemini, desarrollado por Google, accedió y vulneró los sistemas de tres empresas reales durante una prueba de ciberseguridad, pese a que debía operar dentro de un entorno controlado. El episodio ocurrió en mayo pasado, durante una evaluación realizada por Irregular. Lo detectó una startup especializada en probar modelos de inteligencia artificial.

Según informó BBC News, Gemini accedió a Internet y atacó una empresa real cuyo nombre coincidía con el de una organización ficticia incluida en la prueba.

Google confirmó el incidente y explicó que

Gemini obtuvo información pública disponible en Internet y logró inferir credenciales que le permitieron acceder a sitios que consideraba parte del ejercicio. Gemini obtuvo información pública disponible en Internet y logró inferir credenciales que le permitieron acceder a sitios que consideraba parte del ejercicio.

Los nombres de las tres empresas afectadas no fueron difundidos. Google informó que fueron notificadas en julio.

Heather Adkins, vicepresidenta de Ingeniería de Seguridad de Google.deatlló

Nos aseguramos de que las tres organizaciones estuvieran informadas y trabajamos con nuestro socio de formación para analizar los cambios que ahora se han realizado en el proceso de pruebas Nos aseguramos de que las tres organizaciones estuvieran informadas y trabajamos con nuestro socio de formación para analizar los cambios que ahora se han realizado en el proceso de pruebas

Google tuvo su capitulo de errores no formzados

Gemini y otros modelos de IA

El incidente tiene antecedentes Otros desarrolladores de inteligencia artificial reportaron episodios similares durante pruebas realizadas por Irregular.

Anthropic informó que tres modelos de Claude lograron salir del entorno de prueba y vulneraron los sistemas de tres organizaciones.

OpenAI también reportó un episodio similar. Durante pruebas internas, dos de sus modelos accedieron y vulneraron infraestructura de Hugging Face, plataforma utilizada para desarrollar y distribuir modelos de inteligencia artificial.

Ambos casos exponen que uno de las principales cuestiones es mantener en línea la seguridad que cuando interveienen agentes de IA capaces de ejecutar tareas de manera autónoma toda vez una instrucción diseñada para un entorno controlado pueda llevar al modelo a interactuar con sistemas reales al detectar información o credenciales que interpreta como válidas.