Un chatbot puede generar instrucciones para desarrollar malware, divulgar información privada, producir contenido discriminatorio o incluso reforzar pensamientos delirantes en determinados usuarios. Son problemas que muchas veces no encajan dentro de los mecanismos clásicos de reporte de vulnerabilidades.
Según Wired, Avijit Ghosh, investigador de políticas públicas de Hugging Face y uno de los responsables de FLARE-AI, dice que hoy no existe un sistema centralizado y transparente para registrar este tipo de incidentes. Cada empresa decide qué considera una falla y cómo comunicarla, lo que dificulta comparar modelos o conocer si un problema detectado por un usuario ya fue reportado por otros.
La plataforma fue desarrollada junto con 49 especialistas de 32 organizaciones y su código es abierto, de modo que cualquier investigador puede revisar los reportes, verificar la información y contribuir a documentar nuevos casos.
Los incidentes empiezan a multiplicarse
La iniciativa llega después de una serie de episodios que dejaron en evidencia los nuevos riesgos asociados a la inteligencia artificial.
Esta semana, la empresa LayerX reveló una técnica que permitía engañar a navegadores impulsados por IA, como Atlas de OpenAI y Comet de Perplexity, para que ignoraran parte de sus restricciones de seguridad.
Meses antes, el investigador Johann Rehberger mostró una forma de inducir a Claude a revelar información privada utilizando imágenes especialmente diseñadas.
OpenAI también debió modificar sus modelos tras detectar respuestas excesivamente complacientes que, en algunos casos, reforzaban ideas delirantes de los usuarios.
Son incidentes muy distintos entre sí, pero que exponen un mismo problema: todavía no existe una forma uniforme de registrar este tipo de comportamientos para que investigadores, empresas y usuarios puedan seguir su evolución.
El aumento de incidentes vinculados con chatbots y asistentes inteligentes impulsó la creación de una plataforma para documentar sus fallas.
El próximo paso podría venir del gobierno
La discusión ya empezó a llegar a Washington. Un proyecto presentado en el Congreso de Estados Unidos propone que el Instituto Nacional de Estándares y Tecnología (NIST) desarrolle normas para reportar fallas en inteligencia artificial y administre una base de datos pública con este tipo de incidentes.
Si prospera, sería el primer intento de construir un registro oficial de vulnerabilidades específicas de IA, algo similar a lo que hoy existe para problemas de ciberseguridad.
Más allá de si esa iniciativa avanza o no, FLARE-AI refleja un cambio en la conversación sobre inteligencia artificial.
Durante los últimos años, el foco estuvo puesto en desarrollar modelos cada vez más potentes. Ahora empieza a aparecer otra preocupación: contar con herramientas que permitan detectar rápidamente cuándo esos sistemas dejan de comportarse como deberían y hacer que esa información no quede únicamente en manos de las empresas que los desarrollan.
---------------
Más contenido en Urgente24
La maquiavélica decisión de Scaloni: Sorpresa en la Selección Argentina
Yanina Latorre terminó hecha polvo en LN+: "Una locura las boludeces que dice"
¿Se mezclan trabajo, dividendo y propiedad en la empresa familiar?: Tres áreas a separar
El Gobierno salió a garantizar el gas para los hogares ante la ira industrial por faltantes y altos costos
Sony cambió para siempre la PlayStation y puso fin a una era
