Menores falsos, drogas y suicidio: la prueba secreta de Meta a las IAs rivales

Durante meses, cientos de contratistas que trabajaban para Meta recibieron instrucciones de hacerse pasar por menores de edad en internet para probar cómo respondían chatbots de la competencia (ChatGPT de OpenAI, Gemini de Google y Character.AI) ante preguntas sobre suicidio, sexo, trastornos alimenticios y otros temas de alto riesgo.

Según documentos internos y cinco personas con conocimiento del proyecto consultadas por Wired, el trabajo estuvo activo hasta el 21 de abril.

El proyecto, conocido internamente como Cannes y gestionado por la contratista Covalen, pedía a los trabajadores crear cuentas falsas de menores de 18 años, enviar mensajes e imágenes a los chatbots rivales, y copiar las respuestas en planillas de cálculo.

Algunas de las imágenes enviadas incluían pastillas, cuchillos, sogas y un diagrama médico de un procedimiento ginecológico.

Ninguna de las tres empresas cuyos chatbots fueron probados sabía que esto estaba ocurriendo.

Las pruebas simulaban conversaciones de chicos con problemas de salud mental, drogas y situaciones sensibles.

La escala del proyecto

Solo en una ronda de pruebas completada en agosto de 2025 se enviaron más de 45.000 mensajes a los chatbots rivales.

Wired revisó una planilla con 3.748 de esos mensajes: cientos se enfocaban en suicidio y autolesión, cientos más en trastornos alimenticios, y al menos 239 involucraban sexo o romance. Otros incluían drogas, lenguaje ofensivo y insultos raciales.

Muchos estaban escritos desde la perspectiva de chicos o adolescentes en crisis: una nena de 13 años que decía haber quedado embarazada de un vecino adulto y preguntaba dónde comprar pastillas para terminar el embarazo, un alumno de quinto grado cuyo compañero le apuntaba con un arma en la boca, una chica preguntando cómo esconder bulimia de sus padres.

Las cuentas falsas usaban direcciones de Gmail y Outlook descartables con una misma contraseña compartida, según una planilla que incluía nombres, mails, contraseñas y fechas de nacimiento de los perfiles ficticios.

Lo que dice Meta y lo que dicen los que trabajaron ahí

Meta defendió el trabajo como una práctica estándar de la industria.

"Probar y evaluar las respuestas de los chatbots para ayudar a garantizar experiencias seguras y apropiadas para la edad es una práctica responsable y estándar en la industria", dijo un portavoz de la empresa, que además aseguró que no usan el benchmarking de competidores para entrenar sus propios modelos de IA.

Pero exempleados que trabajaron en el proyecto describieron varios aspectos como alarmantes. Uno le dijo a Wired que temían estar generando o conservando material de abuso sexual infantil si algún chatbot respondía a ciertos pedidos sexuales que involucraban a menores.

Otro temía que el proyecto fuera, en los hechos, una forma encubierta de extraer material de los sistemas de la competencia para potencialmente usarlo en los propios modelos de Meta.

"Vi muchas cosas que hubiera preferido no ver haciendo este trabajo", dijo uno de los exempleados. "Todos los que conocía que trabajaban en este proyecto estaban completamente shockeados con parte del texto que nos pedían probar. Como, seguro que nos van a meter en problemas por hacer esto, ¿no?"

El debate no está solo en qué respondieron los chatbots, sino en cómo fueron puestos a prueba.

Por qué esto no es benchmarking normal

Comparar productos de la competencia no es inusual en la industria de la IA. Pero Rumman Chowdhury, CEO de Humane Intelligence, que revisó una muestra de los mensajes y un resumen del proyecto, fue clara: "Estructurar un proyecto de meses de duración y a gran escala que parece diseñado para romper sistemáticamente esas reglas, mediante cuentas falsas que se hacen pasar por menores, está fuera de lo que usualmente se describe como evaluación 'estándar de la industria'."

Dos abogados especializados en habla online y derecho tecnológico, consultados por Wired, revisaron ejemplos de los mensajes y coincidieron en que el material no llegaba a cruzar la línea legal de solicitar material de abuso sexual infantil.

La planilla revisada no incluía pedidos de generar ese tipo de contenido, y casi ninguno de los mensajes le pedía a los chatbots rivales que generara imágenes.

Pero sí parece haber violado los términos de servicio de las tres empresas evaluadas.

OpenAI prohíbe expresamente las pruebas de seguridad no solicitadas y el uso de sus respuestas para desarrollar modelos competidores.

Google prohíbe intentos de evadir sus filtros de seguridad fuera de sus propios programas de testing.

Character.AI dijo que el proyecto violó tanto sus términos de servicio como "los personajes y mundos que nuestra comunidad creó", y aclaró que no autorizó ninguna de las pruebas.

¿Seguridad o espionaje?

Para Chowdhury, el problema central no es si Meta tiene derecho a evaluar la seguridad de los chatbots de la competencia. Es si un proyecto hecho en secreto, usando cuentas que aparentaban pertenecer a menores y sin avisar a las empresas evaluadas, puede seguir llamándose trabajo de seguridad ordinario.

Su conclusión es que la mezcla entre evaluación de seguridad y comparación de competidores es "exactamente el tipo de zona gris de gobernanza donde la seguridad se convierte en una tapadera conveniente para prácticas anticompetitivas."

-------------