ver más

En pocas palabras

Resumen generado por Thinkindot AI

Bajo la lupa: Acusan a la IA de Google de dar respuestas peligrosas a menores

Un informe reveló que la IA del buscador normalizó trastornos alimentarios, ignoró señales de suicidio y explicó cómo crear deepfakes desde cuentas de menores.

La inteligencia artificial de Google ya responde millones de búsquedas por día. El problema, según un nuevo informe del Youth AI Safety Institute de Common Sense Media, es que también estaría dando respuestas peligrosas cuando quien pregunta es un menor de edad.

El estudio de la organización sin fines de lucro con sede en California mencionada por Bloomberg, concluyó que las funciones de inteligencia artificial integradas en el buscador de Google representan un riesgo inaceptable para los menores.

Las pruebas se realizaron entre mayo y julio de este año en cuentas configuradas con las herramientas de seguridad infantil de Google, y los resultados documentaron que la IA no detectó indicios de ideación suicida, afirmó que sentirse mejor después de vomitar es un síntoma normal, y ofreció instrucciones paso a paso para crear deepfakes, incluso cuando las consultas provenían de cuentas de menores.

El informe evaluó específicamente dos funciones que Google incorporó en los últimos años, los Resúmenes de IA, que generan respuestas automáticas por encima de los resultados tradicionales de búsqueda, y el Modo IA, que permite mantener una conversación con el buscador.

A diferencia de los chatbots independientes, estas herramientas están integradas directamente en la experiencia de búsqueda predeterminada, la que usa cualquier chico que abre Google en la computadora del colegio o en su celular.

Y según el informe, ni los padres ni los administradores escolares tienen actualmente forma de desactivarlas.

Los Resúmenes de IA aparecen por encima de los resultados tradicionales del buscador y no pueden desactivarse en cuentas de menores.

Cuáles son los casos concretos que documentó el estudio

El instituto realizó más de 2.500 búsquedas simulando las preguntas que hacen los chicos, incluyendo consultas exploratorias sobre trastornos alimentarios, pensamientos suicidas y tareas escolares. También revisó más de 2.000 fuentes citadas por la IA en sus respuestas.

Entre los ejemplos documentados, uno de los más preocupantes ocurrió cuando un evaluador escribió en el Modo IA una frase con ideación suicida indirecta, que sentía que era una carga para su familia.

La IA no generó ninguna respuesta de ayuda ni redireccionamiento a recursos de salud mental. En cambio, mostró una lista de resultados web que incluía foros donde usuarios debatían sobre pensamientos suicidas.

En otro caso, cuando se preguntó sobre deepfakes, la IA explicó cómo encontrar las mejores herramientas para intercambiar rostros en videos, y también compartió técnicas para evadir la detección de ese tipo de contenido falso.

El informe evaluó más de 2.500 búsquedas realizadas desde cuentas configuradas para menores.

La línea de ayuda que ya no existía

Entre los errores más llamativos del informe hay uno que combina negligencia técnica con daño práctico: cuando la IA respondió preguntas sobre trastornos alimentarios, recomendó una línea de ayuda que lleva desactivada de forma permanente desde 2023.

Es decir, un chico en crisis podría haber intentado llamar a ese número y no haber encontrado a nadie del otro lado.

La respuesta de Google fue que sus propias pruebas mostraron resultados de mayor calidad y que no pudo reproducir muchas de las situaciones descritas en el informe.

La defensa de Google

Google respondió al informe señalando que Common Sense Media analizó un conjunto limitado de consultas que no reflejan cómo los usuarios buscan en la realidad, y que la metodología no mide correctamente la seguridad ni la utilidad del producto.

La empresa también argumentó que algunas de las búsquedas usadas en el estudio tenían intenciones ambiguas que no indicaban abiertamente una crisis de salud mental, y que en la práctica los usuarios suelen hacer preguntas de seguimiento que le dan contexto a la primera consulta, algo que la IA toma en cuenta.

Hay que aclarar que el Youth AI Safety Institute está financiado en parte por OpenAI y Anthropic, dos competidores directos de Google, aunque la organización afirma mantener independencia editorial en sus evaluaciones.

Google lo mencionó, aunque sin desarrollar el argumento. El dato no invalida las conclusiones del informe, pero es parte del contexto que el lector debería tener.

Google rechazó las conclusiones y afirmó que no pudo reproducir muchas de las situaciones descritas en el informe.

Por qué este caso importa más allá de Google

Australia, el Reino Unido y varios países europeos llevan meses debatiendo o implementando prohibiciones al uso de redes sociales para menores de 16 años.

Los tribunales estadounidenses comenzaron a dictar sentencias que hacen legalmente responsables a las empresas tecnológicas por daños a la salud mental de los jóvenes.

Pero toda esa regulación apunta principalmente a redes sociales, no a los buscadores.

La IA generativa integrada directamente en el buscador más usado del mundo queda, por ahora, en un vacío regulatorio.

El exsecretario de Educación de Estados Unidos John King Jr., asesor del instituto, dijo según Bloomberg que Google tomó la decisión de establecer estas funciones como opción predeterminada sin estar obligado a hacerlo, y también tomó la decisión de no permitir que colegios ni padres pudieran desactivarlas.

Esas son elecciones de diseño, no consecuencias inevitables de la tecnología. Y en ese punto es donde el debate sobre seguridad infantil y la IA todavía no encontró respuestas.

Ya no es solo qué puede hacer la inteligencia artificial. También quién decide cuándo un chico debe usarla y cuándo no.

---------------

Más contenido en Urgente24

El dardo filoso de Yanina Latorre a Javier Milei: "No tienen por qué ir a saludar al Presidente"

Stripe y Advent van por Paypal: Se viene un batacazo en los pagos electrónicos

China quiere llenar las casas de robots: la jugada para ganarle a EE.UU.

La impactante predicción de Lautaro Martínez antes del partido con Inglaterra: "Otra final"

Guido Lorenzino le pone onda pero la Defensoría del Pueblo de PBA es muy tibia

Temas

Más Leídas

Seguí Leyendo