ver más
POD 4 _336x280_violeta

Cuando la inteligencia artificial delira: Expertos alertan sobre las "alucinaciones"

Los bots de inteligencia artificial cometen errores cada vez más graves, como inventar datos. Quienes saben advierten: las alucinaciones llegaron para quedarse.

Las "alucinaciones" de la inteligencia artificial, respuestas erróneas que parecen ciertas, se están volviendo cada vez más comunes, incluso en los modelos más avanzados. Lejos de ser un detalle menor, este fenómeno ya está generándole problemas a empresas y usuarios, que empiezan a desconfiar de herramientas que prometían automatizar tareas y, en muchos casos, terminan complicando más de la cuenta.

El error de la IA que desató la polémica

En abril pasado, un bot de soporte técnico de Cursor, una herramienta para programadores que viene pisando fuerte, alertó a varios usuarios de que ya no podían usar el software en más de una computadora. La bomba cayó en foros y redes sociales: usuarios furiosos, pedidos de explicaciones, y varias bajas de cuentas. Lo loco es que la supuesta nueva regla no existía, y quien lo aclaró fue nada menos que Michael Truell, CEO y cofundador de Cursor, con un mensaje contundente en Reddit: "Por supuesto que pueden usar Cursor en varias máquinas. Lamentablemente, fue una respuesta incorrecta de un bot de soporte de inteligencia artificial."

image.png

Un bot de Cursor informó erróneamente una política inexistente, generando enojo y cancelaciones. El caso expone cómo la A.I. puede inventar información y causar problemas reales a los usuarios.

Este error, aunque parezca menor, es una muestra de cómo los bots pueden generar desinformación sin filtro. Los sistemas de inteligencia artificial no son infalibles ni fuentes oficiales, sino que a veces "inventan" datos. Estos errores, conocidos en la jerga tecnológica como "hallucinations" o alucinaciones, ya preocupan a empresas y usuarios que dependen de esta tecnología para tareas delicadas.

Pratik Verma, cofundador y CEO de Okahu, que se especializa en ayudar a las empresas a manejar estos errores, lo explica claramente: "Pasás mucho tiempo tratando de determinar qué respuestas son verdaderas y cuáles no. No manejar estos errores elimina el valor de los sistemas de A.I., que deberían automatizar tareas". Y al final, el desgaste es enorme: la idea era que la inteligencia artificial nos alivie el trabajo, no que nos complique más.

¿Por qué los bots se confunden más?

Acá viene lo más loco: los modelos más nuevos de inteligencia artificial no están mejorando en precisión, sino todo lo contrario. Según datos oficiales de OpenAI, su modelo más potente hasta ahora, llamado o3, cometió errores en el 33% de las preguntas sobre figuras públicas en un test conocido como PersonQA. Y su modelo más chico, o4-mini, alucinó en casi la mitad de las respuestas, ¡un 48%! Para preguntas más generales, esos números suben hasta un 79% en algunos casos.

Amr Awadallah, CEO de Vectara, una start-up que desarrolla A.I. para empresas, es tajante y no tan esperanzador: "A pesar de nuestros mejores esfuerzos, siempre van a alucinar." La razón es que estas máquinas no tienen un criterio propio para decidir qué es verdad o mentira, sino que trabajan con probabilidades, basándose en un océano de datos que analizaron previamente. Esto las hace geniales para improvisar, pero también peligrosas porque pueden "inventar" información.

image.png

Los modelos más nuevos de A.I. cometen más errores que antes. Fallan al razonar paso a paso, inventan datos y nadie entiende del todo por qué. La precisión, lejos de mejorar, empeora.

Además, la técnica de entrenamiento llamada "aprendizaje por refuerzo", que las hace mejorar en matemáticas o programación, tiene su contra: el sistema se concentra en ciertos objetivos y puede descuidar otros aspectos. A eso sumale que estos modelos de "razonamiento" intentan resolver problemas paso a paso, y en cada paso pueden meter la pata. Los errores se acumulan y se vuelven visibles para el usuario, que termina confundido.

Hannaneh Hajishirzi, profesora en la Universidad de Washington y experta en inteligencia artificial, admite que "todavía no sabemos exactamente cómo funcionan estos modelos." La caja negra es grande y compleja, y por ahora, las máquinas están más para sorprender que para confiar ciegamente.

-------------------------------------------------------------------

Más contenido en Urgente24

Indemnizaciones: El gobierno está creando un negocio financiero con el modelo que las elimina

La miniserie de 6 capítulos que todos piden prolongar

Walter Klix le sigue el juego a Gabriel Anello y lleva a Riquelme a la Justicia

La película de 2 horas que está en Netflix y tenés que ver cuanto antes

Albanesi no cumplirá con el pago de intereses de su ON

Temas

Más Leídas

Seguí Leyendo