OpenAI quiere lanzar una herramienta para detectar textos generados por ChatGPT

Ojo con OpenAI y su detector.

En el vertiginoso mundo de la inteligencia artificial, OpenAI está considerando dar un paso audaz que podría cambiar las reglas del juego. La empresa desarrolladora de ChatGPT está evaluando lanzar una herramienta capaz de detectar textos generados por su propio chatbot, según informó The Wall Street Journal. Sin embargo, esta decisión no está exenta de controversias y debates internos.

image.png

El método en cuestión implica la implementación de una "marca de agua" invisible en los textos producidos por ChatGPT.

Esta técnica permitiría identificar el origen de los escritos mediante pequeñas alteraciones en la selección de palabras, creando así una especie de huella digital única.

A diferencia de otros intentos previos de detección de textos generados por IA, que resultaron mayormente ineficaces, este enfoque se centraría exclusivamente en los contenidos de ChatGPT.

Quizás también te interese leer: La Inteligencia Artificial simplifica, pero el rol humano sigue siendo clave

Dilemas éticos y técnicos con OpenAI

OpenAI reconoce que esta tecnología es "técnicamente prometedora", pero admite que existen " riesgos importantes" que deben ser cuidadosamente evaluados. Entre las preocupaciones principales se encuentran:

La posibilidad de evasión por parte de actores malintencionados.
El potencial impacto negativo en grupos no angloparlantes.
La estigmatización del uso de la IA como herramienta de escritura.

image.png

Un portavoz de la empresa declaró a TechCrunch que están adoptando un "enfoque deliberado" debido a " las complejidades involucradas y su probable impacto en el ecosistema más amplio más allá de OpenAI".

Desafíos y limitaciones

Si bien las pruebas iniciales muestran que la marca de agua es "muy precisa e incluso efectiva contra la manipulación localizada", como la paráfrasis, también se descubrieron vulnerabilidades. La técnica es menos robusta frente a manipulaciones globales, como:

El uso de sistemas de traducción
La reformulación con otro modelo generativo
La inserción y posterior eliminación de caracteres especiales entre palabras
Estos hallazgos llevaron a OpenAI a concluir que el método podría ser "trivial y difícil de eludir por parte de actores maliciosos".

image.png

El debate sobre el lanzamiento de esta herramienta pone de manifiesto los complejos desafíos éticos y técnicos que enfrenta la industria de la IA. Mientras OpenAI busca equilibrar la innovación con la responsabilidad, el mundo observa atentamente cómo se desarrollará esta historia en los próximos meses.

------------------------------------------------------------