OpenAI se prepara para evitar una catástrofe nuclear por IA

OpenAI.

OpenAI, la empresa de investigación en inteligencia artificial fundada por personalidades como Elon Musk y Sam Altman, anunció hoy que ha creado un nuevo equipo para evaluar y probar modelos de IA para proteger contra lo que describe como “ riesgos catastróficos ”.

image.png

El equipo, llamado Preparedness (Preparación), estará dirigido por Aleksander Madry, director del Centro de Aprendizaje Automático Implementable del MIT. .

Las principales responsabilidades de preparación serán rastrear, pronosticar y proteger contra los peligros de los futuros sistemas de IA, que van desde su capacidad para persuadir y engañar a los humanos (como en el phishing ataques) a sus capacidades de generación de código malicioso .

¿Qué riesgos considera OpenAI?

Algunas de las categorías de riesgo que la preparación debe estudiar parecen más… descabelladas que otras. Por ejemplo, en una publicación de blog, OpenAI enumera las amenazas “químicas, biológicas, radiológicas y nucleares ” como áreas de máxima preocupación en lo que respecta a los modelos de IA .

El director ejecutivo de OpenAI, Sam Altman, es un destacado agorero de la IA, que a menudo expresos temores, ya sea por razones ópticas o por convicción personal, de que la IA “ pueda conducir a la extinción humana ”.

image.png

La compañía también está abierta a estudiar áreas “menos obvias” (y más fundamentadas) de riesgo de la IA, dice. Para coincidir con el lanzamiento del equipo de Preparación, OpenAI está solicitando ideas para estudios de riesgo de la comunidad, con un premio de $25,000 y un trabajo en Preparación en juego para las diez mejores presentaciones .

“Imagínate que te dimos acceso sin restricciones a los modelos Whisper (transcripción), Voice (texto a voz), GPT-4V y DALLE·3 de OpenAI, y que fueras un actor malicioso ”, dice una de las preguntas en la entrada del concurso.

“Consideremos el uso indebido del modelo más singular, aunque probable y potencialmente catastrófico ” .

También podés leer, por si te interesa el tema IA, la siguiente nota: El 80% de los proyectos de IA fracasan por este motivo

Una política basada en riesgos

OpenAI dice que el equipo de Preparación también se encargará de formular una “política de desarrollo basada en riesgos ”, que detallará el enfoque de OpenAI para crear evaluaciones de modelos de IA y herramientas de monitoreo, las acciones de mitigación de riesgos de la compañía y su estructura de gobernanza para la supervisión del proceso completo del modelo.

image.png

Está destinado a complementar otros trabajos de OpenAI en la disciplina de seguridad de la IA, dice la compañía. Centrarse en las fases previas y posteriores a la implementación del modelo.

Pero, francamente, anunciar que OpenAI podría dedicar recursos a estudiar escenarios sacados directamente de novelas distópicas de ciencia ficción es un caso más de lo que este escritor esperaba.

---------------------------------