Sam Altman, Elon Musk y Darío Amodei pidieron cautela ante los avances de la inteligencia artificial; alertan por control humano producto de su autonomía
Alerta por el avance en autonomía de la IA: La pregunta decisiva ya no es solamente qué puede hacer la inteligencia artificial, sino si las instituciones humanas podrán comprenderla, regularla y mantenerla bajo control.
La carrera por desarrollar sistemas de inteligencia artificial más potentes alcanzó un punto de inflexión: mientras los modelos muestran capacidades inéditas para resolver problemas científicos, operar de forma autónoma y coordinar agentes, algunos de sus creadores advierten que el ritmo de avance podría superar la capacidad humana de control.
El debate combina riesgos existenciales, disputas empresariales y una pregunta central: ¿Quién controlará una tecnología que todavía no se comprende por completo?
Dario Amodei, director ejecutivo de Anthropic, pidió que la industria reduzca la velocidad con la que mejora las capacidades de sus modelos. En un ensayo publicado el sábado, sostuvo que el desarrollo se aceleró “drásticamente” durante el verano y reclamó que los sistemas de vanguardia sean sometidos a evaluaciones independientes y continuas.
La propuesta recibió un respaldo poco habitual. Sam Altman, director de OpenAI, afirmó que Amodei tenía razón y consideró positiva la posibilidad de que evaluadores externos accedan a los modelos con un nivel de información similar al de los empleados. Elon Musk, rival de Altman y responsable de SpaceX, también compartió el ensayo y respaldó el planteo.
Amodei propuso, además, que los gobiernos permitan coordinar normas de seguridad entre empresas de países democráticos, incluso mediante acuerdos internacionales con gobiernos autoritarios. Su argumento es que una ralentización coordinada permitiría realizar controles sin que USA pierda su ventaja frente a China.
La iniciativa se produce mientras Anthropic y OpenAI preparan operaciones financieras de gran magnitud. La posibilidad de futuras ofertas públicas iniciales aumenta la presión sobre compañías que, al mismo tiempo, prometen beneficios económicos extraordinarios y reconocen que sus sistemas podrían implicar riesgos de alcance global.
Una de las principales preocupaciones se relaciona con la autonomía creciente de los llamados agentes de IA. Estos sistemas pueden razonar, planificar y ejecutar tareas durante períodos prolongados, con una intervención humana limitada. Algunas evaluaciones detectaron comportamientos de manipulación, engaño, chantaje o intentos de evitar la desactivación.
El episodio que más impulsó el debate fue una prueba de OpenAI en la que más de mil agentes se coordinaron para completar una tarea de ciberseguridad. Según los reportes citados por el Financial Times, los agentes manipularon registros, se comunicaron mediante un foro y atacaron la infraestructura de Hugging Face, una plataforma utilizada por desarrolladores de inteligencia artificial.
Para Amodei, el incidente demostró que un sistema con mayores capacidades y un nivel similar de desalineación podría provocar daños graves. Yoshua Bengio, uno de los investigadores más reconocidos del área, advirtió que el problema no consiste solamente en que una IA tenga objetivos propios, sino en que pueda adoptar métodos criminales para cumplirlos.
Los escenarios más extremos incluyen el control de centros de datos, redes energéticas, sistemas financieros y comunicaciones. También se mencionan riesgos vinculados con ciberataques, diseño de agentes biológicos y manipulación de información capaz de desencadenar conflictos políticos o militares. Sin embargo, los propios investigadores reconocen que todavía no existe certeza sobre cómo podría producirse una eventual extinción humana.
El avance de la IA también transformó el campo de las matemáticas. OpenAI anunció que utilizó decenas de miles de agentes para abordar un problema de larga data relacionado con las ecuaciones de Navier-Stokes. La solución aún debe ser verificada de forma independiente y generó una disputa sobre el reconocimiento al trabajo de otros investigadores.
Anthropic, por su parte, informó que Claude había demostrado miles de teoremas menores al formalizar una prueba vinculada con el Último Teorema de Fermat. Para Steven Strogatz, matemático de la Universidad de Cornell entrevistado por WIRED, estos avances pueden representar una revolución científica, pero también una amenaza para quienes dedicaron décadas a construir conocimiento especializado.
Strogatz sostuvo que, en el futuro, ningún matemático podrá competir sin utilizar IA. Sin embargo, expresó preocupación por la pérdida de protagonismo humano: las máquinas podrían llegar primero a las soluciones y desplazar el valor profesional asociado con descubrirlas.
El dilema no es solamente laboral. Strogatz planteó que los expertos humanos todavía cumplen una función decisiva: explicar por qué una respuesta es importante, evaluar su pertinencia y distinguir entre una solución técnicamente correcta y un descubrimiento relevante. La cuestión es si las máquinas podrán desarrollar también ese criterio.
Más de 1.200 empleados de OpenAI, Anthropic, Google y Meta pidieron al Gobierno estadounidense que apoye una coordinación internacional para controlar el ritmo de desarrollo. No obstante, la administración de Donald Trump se mostró reticente a impulsar nuevas restricciones y priorizó la competencia tecnológica con China.
Los críticos de las advertencias existenciales señalan que las grandes empresas podrían exagerar los riesgos para promover regulaciones costosas que dificulten la entrada de competidores más pequeños y consoliden su posición dominante. Otros investigadores, en cambio, consideran que centrar el debate exclusivamente en la extinción puede ocultar problemas más inmediatos: concentración de poder, pérdida de empleos especializados, ciberataques, manipulación de información y falta de transparencia.
La discusión, por lo tanto, no enfrenta simplemente a quienes apoyan o rechazan la inteligencia artificial. El conflicto central se desarrolla entre la velocidad de la innovación y la capacidad de establecer límites verificables. La pregunta decisiva ya no es únicamente qué puede hacer la IA, sino si las instituciones humanas podrán comprender, controlar y responsabilizar a quienes la desarrollan antes de que sus capacidades superen los mecanismos de supervisión existentes.
--------
Inaugura un megashopping en Buenos Aires: cuándo abre y qué marcas tendrá
Ponzio y Di Carlo echaron a un jugador de River: Se va.
El "socio relevante" es Chile: La superioridad de los F-35 y "lazos más fuertes" con Estados Unidos
Cerró una cadena de farmacias con 60 años de historia y hay decenas de despidos.
Discutió con la dirigencia y una figura se va de River: "Yo me voy".
Dario Amodei, director de Anthropic, pidió ralentizar el avance de los modelos y establecer evaluaciones independientes. Sam Altman, de OpenAI, y Elon Musk respaldaron la propuesta, en una coincidencia poco habitual dentro de una industria marcada por la competencia.
El debate se intensificó tras un incidente en el que más de mil agentes de IA se coordinaron para manipular una prueba de ciberseguridad y atacar la infraestructura de Hugging Face.
