Insólito: Con Nvidia crearon un episodio de Tom y Jerry 100% con inteligencia artificial

Tom y Jerry en modo IA.

Un equipo de investigadores de NVIDIA, la tercera empresa más grande del mundo por capitalización de mercado, entrenaron un sistema de inteligencia artificial con 81 cortometrajes clásicos de Tom y Jerry para crear secuencias animadas de hasta un minuto de duración. ChatGPT no puede lograr aún nada como esto.

image.png

Quizás te interese leer: Mark Zuckerberg lanzó Llama 4, la Inteligencia Artificial con que Meta quiere enterrar a sus rivales

La tecnología detrás del experimento con inteligencia artificial de Nvidia

El objetivo principal del experimento fue generar videos de IA más largos y consistentes, superando el desafío de la "auto-atención", un principio técnico que actualmente hace que la generación de videos largos con IA sea computacionalmente prohibitiva. Las APIs públicas actuales para generación de videos con IA todavía están limitadas en duración: OpenAI con Sora alcanza un máximo de 20 segundos, Meta con Moviegen llega a 16 segundos, Luma con Ray 2 produce solo 10 segundos y Google con Veo 2 apenas 8 segundos.

Embed - AI Tom & Jerry

El equipo de investigación, que incluye a Jiarui Xu, Shihao Han, Ka Chun Cheung, Jan Kautz, Yejin Choi, Yu Sun y Xialong Wang de NVIDIA, explicó su metodología en un documento publicado recientemente. En su investigación afirmaron: "Los videos cuentan historias complejas con escenas coherentes compuestas de movimiento dinámico. Cada video es producido directamente por el modelo en una sola toma, sin edición, unión o postprocesamiento. Cada historia es completamente nueva."

Es importante destacar que en su documento, NVIDIA no menciona haber recibido permiso de Warner Bros. Discovery para usar sus personajes y películas con derechos de autor para este experimento.

Resultados impresionantes pero con limitaciones evidentes

Uno de los videos creados muestra a Tom trabajando como empleado de oficina en el World Trade Center. A primera vista, parece impresionante, pero al observarlo durante unos segundos, rápidamente se notan problemas: actuaciones ilógicas, objetos extraños, conexiones inconsistentes y solo una vaga sugerencia de narrativa coherente.

Embed - AI Tom & Jerry 2

Para conseguir estos resultados, los investigadores tuvieron que utilizar indicaciones de texto extremadamente detalladas. Por ejemplo, para generar el video mencionado, debieron proporcionar un resumen completo de la historia, incluyendo descripciones precisas de los personajes, ubicaciones y acciones.

Aunque este experimento representa un avance significativo y debe ser evaluado en el contexto de los objetivos que se propuso alcanzar, también demuestra que la IA todavía está lejos de poder generar por sí sola una película animada completa con la calidad y coherencia a la que estamos acostumbrados.

-----------------------------------------------------------