Recientemente Google ha presentado Lumiere, un modelo de difusión de texto a vídeo diseñado para sintetizar vídeos, creando movimientos realistas, diversos y al mismo tiempo coherentes. Vale la pena señalar que a diferencia de los modelos existentes, Lumiere logra generar vídeos completos en una sola pasada consistente, todo esto, gracias a su vanguardista arquitectura espacio-temporal U-Net. Aquí en TECHcetera le comentaremos todo lo que debe conocer sobre este novedoso modelo de difusión de texto a vídeo.
Estos son los datos más resaltantes sobre Lumiere
Se encuentra diseñado para capacitar a los usuarios para crear contenido visual de forma creativa, permitiendo la generación de videoclips realistas o surrealistas de 5 cinco segundos de duración.
Tiene la capacidad de poder animar imágenes fijas, así como responder a indicaciones de texto en lenguaje natural y así mismo, realizar pintura de vídeo avanzada. Como mencionamos al inicio de este post, está construido sobre una arquitectura U-Net espacio-temporal y un modelo de texto a imagen (T2I) que opera en el espacio de píxeles, lo que demanda un módulo de superresolución espacial para la producción de imágenes de alta resolución.
Además de todo esto, Lumiere proporciona generación estilizada, lo que le permite generar vídeos en el estilo de destino utilizando una única imagen de referencia. Esto se logra aprovechando los pesos del modelo de texto a imagen ajustados. El modelo tiene la posibilidad de animar imágenes fijas o partes de ellas, completando áreas faltantes con resultados de alta calidad.
A pesar de sus limitaciones, como no estar diseñado para generar videos con múltiples tomas o escenas que impliquen movimientos diversos, el novedoso Lumiere representa un avance realmente significativo en la generación de Inteligencia Artificial (IA) de texto a video. Es de resaltar que, el proyecto es actualmente un proyecto de investigación y su lanzamiento para un uso más amplio puede estar sujeto a abordar diversas consideraciones de política.
Hoy por hoy, OpenAI no tiene un modelo de generación de vídeo disponible públicamente en su API. Sin embargo, están investigando y desarrollando activamente tecnología en esta área, y hay indicios de que algo podría estar en proceso con el lanzamiento de GPT-5.
