Google acaba de poner en marcha un nuevo servicio llamado Lumiere destinado a la creación de vídeos cortos, videoclips. Se trata de una gran mejora en la síntesis de vídeo. Google ha dicho al respecto que crear movimiento realista, diverso y coherente ha sido un gran desafío para la generación de vídeo centrado en Inteligencia Artificial.
Con este servicio es posible convertir texto en vídeo, imagen en vídeo, y generación estilizada. Así, cualquier usuario puede crear un videoclip original escribiendo un mensaje de texto, proporcionando una imagen que sirva como objeto de origen o usando una imagen de referencia como estilo de destino.
¿Qué ofrece Lumiere?
Conseguiremos al utilizar Lumiere vídeos que muestran movimientos realistas, diversos y totalmente coherentes. Para ello se utiliza una tecnología Espacio-Tiempo U-Net que genera el vídeo en un único paso, sin que sean necesarios ajustes especiales al principio ni en la transición.
Se diferencia del sistema clásico en que no se emplea la síntesis de fotogramas clave, con ajustes temporales. Así, los responsables de esta herramienta nos dicen sobre la misma:
«Al implementar un muestreo descendente y ascendente tanto espacial como (lo más importante) temporal y aprovechar un modelo de difusión de texto a imagen previamente entrenado, nuestro modelo aprende a generar directamente un video de baja resolución y velocidad de cuadro completo procesándolo en múltiples escalas espacio-temporales«.
A tener en cuenta
Las capacidades adicionales de Lumiere incluyen la estilización de vídeo, que transforma un vídeo original, que sirve de fuente, en diferentes materiales. También proporciona una manera de animar una porción limitada y resaltada en una imagen fuente. La función Video Inpainting es capaz de cambiar partes individuales de un vídeo fuente, como los colores, los materiales o las texturas del vestido de una niña, por poner un ejemplo.
En Lumiere: A Space-Time Diffusion Model for Video Generation Google nos dice que puede generar vídeos de baja resolución, de 1024×1024 píxeles, que no duran más de 5 segundos. Son, como vemos, vídeos cortos, pero la mayoría de los usuarios los prefieren a los vídeos largos.
Conclusión
En el artículo citado en el párrafo anterior Google destaca un posible impacto social de la tecnología de Inteligencia Artificial generadora de vídeo como Lumiere. Afirma que el objetivo principal del modelo es permitir a los usuarios novatos generar contenido visual de nuevas formas creativas y flexibles.
Para llevar el proyecto a buen fin se deben desarrollar lo antes posible nuevas herramientas para detectar sesgos y casos de uso maliciosos de modelos generativos de vídeo para evitar estropear la diversión.
Acceso
Para conocer las características de este servicio hay que acceder a Lumiere.
