Lumiere : la nouvelle IA de Google qui génère des vidéos réalistes

Si la génération d’images à partir de texte progresse à vitesse grand V, la génération de vidéos n’est pas en reste. Google a récemment présenté Lumiere, un modèle permettant de créer de toute pièce des vidéos de 5 secondes au format 1024×1024. Un site présentant ce projet de recherche a été mis en ligne, en plus d’une petite vidéo de démo.

La technologie de Google repose sur un modèle d’IA baptisée Space-Time-U-Net (STUNet) pouvant comprendre où se situent les éléments d’une vidéo et comment ceux-ci se déplacent et changent. Elle peut donc générer une première image avant de créer des mouvements en se basant sur les lieux approximatifs où se dirigent les éléments. Sa spécificité est de pouvoir générer une vidéo complète (du début à la fin) en une seule fois.

Génération d’une vidéo à partir de texte.

Bien que l’aspect artificiel reste présent, le résultat est globalement bluffant. La technologie peut également servir à animer une image préexistante, mais aussi à créer des vidéos en...