Luma Labs annonce des avancées majeures dans la génération de vidéos en temps réel grâce à leur modèle Dream Machine. Cette technologie, attendue dans un an, pourrait transformer l'industrie cinématographique en offrant des perspectives et des animations plus cohérentes.

L'intelligence artificielle connaît une évolution rapide et touche divers domaines comme la création de vidéos. Jusqu'à présent, le modèle d'IA le plus connu pour ce type de contenu est Sora, développé par OpenAI. Ce dernier a par exemple récemment été utilisé pour réaliser un clip musical de 4 minutes pour l'artiste Washed Out. Cependant, générer une minute de vidéo avec ce programme nécessite environ une heure. Avec l'introduction de Dream Machine par Luma Labs, la génération en temps réel est désormais à portée de main.

Jiaming Song, le scientifique en chef de Luma Labs, a récemment discuté des capacités de son IA Dream Machine dans une interview sur X. Selon lui, cette technologie permettra bientôt de générer des vidéos en temps réel avec des perspectives qui changent et une cohérence visuelle entre les prises. Song prévoit que cette avancée sera possible d'ici un an, ce qui pourrait révolutionner le cinéma traditionnel où le contrôle sur les perspectives et la cohérence entre les scènes est essentiel.

L’IA Luma pourra générer des videos en temps réel dans un an

Jusqu'à présent, les modèles de génération de vidéos par IA fonctionnaient essentiellement comme des animateurs d'images en ajoutant des perspectives et des animations limitées. Dream Machine, en revanche, est capable de générer des vidéos avec des transitions de caméra fluides et de maintenir une compréhension contextuelle de la scène. Par exemple, elle peut animer un personnage tout en changeant de point de vue, une fonctionnalité qui était absente des modèles précédents.

Un autre aspect innovant de Dream Machine est sa capacité à comprendre et à recréer les interactions humaines et animales de manière réaliste. Cette compréhension avancée permet de produire des vidéos avec une cohérence de caractère et une physique précise. Malgré ces avancées, des défauts subsistent encore. C’est notamment le cas de la gestion des mouvements complexes et de la génération de clips plus longs. Cependant, ces limitations sont en cours de résolution grâce à la recherche continue et aux retours des utilisateurs.