Le dernier projet d'intelligence artificielle issu des laboratoires de recherche d'Adobe vise à débarrasser définitivement le monde des vidéos floues et pixellisées. Voici ce que l’on sait à son sujet.

Adobe vient de lever le voile sur VideoGigaGAN, un nouveau modèle d'intelligence artificielle qui s'appuie sur des réseaux génératifs adverses avancés pour améliorer les séquences en basse résolution en multipliant par 8 leur qualité d'origine.

Dans un document de recherche publié cette semaine, les scientifiques d'Adobe affirment que VideoGigaGAN produit des résultats supérieurs aux techniques existantes de super résolution vidéo (VSR). En exploitant la puissance de l'IA générative, il peut produire des vidéos 1080p ou 4K d'une netteté et d'une précision impressionnantes à partir d'un matériel source pixellisé, sans introduire les artefacts d'upscaling habituels tels que le scintillement ou la distorsion.

Lire également – OpenAI lance Sora, une IA qui peut générer des vidéos ultra réalistes

Adobe veut résoudre le problème des vidéos floues

La recette secrète des prouesses de VideoGigaGAN ? Ses réseaux neuronaux ont été spécifiquement formés pour générer des interpolations d'images cohérentes dans le temps à partir d'entrées de moindre qualité. Dans les exemples d'Adobe comparant VideoGigaGAN à d'autres méthodes VSR, des textures plus fines et des bords plus nets sont clairement visibles dans les vidéos mises à l'échelle par l'IA. Certains gros plans révèlent même des détails artificiels tels que des rides et des pores qui n'existaient pas dans la source floue d'origine.

Bien sûr, la fabrication complète de vidéos en ultra haute définition à partir d'images de surveillance ou de téléphones portables en basse résolution soulève des questions épineuses concernant les “deepfakes” et la prolifération plus large des médias générés par l'IA. Mais Adobe insiste sur le fait que les résultats de VideoGigaGAN semblent bien plus photoréalistes que les précédentes expériences GAN de la société, tout en évitant les résultats étranges qui pouvaient être générés par les précédentes IA.

Bien qu'il ne s'agisse pour l'instant que d'un projet de recherche, les fonctionnalités d'édition vidéo de VideoGigaGAN, destinées aux vidéastes, devraient être à terme déployées dans les applications phares d'Adobe Creative Cloud, telles que Premiere Pro. La possibilité de transformer instantanément des séquences basse résolution obsolètes en une qualité HD ou même 4K pourrait changer la donne pour les monteurs vidéo et les créateurs de contenu.