Microsoft Research Asia a présenté son modèle d’IA VASA-1 qui permet de créer une vidéo animée d’une personne basée sur une simple photo et un fragment audio.
Le modèle est proposé comme moyen de créer des avatars réalistes, tels que des messages vidéo. “Cela ouvre la porte à des rencontres en temps réel avec des avatars réalistes qui imitent les comportements conversationnels humains”, selon le rapport de recherche qui l’accompagne. Cela pourrait évidemment aussi être utilisé pour faire dire à n’importe qui ce que vous voulez.
Le framework VASA utilise l’apprentissage automatique pour analyser une image statique, puis créer des images vidéo réalistes à partir de celle-ci. Le modèle d’IA ne clone pas les voix, mais les anime en fonction du contenu audio existant. Dans un scénario possible, vous pourriez enregistrer un message audio, puis l’animer de manière réaliste pour un avatar. Le modèle d’IA ajouterait des gestes de tête, des tics et d’autres comportements réalistes.
Deepfakes
En soi, la création de deepfakes (hyper-fakes) n’est pas nouvelle. Toutefois, la plupart des technologies existantes reposent sur plusieurs photos ou sur des fichiers vidéo plus longs. Utiliser une simple photo pour y ajouter ensuite des émotions et d’autres comportements est cependant assez unique. Le modèle VASA-1 semble également se démarquer dans la synchronisation labiale et l’affichage des tics (génériques) et des mouvements de tête. Pour sa formation, Microsoft Research s’est appuyé sur l’ensemble de données VoxCeleb2, une série d’environ un million de clips vidéo de plus de six mille célébrités, extraits de diverses vidéos YouTube.
Le code du modèle ne sera pas publié pour le moment, en partie parce que VASA-1 pourrait faire l’objet d’abus. En combinaison avec une voix clonée, des personnes malveillantes pourraient l’utiliser pour falsifier des réunions vidéo et ainsi tenter d’extorquer de l’argent, par exemple. Le danger de la désinformation n’est jamais loin non plus.
