La vidéo assistée par intelligence artificielle continue de progresser et offre des possibilités toujours plus étonnantes, comme transformer une vidéo en dessin animé. Ou encore animer et faire parler une photographie.
L’applicationapplication Gen de Runway ML a été l’un des pionniers de la génération vidéo basée sur des invites. Et la version Gen-3 introduisait une fonction assez remarquable : la possibilité de transformer une vidéo en améliorant le personnage, les décors, en changeant leatmosphèreatmosphère…
Qu’est-ce que la piste ?
Runway ML est une véritable boîte à outils de services d’intelligence artificielle liés au traitement d’images. Générer des vidéos à partir d’une invite est évidemment l’outil de base. Mais il existe aussi un grand nombre de services efficaces : supprimer l’arrière-plan d’une vidéo, flouter un visage, générer des sous-titres, etc.
Runway n’a qu’une offre limitée en matière de gratuité. Vous avez droit à 125 crédits, ce qui correspond à environ 10 secondes de vidéo et donc, si ce service vous séduit, il faudra souscrire à une offre payante, soit au minimum 12 dollars par mois. Et si vous avez des besoins très importants, il est possible d’utiliser ces services de manière illimitée en payant 76$ par mois. Vous pouvez vous désinscrire à tout moment.
Vidéo à vidéo
Dans ce cas, le service qui nous intéressera est « Video to Video ». Autrement dit, transformer une vidéo selon un autre modèle.
Sur le site Web Runway, cliquez sur Commencer. Sélectionnez « Vidéo vers vidéo » et assurez-vous de sélectionner « Gen-3 ». Téléchargez ensuite une vidéo depuis votre Mac ou PC. Une fois la vidéo chargée, cliquez sur « Échantillons ». Vous verrez alors apparaître une série de modèles prédéfinis : 3D Cartoon, Claymation (animation de pâte à modeler), Dramatic, Glass (verre)… Vous pouvez sélectionner l’effet souhaité et cliquer sur « Appliquer ». Une invite est fournie et vous êtes libre de l’enrichir (en anglais). Vous pouvez également imaginer une invite totalement originale.
Cliquez ensuite sur « Générer ». La génération démarre et prend généralement plusieurs minutes. Attention, seules 10 secondes de vidéo peuvent être prises en compte.
Comme vous pouvez le constater, la vidéo convertie respecte fidèlement les mouvementsmouvements et même le look de l’original. Cependant, le décor et l’ambiance sont complètement transformés. Voici quelques exemples que nous avons réalisés.
Quelques exemples de transformations avec Gen 3. © D.Ichbiah avec Gen-3 de RunwayML
Transformation complète
Il existe une alternative dans Gen3. Dans la colonne de gauche, vous pouvez choisir « Act One », sélectionner votre clip (en le piochant depuis les Assets) et transformer complètement le caractère de votre vidéo en choisissant un des modèles proposés – les mouvements des lèvres seront respectés, mais la vidéo sera radicalement différent de l’original.
