Meta a révélé Movie Gen, une IA capable de créer et d’éditer des vidéos avec de la musique et des effets sonores à l’aide d’invites textuelles. L’IA est à la pointe de la technologie dans ses capacités de génération vidéo et audio, avec des fonctionnalités et un réalisme qu’aucune autre IA ne peut égaler.
Movie Gen est un modèle d’IA de 30 milliards de paramètres capable de générer des clips HD de 16 secondes à partir d’invites de texte. L’IA a été pré-entraînée sur un milliard d’images et 100 millions de vidéos. Les vidéos ont été sélectionnées parmi une collection beaucoup plus vaste pour améliorer la qualité de l’entraînement. Movie Gen Audio est un modèle d’IA de 13 milliards de paramètres capable de générer des effets sonores et de la musique à 48 kHz à partir d’invites textuelles. L’IA a été pré-entraînée sur un million d’heures d’audio. Des commentaires humains et des exemples audio et vidéo de haute qualité ont été utilisés pour affiner l’IA.
À partir d’une photographie d’une personne et d’une description de cette personne dans une scène, l’IA peut générer une vidéo réaliste d’un acteur et d’une scène animés. L’IA a été formée à 22 types de mouvements et de positions de caméra, tels que le grand angle, l’inclinaison vers le haut et l’inclinaison à gauche, permettant aux cinéastes de spécifier l’emplacement et les mouvements de la caméra. la caméra virtuelle comme lors d’un tournage réel. Les cinéastes désireux de réaliser des films avec de vrais acteurs et décors peuvent utiliser un reflex numérique de premier ordre, comme le dernier Nikon Z6III disponible sur Amazon. Movie Gen est le seul à pouvoir éditer des vidéos avec précision et réalisme. Les autres logiciels d’IA ne peuvent actuellement pas créer de montages aussi performants que Movie Gen Edit.
Les invites textuelles peuvent également ajouter des sons professionnels aux clips, notamment des effets sonores et des partitions musicales. L’IA peut créer de la musique de plusieurs minutes, mais elle est limitée à des clips vidéo de 16 secondes en raison des énormes ressources informatiques qu’elle nécessite. L’audio suit les rythmes d’une scène et peut générer des sons hors écran, comme des oiseaux chantant dans une forêt, selon le contexte de la scène.
Meta travaille sur l’ajout de protections pour Movie Gen et publiera l’IA une fois qu’elle sera sûre de sa sécurité.
Related News :