Tutoriel sur la Diffusion Stable : Créez des Vidéos Éblouissantes avec des Invites de Texte

Qu'est-ce que Stable Diffusion Deforum ?

Deforum Stable Diffusion est une version spécialisée de Stable Diffusion destinée à la génération de vidéos et de transitions à partir d'images produites par le modèle Stable Diffusion. En tant qu'outil open-source et orienté vers la communauté, il permet aux utilisateurs de tous niveaux de contribuer et de s'engager dans le projet. Dans ce tutoriel, nous vous guiderons tout au long du processus de création d'une vidéo musicale à partir de prompts textuels en utilisant l'outil Stable Diffusion Deforum, le tout dans un notebook Google Colab.

Configuration de votre compte pour la première fois

Ce guide vous aidera à établir un pipeline complet pour créer des vidéos avec Stable Diffusion Deforum. L'ensemble du processus se déroule en ligne, éliminant le besoin de configurations GPU avancées. Bien que des tutoriels futurs puissent couvrir des installations locales, l'objectif d'aujourd'hui est d'utiliser des ressources en ligne gratuitement, en comptant uniquement sur votre créativité et votre imagination.

Exigences pour ce tutoriel

• Compte Google avec au moins 6 Go d'espace sur Google Drive
• Compte Hugging Face
• Un ordinateur (aucune spécification élaborée requise)
• Accès Internet

Commencer avec Deforum sur Google Drive

Pour commencer, rendez-vous sur Deforum Stable Diffusion v0.5 et copiez-le dans votre Google Drive à l'aide du bouton fourni. Une fois copié, vous serez redirigé vers le notebook Google Colab pour les futures modifications. Assurez-vous de fermer les documents originaux que vous n'utiliserez plus.

Exécution de Deforum pour la première fois

Après avoir établi l'accès à l'interface Google Colab, l'étape suivante consiste à se connecter à un GPU externe. Google Colab offre des crédits gratuits ; si vous les épuisez, envisagez d'acheter des crédits supplémentaires ou attendez simplement un réapprovisionnement.

Accorder l'accès à Google Drive

Après vous être connecté au GPU NVIDIA (généralement un Tesla T4), il vous sera demandé d'accorder l'accès à votre Google Drive. Assurez-vous de lire attentivement les termes avant de consentir. L'approbation entraîne la création de deux dossiers sur votre Google Drive :

• ai/models – Ce dossier contient tous vos modèles Stable Diffusion.
• ai/stablediffusion – Ce dossier stocke toutes les images générées.

Configuration de l'environnement et définitions Python

Pour initier l'environnement, il suffit de faire tourner les codes fournis. Cela ne prend que quelques minutes pour que tout se connecte, préparant le terrain pour la création de votre vidéo.

Sélection et chargement des modèles

Vous devrez entrer votre nom d'utilisateur et votre jeton Hugging Face pour télécharger les modèles et les configurations. Ce processus prendra un certain temps.

Animation et création vidéo

Une fois la configuration terminée, vous pouvez commencer à personnaliser vos paramètres d'animation.

• Pour les **animations 2D**, ajustez uniquement l'angle et les paramètres de zoom sous les paramètres de mouvement.
• Pour les **animations 3D**, intégrez également les paramètres de translation et de rotation.

Le paramètre Max Frames contrôle le nombre de frames générées ; envisagez de générer 24 frames par seconde pour une expérience vidéo fluide. Si vous souhaitez une vidéo de 10 secondes, vous devrez générer 240 frames.

Compréhension des paramètres de mouvement

Voici un aperçu de certains paramètres clés à considérer :

• Angle : En partant d'une frame spécifique, définissez la rotation en degrés.
• Zoom : Ajustable pour créer des effets de zoom avant ou arrière.
• Noise Schedule : Pour introduire du grain pour la diversité, maintenez les valeurs autour de 0,02 à 0,03.
• Strength Schedule : Contrôle le degré de différence entre les frames.

Ingénierie des prompts

Créer des prompts efficaces est essentiel pour guider le modèle sur ce qu'il doit créer. Fournissez toujours des descriptions détaillées, y compris l'éclairage, l'heure de la journée et le style. Par exemple, pour un prompt changeant, formatez-le comme 131 : et le prompt.

Paramètres finaux

Avant de générer la vidéo :

• Définissez les paramètres d'image selon les dimensions vidéo choisies (par exemple, 448x706 pour 9:16).
• Choisissez une valeur de seed pour votre aléatoire.
• Steps – envisagez 50/60 pour un meilleur detailing.

Des images à la vidéo

Après avoir généré des images, rassemblez-les en une vidéo à l'aide d'un logiciel de montage comme DaVinci Resolve 18. Cette étape permet un meilleur contrôle et une personnalisation.

Conseils finaux pour réussir

Lorsqu'il s'agit d'audio en conjonction avec l'animation, synchronisez les frames avec la musique en ajustant dynamiquement les paramètres d'animation.

Pour améliorer la qualité des images manquantes, envisagez d'utiliser des outils comme chaiNNer.

Conclusion

Nous espérons que ce tutoriel vous permet d'exprimer votre créativité grâce à l'utilisation de Stable Diffusion et Deforum. Le potentiel de la technologie IA continue de croître, et en vous engageant dans des projets communautaires, vous pouvez contribuer à ce paysage en constante évolution.

Si vous avez apprécié ce tutoriel ou si vous avez des idées à partager sur vos créations, n'oubliez pas de nous taguer sur les réseaux sociaux et laissez libre cours à votre imagination. Ensemble, explorons le monde passionnant de l'art alimenté par l'IA !