Tutoriel sur la diffusion stable : créer des images éblouissantes à partir de croquis

Créer des œuvres d'art époustouflantes générées par IA avec Stable Diffusion : Un guide complet

Dans ce tutoriel, nous allons explorer comment créer un pipeline de diffuseurs personnalisé pour la génération d'images par images guidée par le texte en utilisant le modèle Stable Diffusion. Avec la bibliothèque Diffusers de Hugging Face, vous apprendrez à transformer de simples croquis en magnifiques œuvres d'art générées par IA.

Introduction à Stable Diffusion

Stable Diffusion est un remarquable modèle de diffusion latent texte-à-image développé par une collaboration de chercheurs et d'ingénieurs de CompVis, Stability AI et LAION. Ce modèle innovant est entraîné sur des images de 512x512 provenant de la base de données LAION-5B. En utilisant un encodeur de texte CLIP ViT-L/14 gelé, Stable Diffusion conditionne efficacement ses sorties en fonction des invites textuelles.

Avec une architecture comprenant un UNet de 860M et un encodeur de texte de 123M, il est relativement léger et peut fonctionner sur la plupart des GPU. Si vous souhaitez en savoir plus sur les fondamentaux de Stable Diffusion, consultez ici.

Commencer

Avant de commencer le tutoriel pratique, vous devez accepter la licence du modèle avant de télécharger ou d'utiliser les poids du modèle. Pour notre tutoriel, nous travaillerons avec la version du modèle v1-4. Pour continuer, visitez sa carte, lisez les conditions de licence et cochez la case d'accord.

Il est essentiel d'être un utilisateur enregistré sur le Hugging Face Hub et d'utiliser un token d'accès pour que le code fonctionne correctement. Pour plus de détails sur l'acquisition de tokens d'accès, consultez la section pertinente dans la documentation.

Authentification avec Hugging Face

Ensuite, nous allons nous connecter à Hugging Face. Vous pouvez y parvenir en utilisant la fonction notebook_login. Une fois authentifié, nous pouvons plonger dans le pipeline Image2Image.

Chargement du Pipeline

Après vous être connecté avec succès, les étapes suivantes consistent à :

• Télécharger une image initiale et la prétraiter pour le pipeline.
• Définir des invites pour notre génération d'œuvres d'art.
• Exécuter le pipeline avec l'image préparée.

Paramètres à peaufiner pour votre œuvre d'art

Lors de la définition des paramètres, un aspect crucial à considérer est la valeur de force, qui varie entre 0,0 et 1,0. Ce paramètre contrôle la quantité de bruit intégrée dans l'image d'entrée. Une valeur proche de 1,0 introduit des variations significatives, tandis qu'une valeur plus basse produit des images plus étroitement alignées avec l'entrée originale.

Pour visualiser la sortie dans Google Colab, vous pouvez simplement imprimer l'image en tapant :

print(image)

Dernières réflexions

Félicitations ! Vous venez d'apprendre à créer des œuvres d'art époustouflantes générées par IA à partir d'un simple croquis en utilisant le modèle Stable Diffusion. De plus, n'hésitez pas à expérimenter avec différentes valeurs de paramètres pour découvrir ce qui fonctionne le mieux pour votre cas d'utilisation spécifique.

Si vous avez apprécié ce tutoriel et que vous souhaitez explorer d'autres insights, continuez à lire sur notre page de tutoriels. Un grand merci à Fabian Stehle, stagiaire en science des données chez New Native, pour avoir compilé ce guide éclairant.

Ressources supplémentaires

• Documentation des diffuseurs Hugging Face
• LAION - Informations sur le dataset
• Dépôt GitHub de Stable Diffusion

En utilisant les directives mentionnées ci-dessus, vous pouvez améliorer votre expérience tout en explorant le monde passionnant de l'art généré par IA !