Tutoriel Stable Diffusion : Maîtriser l'Inpainting de Prompts

Qu'est-ce que l'InPainting ?

L'inpainting d'image est un domaine de recherche à la pointe de l'IA qui se concentre sur le remplissage des zones manquantes ou corrompues des images avec un contenu contextuellement approprié. Les récents progrès de l'IA ont permis de surpasser les artistes traditionnels dans ce domaine, entraînant une amélioration remarquable des capacités de restauration et d'édition d'images.

Cette technologie est particulièrement utile pour diverses applications telles que :

• Création de publicités impeccables
• Amélioration des futurs posts sur les réseaux sociaux
• Édition et correction d'images générées par l'IA
• Réparation de vieilles photographies

La méthode la plus répandue pour l'inpainting d'image utilise des Réseaux de Neurones Convolutifs (CNN). Un CNN est spécifiquement conçu pour apprendre les caractéristiques complexes des images, lui permettant de reconstruire le contenu manquant de manière visuellement et sémantiquement cohérente.

Brève Introduction à la Diffusion Stable

La Diffusion Stable est un modèle de diffusion latent texte-à-image innovant qui génère à la fois des images stylisées et photoréalistes. Il est pré-entraîné sur un sous-ensemble significatif du jeu de données LAION-5B, ce qui le rend accessible à quiconque possédant une carte graphique de consommation pour créer des œuvres d'art remarquables en quelques secondes.

Comment faire de l'InPainting avec la Diffusion Stable

Ce tutoriel décrit comment réaliser l'inpainting basé sur une invite en utilisant la Diffusion Stable et Clipseg sans avoir besoin de créer manuellement un masque. Un masque, dans ce contexte, est une image binaire qui informe le modèle quelles sections de l'image originale doivent être modifiées.

Pour procéder à l'inpainting, assurez-vous de respecter les conditions suivantes :

• Une bonne GPU (ou utilisez Google Colab avec un Tesla T4)

Les trois entrées obligatoires requises pour l'inpainting sont :

1. URL de l'image d'entrée
2. Invite précisant la section à remplacer
3. Invite de sortie

De plus, il existe des paramètres qui peuvent être ajustés :

• Précision du masque
• Force de génération de la Diffusion Stable

Pour les utilisateurs accédant à la Diffusion Stable depuis Hugging Face pour la première fois, l'acceptation des conditions de service sur la page du modèle et l'obtention d'un Token depuis le profil utilisateur sont nécessaires.

Commencer

Pour mettre en place le processus d'inpainting :

1. Installez l'extension Git open-source pour la gestion de version de fichiers volumineux.
2. Clonez le dépôt Clipseg.
3. Installez le package diffusers depuis PyPi.
4. Installez des aides supplémentaires requises.
5. Installez CLIP en utilisant pip.

Connexion avec Hugging Face

Exécutez la commande suivante pour vous connecter :

Après le processus de connexion, vous recevrez une confirmation de succès.

Chargement du Modèle

Chargez le modèle de manière non stricte (poids du décodeur uniquement) ou à partir d'une URL externe.

Traitement de l'Image d'Entrée

Pour convertir et afficher l'image d'entrée :

1. Chargez l'image d'entrée.
2. Convertissez l'image d'entrée au format requis.
3. Affichez l'image en utilisant plt.

Création du Masque et InPainting

Définissez une invite pour le masque, prédisez le résultat et visualisez la prédiction :

1. Convertissez le masque en image binaire et enregistrez-le sous forme de fichier PNG.
2. Chargez à la fois l'image d'entrée et le masque créé.
3. Effectuez l'inpainting en utilisant l'invite de sortie sélectionnée.

En fonction de votre matériel, cela peut prendre quelques secondes. Pour Google Colab, imprimez simplement l'image modifiée.

Conclusion

Avec ces étapes, les utilisateurs peuvent intégrer sans effort l'inpainting dans leurs processus créatifs, ce qui améliore la qualité des images et leur valeur esthétique. Pour explorer davantage les techniques et ressources d'inpainting d'image par IA, veuillez visiter notre page de tutoriel.

Merci de vous être engagé avec ce tutoriel ! Cette ressource vous a été apportée par Fabian Stehle, stagiaire en science des données chez New Native.

Plus de Ressources

• Démonstration de l'InPainting Stable Diffusion (CPU)