Stabiles Diffusions-Tutorial: Meisterung der Eingabe-Inpainting

Was ist InPainting?

Bildinpainting ist ein hochmodernes Forschungsfeld im Bereich der KI, das sich darauf konzentriert, fehlende oder beschädigte Bereiche von Bildern mit kontextuell passenden Inhalten auszufüllen. Jüngste Fortschritte in der KI haben es ermöglicht, dass diese traditionelle Künstler in diesem Bereich übertreffen, was zu einer bemerkenswerten Verbesserung der Bildwiederherstellungs- und Bearbeitungsfähigkeiten führt.

Diese Technologie ist besonders nützlich für verschiedene Anwendungen wie:

Schaffung makelloser Werbung
Verbesserung zukünftiger Social-Media-Beiträge
Bearbeitung und Korrektur von KI-generierten Bildern
Reparatur alter Fotografien

Die am weitesten verbreitete Methode für Bildinpainting verwendet Convolutional Neural Networks (CNNs). Ein CNN ist speziell darauf ausgelegt, die komplexen Merkmale von Bildern zu lernen, wodurch es in der Lage ist, fehlende Inhalte auf visuell und semantisch kohärente Weise zu rekonstruieren.

Kurze Einführung in Stable Diffusion

Stable Diffusion ist ein innovatives latentes Text-zu-Bild-Diffusionsmodell, das sowohl stilisierte als auch fotorealistische Bilder erzeugt. Es ist auf einem bedeutenden Teil des LAION-5B-Datensatzes vortrainiert, was es jedem mit einer Grafikkarte im Consumer-Bereich ermöglicht, innerhalb von Sekunden beeindruckende Kunstwerke zu erstellen.

So führen Sie InPainting mit Stable Diffusion durch

Dieses Tutorial beschreibt, wie man promptbasiertes Inpainting mit Stable Diffusion und Clipseg ohne die Notwendigkeit erstellt, manuell eine Maske zu erstellen. Eine Maske ist in diesem Zusammenhang ein binäres Bild, das dem Modell mitteilt, welche Abschnitte des Originalbildes geändert werden müssen.

Um mit dem Inpainting fortzufahren, stellen Sie sicher, dass Sie die folgenden Anforderungen erfüllen:

Eine gute GPU (oder verwenden Sie Google Colab mit einer Tesla T4)

Die drei zwingend erforderlichen Eingaben für das Inpainting sind:

Eingabebild-URL
Prompt, der den Abschnitt angibt, der ersetzt werden soll
Ausgabe-Prompt

Zusätzlich gibt es Parameter, die angepasst werden können:

Maskenpräzision
Stabiler Diffusionsgeneratorstärke

Für Benutzer, die Stable Diffusion zum ersten Mal von Hugging Face aufrufen, ist es erforderlich, die Nutzungsbedingungen auf der Modellseite zu akzeptieren und ein Token aus dem Benutzerprofil zu erhalten.

Erste Schritte

Um den Inpainting-Prozess einzurichten:

Installieren Sie die Open-Source-Git-Erweiterung für die Versionierung großer Dateien.
Klone das Clipseg-Repository.
Installieren Sie das Diffusers-Paket von PyPi.
Installieren Sie zusätzliche erforderliche Helfer.
Installieren Sie CLIP mit pip.

Anmeldung bei Hugging Face

Führen Sie den folgenden Befehl aus, um sich anzumelden:

Nach dem Anmeldevorgang erhalten Sie eine Bestätigung des Erfolgs.

Laden des Modells

Laden Sie das Modell auf nicht strenge Weise (nur Decoder-Gewichte) oder von einer externen URL.

Verarbeitung des Eingabebildes

Um das Eingabebild zu konvertieren und anzuzeigen:

Laden Sie das Eingabebild.
Konvertieren Sie das Eingabebild in das erforderliche Format.
Zeigen Sie das Bild mit plt an.

Erstellen der Maske und InPainting

Definieren Sie einen Prompt für die Maske, prognostizieren Sie das Ergebnis und visualisieren Sie die Vorhersage:

Konvertieren Sie die Maske in ein binäres Bild und speichern Sie sie als PNG-Datei.
Laden Sie sowohl das Eingabebild als auch die erstellte Maske.
Führen Sie Inpainting mit dem ausgewählten Ausgabe-Prompt durch.

Je nach Ihrer Hardware kann dies einige Sekunden dauern. Für Google Colab drucken Sie einfach das modifizierte Bild aus.

Fazit

Mit diesen Schritten können Benutzer Inpainting nahtlos in ihre kreativen Prozesse integrieren, was zu einer verbesserten Bildqualität und ästhetischen Wert führt. Für weitere Erkundungen der Techniken und Ressourcen zur KI-Bildinpainting besuchen Sie bitte unsere Tutorials-Seite.

Vielen Dank für Ihr Interesse an diesem Tutorial! Diese Ressource wurde Ihnen von Fabian Stehle, Praktikant in der Datenwissenschaft bei New Native, zur Verfügung gestellt.

Weitere Ressourcen

InPainting Stable Diffusion (CPU) Demo