Stabiler Diffusion Tutorial: Erstellen Sie beeindruckende Videos mit Textaufforderungen

Was ist Stable Diffusion Deforum?

Deforum Stable Diffusion ist eine spezialisierte Version von Stable Diffusion, die darauf abzielt, Videos und Übergänge aus Bildern zu generieren, die vom Stable Diffusion-Modell erstellt wurden. Als Open-Source- und gemeinschaftsgetriebenes Tool ermöglicht es Benutzern aller Fähigkeitsstufen, sich an dem Projekt zu beteiligen und mit ihm zu interagieren. In diesem Tutorial führen wir Sie durch den Prozess der Erstellung eines Musikvideos aus Textaufforderungen mit dem Stable Diffusion Deforum-Tool, alles in einem Google Colab-Notebook.

Einrichtung Ihres Kontos zum ersten Mal

Dieser Leitfaden hilft Ihnen, eine vollständige Pipeline zum Erstellen von Videos mit Stable Diffusion Deforum einzurichten. Der gesamte Prozess läuft online und beseitigt die Notwendigkeit für fortgeschrittene GPU-Setups. Während zukünftige Tutorials lokale Installationen behandeln können, konzentriert sich unser heutiges Tutorial auf die Nutzung von Online-Ressourcen kostenlos, wobei Sie allein auf Ihre Kreativität und Vorstellungskraft angewiesen sind.

Anforderungen für dieses Tutorial

• Google-Konto mit mindestens 6 GB Speicherplatz auf Google Drive
• Hugging Face-Konto
• Ein Computer (keine aufwendigen Spezifikationen erforderlich)
• Internet Zugang

Beginn mit Deforum auf Google Drive

Um zu beginnen, navigieren Sie zu Deforum Stable Diffusion v0.5 und kopieren Sie es mit der bereitgestellten Schaltfläche in Ihr Google Drive. Nach dem Kopieren werden Sie zum Google Colab-Notebook für zukünftige Bearbeitungen weitergeleitet. Stellen Sie sicher, dass Sie die ursprünglichen Dokumente schließen, die Sie nicht mehr verwenden werden.

Deforum zum ersten Mal ausführen

Nachdem Sie Zugriff auf die Google Colab-Oberfläche hergestellt haben, besteht der nächste Schritt darin, sich mit einer externen GPU zu verbinden. Google Colab bietet kostenlose Credits; wenn Sie diese aufbrauchen, sollten Sie in Betracht ziehen, zusätzliche Credits zu kaufen oder einfach auf eine Auffrischung zu warten.

Gewähren des Zugriffs auf Google Drive

Nachdem Sie sich mit der NVIDIA GPU (typischerweise eine Tesla T4) verbunden haben, werden Sie aufgefordert, den Zugriff auf Ihr Google Drive zu gewähren. Stellen Sie sicher, dass Sie die Bedingungen sorgfältig lesen, bevor Sie zustimmen. Die Genehmigung führt zur Erstellung von zwei Ordnern in Ihrem Google Drive:

• ai/models – Dieser Ordner enthält alle Ihre Stable Diffusion-Modelle.
• ai/stablediffusion – Dieser Ordner speichert alle Ausgabebilder.

Einrichtung der Umgebung und Python-Definitionen

Um die Umgebung zu starten, führen Sie einfach die bereitgestellten Codes aus. Es dauert nur ein paar Minuten, bis alles verbunden ist, um die Bühne für Ihre Videoproduktion zu bereiten.

Auswählen und Laden von Modellen

Sie müssen Ihren Hugging Face-Benutzernamen und -Token eingeben, um Modelle und Konfigurationen herunterzuladen. Dieser Prozess kann etwas Zeit in Anspruch nehmen.

Animation und Videoproduktion

Sobald die Einrichtung abgeschlossen ist, können Sie beginnen, Ihre Animationseinstellungen anzupassen.

• Für **2D-Animationen** passen Sie nur die Winkel- und Zoom-Einstellungen unter den Bewegungsparametern an.
• Für **3D-Animationen** fügen Sie auch die Übersetzungs- und Rotationsparameter hinzu.

Die Einstellung Max Frames steuert die Anzahl der generierten Frames; ziehen Sie in Betracht, 24 Frames pro Sekunde für ein flüssiges Videoerlebnis zu generieren. Wenn Sie ein 10-Sekunden-Video wünschen, würden Sie 240 Frames generieren.

Verständnis der Bewegungsparameter

Hier ist eine Übersicht über einige wichtige Parameter, die Sie berücksichtigen sollten:

• Winkel: Beginnen Sie mit einem bestimmten Frame und stellen Sie die Drehung in Grad ein.
• Zoom: Anpassbar, um Effekte des Herein- oder Herauszoomen zu erzeugen.
• Rauschplan: Um Vielfalt einzuführen, halten Sie die Werte um 0,02 bis 0,03.
• Stärkenplan: Steuert den Grad des Unterschieds zwischen den Frames.

Prompt Engineering

Effektive Eingabeaufforderungen zu erstellen, ist entscheidend, um das Modell zu leiten, was es erstellen soll. Geben Sie immer detaillierte Beschreibungen an, einschließlich Beleuchtung, Tageszeit und Stil. Zum Beispiel für eine wechselnde Aufforderung formatieren Sie als 131: und die Aufforderung.

Letzte Einstellungen

Bevor Sie das Video generieren:

• Stellen Sie die Bild Einstellungen entsprechend den von Ihnen gewählten Videoabmessungen ein (z. B. 448x706 für 9:16).
• Wählen Sie einen Seed-Wert für Ihre Zufälligkeit.
• Schritte – ziehen Sie 50/60 für eine bessere Detailgenauigkeit in Betracht.

Von Bildern zu Video

Nachdem Sie Bilder generiert haben, fassen Sie sie in einem Video zusammen, indem Sie Bearbeitungssoftware wie DaVinci Resolve 18 verwenden. Dieser Schritt ermöglicht mehr Kontrolle und Anpassung.

Abschließende Tipps für den Erfolg

Wenn Sie mit Audio in Verbindung mit der Animation umgehen, synchronisieren Sie die Frames dynamisch mit der Musik, indem Sie die Animationseinstellungen anpassen.

Um Bilder, die an Qualität fehlen, zu vergrößern, ziehen Sie die Verwendung von Tools wie chaiNNer in Betracht.

Fazit

Wir hoffen, dass dieses Tutorial Ihre Kreativität mit der Verwendung von Stable Diffusion und Deforum stärkt. Das Potenzial der KI-Technologie wächst weiterhin, und durch die Beteiligung an Gemeinschaftsprojekten können Sie zu dieser sich ständig weiterentwickelnden Landschaft beitragen.

Wenn Ihnen dieses Tutorial gefallen hat oder Sie Einblicke in Ihre Kreationen teilen möchten, markieren Sie uns auf sozialen Medien und lassen Sie Ihre Vorstellungskraft sprießen. Lassen Sie uns gemeinsam die aufregende Welt der KI-gesteuerten Kunst erkunden!