Wie man Shap-E für die 3D-Modellgenerierung einrichtet und verwendet: Ein vollständiger Leitfaden

Was ist Shape-E?

Shap-E, ein bahnbrechendes Modell, das von OpenAI entwickelt wurde, revolutioniert die Welt der 3D-Anwendungen, indem es eine Vielzahl von 3D-Objekten mit Text oder Bildern als Eingabe erzeugt. Diese innovative Technologie ist kostenlos auf GitHub zugänglich, sodass Benutzer sie nahtlos auf ihren lokalen Systemen ausführen können, ohne einen OpenAI API-Schlüssel oder eine Internetverbindung zu benötigen. Eine der bemerkenswertesten Eigenschaften von Shap-E ist seine Vielseitigkeit: Die erzeugten 3D-Objekte können in verschiedenen Softwareprogrammen wie Microsoft Paint 3D geöffnet oder in STL-Dateien für den 3D-Druck umgewandelt werden. Mit seinen einzigartigen Fähigkeiten definiert Shap-E die Landschaft der Text-zu-3D- und Bild-zu-3D-Generierung neu und eröffnet neue kreative Möglichkeiten für KI-Anwendungen.

Was wir tun werden

In diesem Tutorial werden wir lernen, wie man ein Notebook in Google Colab erstellt, das Shape-E-Modell von OpenAI einrichtet und nutzt, um 3D-Modelle zu generieren und sie mit Blender Studio anzupassen.

Voraussetzungen

• Laden Sie Blender Studio herunter, das mit Ihrem Betriebssystem kompatibel ist, von Blender.org.

Lasst uns anfangen!

Schritt 1 - Projekt einrichten

Beginnen Sie damit, ein neues Notebook in Google Colab zu erstellen:

1. Besuchen Sie Google Colab und erstellen Sie ein neues Notebook.

Schritt 2 - Repository klonen

Als Nächstes müssen wir das Shap-E-Repository in unser Google Colab-Notebook klonen:

1. Geben Sie das Verzeichnis ein und installieren Sie die erforderlichen Anforderungen.

Schritt 3 - Implementierung und Zubereitung der 3D-Modelle

1. Fügen Sie eine neue Code-Zelle hinzu. Importieren Sie alle erforderlichen Bibliotheken und klicken Sie auf Ausführen oder verwenden Sie CMD/CTRL + Enter, um auszuführen.
2. Fügen Sie eine weitere Code-Zelle hinzu, um das Gerät auf CUDA einzustellen, falls verfügbar; andernfalls stellen Sie es auf CPU ein. Führen Sie die Zelle aus.
3. Fügen Sie eine neue Code-Zelle hinzu, um die Modelle und Gewichte zu laden. Führen Sie die Zelle aus und haben Sie Geduld, da dieser Prozess einige Zeit in Anspruch nehmen kann - etwa 5 Minuten, abhängig von Ihrer Internetverbindung.
4. Fügen Sie eine weitere neue Code-Zelle hinzu, um die 3D-Modelle zu generieren. Durch Klicken auf Ausführen wird der Generierungsprozess ausgelöst, der etwa 22 Sekunden mit einer Batch-Größe von 1 dauert.
5. Fügen Sie eine weitere neue Code-Zelle für das Rendering der Modelle hinzu. Verwenden Sie render_mode = 'nerf' für Neural Radiance Fields (NeRF) oder ändern Sie es in render_mode = 'stf' für Style Transfer Function (STF). Führen Sie die Zelle aus und genießen Sie das Zuschauen der drehenden Modelle.
6. Speichern Sie schließlich die 3D-Modelle als .ply- und .obj-Dateien. Denken Sie daran, dass wir die .obj-Datei später zur Anpassung in Blender Studio verwenden werden. Laden Sie die .obj-Datei herunter, nachdem Sie die Dateien-Registerkarte aktualisiert haben.

Schritt 4 - Anpassung der 3D-Modelle in Blender Studio

1. Öffnen Sie Blender Studio und erstellen Sie ein neues Projekt. Löschen Sie den Standardwürfel.
2. Klicken Sie auf Datei > Importieren > Wavefront (.obj). Wählen Sie die .obj-Datei aus, die Sie von Google Colab heruntergeladen haben.
3. Das 3D-Modell sollte in der Mitte Ihres Blender-Arbeitsbereichs erscheinen und wunderbar aussehen! Sie können das Modell weiter anpassen; ich habe zum Beispiel den Belag pink und den Donut braun gefärbt, um dies zu demonstrieren.

Fazit

In diesem Tutorial haben wir gelernt, wie man das Shape-E-Modell mit Google Colab einrichtet und verwendet und wie man das generierte 3D-Modell in Blender Studio anpasst. Jetzt sind Sie an der Reihe, Ihre neu erworbenen Fähigkeiten zu erkunden und Ihre einzigartigen 3D-Kunstwerke zu schaffen. Während Sie experimentieren, können Sie auf Einschränkungen stoßen und möchten möglicherweise Ihre eigene Shap-E-App entwickeln.

Nehmen Sie an KI-Hackathons teil, um sich herauszufordern und möglicherweise aufregende Preise zu gewinnen! Treten Sie der Gemeinschaft der KI-Enthusiasten bei und erfahren Sie mehr über KI und ihr bemerkenswertes Potenzial.

Vielen Dank für das Lesen dieses Tutorials!