Ein vollständiger Leitfaden zum Einrichten und Verwenden von Shap-E für 3D-Modellierung

Was ist Shape-E?

Shape-E, ein bahnbrechendes Modell entwickelt von OpenAI, erzeugt eine Vielzahl von 3D-Objekten unter Verwendung von Text oder Bildern als Eingabe. Dieses innovative Modell verwandelt das Gebiet der 3D-Anwendungen mit seinem einzigartigen Ansatz. Am besten ist, dass Shape-E kostenlos auf GitHub verfügbar ist, was es Benutzern ermöglicht, es nahtlos auf ihren Computern auszuführen, ohne dass ein OpenAI API-Schlüssel oder eine Internetverbindung erforderlich ist.

Was Shape-E wirklich auszeichnet, ist seine Vielseitigkeit: Die generierten 3D-Objekte können in Software wie Microsoft Paint 3D geöffnet oder in STL-Dateien für den 3D-Druck umgewandelt werden. Dieses Modell definiert die Möglichkeiten der Text-zu-3D- und Bild-zu-3D-Generierung neu und öffnet eine Welt kreativer Möglichkeiten für KI-Anwendungen.

Was werden wir tun?

In diesem Tutorial lernen wir, wie man ein Notebook in Google Colab erstellt, das Shape-E-Modell von OpenAI einrichtet, um 3D-Modelle zu erzeugen, und sie mit Blender Studio anpasst.

Voraussetzungen

• Laden Sie Blender Studio von Blender.org herunter, das mit Ihrem Betriebssystem kompatibel ist.

Lasst uns anfangen!

Schritt 1 - Projekt einrichten

Beginnen Sie damit, ein neues Notebook in Google Colab zu erstellen.

Schritt 2 - Repository klonen

• Klonen Sie das Shape-E-Repository in Ihr Google Colab-Notebook.
• Wechseln Sie in das Verzeichnis und installieren Sie die Anforderungen.

Schritt 3 - Implementierung und Erzeugen der 3D-Modelle

Fügen Sie eine neue Codezelle hinzu und importieren Sie alle notwendigen Bibliotheken.

Führen Sie die Codezelle aus (CMD/CTRL + Enter), um sie auszuführen.

Fügen Sie eine weitere Codezelle hinzu, um das Gerät auf CUDA einzustellen, wenn verfügbar; andernfalls sollte es auf CPU eingestellt werden. Führen Sie die Codezelle aus.

Laden Sie als nächstes die Modelle und Gewichte in einer neuen Codezelle. Dieser Prozess kann je nach Internetverbindung einige Zeit in Anspruch nehmen, ungefähr 5 Minuten.

• Fügen Sie eine Codezelle hinzu, um die 3D-Modelle zu generieren, was je nach Ihrer batch_size einige Zeit in Anspruch nehmen wird. Beispielsweise dauerte die Generierung eines 3D-Modells mit batch_size=1 etwa 22 Sekunden.
• Fügen Sie eine Codezelle zum Rendern der 3D-Modelle mit render_mode = 'nerf' (Neural Radiance Fields) hinzu. Wenn Sie möchten, ändern Sie dies in render_mode = 'stf' für das Rendering mit Style Transfer Function.

Sobald die Modelle generiert wurden, fügen Sie eine neue Codezelle hinzu, um die 3D-Modelle als .ply und .obj-Dateien zu speichern. Beachten Sie, dass Sie später die .obj-Datei für die Anpassung in Blender Studio verwenden werden. Aktualisieren Sie die Dateien-Registerkarte in Colab, um example_mesh_0.obj herunterzuladen.

Schritt 4 - Anpassen der 3D-Modelle in Blender Studio

Öffnen Sie Blender Studio und erstellen Sie ein neues Projekt.

• Löschen Sie den Standardwürfel.
• Importieren Sie die .obj-Datei, indem Sie zu Datei > Importieren > Wavefront (.obj) navigieren und die heruntergeladene Datei auswählen.

Das 3D-Modell sollte nun in der Mitte Ihres Arbeitsbereichs erscheinen! Jetzt können Sie es nach Ihren Wünschen anpassen. Zum Demonstrationszweck könnten Sie das Topping pink und den Basis-Donut braun färben.

Fazit

In diesem Tutorial haben wir untersucht, wie man das Shape-E-Modell in Google Colab einrichtet und ein generiertes 3D-Modell mit Blender Studio anpasst. Jetzt sind Sie dran! Testen Sie die Fähigkeiten, die Sie gelernt haben, und beginnen Sie, Ihre eigenen 3D-Kunstwerke zu erstellen.

Während Sie experimentieren, sollten Sie die potenziellen Einschränkungen berücksichtigen. Vielleicht möchten Sie Shape-E mit Ihrer eigenen Anwendung erweitern? Warum nehmen Sie nicht an einem Hackathon für Künstliche Intelligenz teil und zeigen Ihre Kreativität, während Sie um großartige Preise konkurrieren! Treten Sie der Gemeinschaft von KI-Enthusiasten bei und erfahren Sie mehr darüber, was KI erreichen kann.

Vielen Dank für das Lesen dieses Tutorials!