E Tutorial: Wie man Shape-E für die 3D-Modellgenerierung einrichtet und verwendet

Was ist Shape-E?

Shap-E ist ein innovatives Modell, das von OpenAI entwickelt wurde und die Generierung von 3D-Objekten mithilfe von Text- oder Bildeingaben revolutioniert. Diese transformative Technologie eröffnet neue Möglichkeiten im Bereich der 3D-Anwendungen, indem sie es Benutzern ermöglicht, einzigartige Modelle einfach zu erstellen. Besonders ansprechend ist, dass Shap-E kostenlos auf GitHub verfügbar ist, was bedeutet, dass Benutzer es auf ihren eigenen Computern ausführen können, ohne einen OpenAI-API-Schlüssel oder eine Internetverbindung zu benötigen. Seine Vielseitigkeit ist eines der herausragenden Merkmale, da die produzierten 3D-Objekte in verschiedenen Design-Software geöffnet werden können, einschließlich Microsoft Paint 3D, und in STL-Dateien umgewandelt werden können, die für den 3D-Druck geeignet sind. Mit Shap-E ist der Prozess der Text-zu-3D- und Bild-zu-3D-Generierung nicht nur möglich, sondern auch bemerkenswert benutzerfreundlich, was zu kreativen Erkundungen mit KI-Anwendungen anregt.

Was werden wir tun?

In diesem umfassenden Tutorial werden wir Sie anleiten, ein Notebook in Google Colab zu erstellen, das Shape-E-Modell von OpenAI einzurichten und zu nutzen, um 3D-Modelle zu generieren und diese Modelle mit Blender Studio anzupassen.

Voraussetzungen

Bevor wir beginnen, stellen Sie sicher, dass Sie die richtigen Werkzeuge haben. Besuchen Sie Blender.org, um Blender Studio herunterzuladen, das mit Ihrem Betriebssystem kompatibel ist.

Lasst uns anfangen!

Schritt 1 - Projekt einrichten

Beginnen Sie damit, ein neues Notebook in Google Colab zu erstellen:

1. Gehen Sie zu Google Colab und erstellen Sie ein neues Notebook.

Schritt 2 - Das Repository klonen

Um Shap-E nutzen zu können, müssen wir sein Repository in unser Google Colab Notebook klonen:

1. Geben Sie das Projektverzeichnis im Notebook ein.
2. Installieren Sie die benötigten Anforderungen, die im Repository aufgeführt sind.

Schritt 3 - 3D-Modelle implementieren und generieren

Jetzt fangen wir an zu codieren:

1. Fügen Sie eine neue Codezelle hinzu, um die erforderlichen Bibliotheken zu importieren.

Klicken Sie auf die Schaltfläche "Ausführen" oder verwenden Sie CMD/CTRL + Enter, um die Zelle auszuführen.

Nächster Schritt:

1. Fügen Sie eine weitere neue Codezelle hinzu, um das Gerät auf CUDA einzustellen, falls verfügbar; andernfalls auf CPU zurücksetzen.
2. Klicken Sie auf Ausführen oder CMD/CTRL + Enter.
3. Fügen Sie eine weitere Codezelle hinzu, um die Modelle und Gewichte zu laden. Klicken Sie auf Ausführen oder CMD/CTRL + Enter.

Seien Sie geduldig; das Laden der Modelle und Gewichte wird einige Zeit in Anspruch nehmen, abhängig von Ihrer Internetgeschwindigkeit.

3D-Modelle generieren

Ein weiteres Hinzufügen einer Codezelle ermöglicht es uns, die 3D-Modelle zu generieren:

1. Klicken Sie auf Ausführen oder CMD/CTRL + Enter.

Die Generierung könnte etwas länger dauern, abhängig von der Batch-Größe; zum Beispiel hat es bei mir etwa 22 Sekunden gedauert, Modelle mit batch_size=1 zu generieren.

Die 3D-Modelle rendern

Wir können unsere Arbeit weiter verbessern, indem wir die 3D-Modelle rendern:

1. Fügen Sie eine neue Codezelle hinzu und setzen Sie render_mode = 'nerf' (Neural Radiance Fields), um die Modelle zu visualisieren.
2. Alternativ können Sie es auf render_mode = 'stf' für das Rendering mit Style Transfer Function ändern.
3. Klicken Sie auf Ausführen oder CMD/CTRL + Enter.

Hat es Ihnen gefallen, die Modelle zu sehen, die sich drehen? Es ist ziemlich beeindruckend!

Die 3D-Modelle speichern

Jetzt können wir die Modelle im .ply- und .obj-Format speichern:

1. Fügen Sie eine neue Codezelle hinzu und führen Sie sie aus.
2. Gehen Sie zum Tab "Dateien" und aktualisieren Sie ihn, um Ihre gespeicherten Dateien (example_mesh_0.ply und example_mesh_0.obj) zu sehen.
3. Laden Sie die .obj-Datei auf Ihren lokalen Computer herunter.

Schritt 4 - Die 3D-Modelle in Blender Studio anpassen

Öffnen Sie Blender Studio und erstellen Sie ein neues Projekt:

1. Löschen Sie den Standardwürfel.
2. Gehen Sie zu Datei > Importieren > Wavefront (.obj) und wählen Sie die heruntergeladene .obj-Datei aus.
3. Ihr 3D-Modell sollte jetzt in der Mitte des Bildschirms erscheinen.

Ist das nicht fantastisch? Shap-E hat großartige Arbeit geleistet!

Sie können das Modell jetzt nach Belieben anpassen. Zum Beispiel habe ich Pink für das Topping und Braun für den Donut hinzugefügt.

Fazit

In diesem Tutorial haben wir das Shape-E-Modell erfolgreich über Google Colab eingerichtet und genutzt und Blender Studio erkundet, um generierte 3D-Modelle anzupassen. Jetzt sind Sie an der Reihe, mit den Fähigkeiten zu experimentieren, die Sie erworben haben, und Ihre eigene 3D-Kunst zu schaffen. Wenn Sie tiefer eintauchen, können Sie auf Einschränkungen stoßen und in Erwägung ziehen, Ihre eigene Shap-e-Anwendung zu entwickeln.

Teilnehmen an KI-Hackathons, Ihre Kreativität zeigen und spannende Preise gewinnen! Treten Sie der Gemeinschaft der KI-Enthusiasten bei, um tiefer in die Fähigkeiten und das zukünftige Potenzial der KI einzutauchen!

Vielen Dank, dass Sie dieses Tutorial gelesen haben. Viel Spaß beim Erstellen!