Comment configurer et utiliser Shap-E pour la génération de modèles 3D : Un guide complet

Qu'est-ce que Shap-E ?

Shap-E, un modèle révolutionnaire développé par OpenAI, révolutionne le monde des applications 3D en produisant une gamme d'objets 3D à partir de texte ou d'images en entrée. Cette technologie innovante est librement accessible sur GitHub, permettant aux utilisateurs de l'exécuter sans problème sur leurs systèmes locaux sans nécessiter de clé API OpenAI ou de connexion Internet. L'une des caractéristiques les plus remarquables de Shap-E est sa polyvalence : les objets 3D générés peuvent être ouverts dans divers logiciels tels que Microsoft Paint 3D ou convertis en fichiers STL pour l'impression 3D. Avec ses capacités uniques, Shap-E redéfinit le paysage de la génération de texte à 3D et d'image à 3D, ouvrant de nouvelles possibilités créatives pour les applications IA.

Ce que nous allons faire

Dans ce tutoriel, nous allons apprendre comment créer un Notebook dans Google Colab, configurer et utiliser le modèle Shape-E d'OpenAI pour générer des modèles 3D, et les personnaliser à l'aide de Blender Studio.

Conditions préalables

• Téléchargez Blender Studio compatible avec votre système d'exploitation depuis Blender.org.

Commençons !

Étape 1 - Mise en place du projet

Commencez par créer un nouveau Notebook dans Google Colab :

1. Visitez Google Colab et créez un nouveau Notebook.

Étape 2 - Cloner le dépôt

Ensuite, nous devons cloner le dépôt Shap-E dans notre Notebook Google Colab :

1. Entrez dans le répertoire et installez les exigences nécessaires.

Étape 3 - Mise en œuvre et cuisson des modèles 3D

1. Ajoutez une nouvelle cellule de code. Importez toutes les bibliothèques nécessaires et cliquez sur Exécuter ou utilisez CMD/CTRL + Enter pour exécuter.
2. Ajoutez une autre cellule de code pour définir le périphérique sur CUDA si disponible ; sinon, définissez-le sur CPU. Exécutez la cellule.
3. Ajoutez une nouvelle cellule de code pour charger les modèles et les poids. Exécutez la cellule et soyez patient, car ce processus peut prendre un certain temps - environ 5 minutes en fonction de votre connexion Internet.
4. Ajoutez une autre cellule de code pour générer les modèles 3D. Cliquer sur Exécuter déclenchera le processus de génération, qui prend environ 22 secondes avec une taille de lot de 1.
5. Ajoutez une autre nouvelle cellule de code pour le rendu des modèles. Utilisez render_mode = 'nerf' pour les Neural Radiance Fields (NeRF) ou changez-le en render_mode = 'stf' pour la Style Transfer Function (STF). Exécutez la cellule et appréciez de voir les modèles tourner.
6. Enfin, enregistrez les modèles 3D en tant que fichiers .ply et .obj. N'oubliez pas que nous utiliserons le fichier .obj pour la personnalisation dans Blender Studio plus tard. Téléchargez le fichier .obj sur votre machine locale après avoir rafraîchi l'onglet Fichiers.

Étape 4 - Personnalisation des modèles 3D dans Blender Studio

1. Ouvrez Blender Studio et créez un nouveau projet. Supprimez le cube par défaut.
2. Cliquez sur Fichier > Importer > Wavefront (.obj). Sélectionnez le fichier .obj que vous avez téléchargé depuis Google Colab.
3. Le modèle 3D devrait apparaître au centre de votre espace de travail Blender, ayant un aspect incroyable ! Vous pouvez personnaliser davantage le modèle ; par exemple, j'ai coloré le glaçage en rose et le donut en marron à des fins de démonstration.

Conclusion

Dans ce tutoriel, nous avons appris à configurer et utiliser le modèle Shape-E en utilisant Google Colab et exploré comment personnaliser le modèle 3D généré dans Blender Studio. Maintenant, c'est votre tour d'explorer vos compétences nouvellement acquises et de créer votre art 3D unique. En expérimentant, vous pourriez découvrir des limitations et vouloir développer votre propre application Shap-E.

Participez à des hackathons IA pour vous mettre au défi et potentiellement gagner des prix passionnants ! Rejoignez la communauté des passionnés d'IA et en apprenez davantage sur l'IA et son potentiel remarquable.

Merci d'avoir lu ce tutoriel !