Un guide complet pour configurer et utiliser Shap-E pour la modélisation 3D

Qu'est-ce que Shape-E ?

Shape-E, un modèle révolutionnaire développé par OpenAI, produit une gamme d'objets 3D en utilisant du texte ou des images comme entrée. Ce modèle innovant transforme le domaine des applications 3D avec son approche unique. Le meilleur de tout, Shape-E est accessible gratuitement sur GitHub, permettant aux utilisateurs de l'exécuter sans effort sur leurs ordinateurs sans nécessiter de clé API OpenAI ou de connexion Internet.

Ce qui distingue vraiment Shape-E, c'est sa polyvalence : les objets 3D générés peuvent être ouverts dans des logiciels comme Microsoft Paint 3D ou convertis en fichiers STL pour l'impression 3D. Ce modèle redéfinit les possibilités de génération de texte vers 3D et d'image vers 3D, ouvrant un monde d'opportunités créatives pour les applications AI.

Que allons-nous faire ?

Dans ce tutoriel, nous allons apprendre à créer un Notebook dans Google Colab, configurer le modèle Shape-E d'OpenAI pour générer des modèles 3D, et les personnaliser en utilisant Blender Studio.

Prérequis

• Télécharger Blender Studio depuis Blender.org compatible avec votre système d'exploitation.

Commençons !

Étape 1 - Configuration du projet

Commencez par créer un nouveau Notebook dans Google Colab.

Étape 2 - Cloner le dépôt

• Clonez le dépôt Shap-E dans votre Notebook Google Colab.
• Entrez dans le répertoire et installez les dépendances.

Étape 3 - Mise en œuvre et création des modèles 3D

Ajoutez une nouvelle cellule de code et importez toutes les bibliothèques nécessaires.

Exécutez la cellule de code (CMD/CTRL + Enter) pour l'exécuter.

Ajoutez une autre cellule de code pour définir le périphérique sur cuda si disponible ; sinon, il doit être défini sur cpu. Exécutez la cellule de code.

Ensuite, chargez les modèles et les poids dans une nouvelle cellule de code. Ce processus peut prendre un certain temps, environ 5 minutes selon votre connexion Internet.

• Ajoutez une cellule de code pour générer les modèles 3D, ce qui prendra du temps en fonction de votre batch_size. Par exemple, la génération d'un modèle 3D avec batch_size=1 a pris environ 22 secondes.
• Ajoutez une cellule de code pour le rendu des modèles 3D en utilisant render_mode = 'nerf' (Champs de Radiance Neuronale). Si vous préférez, changez cela en render_mode = 'stf' pour un rendu de Fonction de Transfert de Style.

Une fois les modèles générés, ajoutez une nouvelle cellule de code pour enregistrer les modèles 3D sous forme de fichiers .ply et .obj. Notez que vous utiliserez plus tard le fichier .obj pour la personnalisation dans Blender Studio. Actualisez l'onglet Fichiers dans Colab pour télécharger example_mesh_0.obj.

Étape 4 - Personnalisation des modèles 3D dans Blender Studio

Ouvrez Blender Studio et créez un nouveau projet.

• Supprimez le cube par défaut.
• Importez le fichier .obj en naviguant vers Fichier > Importer > Wavefront (.obj) et en sélectionnant le fichier téléchargé.

Le modèle 3D devrait maintenant apparaître au centre de votre espace de travail ! Vous pouvez maintenant le personnaliser comme bon vous semble. À des fins de démonstration, vous pouvez colorer le glaçage en rose et la base du donut en brun.

Conclusion

Dans ce tutoriel, nous avons exploré comment configurer et utiliser le modèle Shape-E dans Google Colab et personnaliser un modèle 3D généré en utilisant Blender Studio. Maintenant, c'est à votre tour ! Testez les compétences que vous avez apprises et commencez à créer votre propre art 3D.

En expérimentant, pensez aux limitations potentielles. Peut-être voulez-vous améliorer Shape-E avec votre propre application ? Pourquoi ne pas participer à un hackathon sur l'intelligence artificielle et montrer votre créativité tout en concourant pour de superbes prix ! Rejoignez la communauté des passionnés d'IA et apprenez-en plus sur ce que l'IA peut accomplir.

Merci d'avoir lu ce tutoriel !