E Tutoriel : Comment configurer et utiliser Shape-E pour la génération de modèles 3D

Qu'est-ce que Shape-E ?

Shap-E est un modèle innovant développé par OpenAI qui révolutionne la génération d'objets 3D à l'aide d'entrées textuelles ou d'images. Cette technologie transformative ouvre de nouvelles perspectives dans le domaine des applications 3D en permettant aux utilisateurs de créer facilement des modèles uniques. Ce qui est encore plus attrayant, c'est que Shap-E est librement accessible sur GitHub, ce qui signifie que les utilisateurs peuvent l'exécuter sur leurs propres ordinateurs sans avoir besoin d'une clé API OpenAI ou d'une connexion Internet. Sa polyvalence est l'une de ses caractéristiques remarquables, car les objets 3D produits peuvent être ouverts dans divers logiciels de conception, y compris Microsoft Paint 3D, et peuvent être transformés en fichiers STL adaptés à l'impression 3D. Avec Shap-E, le processus de génération de texte à 3D et d'image à 3D est non seulement possible, mais également remarquablement convivial, encourageant l'exploration créative avec des applications d'IA.

Que ferons-nous ?

Dans ce tutoriel complet, nous vous guiderons à travers la création d'un Notebook dans Google Colab, la configuration et l'utilisation du modèle Shape-E d'OpenAI pour générer des modèles 3D, et la personnalisation de ces modèles à l'aide de Blender Studio.

Prerequis

Avant de commencer, assurez-vous d'avoir les bons outils. Visitez Blender.org pour télécharger Blender Studio compatible avec votre système d'exploitation.

Commençons !

Étape 1 - Mise en place du projet

Commencez par créer un nouveau Notebook dans Google Colab :

1. Allez sur Google Colab et créez un nouveau Notebook.

Étape 2 - Cloner le dépôt

Afin d'utiliser Shap-E, nous devons cloner son dépôt dans notre Notebook Google Colab :

1. Entrez dans le répertoire du projet dans le Notebook.
2. Installez les exigences nécessaires énumérées dans le dépôt.

Étape 3 - Mise en œuvre et génération de modèles 3D

Maintenant, commençons à coder :

1. Ajoutez une nouvelle cellule de code pour importer les bibliothèques requises.

Cliquez sur le bouton Exécuter ou utilisez CMD/CTRL + Entrée pour exécuter la cellule.

Ensuite :

1. Ajoutez une autre nouvelle cellule de code pour définir l'appareil sur CUDA si disponible ; sinon, utilisez par défaut le CPU.
2. Cliquez sur Exécuter ou CMD/CTRL + Entrée.
3. Ajoutez une autre cellule de code pour charger les modèles et les poids. Cliquez sur Exécuter ou CMD/CTRL + Entrée.

Soyez patient ; le chargement des modèles et des poids prendra un certain temps, en fonction de votre vitesse Internet.

Génération de modèles 3D

En ajoutant une cellule de code supplémentaire maintenant, nous pourrons générer les modèles 3D :

1. Cliquez sur Exécuter ou CMD/CTRL + Entrée.

La génération peut prendre un peu plus de temps en fonction de la taille du lot ; par exemple, cela m'a pris environ 22 secondes pour générer des modèles avec un batch_size=1.

Rendu des modèles 3D

Nous pouvons améliorer davantage notre travail en rendant les modèles 3D :

1. Ajoutez une nouvelle cellule de code et définissez render_mode = 'nerf' (Neural Radiance Fields) pour visualiser les modèles.
2. Alternativement, changez-le en render_mode = 'stf' pour le rendu de la fonction de transfert de style.
3. Cliquez sur Exécuter ou CMD/CTRL + Entrée.

Avez-vous aimé voir les modèles tourner ? C'est plutôt impressionnant !

Enregistrement des modèles 3D

Maintenant, nous pouvons enregistrer les modèles au format .ply et .obj :

1. Ajoutez une nouvelle cellule de code et exécutez-la.
2. Allez dans l'onglet Fichiers et actualisez-le pour voir vos fichiers enregistrés (example_mesh_0.ply et example_mesh_0.obj).
3. Téléchargez le fichier .obj sur votre machine locale.

Étape 4 - Personnalisation des modèles 3D dans Blender Studio

Ouvrez Blender Studio et créez un nouveau projet :

1. Supprimez le cube par défaut.
2. Allez dans Fichier > Importer > Wavefront (.obj) et sélectionnez le fichier .obj téléchargé.
3. Vous devriez voir votre modèle 3D apparaître au centre de l'écran.

Ce n'est pas fantastique ? Shap-E a fait un excellent travail !

Vous pouvez maintenant personnaliser le modèle comme bon vous semble. Par exemple, j'ai ajouté du rose à la garniture et du marron au donut.

Conclusion

Dans ce tutoriel, nous avons réussi à configurer et à utiliser le modèle Shape-E via Google Colab et à explorer Blender Studio pour personnaliser les modèles 3D générés. Maintenant, c'est à votre tour d'expérimenter avec les compétences que vous avez acquises et de créer votre propre art 3D. Alors que vous plongerez plus profondément, vous pourriez rencontrer des limitations et envisager de développer votre propre application Shap-e.

Participez à des hackathons d'IA, montrez votre créativité et gagnez des prix passionnants ! Rejoignez la communauté des passionnés d'IA pour explorer plus en profondeur les capacités et le potentiel futur de l'IA !

Merci d'avoir lu ce tutoriel. Bonne création !