E Tutorial: Cómo configurar y usar Shape-E para la generación de modelos 3D

¿Qué es Shape-E?

Shap-E es un modelo innovador desarrollado por OpenAI que revoluciona la generación de objetos 3D utilizando entradas de texto o imagen. Esta tecnología transformadora abre nuevas puertas en el ámbito de las aplicaciones 3D al permitir a los usuarios crear modelos únicos de manera sencilla. Lo que resulta aún más atractivo es que Shap-E es accesible de forma gratuita en GitHub, lo que significa que los usuarios pueden ejecutarlo en sus propias computadoras sin necesidad de una clave de API de OpenAI o conectividad a internet. Su versatilidad es una de sus características más destacadas, ya que los objetos 3D producidos pueden abrirse en varios softwares de diseño, incluyendo Microsoft Paint 3D, y pueden transformarse en archivos STL adecuados para la impresión 3D. Con Shap-E, el proceso de generación de texto a 3D y de imagen a 3D no solo es posible, sino también notablemente fácil de usar, fomentando la exploración creativa con aplicaciones de IA.

¿Qué haremos?

En este tutorial completo, te guiaremos a través de la creación de un Notebook en Google Colab, configurando y utilizando el modelo Shape-E de OpenAI para generar modelos 3D y personalizando esos modelos utilizando Blender Studio.

Requisitos previos

Antes de comenzar, asegúrate de tener las herramientas adecuadas. Visita Blender.org para descargar Blender Studio compatible con tu sistema operativo.

¡Comencemos!

Paso 1 - Configurando el Proyecto

Comienza creando un nuevo Notebook en Google Colab:

1. Ve a Google Colab y crea un nuevo Notebook.

Paso 2 - Clonar el Repositorio

Para utilizar Shap-E, necesitamos clonar su repositorio en nuestro Notebook de Google Colab:

1. Ingresa al directorio del proyecto en el Notebook.
2. Instala los requisitos necesarios que se enumeran en el repositorio.

Paso 3 - Implementación y Generación de Modelos 3D

Ahora, comencemos a codificar:

1. Añade una nueva celda de código para importar las bibliotecas requeridas.

Haz clic en el botón Ejecutar o usa CMD/CTRL + Enter para ejecutar la celda.

Ahora:

1. Añade otra nueva celda de código para establecer el dispositivo en CUDA si está disponible; de lo contrario, por defecto a CPU.
2. Haz clic en Ejecutar o CMD/CTRL + Enter.
3. Añade otra celda de código para cargar los modelos y pesos. Haz clic en Ejecutar o CMD/CTRL + Enter.

Ten paciencia; cargar los modelos y pesos tomará un tiempo, dependiendo de tu velocidad de internet.

Generando Modelos 3D

Añadiendo una celda más de código ahora nos permitirá generar los modelos 3D:

1. Haz clic en Ejecutar o CMD/CTRL + Enter.

La generación puede tardar un poco más dependiendo del tamaño del lote; por ejemplo, me tomó alrededor de 22 segundos generar modelos con un batch_size=1.

Renderizando los Modelos 3D

Podemos mejorar aún más nuestro trabajo renderizando los modelos 3D:

1. Añade una nueva celda de código y establece render_mode = 'nerf' (Campos de Radiancia Neuronal) para visualizar los modelos.
2. Alternativamente, cámbialo a render_mode = 'stf' para el renderizado de la Función de Transferencia de Estilo.
3. Haz clic en Ejecutar o CMD/CTRL + Enter.

¿Disfrutaste ver los modelos rotar? ¡Es bastante impresionante!

Guardando los Modelos 3D

Ahora podemos guardar los modelos en formatos .ply y .obj:

1. Añade una nueva celda de código y ejecútala.
2. Ve a la pestaña Archivos y actualízala para ver tus archivos guardados (example_mesh_0.ply y example_mesh_0.obj).
3. Descarga el archivo .obj a tu máquina local.

Paso 4 - Personalizando los Modelos 3D en Blender Studio

Abre Blender Studio y crea un nuevo proyecto:

1. Elimina el cubo predeterminado.
2. Ve a Archivo > Importar > Wavefront (.obj) y selecciona el archivo .obj descargado.
3. Deberías ver tu modelo 3D aparecer en el centro de la pantalla.

¿No es fantástico? ¡Shap-E ha hecho un trabajo maravilloso!

Ahora puedes personalizar el modelo como desees. Por ejemplo, yo he añadido rosa a la cobertura y marrón a la dona.

Conclusión

En este tutorial, hemos configurado y utilizado con éxito el modelo Shape-E a través de Google Colab y explorado Blender Studio para personalizar los modelos 3D generados. ¡Ahora es tu turno de experimentar con las habilidades que has adquirido y crear tu propio arte 3D! A medida que te sumerjas más, podrías encontrar limitaciones y considerar desarrollar tu propia aplicación Shap-e.

Participa en hackatones de IA, muestra tu creatividad y gana premios emocionantes. Únete a la comunidad de entusiastas de la IA para profundizar en las capacidades y el potencial futuro de la IA.

¡Gracias por leer este tutorial! ¡Feliz creación!