Tutorial de Difusión Estable: Dominando la Pintura de Prompts

¿Qué es InPainting?

El inpainting de imágenes es un área de investigación de inteligencia artificial de vanguardia que se centra en rellenar áreas faltantes o corruptas de las imágenes con contenido contextualmente apropiado. Los avances recientes en IA han permitido que supere a los artistas tradicionales en este ámbito, lo que ha conducido a una notable mejora en las capacidades de restauración y edición de imágenes.

Esta tecnología es particularmente útil para diversas aplicaciones, como:

• Crear anuncios perfectos
• Mejorar las futuras publicaciones en redes sociales
• Editar y corregir imágenes generadas por IA
• Reparar fotografías antiguas

El método más prevalente para el inpainting de imágenes utiliza Redes Neuronales Convolucionales (CNN). Una CNN está diseñada específicamente para aprender las características intrincadas de las imágenes, lo que le permite reconstruir contenido faltante de manera visual y semánticamente coherente.

Breve Introducción a Stable Diffusion

Stable Diffusion es un modelo de difusión latente de texto a imagen innovador que genera imágenes estilizadas y fotorrealistas. Está preentrenado en un subconjunto significativo del conjunto de datos LAION-5B, lo que lo hace accesible para cualquier persona con una tarjeta gráfica de grado consumidor para crear impresionantes obras de arte en cuestión de segundos.

Cómo realizar InPainting con Stable Diffusion

Este tutorial describe cómo realizar inpainting basado en prompts utilizando Stable Diffusion y Clipseg sin la necesidad de crear manualmente una máscara. Una máscara, en este contexto, es una imagen binaria que informa al modelo qué secciones de la imagen original necesitan modificación.

Para proceder con el inpainting, asegúrate de cumplir con los siguientes requisitos:

• Una buena GPU (o utilizar Google Colab con un Tesla T4)

Las tres entradas obligatorias requeridas para el inpainting son:

1. URL de la imagen de entrada
2. Prompt especificando la sección a ser reemplazada
3. Prompt de salida

Además, hay parámetros que se pueden ajustar:

• Precisión de la máscara
• Fuerza de generación de Stable Diffusion

Para los usuarios que acceden a Stable Diffusion desde Hugging Face por primera vez, es necesario aceptar los Términos de Servicio en la página del modelo y obtener un Token desde el perfil de usuario.

Empezando

Para configurar el proceso de inpainting:

1. Instalar la extensión Git de código abierto para versionar archivos grandes.
2. Clonar el repositorio de Clipseg.
3. Instalar el paquete diffusers desde PyPi.
4. Instalar ayudantes adicionales requeridos.
5. Instalar CLIP usando pip.

Iniciar sesión con Hugging Face

Ejecuta el siguiente comando para iniciar sesión:

Después del proceso de inicio de sesión, recibirás una confirmación de éxito.

Cargando el Modelo

Carga el modelo de manera no estricta (solo pesos del decodificador) o desde una URL externa.

Procesando la Imagen de Entrada

Para convertir y mostrar la imagen de entrada:

1. Cargar la imagen de entrada.
2. Convertir la imagen de entrada al formato requerido.
3. Mostrar la imagen usando plt.

Creando la Máscara y Realizando InPainting

Define un prompt para la máscara, predice el resultado y visualiza la predicción:

1. Convierte la máscara en una imagen binaria y guárdala como un archivo PNG.
2. Carga tanto la imagen de entrada como la máscara creada.
3. Realiza inpainting utilizando el prompt de salida seleccionado.

Dependiendo de tu hardware, esto puede tardar unos segundos. Para Google Colab, simplemente imprime la imagen modificada.

Conclusión

Con estos pasos, los usuarios pueden integrar sin problemas el inpainting en sus procesos creativos, lo que lleva a una mejor calidad de imagen y valor estético. Para explorar más técnicas y recursos sobre inpainting de imágenes con IA, visita nuestra página de tutoriales.

¡Gracias por participar en este tutorial! Este recurso fue presentado por Fabian Stehle, pasante de Ciencia de Datos en New Native.

Más Recursos

• Demostración de InPainting Stable Diffusion (CPU)