Tutorial de OpenAI Whisper: Crea una aplicación de identificación de hablantes

Descubriendo OpenAI Whisper: Una Visión Completa

OpenAI Whisper está a la vanguardia de los sistemas avanzados de reconocimiento de voz, revolucionando la forma en que interactuamos con los datos de audio. Mejorado por un conjunto de datos masivo de 680,000 horas de entradas multilingües y mult Tarea supervisadas obtenidas de la web, Whisper se destaca en transcribir con precisión el habla en diferentes idiomas. Este extenso entrenamiento permite que el sistema muestre una notable resistencia a varios factores, incluidos acentos, ruido de fondo y jerga especializada. Además, Whisper no solo transcribe audio, sino que también es capaz de traducir al inglés, convirtiéndolo en una herramienta invaluable para la comunicación global.

Limitaciones de Whisper: Desafíos de Identificación del Hablante

A pesar de sus capacidades innovadoras, Whisper enfrenta desafíos en la identificación del hablante durante las conversaciones. La diarización, que es el proceso de reconocer y diferenciar entre los hablantes en un diálogo, es fundamental para un análisis efectivo de la conversación. Este artículo proporciona un tutorial sobre el uso de Whisper para el reconocimiento del hablante y la transcripción utilizando el pyannote-audio toolkit.

Preparación de Audio

Para comenzar nuestro análisis, primero necesitamos preparar el archivo de audio. Para fines de demostración, utilizaremos los primeros 20 minutos del podcast de Lex Fridman con Yann LeCun. Los siguientes pasos delinean el proceso:

• Descargar el video del podcast usando el paquete yt-dlp.
• Usar ffmpeg para extraer el audio.
• Recortar el audio a 20 minutos usando la biblioteca pydub.

Al completarlo, tendremos un archivo llamado audio.wav que contiene el segmento de audio deseado.

Implementando Pyannote para la Diarización del Hablante

pyannote.audio es un toolkit de código abierto que se encuentra en el ecosistema de Python, diseñado específicamente para la diarización del hablante. Aprovechando el marco de aprendizaje automático PyTorch, abarca varios bloques neuronales entrenables para construir pipelines de diarización del hablante comprensivos. Pyannote también proporciona modelos y pipelines preentrenados, asegurando un rendimiento de vanguardia en numerosos dominios, que incluyen:

• Detección de actividad de voz
• Segmentación del hablante
• Detección de habla superpuesta
• Embebido del hablante

Instalación y Ejecución de Pyannote

Para comenzar la diarización del hablante, primero necesitarás instalar la biblioteca Pyannote. Después de la instalación, puedes ejecutar la biblioteca en el archivo de audio extraído para generar salidas de diarización del hablante:

python -m pyannote.audio diarize audio.wav

La salida refleja el tiempo y la identidad de los hablantes, con datos esenciales que genera. Después de esto, podemos refinar y limpiar los datos para prepararlos para la transcripción.

Transcribiendo Audio con OpenAI Whisper

Antes de usar Whisper, asegúrate de tener las bibliotecas necesarias instaladas. Hay un conflicto de versiones conocido con pyannote.audio que podría causar errores. Nuestra solución práctica es ejecutar primero el proceso de Pyannote y luego seguir con Whisper.

Ejecuta OpenAI Whisper en el audio preparado así:

python -m whisper audio.wav --output_dir transcriptions

Whisper generará archivos de transcripción que pueden ajustarse según el tamaño del modelo de acuerdo con tus requisitos. Para gestionar archivos en formato .vtt, también deberás instalar la biblioteca webvtt-py.

Coincidiendo las Transcripciones con las Diarizaciones

Ahora necesitamos correlacionar cada línea de la transcripción con sus correspondientes datos de diarización. Este proceso de coincidencia asegura que el tiempo sea preciso, particularmente para las secciones de audio donde no se registró diarización. Usando los datos extraídos, podemos generar un archivo HTML ordenado para mostrar los resultados de manera clara.

Aplicaciones de Tus Nuevas Habilidades

El conocimiento que has adquirido a través de este tutorial abre puertas a múltiples oportunidades:

• Desarrollar una aplicación innovadora basada en Whisper en un hackathon de IA, colaborando con personas apasionadas de todo el mundo.
• Participar en el programa Slingshot de New Native para acelerar tu proyecto y llevarlo al mercado, potencialmente resolviendo desafíos globales urgentes con IA.
• O, alternativamente, mantener este nuevo conocimiento para ti mismo y permitir que otros tengan un impacto, aunque esta no es la opción recomendada.

Más de 54,000 entusiastas se han unido durante hackathones de IA organizados por lablab.ai, produciendo más de 900 prototipos. ¡Esta es una comunidad vibrante donde puedes hacer una diferencia significativa!

Para más información y ejemplos de código completos, consulta el notebook que describe el proceso.