OpenAI Whisper Tutorial: Eine Speaker Identification App mit Pyannote erstellen

Entdeckung von OpenAI Whisper: Ein Durchbruch in der Sprach­erkennung

OpenAI hat Whisper eingeführt, ein hochmodernes Sprach­erkennungssystem, das sorgfältig mit über 680.000 Stunden an mehrsprachigen und multitask-beaufsichtigten Daten aus dem Internet abgestimmt wurde. Dieses umfangreiche Datenset verbessert Whispers Fähigkeit, mit Akzenten, Hintergrundgeräuschen und spezialisierten Sprachen umzugehen, erheblich und macht es zu einer robusten Lösung für Transkriptionen in mehreren Sprachen. Darüber hinaus kann Whisper Inhalte sogar ins Englische übersetzen, was eine weitere Funktionsebene hinzufügt.

Trotz seiner beeindruckenden Fähigkeiten hat Whisper Herausforderungen bei der Identifizierung einzelner Sprecher während Gesprächen. Diarisation – der Prozess, bei dem festgestellt wird, wer wann spricht – ist unerlässlich, um Gespräche effektiv zu analysieren. In diesem OpenAI Whisper Tutorial werden wir untersuchen, wie man Sprecher erkennt und sie mit Whisper-Transkriptionen unter Verwendung von pyannote-audio in Einklang bringt. Lassen Sie uns eintauchen!

Vorbereitung der Audiodatei

Der erste Schritt besteht darin, die Audiodatei für die Verarbeitung vorzubereiten. Dazu nutzen wir die ersten 20 Minuten des Lex Fridman Podcasts mit Yann LeCun. Um das Video herunterzuladen und anschließend den Ton zu extrahieren, verwenden wir das yt-dlp-Paket und stellen sicher, dass ffmpeg auf unserem System installiert ist.

Der Prozess ist unkompliziert und erfordert nur einige Befehle im Terminal. Nachdem wir diese Befehle ausgeführt haben, werden wir eine Datei mit dem Namen download.wav in unserem Arbeitsverzeichnis haben. Anschließend verwenden wir das pydub-Paket, um diese Audiodatei auf die ersten 20 Minuten zuzuschneiden, was zu einer Datei mit dem Namen audio.wav führt.

Diarisation mit Pyannote

pyannote.audio ist ein Open-Source-Toolkit, das in Python speziell für die Sprecher-Diarisation entwickelt wurde. Basierend auf dem PyTorch-Maschinenlern-Framework bietet dieses Toolkit eine Reihe trainierbarer Bausteine, mit denen Prozesse zur Sprecher-Diarisation erstellt und optimiert werden können.

Mit den vortrainierten Modellen und Pipelines, die in pyannote.audio verfügbar sind, können Benutzer effektiv Aufgaben wie Sprachaktivitätserkennung, Sprechersegmentierung und Überlappungserkennung durchführen.

Um zu beginnen, installieren wir Pyannote und führen es mit dem aus dem Podcast extrahierten Audio aus. Nach dem Ausführen des Diarisationsprozesses überprüfen wir die Ausgabe, die typischerweise Segmente zeigt, die die Start- und Endzeiten für die Beiträge jedes Sprechers detailliert darstellen, zusammen mit einem Indikator, ob der Sprecher Lex ist oder nicht.

Vorbereitung der Audiodatei aus der Diarisierung

Nach dem Diarisationsprozess organisieren wir die Audioparts basierend auf den Diarisierungsdaten und verwenden ein Trennzeichen, um Klarheit bei den Sprecherübergängen sicherzustellen.

Transkription mit Whisper

Nachdem die Audiosegmente vorbereitet sind, werden wir nun diese Segmente mit Whisper transkribieren. Es ist jedoch wichtig zu beachten, dass es möglicherweise zu einem Versionskonflikt mit pyannote.audio kommen kann, der einen Fehler verursachen könnte. Unsere Lösung besteht darin, Pyannote zuerst auszuführen und dann Whisper zu starten, um eine nahtlose Transkription ohne Bedenken für den Fehler zu ermöglichen.

Die Installation von OpenAI Whisper lässt sich einfach durchführen. Nach der Installation führen wir Whisper auf der vorbereiteten Audiodatei aus, die die Transkription in einer angegebenen Datei schreibt. Benutzer können die Modellgröße je nach Bedarf anpassen, indem sie die Modellkarte auf GitHub konsultieren.

Um .vtt-Dateien effektiv zu verarbeiten, müssen wir auch die webvtt-py-Bibliothek installieren.

Abgleich der Transkriptionen mit den Diarisierungen

Als Nächstes werden wir jede Zeile der Transkription mit den entsprechenden Diarisierungssegmenten abgleichen. Dies wird in einem strukturierten Format angezeigt, indem eine HTML-Datei generiert wird. Um eine genaue Zeitdarstellung zu gewährleisten, werden wir auch alle Audioabschnitte einbeziehen, in denen kein Sprecher identifiziert wurde.

Praktische Anwendungen dieses Wissens

Eine aufregende Anwendung dieser Fähigkeiten könnte die Entwicklung einer Whisper-App während eines KI-Hackathons sein, bei der man mit gleichgesinnten Innovatoren aus der ganzen Welt zusammenarbeitet. Nach der Entwicklungsphase können die Teilnehmer sich für das Slingshot-Programm von New Native bewerben, um das Projekt weiter zu beschleunigen. Letztlich wäre das Ziel, die Lösung kommerziell zu launchen und relevante globale Herausforderungen mit KI anzugehen.

Alternativ könnten Einzelpersonen sich entscheiden, diese Fähigkeiten zu verinnerlichen und ihre Projekte beiseite zu legen, während andere die Initiative für Veränderungen ergreifen. Obwohl diese Option machbar ist, wird sie nicht besonders empfohlen.

Über 54.000 Personen haben an lablab.ai's KI-Hackathons weltweit in verschiedenen Bereichen teilgenommen, was zur Schaffung von über 900 Prototypen geführt hat. Diese Gemeinschaft wächst ständig und bietet die perfekte Gelegenheit, sich mit anderen KI-Entwicklern zu vernetzen und zu bedeutenden Innovationen beizutragen!