Audiocraft-Tutorial: Erstelle Musik mit Metas KI-Tool

Einführung in Audiocraft

Am 9. Juni 2023 stellte Meta ein innovatives KI-Tool namens Audiocraft vor, das für die Musikgenerierung und Audioverarbeitung durch tiefes Lernen konzipiert ist. Im Gegensatz zu Googles MusicLM hebt sich Audiocraft als Open-Source-Plattform hervor. Diese Offenheit ermutigt die Nutzer, in die Musikproduktion einzutauchen und Möglichkeiten ohne Einschränkungen zu erkunden. In diesem Artikel führen wir Sie durch den Prozess der Installation von Audiocraft, der Erweiterung seiner Zeitlimits und der Integration in Ihre Projekte über eine Streamlit-App.

Voraussetzungen für die Installation von Audiocraft

Bevor Sie mit der Installation von Audiocraft beginnen, stellen Sie sicher, dass Sie die folgenden Voraussetzungen erfüllen:

• Python-Version 3.9
• Pip installiert
• PyTorch-Version 2.0
• FFmpeg installiert

Um PyTorch zu installieren, öffnen Sie Ihr Terminal und führen Sie aus:

pip install torch torchvision torchaudio

Für die Installation von FFmpeg führen Sie aus:

sudo apt install ffmpeg

Installation von Audiocraft

Um die Installation von Audiocraft zu starten, folgen Sie diesen Schritten:

1. Klonen Sie das GitHub-Repository, das Audiocraft enthält.
2. Wechseln Sie in den heruntergeladenen Ordner.
3. Installieren Sie die erforderlichen Bibliotheken mit dem Befehl:

pip install -r requirements.txt

4. Jetzt sind Sie bereit, mit Audiocraft Musik zu machen!

Musik mit Audiocraft erstellen

Um Musik zu erstellen, verwenden Sie das MusicGen-Modul in Audiocraft. Meta bietet eine benutzerfreundliche Gradio-Benutzeroberfläche, die Sie starten können, indem Sie ausführen:

python -m musicgen_app

Nach der Ausführung ist die Benutzeroberfläche unter http://127.0.0.1:7860 zugänglich. Die Demo generiert auch eine öffentliche URL für die Zusammenarbeit. Beachten Sie, dass es beim ersten Ausführen länger dauern kann, da die Modelle heruntergeladen werden müssen, insbesondere wenn Ihre GPU nicht sehr leistungsstark ist.

Audiocraft bietet vier Modelle zur Musikgenerierung. Zum Beispiel erzeugt das facebook/musicgen-melody-Modell Melodien, die vom hochgeladenen Musikstück beeinflusst sind, während die anderen mehr ambientartige Stücke basierend auf Texteingaben generieren.

Nachdem ich mit mehreren Eingaben das Stück "bolero_ravel.mp3" ausprobiert habe, entdeckte ich beeindruckende Ergebnisse. Dennoch möchten Sie möglicherweise über das standardmäßige 120-Sekunden-Limit für die Songdauer hinausgehen.

Dauerlimits in Audiocraft verlängern

Um die maximale Songdauer zu ändern, befolgen Sie diese Schritte:

1. Öffnen Sie das Projekt in Ihrem bevorzugten Code-Editor und navigieren Sie zum demos-Ordner.
2. Lokalisieren Sie die Datei musicgen_app.py.
3. Durchsuchen Sie die duration-Variable (typischerweise auf Zeile 240 zu finden).
4. Ändern Sie den Wert auf Ihre gewünschte Dauer (z. B. 200 Sekunden für einen 3:20 Minuten langen Song).
5. Speichern Sie die Datei und starten Sie die Anwendung neu mit:

Ctrl+C und dann python -m musicgen_app

Beachten Sie, dass die Verlängerung der Dauer die Verarbeitungszeit erheblich beeinflusst, insbesondere bei längeren Zeiträumen.

Integration von Audiocraft in ein bestehendes Projekt

Audiocraft kann problemlos in Ihren bestehenden Code integriert werden. Zur Demonstration erstellen wir eine einfache App, die eine Songbeschreibung auf Grundlage einer URL generiert. Im Folgenden sind die Schritte aufgeführt, um dies einzurichten:

1. Erstellen Sie ein neues Verzeichnis namens audiocraft_app.
2. Erstellen Sie eine Datei namens audiocraft_app.py und eine requirements.txt-Datei in diesem Ordner.
3. Fügen Sie die erforderlichen Bibliotheken in die requirements.txt-Datei ein.
4. Installieren Sie die Bibliotheken, indem Sie ausführen:

pip install -r requirements.txt

5. Schreiben Sie in audiocraft_app.py den Code, um Musik aus einer URL zu generieren.
6. Führen Sie die Anwendung aus:

python audiocraft_app.py

Ihre App sollte jetzt unter http://localhost:8501 funktionieren. Geben Sie Ihren OpenAI API-Schlüssel und eine URL ein, um die Songbeschreibung zu generieren.

Denken Sie daran, dass die anfängliche Audiodatei Zeit zum Generieren benötigt, da Audiocraft das Modell herunterladen muss. Sobald dies abgeschlossen ist, sollten Sie eine Erfolgsnachricht mit der Song-WAV-Datei in Ihrem Stammverzeichnis erhalten.

Fazit

Audiocraft ist ein leistungsstarkes Tool zur Musikproduktion, das umfangreiche Möglichkeiten von einfachen Melodien bis zu komplexen Kompositionen bietet. Mit seiner Open-Source-Natur und benutzerfreundlichen Oberfläche können die Benutzer neue Horizonte in der Musikgenerierung erkunden. Egal, ob Sie ein Entwickler sind, der Audiocraft in Ihre Projekte integriert, oder ein Künstler, der mit Klang experimentiert, das Potenzial ist grenzenlos! Tauchen Sie ein, kreieren Sie und lassen Sie Ihre musikalische Reise beginnen!