Audiocraft Tutorial: Musik einfach mit Metas KI-Tool erstellen

Was ist Audiocraft?

Am 9. Juni 2023 kündigte Meta den Launch von Audiocraft an, einem innovativen KI-Tool, das sich auf die Musikgenerierung und Audiobearbeitung spezialisiert hat und von fortschrittlicher Deep-Learning-Technologie unterstützt wird. Im Gegensatz zu Googles MusicLM hebt sich Audiocraft als Open-Source-Plattform hervor, die den Nutzern die Flexibilität bietet, ohne Einschränkungen zu erkunden und zu kreieren.

Voraussetzungen für die Installation

Python 3.9 oder später
pip Paketmanager
PyTorch 2.0
ffmpeg

Bevor Sie PyTorch installieren, können Sie den folgenden Befehl in Ihrem Terminal verwenden:

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113

Um ffmpeg zu installieren, führen Sie den Befehl aus:

brew install ffmpeg

Installation von Audiocraft

Um mit Audiocraft zu beginnen, klonen Sie das GitHub-Repository und wechseln Sie in den heruntergeladenen Ordner:

git clone https://github.com/facebookresearch/audiocraft.git

Danach installieren Sie die benötigten Bibliotheken, indem Sie Folgendes ausführen:

pip install -r requirements.txt

Nach Abschluss der Installation sind Sie bereit, Musik zu erstellen!

Musik mit Audiocraft erstellen

Um MusicGen, das spezifische Modul zur Musikcreation, zu nutzen, bietet Meta eine benutzerfreundliche Gradio-Oberfläche an. Starten Sie diese, indem Sie den folgenden Befehl eingeben:

python app.py

Dies startet die Benutzeroberfläche unter http://127.0.0.1:7860/, wo Sie mit der Anwendung interagieren und sogar eine öffentliche URL zur Zusammenarbeit generieren können.

Wählen Sie Ihr Modell

Audiocraft ermöglicht Ihnen die Auswahl aus vier verschiedenen Modellen, die die Musikproduktion erheblich beeinflussen:

facebook/musicgen-melody: Generiert Musik mit Melodien basierend auf einer hochgeladenen Musikdatei.
Andere: Produzieren mehr Ambient-Musik unter Verwendung nur von Texteingaben.

Wenn Sie anfangen zu experimentieren, erwarten Sie, dass die anfängliche Einrichtung mehr Zeit in Anspruch nimmt, insbesondere wenn Sie über keine leistungsstarke GPU verfügen.

Dauerbegrenzungen verstehen

Die standardmäßige maximale Songdauer ist auf 120 Sekunden begrenzt. Sie können diesen Wert jedoch ändern, um längere Stücke zu erstellen. Öffnen Sie die Datei musicgen_app.py im demos Ordner und suchen Sie die Variable duration (typischerweise um Zeile 240). Ändern Sie sie auf die gewünschte Länge, speichern Sie die Änderungen und starten Sie das Programm neu, um die Änderung umzusetzen.

Die Generierung eines vollständigen Songs (z.B. 3:20 Minuten) auf einem Rechner mit 16 GB RAM kann viel Zeit in Anspruch nehmen, daher ist Geduld gefragt.

Integration von Audiocraft in Ihr Projekt

Nun wollen wir sehen, wie man Audiocraft in eine bestehende Codebasis integriert. Hier ist ein einfacher Ansatz, um eine App zu erstellen, die Musik basierend auf einer Songbeschreibung aus einer URL generiert.

Schritt-für-Schritt-Anleitung

Erstellen Sie einen neuen Ordner mit dem Namen audiocraft_app.
Erstellen Sie in diesem Ordner eine Datei mit dem Namen audiocraft_app.py und eine Datei requirements.txt.
Füllen Sie die Datei requirements.txt mit den notwendigen Bibliotheken.
Installieren Sie die benötigten Bibliotheken, indem Sie Folgendes ausführen:

pip install -r requirements.txt

Schreiben Sie den notwendigen Code in die Datei audiocraft_app.py.

Führen Sie die App mit folgendem Befehl aus:

streamlit run audiocraft_app.py

Ihre App sollte unter http://localhost:8501/ verfügbar sein. Geben Sie Ihren OpenAI-API-Schlüssel ein, wählen Sie das geeignete ChatGPT-Modell basierend auf der Inhaltslänge und geben Sie die URL an.

Fazit

Audiocraft repräsentiert eine aufregende neue Grenze in der KI-gestützten Musikgenerierung. Seine Flexibilität und Open-Source-Natur bieten unzählige Möglichkeiten für Musiker und Entwickler. Wenn Sie mit Audiocraft kreativ werden, vergessen Sie nicht, Ihre musikalischen Meisterwerke zu teilen!