Neues Open-Source-Modell ACE-Step 1.5 XL revolutioniert die Musikgenerierung
Inhaltsverzeichnis
Optimieren Sie Prozesse, automatisieren Sie Workflows und fördern Sie Zusammenarbeit – alles an einem Ort.
Der schnelle Überblick:
- ACE-Step 1.5 XL ist ein neues Open-Source-Modell zur Musikgenerierung, das auf Hugging Face veröffentlicht wurde.
- Es bietet eine 4B DiT-Architektur in den Varianten Base, Sft und Turbo.
- Das Modell ist unter der MIT-Lizenz kommerziell nutzbar und basiert auf rechtlich konformen Datensätzen.
- ACE-Step 1.5 XL unterstützt Text-zu-Musik-Generierung, Cover-Erstellung, Repainting und Stimmisolierung.
- Es zeichnet sich durch schnelle Generierungszeiten und die Möglichkeit aus, auf Consumer-Hardware zu laufen.
- Die Architektur kombiniert Sprachmodelle (LM) für die Planung und Diffusion Transformer (DiT) für die Audioerzeugung.
Die Landschaft der künstlichen Intelligenz wird kontinuierlich durch neue Entwicklungen erweitert. Eine aktuelle Veröffentlichung, die in der Fachwelt Beachtung findet, ist ACE-Step 1.5 XL, ein Open-Source-Modell zur Musikgenerierung, das nun auf der Plattform Hugging Face verfügbar ist. Dieses Modell, entwickelt von ACE-Step, positioniert sich als eine fortschrittliche Lösung im Bereich der KI-gestützten Audioerstellung.
Technologische Grundlagen und Architektur
ACE-Step 1.5 XL baut auf einer 4B DiT (Diffusion Transformer)-Architektur auf, die in drei Hauptvarianten angeboten wird: Base, Sft (Supervised Fine-Tuning) und Turbo. Die XL-Varianten verfügen über einen größeren DiT-Decoder mit 4 Milliarden Parametern, was zu einer höheren Audioqualität beitragen soll. Die zugrunde liegende Architektur ist hybrid und kombiniert Sprachmodelle (LM) mit Diffusion Transformern.
Die Rolle des Sprachmodells (LM)
Das Sprachmodell agiert als omnipotenter Planer. Es wandelt einfache Benutzereingaben in detaillierte Song-Blueprints um. Dieser Prozess umfasst die Synthese von Metadaten, Liedtexten und Beschreibungen durch eine "Chain-of-Thought"-Methode. Diese Informationen dienen dazu, den Diffusion Transformer präzise zu steuern. Die Ausrichtung zwischen Sprachmodell und Diffusion Transformer wird durch intrinsisches Reinforcement Learning (Verstärkendes Lernen) erreicht, das auf den internen Mechanismen des Modells basiert und externe Belohnungsmodelle oder menschliche Präferenzen vermeidet.
Der Diffusion Transformer (DiT)
Der DiT ist für die eigentliche Audioerzeugung verantwortlich. Er ist in der Lage, 48 kHz Stereo-Audio zu generieren. Die Konditionierung des DiT erfolgt durch die vom Sprachmodell erzeugten Caption-Embeddings sowie durch Timbre- und Lyrics-Encoder. Diese Struktur ermöglicht es ACE-Step 1.5 XL, verschiedene Aufgaben wie Text-zu-Musik-Generierung, Cover-Erstellung, Neuinterpretation und die Trennung von Gesang von Hintergrundmusik zu bewältigen.
Merkmale und Funktionen
ACE-Step 1.5 XL bietet eine Reihe von Funktionen, die für professionelle Anwender von Interesse sein könnten:
- Kommerzielle Verwendbarkeit: Das Modell wurde auf rechtlich konformen Datensätzen trainiert, was die kommerzielle Nutzung der generierten Musik ermöglicht. Dies umfasst lizenzierte Musik, lizenzfreie Daten und synthetisch erzeugte Audiodateien.
- Vielfältige Generierungsoptionen: Es unterstützt die Erstellung von Musik aus Textbeschreibungen (Text-to-Music), die Generierung von Coverversionen bestehender Audios, das Repainting (selektive lokale Audiobearbeitung und Neuerzeugung) sowie die Extraktion einzelner Spuren aus einem Audiostück.
- Geschwindigkeit und Effizienz: Die Turbo-Variante des Modells ist für ihre schnelle Inferenz bekannt. Sie kann ein vollständiges Lied in wenigen Sekunden auf leistungsstarker Hardware generieren und ist auch auf Consumer-Hardware mit geringerem VRAM-Bedarf lauffähig (ab 4 GB VRAM mit Optionen für Offloading und Quantisierung).
- Stilistische Kontrolle und Vielseitigkeit: Das Modell bietet eine präzise Kontrolle über den Musikstil und ermöglicht die Generierung von Kompositionen von kurzen Loops bis zu 10-minütigen Stücken. Es versteht und verarbeitet Prompts in über 50 Sprachen und kann Metadaten wie Dauer, BPM, Tonart und Taktart steuern.
- LoRA-Training: Benutzer können LoRA-Modelle (Low-Rank Adaptation) trainieren, um den Stil des Modells an individuelle Präferenzen anzupassen. Dies erfordert vergleichsweise geringe Rechenressourcen und kann innerhalb weniger Stunden auf Consumer-Hardware durchgeführt werden.
Anwendungsbereiche und Potenziale
Die Fähigkeiten von ACE-Step 1.5 XL eröffnen verschiedene Anwendungsbereiche für Kreativschaffende und Unternehmen im B2B-Sektor:
- Musikproduktion: Künstler und Produzenten können das Modell nutzen, um schnell musikalische Ideen zu entwickeln, Begleitmusik für Gesangsspuren zu generieren oder bestehende Tracks zu remixen.
- Content Creation: Für die Erstellung von Inhalten in den Bereichen Film, Videospiele oder Marketing kann ACE-Step 1.5 XL maßgeschneiderte Musikstücke liefern, die den spezifischen Anforderungen entsprechen.
- Forschung und Entwicklung: Als Open-Source-Modell bietet es Forschern und Entwicklern eine Basis für weitere Experimente und Verbesserungen im Bereich der KI-Musikgenerierung.
- Personalisierung und Stiladaption: Durch die LoRA-Trainingsoption können Benutzer das Modell an ihren eigenen musikalischen Stil anpassen, was die Schaffung einzigartiger und personalisierter Inhalte erleichtert.
Hardware-Anforderungen
Die Anforderungen an die Grafikspeichergröße (VRAM) variieren je nach gewünschter Modellvariante und Konfiguration:
- Unter 6 GB VRAM: Die 2B Turbo-Variante läuft ohne LM, mit INT8-Quantisierung und vollständigem CPU-Offload.
- 6-8 GB VRAM: Empfohlen wird das 2B Turbo-Modell mit dem 0.6B LM-Modell.
- 8-16 GB VRAM: Hier können 2B Turbo/Sft-Modelle mit 0.6B oder 1.7B LM-Modellen verwendet werden.
- 16-20 GB VRAM: XL Turbo-Modelle sind mit CPU-Offload nutzbar.
- 20-24 GB VRAM: XL Turbo/Sft-Modelle passen ohne Offload.
- Über 24 GB VRAM: XL Sft-Modelle und das 4B LM-Modell sind ohne Offload für höchste Qualität verfügbar.
Die Benutzeroberfläche des Modells wählt automatisch die optimale Konfiguration basierend auf der verfügbaren GPU-Hardware aus.
Ausblick
Die Veröffentlichung von ACE-Step 1.5 XL als Open-Source-Lösung könnte die Entwicklung und Zugänglichkeit von KI-Musikgenerierungswerkzeugen weiter vorantreiben. Die Möglichkeit, das Modell lokal zu betreiben und an individuelle Bedürfnisse anzupassen, bietet sowohl kreative als auch technische Flexibilität. Die kontinuierliche Weiterentwicklung und die aktive Community auf Plattformen wie Hugging Face deuten auf ein dynamisches Ökosystem hin, das die Potenziale dieses Modells in Zukunft noch erweitern könnte.
Bibliographie
- ACE-Step 1.5. (o. D.). GitHub. Abgerufen am 22. Juli 2024, von https://github.com/ACE-Step/ACE-Step-1.5 - ACE-Step/Ace-Step1.5. (o. D.). Hugging Face. Abgerufen am 22. Juli 2024, von https://huggingface.co/ACE-Step/Ace-Step1.5 - ACE-Step/acestep-v15-xl-turbo. (o. D.). Hugging Face. Abgerufen am 22. Juli 2024, von https://huggingface.co/ACE-Step/acestep-v15-xl-turbo - ACE-Step 1.5 Explained. (2026, 10. Februar). Art in Tech. Abgerufen am 22. Juli 2024, von https://artintech.substack.com/p/ace-step-15-explained - Ace-Step 1.5 - Do we now have an ethically trained Suno at home?. (2026, 4. Februar). VI-CONTROL. Abgerufen am 22. Juli 2024, von https://vi-control.net/community/threads/ace-step-1-5-do-we-now-have-an-ethically-trained-suno-at-home.170009/ - ACE-Step 1.5: Open-Source AI Music Generator That Rivals Suno. (2026, 5. Februar). YouTube. Abgerufen am 22. Juli 2024, von https://www.youtube.com/watch?v=aWjlUW3Vi-8Artikel jetzt als Podcast anhören
.svg){kind=logo}
.png){kind=logo}
