Fortschritte in der KI-gestützten Audio-Video-Generierung mit dem Klear-Framework

Die Generierung von Inhalten mittels Künstlicher Intelligenz (KI) hat in den letzten Jahren erhebliche Fortschritte gemacht. Insbesondere im Bereich der Audio-Video-Generierung eröffnen sich dadurch neue Möglichkeiten. Trotz schneller Entwicklungen bestehen jedoch weiterhin Herausforderungen, die die Qualität und Kohärenz der generierten multimedialen Inhalte beeinträchtigen können. Ein kürzlich veröffentlichter Forschungsansatz mit dem Namen "Klear" zielt darauf ab, diese Probleme durch innovative Architekturen, Trainingsstrategien und Datenkuratierung zu adressieren.

Herausforderungen in der Audio-Video-Generierung

Die Erzeugung von synchronen und qualitativ hochwertigen Audio-Video-Inhalten durch KI-Modelle ist komplex. Bestehende nicht-kommerzielle Ansätze weisen oft Mängel auf, darunter:

• Audio-visuelle Asynchronität: Audio- und Videospuren sind nicht perfekt aufeinander abgestimmt, was zu einer unnatürlichen Wahrnehmung führt.
• Ungenügende Lippensynchronisation: Die Bewegungen der Lippen stimmen nicht präzise mit dem gesprochenen Text überein.
• Unimodale Degradation: Die Qualität einzelner Modalitäten (Audio oder Video) leidet, wenn sie gemeinsam generiert werden.

Diese Probleme werden häufig durch eine unzureichende Modellierung der Audio-Video-Korrespondenz, begrenzte Generalisierungsfähigkeiten der Modelle und einen Mangel an hochwertigen, dicht annotierten Trainingsdaten verursacht. Die aktuellen Architekturen, oft basierend auf Dual-Tower-Designs mit separaten Verarbeitungsmodulen für jede Modalität, ermöglichen keine tiefe und effektive Kreuzmodalitätsinteraktion. Zudem konzentrieren sich die meisten Trainingsstrategien auf Einzelaufgaben, was zu voreingenommenen Repräsentationen und einer eingeschränkten Nutzung von Audio-Video-Korrelationen führen kann.

Klear: Ein integrierter Ansatz zur Lösung dieser Probleme

Das von Jun Wang und seinem Team vorgeschlagene Framework "Klear" geht diese Herausforderungen systematisch an. Der Ansatz basiert auf drei Säulen:

1. Modellarchitektur: Ein Single-Tower-Design mit vereinheitlichten Diffusion Transformer (DiT)-Blöcken und einem Omni-Full Attention Mechanismus.
2. Trainingsstrategie: Ein progressives Multitask-Regime mit zufälliger Modalitätsmaskierung und einem mehrstufigen Curriculum.
3. Datenkuratierung: Eine automatisierte Pipeline zur Erstellung eines umfangreichen, qualitativ hochwertigen und dicht annotierten Audio-Video-Datensatzes.

Architektonische Neuerungen

Klear verwendet eine Single-Tower-Architektur, die darauf abzielt, eine umfassende Audio-Video-Fusion zu erreichen. Im Gegensatz zu Dual-Tower-Ansätzen, bei denen Audio und Video separat verarbeitet und erst später fusioniert werden, integriert Klear alle Modalitäten von Anfang an. Der Kern dieser Architektur sind die vereinheitlichten DiT-Blöcke, die durch einen Omni-Full Attention Mechanismus erweitert werden. Dieser Mechanismus ermöglicht es dem Modell, gleichzeitig auf vier Datenströme zu achten: Video, Videobeschreibungen, Audio und Audiobeschreibungen. Dies fördert eine enge Audio-Video-Ausrichtung und eine stärkere Kopplung an textuelle Bedingungen, was die Skalierbarkeit des Modells verbessert.

Ein weiteres architektonisches Merkmal ist das Mixed Dimension Rotary Position Embedding (MixD-RoPE). Dieses Embedding wurde entwickelt, um die Positionsinformationen in Videos mit unterschiedlichen Seitenverhältnissen und Dauern zu verbessern. Es wendet eine 3D-RoPE-Kodierung über zeitliche, Breiten- und Höhen-Dimensionen an und berücksichtigt sowohl absolute als auch relative Positionsabhängigkeiten. Für Audio wird eine kompatible 1D-Zeitpositionskodierung verwendet, wobei Videomodalität und Audiomodalität eine gemeinsame Zeit-Positions-ID nutzen.

Progressive Multitask-Trainingsstrategie

Um generalisierbare und robuste Audio-Video-Repräsentationen für die gemeinsame Generierung zu lernen, nutzt Klear eine mehrstufige Trainingsstrategie:

1. Stufe I: Vortraining. Das Modell wird auf einem großen, multi-szenischen Datenkorpus vortrainiert, um grundlegende Generierungsfähigkeiten über alle Aufgaben hinweg zu erlernen. Dies umfasst die semantische Ausrichtung zwischen den Modalitäten, die zeitliche Synchronisation, die Synthese von hochauflösendem Audio und die präzise visuelle Merkmalskonstruktion.
2. Stufe II: Spezialisiertes Nachtraining. Basierend auf Bewertungsmetriken wird das Modell gezielt auf schwächere Fähigkeiten und Aufgaben spezialisiert. Die Datenverteilungen werden adaptiv angepasst, um unterdurchschnittliche Fähigkeiten zu stärken, während die Gesamtkompetenz erhalten bleibt.
3. Stufe III: Qualitätsverfeinertes Nachtraining. Abschließend wird das Modell auf einem manuell kuratierten, hochwertigen Datensatz feingetunt, um die Generierungsqualität zu verfeinern und die Robustheit in komplexen Szenarien zu verbessern.

Die zufällige Modalitätsmaskierung ist ein Kernelement dieser Strategie. Sie ermöglicht es dem Modell, eine breite Palette von Aufgaben zu lernen, indem sie selektiv die Query- und Key-Masken für Audio- und Videomodalitäten anpasst. Dies erlaubt es Klear, nicht nur gemeinsame Generierungsaufgaben zu bewältigen, sondern auch die Fähigkeiten zur Generierung einzelner Modalitäten beizubehalten (z.B. Text-zu-Video oder Text-zu-Audio).

Automatisierte Datenkuratierung

Ein wesentlicher Bestandteil von Klear ist eine neuartige, automatisierte Datenkonstruktionspipeline. Diese Pipeline annotiert und filtert Millionen von diversen, hochwertigen und streng ausgerichteten Audio-Video-Captions-Tripletts. Die Daten werden sorgfältig nach Video- und Audioqualität gefiltert, wobei dynamische und statische Qualitätsmerkmale sowie die natürliche Beschaffenheit des Inhalts berücksichtigt werden. Die Audio-Video-Konsistenz wird mithilfe von Tools wie Synchformer für die zeitliche Ausrichtung und ImageBind für die semantische Ausrichtung überprüft.

Das Dataset wird zudem nach Audiotypen (Gesang, Einzelsprecher-Sprache, Mehrsprecher-Sprache, natürliche Geräusche) unterteilt und dicht annotiert. Für die Annotation werden spezialisierte Modelle wie Whisper-Large-v3, SenseVoice und Qwen2.5-Omni für Transkriptionen sowie Qwen2.5-Omni und Gemini 2.5-Pro für Audiountertitel verwendet. Ein Video-Expertenmodell liefert detaillierte Videobeschriftungen. Alle Annotationen werden zu vereinheitlichten, dichten Untertiteln zusammengeführt.

Experimentelle Ergebnisse und Leistungsbewertung

Klear wurde umfassend evaluiert und mit bestehenden Methoden verglichen. Es zeigte in verschiedenen Metriken eine überlegene Leistung:

• Robuste Audio-Video-Generierung: Klear übertrifft kaskadierte und bestehende gemeinsame Modelle deutlich in der Audio-Video-Konsistenz und Synchronisation. Kaskadierte Ansätze leiden unter Fehlerakkumulation, während frühere gemeinsame Modelle nur moderate Konsistenz aufweisen.
• Erhaltung der unimodalen Leistung: Trotz der gemeinsamen Generierung liefert Klear eine hohe Audio- und Videoqualität, die spezialisierte T2A- und T2V-Modelle übertrifft. Dies deutet darauf hin, dass die Nutzung komplementären Audio-Video-Wissens die unimodale Repräsentation stärkt.
• Konsistenter Leistungsvorteil: Klear erzielt durchweg starke Ergebnisse über eine breite Palette von Aufgaben, einschließlich TI2AV, TI2V, T2V und T2A, und erreicht Leistungen, die mit führenden kommerziellen Systemen wie Veo 3 vergleichbar sind.

Qualitative Bewertungen

In qualitativen Analysen zeigte Klear eine präzise Lippensynchronisation auf Phonem-Ebene, die Mundbewegungen, Lippen-Zahn-Formen und Zungenpositionen genau auf das Audio abstimmt. Dies steht im Gegensatz zu anderen Modellen, die oft Fehlstellungen und Zeitverzögerungen aufweisen.

Die generierten Charaktere weisen eine hohe emotionale Ausdrucksfähigkeit auf, wobei Mimik und Gestik konsistent mit dem affektiven Ton des Audios sind. Auch bei der Generierung von Gesang und Rap zeigt Klear eine natürliche Übereinstimmung von Tonhöhe, Rhythmus und Atemkontrolle mit den visuellen Elementen.

Die Audio-visuelle Synchronisation und Audio-Überlappung ist ebenfalls verbessert, wodurch Hintergrundmusik und Soundeffekte emotional konsistent und zeitlich synchron mit dem Video generiert werden.

Ablationsstudien

Ablationsstudien bestätigten die Effektivität der einzelnen Komponenten von Klear:

• Architektonische Effektivität: Das Single-Tower-Modell übertraf Dual-Tower-Varianten in Audio- und Videoqualität sowie Audio-Video-Konsistenz.
• Vorteile der Multitask-Maskierung: Die Multitask-Maskierung führte zu einer signifikanten Leistungssteigerung bei der T2AV-Generierung, indem sie Kreuzmodalitätskorrelationen und komplementäre Hinweise nutzte.
• Fortschrittliche Trainingsstrategie: Die progressive Trainingsstrategie verbesserte schrittweise die Fähigkeiten des Modells von grundlegender Generierung bis zur Verfeinerung der Qualität in komplexen Szenen.

Fazit

Die Forschung hinter Klear adressiert kritische Mängel in der Audio-Video-Generierung, wie Asynchronität, Lippensynchronisationsfehler und unimodale Qualitätseinbußen. Durch die Kombination einer einheitlichen Modellarchitektur mit Omni-Full Attention, einer fortschrittlichen progressiven Trainingsstrategie und einer automatisierten Datenkuratierungspipeline konnte ein Modell entwickelt werden, das in der Lage ist, hochqualitative, semantisch und zeitlich kohärente Audio-Video-Inhalte zu erzeugen. Klear übertrifft bestehende State-of-the-Art-Methoden und bietet einen skalierbaren Weg für die nächste Generation der Audio-Video-Synthese. Diese Entwicklungen sind von Bedeutung für eine Vielzahl von Anwendungen, von der Medienproduktion bis hin zu interaktiven KI-Systemen, und könnten zukünftige Forschungsrichtungen in diesem Bereich maßgeblich beeinflussen.

Bibliography: - Wang, J., Qiang, C., Guo, Y., Wang, Y., Zeng, X., Zhang, C., & Wan, P. (2026). Klear: Unified Multi-Task Audio-Video Joint Generation. arXiv preprint arXiv:2601.04151. - Zhao, L., Feng, L., Ge, D., Yi, F., Zhang, C., Zhang, X.-L., & Li, X. (2025). UniForm: A Unified Multi-Task Diffusion Transformer for Audio-Video Generation. arXiv e-prints, arXiv:2502.03897. - Cheng, H. K., Ishii, M., Hayakawa, A., Shibuya, T., Schwing, A., & Mitsufuji, Y. (2024). MMAudio: Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis. arXiv preprint arXiv:2412.15322. - Ruan, L., Ma, Y., Yang, H., He, H., Liu, B., Fu, J., Yuan, N. J., Jin, Q., & Guo, B. (2023). MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 10219-10228). - Hugging Face Daily Papers (2026). Klear: Unified Multi-Task Audio-Video Joint Generation. Abrufbar unter: https://huggingface.co/papers/2601.04151 - alphaXiv: Explore (o.J.). Klear: Unified Multi-Task Audio-Video Joint Generation. Abrufbar unter: https://alphaxiv.org/abs/2601.04151 - paperreading.club (2026). Klear: Unified Multi-Task Audio-Video Joint Generation. Abrufbar unter: http://paperreading.club/page?id=367244 - showlab/Awesome-Video-Diffusion. (o.J.). GitHub. Abrufbar unter: https://github.com/showlab/Awesome-Video-Diffusion