Innovatives Open-Source-Framework UniVA für komplexe Videoverarbeitung

Revolution in der Videobearbeitung: UniVA als universeller Video-Generalist

Die Landschaft der künstlichen Intelligenz erlebt eine stetige Evolution, wobei spezialisierte Modelle in einzelnen Domänen beeindruckende Leistungen erbringen. Im Bereich der Videoverarbeitung stoßen diese Einzellösungen jedoch an ihre Grenzen, sobald komplexe, iterative Arbeitsabläufe gefragt sind. Hier setzt das innovative Open-Source-Projekt UniVA (Universal Video Agent) an, das darauf abzielt, eine neue Generation von Video-Generalisten zu etablieren. UniVA integriert Video-Verständnis, -Segmentierung, -Bearbeitung und -Generierung in einem einzigen, kohärenten Framework und verspricht damit eine signifikante Beschleunigung und Vereinfachung der Videoproduktion.

Die Architektur hinter UniVA: Plan-and-Act mit Gedächtnis

Im Kern von UniVA steht eine "Plan-and-Act"-Dual-Agenten-Architektur, die einen hochautomatisierten und proaktiven Workflow ermöglicht. Diese Architektur besteht aus zwei Hauptkomponenten:

• Der Planer-Agent: Dieser Agent interpretiert die Absichten des Benutzers und zerlegt sie in strukturierte Schritte zur Videoverarbeitung. Er fungiert als strategische Instanz, die den Gesamtplan für eine komplexe Videoaufgabe entwirft.
• Die Ausführenden-Agenten: Diese Agenten setzen die vom Planer definierten Schritte um. Sie nutzen modulare, auf dem Model Context Protocol (MCP) basierende Tool-Server für spezifische Aufgaben wie Analyse, Generierung, Bearbeitung oder Tracking.

Ein entscheidender Aspekt von UniVA ist sein hierarchisches Gedächtnissystem, das aus drei Ebenen besteht:

• Globales Gedächtnis: Speichert persistentes Wissen und wiederverwendbare Ressourcen, wie vorgefertigte Embeddings oder allgemeine Videofakten.
• Aufgaben-Gedächtnis: Behält Zwischenergebnisse und Ausführungsspuren des aktuellen Workflows bei, um Kontext über mehrere Schritte hinweg zu gewährleisten.
• Benutzer-Gedächtnis: Verfolgt nutzerspezifische Präferenzen und frühere Interaktionen, um eine adaptive und personalisierte Videoerstellung zu ermöglichen.

Diese Kombination aus intelligenter Planung, modularer Ausführung und umfassendem Gedächtnis ermöglicht es UniVA, komplexe und iterative Videoworkflows zu bewältigen, die mit herkömmlichen Einzelmodellen schwierig zu realisieren wären. Dazu gehören beispielsweise text-, bild- oder videobasierte Generierung, mehrstufige Bearbeitung, Objektsegmentierung und kompositorische Synthese.

UniVA-Bench: Ein neuer Standard für die Bewertung von Video-Agenten

Um die Leistungsfähigkeit und die Agenten-Intelligenz solcher Systeme präzise zu evaluieren, wurde UniVA-Bench entwickelt. Diese Benchmark-Suite umfasst vielstufige Videoaufgaben in den Bereichen Verständnis, Bearbeitung, Segmentierung und Generierung. Im Gegensatz zu früheren Benchmarks, die sich oft auf isolierte Aufgaben konzentrierten, bewertet UniVA-Bench die Kompositionalität, den Werkzeugwechsel und das langfristige Denken von Agenten, nicht nur die Genauigkeit pro Aufgabe.

Die Bewertung erfolgt auf Basis von drei Schlüsselbereichen:

1. Aufgabenspezifische Qualität: Hier werden etablierte Metriken wie der CLIP Score für die Befolgung von Anweisungen und der DINO Score für die Konsistenz von Objekten verwendet.
2. Gesamte Benutzerpräferenz: Diese wird durch paarweise Bewertungen von einem leistungsstarken MLLM (Multimodal Large Language Model) als "Richter" erfasst.
3. Agenten-Planungsfähigkeiten: Spezielle Metriken wie Weighted Plan Edit Distance (wPED), Dependency Coverage (DepCov) und Re-planning Quality (ReplanQ) messen die Planqualität, logische Korrektheit und die Robustheit der Wiederherstellung bei Fehlern.

Experimentelle Validierung und Leistung

Die umfangreichen Experimente mit UniVA auf UniVA-Bench zielten darauf ab, zwei zentrale Hypothesen zu überprüfen:

1. Eine vereinheitlichte Agenten-Architektur bietet einen signifikanten Leistungsvorteil gegenüber isolierten End-to-End-Modellen, indem funktionale Module wie Verständnis und Generierung tief integriert werden.
2. Die Kombination aus einem Dual-Agenten "Plan-Act"-Framework und einem mehrstufigen Gedächtnissystem ist essenziell für robuste Planung und persistenten Kontext bei komplexen Videoaufgaben.

Die Ergebnisse bestätigten diese Hypothesen eindrucksvoll. In den Generierungsszenarien übertraf UniVA spezialisierte End-to-End-Modelle wie LTX-Video, Wan und Seedance, insbesondere bei der Interpretation komplexer Benutzerabsichten und der Erstellung kohärenter Narrative. Bei Aufgaben zum Video-Verständnis erzielte UniVA eine höhere Genauigkeit als führende Multimodale Modelle wie GPT-4o und Gemini 2.5 Pro, was auf die Fähigkeit des Agenten zurückzuführen ist, Videos und komplexe Anfragen in überschaubare Unteraufgaben zu zerlegen.

Auch in der Videobearbeitung und -segmentierung zeigte UniVA überzeugende Leistungen. Durch die Integration eines Verständnismuduls konnte der Agent beispielsweise Unklarheiten bei der Objektsegmentierung auflösen, die auf Pixelebene nicht lösbar wären. Diese "agentische Synergie" – das dynamische Management des Informationsflusses zwischen den Tools – ermöglichte es UniVA, Konsistenzprobleme zu lösen, die für isolierte Modelle unüberwindbar sind.

Die Rolle des Gedächtnisses und der Planung

Die detaillierte Analyse der Agenten-Fähigkeiten zeigte, dass das Plan-Act-Framework und insbesondere die Wahl des Planer-LLM (Claude-Sonnet-4 schnitt hier am besten ab) entscheidend für die Erstellung strukturell gültiger und hochwertiger Pläne ist. Das globale Gedächtnis verhinderte katastrophale Planungsfehler, indem es auf vergangene Trajektorien zurückgreifen konnte. Das Benutzergedächtnis verbesserte das Verständnis der Benutzerabsichten, was zu einer besseren Ausrichtung der generierten Inhalte führte. Die Nutzung von Storyboards als Aufgaben-Gedächtnis steigerte die Qualität der Ergebnisse erheblich, indem die semantische Kohärenz und die Konsistenz über verschiedene Szenen hinweg sichergestellt wurden.

Menschliche Evaluation und Ausblick

Zusätzlich zu automatisierten Metriken wurde eine formale menschliche Evaluationsstudie durchgeführt, die die Ergebnisse der MLLM-basierten Bewertungen bestätigte. UniVA erhielt in den meisten Bewertungsdimensionen die höchsten Präferenzwerte, was die Qualität und Benutzerfreundlichkeit des Systems unterstreicht.

UniVA stellt einen wichtigen Schritt in Richtung einer universellen Video-KI dar. Das Framework ist nicht nur eine Sammlung von Tools, sondern ein Motor, der emergente Intelligenz erzeugt. Es ist vollständig Open-Source, was die Forschung in diesem Bereich weiter vorantreiben soll. Zukünftige Arbeiten könnten die Integration größerer Mengen an aktionsfreien Videodaten sowie die Erweiterung auf weitere Modalitäten wie Ton und Kraft umfassen, um ein noch umfassenderes und vielseitigeres Framework zu schaffen.

Die Entwicklung von UniVA und UniVA-Bench bietet der B2B-Zielgruppe von Mindverse wertvolle Einblicke in die Fortschritte im Bereich der KI-gestützten Videoproduktion. Es zeigt auf, wie durch die Integration verschiedener KI-Fähigkeiten komplexe kreative Prozesse automatisiert und optimiert werden können, was zu einer effizienteren und qualitativ hochwertigeren Medienproduktion führt.

Bibliography: - Liang, Z., Zhang, D., Zhou, H., Huang, R., Li, B., Zhang, Y., Wu, S., Wang, X., Luo, J., Liao, L., & Fei, H. (2025). UniVA: Universal Video Agent towards Open-Source Next-Generation Video Generalist. arXiv preprint arXiv:2511.08521. - Hugging Face. (2025). Paper page - UniVA: Universal Video Agent towards Open-Source Next-Generation Video Generalist. Retrieved from https://huggingface.co/papers/2511.08521 - ICLR 2026 Conference Submission. (2025). UniVA: Universal Video Agents towards Next-Generation Video Intelligence. Retrieved from https://openreview.net/forum?id=0fNQCOWKc1 - Li, S., Gao, Y., Sadigh, D., & Song, S. (2025). Unified Video Action Model. Retrieved from https://unified-video-action-model.github.io/static/UVA_paper.pdf - Unified Video Action Model Website. (2025). Retrieved from https://unified-video-action-model.github.io/ - Fan, Y., Ma, X., Wu, R., Du, Y., Li, J., Gao, Z., & Li, Q. (2024). VideoAgent: A Memory-augmented Multimodal Agent for Video Understanding. arXiv preprint arXiv:2403.11481.