Fortschritte in der generalisierbaren Bewegungserzeugung für 3D-Humanoide

Herausforderungen bei der Generalisierung in der Bewegungserzeugung

Die Generierung von Bewegungen für 3D-Humanoide hat in den letzten Jahren erhebliche Fortschritte gemacht. Dennoch sehen sich bestehende Modelle mit einer grundlegenden Einschränkung konfrontiert: ihrer Generalisierungsfähigkeit. Während sie auf spezifischen Benchmarks oft beeindruckende Ergebnisse liefern, fällt es ihnen schwer, menschliches Verhalten in vielfältigen, ungesehenen Szenarien realistisch und kohärent zu reproduzieren. Dies steht im Kontrast zu angrenzenden generativen Feldern, wie der Videogenerierung (ViGen), die bereits eine bemerkenswerte Generalisierung bei der Modellierung menschlicher Verhaltensweisen gezeigt haben. Diese Beobachtung legt nahe, dass wertvolle Erkenntnisse und Techniken von ViGen auf die Bewegungserzeugung (MoGen) übertragen werden könnten, um deren Generalisierungsfähigkeit zu verbessern.

Ein umfassendes Framework für verbesserte Bewegungserzeugung

Angesichts dieser Herausforderungen wurde ein umfassendes Framework entwickelt, das systematisch Wissen von ViGen auf MoGen überträgt. Dieses Framework konzentriert sich auf drei Kernbereiche: Daten, Modellierung und Evaluierung. Ziel ist es, die derzeitigen Grenzen der Generalisierung zu überwinden und Modelle zu schaffen, die menschliche Bewegungen in einer breiteren Palette von Kontexten realistisch und flexibel generieren können.

Daten: ViMoGen-228K als neue Grundlage

Ein zentraler Baustein des Frameworks ist die Einführung von ViMoGen-228K, einem umfangreichen Datensatz, der 228.000 hochwertige Bewegungsproben umfasst. Dieser Datensatz ist eine innovative Kombination aus verschiedenen Quellen, um die semantische Vielfalt und Qualität der Trainingsdaten erheblich zu erweitern:

• Hochpräzise optische MoCap-Daten (Motion Capture): Diese Daten bieten detaillierte und genaue Informationen über menschliche Bewegungen.
• Semantisch annotierte Bewegungen aus Webvideos: Durch die Integration von Bewegungen aus realen Videos wird die Modellierung von komplexen und natürlich vorkommenden Verhaltensweisen ermöglicht.
• Synthetisierte Proben von modernsten ViGen-Modellen: Die Nutzung von durch Videogenerierungsmodelle erzeugten Daten erweitert die Bandbreite der abgedeckten Szenarien und Bewegungsvariationen.

Dieser hybride Ansatz, der sowohl Text-Bewegungs-Paare als auch Text-Video-Bewegungs-Tripletts einschließt, zielt darauf ab, die semantische Vielfalt zu maximieren und den Modellen ein tieferes Verständnis für die Beziehung zwischen Textbeschreibungen, visuellen Kontexten und den daraus resultierenden Bewegungen zu vermitteln.

Modellierung: ViMoGen und ViMoGen-light

Aufbauend auf der erweiterten Datenbasis wird das Modell ViMoGen vorgeschlagen. Hierbei handelt es sich um einen auf Flussanpassung basierenden Diffusionstransformer, der darauf ausgelegt ist, die Priors aus MoCap-Daten und ViGen-Modellen durch eine "gated multimodal conditioning" zu vereinen. Diese Konditionierung ermöglicht es dem Modell, relevante Informationen aus verschiedenen Modalitäten (Text, Video, Bewegung) selektiv zu nutzen, um kohärente und realistische Bewegungen zu generieren.

Um die Effizienz zu steigern, wurde zusätzlich ViMoGen-light entwickelt. Diese destillierte Variante eliminiert Abhängigkeiten von der Video-Generierung, während sie gleichzeitig eine starke Generalisierungsfähigkeit beibehält. Dies ist besonders relevant für Anwendungen, bei denen Rechenressourcen begrenzt sind oder eine schnelle Inferenz erforderlich ist.

Evaluierung: MBench als hierarchischer Benchmark

Um die Leistungsfähigkeit des Frameworks umfassend zu bewerten, wurde der hierarchische Benchmark MBench entwickelt. Dieser Benchmark ermöglicht eine feingranulare Evaluierung in drei Schlüsselbereichen:

• Bewegungsqualität: Wie realistisch und flüssig sind die generierten Bewegungen?
• Prompt-Fidelity: Wie gut entsprechen die generierten Bewegungen den gegebenen Text-Prompts?
• Generalisierungsfähigkeit: Wie gut schneidet das Modell bei ungesehenen Daten und Szenarien ab?

Umfangreiche Experimente unter Verwendung dieses Benchmarks haben gezeigt, dass das entwickelte Framework bestehende Ansätze sowohl in automatischen als auch in menschlichen Bewertungen signifikant übertrifft. Dies deutet auf einen substanziellen Fortschritt in der genauerer und allgemeingültigerer Bewegungserzeugung hin.

Implikationen für die B2B-Zielgruppe

Für Unternehmen im B2B-Bereich, insbesondere im Kontext von KI-gestützten Content-Tools wie Mindverse, sind die Ergebnisse dieser Forschung von grosser Bedeutung. Die verbesserte Generalisierungsfähigkeit und Realitätstreue bei der Bewegungserzeugung eröffnen neue Möglichkeiten in verschiedenen Anwendungsbereichen:

• Medien und Unterhaltung: Realistischere Animationen für Filme, Videospiele und virtuelle Realität, die weniger manuelle Nachbearbeitung erfordern.
• Robotik und Simulation: Präzisere und natürlichere Bewegungsabläufe für humanoide Roboter in Trainingssimulationen oder realen Anwendungen.
• Virtuelle Assistenten und Avatare: Die Entwicklung von digitalen Assistenten und Avataren, die menschliche Bewegungen und Gesten überzeugender imitieren können, was die Interaktion natürlicher gestaltet.
• Forschung und Entwicklung: Ein robusteres Fundament für weitere Forschung in den Bereichen Mensch-Computer-Interaktion und künstliche Intelligenz.

Die Verfügbarkeit von Code, Daten und Benchmarks unterstreicht das Engagement der Forschergemeinschaft für Transparenz und Reproduzierbarkeit, was die Adaption und Weiterentwicklung dieser Technologien in industriellen Kontexten erleichtert.

Ausblick

Die Forschung zur generalisierbaren Bewegungserzeugung markiert einen wichtigen Schritt in Richtung künstlicher Intelligenz, die menschliches Verhalten nicht nur nachahmen, sondern auch in neuen Kontexten flexibel und überzeugend generieren kann. Die Kombination aus vielfältigen Datenquellen, fortschrittlichen Modellierungsansätzen und umfassenden Evaluierungsmethoden schafft eine solide Basis für zukünftige Innovationen in diesem dynamischen Feld.

Bibliographie

• Lin, J., Wang, R., Lu, J., Huang, Z., Song, G., Zeng, A., Liu, X., Wei, C., Yin, W., Sun, Q., Cai, Z., Yang, L., & Liu, Z. (2022). The Quest for Generalizable Motion Generation: Data, Model, and Evaluation. arXiv preprint arXiv:2510.26794.
• Guo, X., Zhang, M., Xie, H., Gu, C., & Liu, Z. (2024). CrowdMoGen: Zero-Shot Text-Driven Collective Motion Generation. Hugging Face Papers.
• Guo, Z., Li, W., & Loy, C. C. (2024). Generalizable Implicit Motion Modeling for Video Frame Interpolation. Hugging Face Papers.
• Chen, Z. et al. (2025). Semantically Controllable Augmentations for Generalizable Robot Learning. The Moonlight.
• Hugging Face (2025). Daily Papers.
• ICLR (2025). ICLR 2025 Papers.
• Broad, A. (2019). Generalizable Data-driven Models for Personalized Shared Control of Human-Machine Systems (Doctoral dissertation). Northwestern University.
• Computer Vision and Pattern Recognition | Cool Papers.