Integration von 3D-Objektfluss in die Robotik zur Überwindung der Embodiment Gap

Revolution in der Robotik: Wie 3D-Objektfluss die Lücke zwischen generativer KI und physischer Manipulation schließt

Die Integration von künstlicher Intelligenz in die Robotik hat in den letzten Jahren erhebliche Fortschritte gemacht. Eine der größten Herausforderungen bleibt jedoch die sogenannte "Embodiment Gap": die Kluft zwischen der Fähigkeit von KI-Modellen, plausible Interaktionen zu "verstehen" und zu generieren, und der tatsächlichen Ausführung dieser Interaktionen durch physische Robotersysteme. Eine aktuelle Forschungsarbeit stellt hierfür einen vielversprechenden Ansatz vor, der Videogenerierungsmodelle und Robotik durch die Einführung des 3D-Objektflusses als universelle Schnittstelle miteinander verbindet.

Die Herausforderung der "Embodiment Gap"

Generative Videomodelle sind mittlerweile in der Lage, hochrealistische Bewegungsabläufe zu simulieren – beispielsweise wie ein Mensch eine Decke faltet oder Brot schneidet. Trotz dieser visuellen Kompetenz fehlt es Robotern oft an der Fähigkeit, dieselben Aufgaben in der realen Welt auszuführen. Der Grund dafür liegt darin, dass Videogenerierungsmodelle zwar wissen, wie Pixel aussehen sollen, aber kein inhärentes Verständnis für Drehmoment, Reibung oder die spezifischen Gelenkbewegungen besitzen, die ein Roboter für die physische Interaktion benötigt. Dies führt dazu, dass das direkte Übertragen von generierten Videos auf Roboter oft zu Fehlern oder einer unzureichenden Ausführung führt.

Der 3D-Objektfluss als Brücke

Das vorgestellte Framework zielt darauf ab, diese Lücke zu schließen, indem es Robotern beibringt, "erträumte" Videos als Planungsleitfaden für die reale Welt zu nutzen. Kernstück dieser Methode ist der 3D-Objektfluss. Wenn das System eine Aufgabe erhält, wie beispielsweise "Brot in die Schüssel legen", generiert es zunächst eine visuelle Sequenz der erfolgreichen Ausführung mithilfe eines vortrainierten Videomodells. Aus diesem "mentalen Film" extrahiert das Framework dann den 3D-Objektfluss.

Dieser 3D-Objektfluss stellt im Wesentlichen einen mathematischen Pfad dar, der die erwartete Bewegung des Objekts im dreidimensionalen Raum erfasst, unabhängig davon, wer oder was das Objekt im Video bewegt. Indem der Fokus auf die Bewegung des Objekts anstatt auf die Bewegung des "Akteurs" im Video gelegt wird, entsteht eine objektzentrierte Trajektorie. Diese Trajektorie kann von verschiedenen Robotern an ihre spezifische physische Konfiguration angepasst werden. Das System abstrahiert visuelle Details wie eine menschliche Hand oder fehlerhafte Greifer und konzentriert sich stattdessen auf die reine Zielbewegung.

Technische Umsetzung und Methodik

Der Prozess gliedert sich in mehrere aufeinanderfolgende Schritte:

Videogenerierung und 3D-Fluss-Extraktion

Zunächst werden Videos aus einer initialen RGB-D-Aufnahme des Arbeitsbereichs und einer natürlichsprachlichen Anweisung generiert. Hierbei kommen bestehende Image-to-Video-Modelle zum Einsatz. Es wurde festgestellt, dass die Generierung von Videos ohne Roboter im Initialbild oder in den Prompts zu physikalisch plausibleren Interaktionen führt, da diese Modelle hauptsächlich auf menschzentrierten Daten trainiert wurden.

Die Extraktion des 3D-Objektflusses umfasst folgende Schritte:

• Tiefenschätzung: Ein Modell schätzt die Tiefe pro Frame aus den generierten Videos. Diese Schätzungen werden skaliert und ausgerichtet, um sie an reale Tiefenmessungen anzupassen.
• Objektlokalisierung: Ein offenes Vokabular-Objektdetektor identifiziert die relevanten Objekte, während ein Segmentierungsmodell präzise Masken liefert.
• Punktverfolgung: Ein Tracking-Modell verfolgt abgetastete Pixel über Videoframes hinweg und generiert 2D-Trajektorien mit Sichtbarkeitsindikatoren.
• 3D-Lifting: Die verfolgten Punkte werden mithilfe kalibrierter Tiefen- und Kameraparameter in 3D-Koordinaten projiziert.

Das Ergebnis dieser Schritte ist der 3D-Objektfluss, eine Repräsentation der gewünschten 3D-Trajektorien von Schlüsselpunkten des Zielobjekts über eine bestimmte Anzahl von Zeitschritten.

Aktionsinferenzstrategien

Das Framework verwendet unterschiedliche Mechanismen zur Ableitung von Aktionen, je nach Art der Aufgabe:

• Trajektorienoptimierung für reale Aufgaben: Für Greifmanipulationen wird von starren Greifvorgängen ausgegangen und eine Trajektorienoptimierung formuliert. Hierbei wird ein Kostenfunktion minimiert, die die Abweichung von den vorhergesagten Objektpunkten zum Ziel-3D-Fluss und die Kosten der Robotersteuerung berücksichtigt.
• Gelerntes Verhalten für komplexe Interaktionen: Bei Simulationsaufgaben, wie dem Schieben eines T-förmigen Objekts, wird ein partikelbasiertes Dynamikmodell eingesetzt. Dieses Modell sagt Delta-Positionen von Szenenpartikeln basierend auf dem aktuellen Zustand und den Schiebe-Primitiven voraus.
• Integration von Reinforcement Learning: Bei Aufgaben wie dem Öffnen von Türen dient der 3D-Objektfluss direkt als Belohnungssignal in Reinforcement Learning-Algorithmen. Dies ermöglicht das Erlernen embodimentspezifischer Strategien bei gleichzeitiger Beibehaltung der Konsistenz auf Aufgabenebene.

Experimentelle Ergebnisse und Leistungsanalyse

Das Framework wurde an einer Vielzahl von Aufgaben und Objekttypen getestet und zeigte eine hohe Effektivität:

• Starre Objekte: Erfolgreich bei Simulationsaufgaben wie dem Schieben eines T-förmigen Objekts und der Manipulation von Brot.
• Gelenkige Objekte: Erreichte hohe Erfolgsraten beim Öffnen von Öfen und bei Türmechanismen.
• Verformbare Objekte: Zeigte auch bei komplexen Aufgaben wie dem Abdecken einer Schüssel mit einem Tuch Erfolge, wenngleich mit geringeren Raten aufgrund der inhärenten Schwierigkeit.
• Granulare Materialien: Erfolgreiche Manipulation von Pasta in realen Szenarien.

Im Vergleich zu alternativen Ansätzen übertraf das Framework diese in den meisten getesteten Szenarien deutlich. Dies wird auf die Robustheit des 3D-Objektflusses gegenüber verrauschten Transformationsschätzungen und seine natürliche Handhabung von partiellen Verdeckungen und verformbaren Objektdynamiken zurückgeführt.

Robustheit und Embodiment-Generalisierung

Das System zeigte eine bemerkenswerte Robustheit gegenüber Umgebungsänderungen:

• Objektinstanzen: Hohe Leistung bei verschiedenen Brotsorten und Schüsselmaterialien.
• Hintergrundvariationen: Widerstandsfähigkeit gegenüber unübersichtlichen oder gemusterten Hintergründen.
• Blickwinkel: Anpassung an verschiedene Kameraperspektiven mit minimaler Leistungseinbuße.

Ein besonders hervorzuhebendes Ergebnis ist die Fähigkeit des Frameworks, verschiedene Roboter-Embodiments dazu zu befähigen, identische Objektbewegungen durch unterschiedliche, embodimentspezifische Strategien auszuführen. Bei Türöffnungs-Experimenten entwickelte jeder Roboter charakteristische Ansätze: Ein vierbeiniger Roboter nutzte seine mobile Basis für eine bessere Positionierung, während ein humanoider Roboter seine Handfläche für zusätzliche Stabilität einsetzte.

Fehleranalyse und Limitationen

Eine detaillierte Fehleranalyse identifizierte drei Hauptengpässe:

• Fehler bei der Videogenerierung (20%): Artefakte wie Objektmorphing und Halluzinationen, die die weitere Verarbeitung stören können.
• Fehler bei der Fluss-Extraktion (7%): Tracking-Fehler bei starken Rotationen oder Verdeckungen.
• Fehler bei der Roboterausführung (7%): Fehler bei der Greiferauswahl und unzureichende Bewegungsplanung.

Die Analyse zeigt, dass die meisten Fehler in der "letzten Meile" auftreten – also beim Greifen und bei der physischen Ausführung. Dies deutet darauf hin, dass die vorgelagerte Fluss-Schätzung relativ robust ist, die physische Interaktion jedoch weiterhin der Engpass bleibt. Dies ähnelt der bekannten "Sim-to-Real Gap" bei simulationsbasiertem Training.

Bedeutung und Ausblick

Diese Forschung stellt einen bedeutenden Fortschritt dar, indem sie die Fähigkeiten generativer KI mit praktischen Robotikanwendungen verbindet. Die Hauptbeiträge umfassen:

• Universelles Schnittstellendesign: Die 3D-Objektflussrepräsentation bietet eine elegante Lösung für die Embodiment Gap und ermöglicht es verschiedenen Robotern, dieselben übergeordneten Ziele durch ihre spezifischen Fähigkeiten und Einschränkungen zu interpretieren und auszuführen.
• Zero-Shot-Generalisierung: Durch die Nutzung großer Videogenerierungsmodelle erreicht das System eine Zero-Shot-Leistung bei neuen Manipulationsaufgaben, ohne dass aufgabenspezifische Trainingsdaten oder Demonstrationen erforderlich sind.
• Skalierbare Aufgabenspezifikation: Natürlichsprachliche Anweisungen in Kombination mit visuellen Beobachtungen bieten einen intuitiven und skalierbaren Mechanismus zur Spezifikation komplexer Manipulationsziele.

Die Arbeit etabliert ein neues Paradigma für die Integration von Foundation Models in Robotersysteme und demonstriert, wie abstrakte generative Fähigkeiten effektiv in physische Aktionen umgesetzt werden können. Die systematische Bewertung über verschiedene Objektkategorien und Roboter-Embodiments hinweg bestätigt die Allgemeingültigkeit des Ansatzes, während die detaillierte Fehleranalyse einen Fahrplan für zukünftige Verbesserungen bietet. Zukünftige Arbeiten könnten sich auf die Entwicklung eines geschlossenen Regelsystems konzentrieren, bei dem Echtzeit-Feedback aus der Umgebung genutzt wird, um den generierten Fluss anzupassen und das System so widerstandsfähiger gegenüber unvorhergesehenen Herausforderungen zu machen.

Bibliografie

- Dharmarajan, Karthik, et al. "Dream2Flow: Bridging Video Generation and Open-World Manipulation with 3D Object Flow." arXiv preprint arXiv:2512.24766 (2025). - Li, Hongyu, et al. "NovaFlow: Zero-Shot Manipulation via Actionable Flow from Generated Videos." arXiv preprint arXiv:2510.08568 (2025). - "This New AI Lets Robots “Imagine” How Objects Will Move Before Acting." ScienceClock, 1 Jan. 2026, scienceclock.com/dream2flow-stanford-ai-robots-imagine-tasks/. - Yu, Kelin, et al. "GenFlowRL: Shaping Rewards with Generative Object-Centric Flow in Visual Reinforcement Learning." arXiv preprint arXiv:2508.11049 (2025). - Liang, Junbang, et al. "Dreamitate: Real-World Visuomotor Policy Learning via Video Generation." arXiv preprint arXiv:2406.16862 (2024). - Xu, Tianshuo, et al. "Motion Dreamer: Boundary Conditional Motion Reasoning for Physically Coherent Video Generation." arXiv preprint arXiv:2412.00547 (2024). - "Dream2Flow: Bridging Video Generation and Open-World Manipulation with 3D Object Flow." alphaXiv, alphaxiv.org/overview/2512.24766v1.