Innovative Ansätze zur Generierung synthetischer Roboterdaten durch NVIDIA

NVIDIAs Vision: Generalistische Roboter durch synthetische Welten

Im Bereich der Robotik stellt die Entwicklung generalistischer Systeme, die in der Lage sind, eine Vielzahl von Aufgaben in unterschiedlichen Umgebungen auszuführen, eine zentrale Herausforderung dar. Ein wesentlicher Engpass hierbei ist der immense Bedarf an Trainingsdaten. Herkömmliche Methoden des Robotertrainings, die auf umfangreichen menschlichen Demonstrationen basieren, sind ressourcenintensiv und schwer skalierbar. NVIDIA hat hierzu eine innovative Lösung vorgestellt: "DreamGen" und den dazugehörigen "Isaac GR00T-Dreams"-Blueprint, ein Konzept, das die Generierung von synthetischen Roboterdaten aus menschlichen Videos ermöglicht, um diesen Datenmangel zu adressieren.

DreamGen: Eine Vier-Phasen-Pipeline für neuronale Trajektorien

DreamGen ist eine vierstufige Pipeline, die darauf abzielt, "neuronale Trajektorien" zu generieren – synthetische Roboterdaten, die aus Video-Weltmodellen abgeleitet werden. Dieses Vorgehen ermöglicht eine signifikante Generalisierung von Roboterverhalten und -umgebung, selbst bei minimalen initialen Trainingsdaten.

Die einzelnen Schritte der Pipeline sind wie folgt strukturiert:

• Finetuning der Video-Weltmodelle: Zunächst werden vorhandene Video-Weltmodelle, welche als Image-to-Video-Diffusionsmodelle konzipiert sind, auf einen spezifischen Zielroboter feingetunt. Dieser Prozess ermöglicht es den Modellen, die einzigartige Dynamik und die Bewegungsmöglichkeiten des jeweiligen Roboters zu erlernen.
• Generierung von Robotervideos: Durch die Eingabe von Anfangsbildern und sprachbasierten Anweisungen werden Robotervideos generiert. Diese Videos können sowohl bekannte Verhaltensweisen als auch neue Aktionen in neuartigen Umgebungen darstellen.
• Extraktion von Pseudo-Aktionen: Da die Weltmodelle primär Videos generieren, müssen die darin enthaltenen Aktionen für das Robotertraining nutzbar gemacht werden. Dies geschieht durch die Extraktion von Pseudo-Aktionen mittels eines latenten Aktionsmodells oder eines inversen Dynamikmodells (IDM). Diese Modelle übersetzen visuelle Informationen in ausführbare Roboterbefehle und wandeln 2D-Videos in 3D-Aktionstrajektorien um.
• Visuell-motorisches Lernen: Die so gewonnenen neuronalen Trajektorien dienen als umfassender synthetischer Datensatz. Dieser wird verwendet, um visuell-motorische Richtlinien zu trainieren, entweder durch Co-Training mit realen Daten zur Leistungssteigerung oder durch ausschließliches Training mit den synthetischen Daten, um eine Generalisierung auf neue Verhaltensweisen und unbekannte Umgebungen zu ermöglichen.

Generalisierung über Verhaltensweisen und Umgebungen hinweg

Ein Kernmerkmal von DreamGen ist die Fähigkeit zur Generalisierung. Es wurde gezeigt, dass ein humanoider Roboter mithilfe von DreamGen 22 neue Verhaltensweisen in 10 verschiedenen Umgebungen ausführen konnte. Dies ist bemerkenswert, da die zugrundeliegenden Teleoperationsdaten lediglich eine einzige "Pick-and-Place"-Aufgabe in einer einzigen Umgebung umfassten. Dieser Ansatz verschiebt das Paradigma des Roboterlernens: Statt menschliche Teleoperationsdaten zu skalieren, wird nun die GPU-Rechenleistung über Weltmodelle skaliert, um den Datenbedarf zu decken.

Die erweiterten Fähigkeiten durch den GR00T-Dreams-Blueprint umfassen:

• Neue Verhaltensweisen: Roboter erlernen neue Aktionen aus sprachlichen Anweisungen, selbst wenn die Trainingsdaten nur eine einzige Aufgabe umfassten.
• Neue Umgebungen: Roboter können sich an völlig unbekannte Umgebungen anpassen, auch wenn das Weltmodell nur in einer Laborumgebung trainiert wurde.
• Vielfältige Robotertypen: Das System funktioniert über verschiedene Roboterkörper hinweg, von Humanoiden bis zu Manipulatoren, und unterstützt mehrere Kameraansichten.
• Verbessertes Lernen für komplexe Aufgaben: DreamGen ergänzt Trainingsdaten für anspruchsvolle, kontaktintensive Aufgaben wie das Falten von Objekten oder den Werkzeugeinsatz, indem es einen "Real-to-Real"-Workflow von einem initialen realen Frame ermöglicht.

DreamGen Bench: Ein Benchmark für Weltmodelle

Um die Effektivität von Videogenerierungsmodellen im Kontext der Robotik zu bewerten, hat NVIDIA den "DreamGen Bench" eingeführt. Dieses spezialisierte Benchmark misst, wie gut sich Videomodelle an spezifische Roboterkörper anpassen und physikalische Gesetzmäßigkeiten internalisieren können. Es bewertet führende Weltmodelle anhand von zwei Hauptmetriken:

• Anweisungsbefolgung: Hier wird beurteilt, ob generierte Videos den Aufgabenanweisungen präzise entsprechen.
• Physikalische Plausibilität: Bewertet die Einhaltung realer physikalischer Gesetze in den generierten Videos.

Die Ergebnisse des DreamGen Bench zeigen eine positive Korrelation: Modelle, die höhere Punktzahlen erzielen, führen zu einer verbesserten Leistung der Roboterpolitik in realen Manipulationsaufgaben. Dies unterstreicht die Bedeutung robuster Weltmodelle für die Generierung qualitativ hochwertiger synthetischer Daten.

Beschleunigte Entwicklung: GR00T N1.5

Ein konkretes Beispiel für den praktischen Nutzen von DreamGen ist die Entwicklung des "GR00T N1.5"-Modells. NVIDIA Research nutzte den GR00T-Dreams-Blueprint, um die synthetischen Trainingsdaten für GR00T N1.5 in lediglich 36 Stunden zu generieren. Dieser Prozess hätte bei manueller Datenerfassung nahezu drei Monate in Anspruch genommen. GR00T N1.5 ist ein Update des offenen Basismodells für humanoide Roboter, das eine verbesserte Genauigkeit im Verständnis sprachlicher Anweisungen, erweiterte Generalisierungsfähigkeit auf neue Objekte und Umgebungen sowie ein verbessertes visuell-sprachliches Grundverständnis bietet.

Ökosystem und zukünftige Perspektiven

Die vorgestellten Technologien, darunter DreamGen und der Isaac GR00T-Dreams-Blueprint, sind Teil eines umfassenderen Ökosystems von NVIDIA, das darauf abzielt, die Entwicklung generalistischer Roboter zu beschleunigen. Unternehmen wie AeiRobot, Foxlink, Lightwheel und NEURA Robotics setzen bereits GR00T N-Modelle ein, um ihre industriellen Roboter in die Lage zu versetzen, natürliche Sprache zu verstehen, die Flexibilität von Manipulatoren zu verbessern oder die Bereitstellung humanoider Roboter in Fabriken zu validieren.

NVIDIA stellt zudem weitere Werkzeuge und Ressourcen bereit, darunter das "Open-Source Physical AI Dataset" und das Simulationsframework "NVIDIA Isaac Sim 5.0", um Entwicklern den Einstieg in diese neuen Paradigmen des Robotertrainings zu erleichtern. Die Vision ist es, durch die Kombination von KI-Gehirnen für Roboter, simulierten Welten für das Training und KI-Supercomputern für die Modellentwicklung eine neue industrielle Revolution im Bereich der physischen KI und Robotik einzuleiten.

Die kontinuierliche Forschung in Bereichen wie "Latent Action Pretraining from Videos" und "Sim-and-Real Co-Training" trägt dazu bei, die Effizienz des Robotertrainings weiter zu steigern und die "Reality Gap" zwischen Simulation und physischer Welt zu überbrücken. Diese Fortschritte sind entscheidend, um Roboter nicht nur in kontrollierten Umgebungen, sondern auch in dynamischen und unvorhersehbaren realen Szenarien einsetzen zu können.

Bibliography: - alphaXiv. (n.d.). Explore. Retrieved from https://alphaxiv.org/ - Jang, J., et al. (2025). DreamGen: Unlocking Generalization in Robot Learning through Video World Models. Proceedings of The 9th Conference on Robot Learning, PMLR 305:5170-5194. Retrieved from https://proceedings.mlr.press/v305/jang25a.html - Llontop, E. (2026, January 8). Building Generalist Humanoid Capabilities with NVIDIA Isaac GR00T N1.6 Using a Sim-to-Real Workflow. NVIDIA Technical Blog. Retrieved from https://developer.nvidia.com/blog/building-generalist-humanoid-capabilities-with-nvidia-isaac-gr00t-n1-6-using-a-sim-to-real-workflow/ - NVIDIA. (2025, May 20). DreamGen - Research at NVIDIA. Retrieved from https://research.nvidia.com/labs/gear/dreamgen - NVIDIA. (2025, May 18). How Robot Brains Dream and Explore Unseen Worlds. YouTube. Retrieved from https://www.youtube.com/watch?v=8Mwrfvq-GeY - NVIDIA. (2025, October 29). Synthetic Data From Neural Simulation for Robot Training. YouTube. Retrieved from https://www.youtube.com/watch?v=Coy2TyBcT4g - NVIDIA Newsroom. (2025, May 18). NVIDIA Powers Humanoid Robot Industry With Cloud-to-Robot Computing Platforms for Physical AI. Retrieved from https://nvidianews.nvidia.com/news/nvidia-powers-humanoid-robot-industry-with-cloud-to-robot-computing-platforms-for-physical-ai - Omotuyi, O. (2025, June 16). Enhance Robot Learning with Synthetic Trajectory Data Generated by World Foundation Models. NVIDIA Technical Blog. Retrieved from https://developer.nvidia.com/blog/enhance-robot-learning-with-synthetic-trajectory-data-generated-by-world-foundation-models/ - Doherty, S. (2025, July 16). R²D²: Training Generalist Robots with NVIDIA Research Workflows and World Foundation Models. NVIDIA Technical Blog. Retrieved from https://developer.nvidia.com/blog/r2d2-training-generalist-robots-with-nvidia-research-workflows-and-world-foundation-models/