CARLA-Air: Integration von Luft- und Bodensimulationen für autonome Systeme

Revolution in der Robotik-Simulation: CARLA-Air vereint Luft- und Bodensysteme

Die Forschung im Bereich autonomer Systeme steht an einem Wendepunkt. Die zunehmende Komplexität von Anwendungen, die sowohl Luft- als auch Bodendomänen umfassen, erfordert Simulationsumgebungen, die diese heterogenen Systeme nahtlos integrieren können. Bislang waren gängige Open-Source-Plattformen oft auf eine Domäne spezialisiert, was die Entwicklung von kooperativen Luft-Boden-Systemen erschwerte. Eine neue Entwicklung namens CARLA-Air zielt darauf ab, diese Lücke zu schließen, indem sie die Stärken der etablierten Simulatoren CARLA und AirSim in einem einzigen Unreal Engine Prozess vereint. Diese Integration verspricht eine neue Ära der Effizienz und Präzision in der Simulation für die Luft-Boden-gestützte Embodied AI.

Die Herausforderung der Domänentrennung

Autonome Fahrsysteme und Drohnen haben in den letzten Jahren erhebliche Fortschritte gemacht. Doch die Simulation dieser Systeme erfolgte traditionell in getrennten Umgebungen. CARLA, bekannt für seine fotorealistischen Stadtumgebungen und detaillierten Verkehrsflüsse, konzentrierte sich auf Bodenfahrzeuge und deren Interaktionen. AirSim hingegen bot eine präzise physikalische Simulation von Multirotor-Drohnen und deren Sensoren. Für Forschungsbereiche wie die Luft-Boden-Kooperation, bei der Drohnen und Bodenfahrzeuge gemeinsam Aufgaben lösen, stellte diese Trennung eine erhebliche Hürde dar. Brückenbasierte Co-Simulationen, die diese getrennten Simulatoren miteinander verbinden, litten oft unter Synchronisationslatenzen und konnten keine strikte raumzeitliche Konsistenz der Sensorströme gewährleisten, die für moderne Wahrnehmungs- und Lernpipelines unerlässlich ist.

CARLA-Air: Eine integrierte Lösung

CARLA-Air ist eine Open-Source-Infrastruktur, die CARLA und AirSim in einem einzigen Unreal Engine Prozess zusammenführt. Diese Vereinigung ermöglicht es, Drohnen in fotorealistischen Städten zu fliegen und gleichzeitig synchronisierte Luft-Boden-Sensoren ohne Latenzbrücken zu nutzen. Die Plattform unterstützt bis zu 18 Sensormodalitäten, darunter RGB, Tiefe, semantische Segmentierung, LiDAR, Radar, IMU, GNSS und Barometrie, die über alle Luft- und Bodenplattformen hinweg synchron erfasst werden können. Dies ist ein entscheidender Vorteil für die Entwicklung von Systemen, die eine präzise und zeitlich abgestimmte Datenfusion aus verschiedenen Quellen benötigen.

Architektonische Innovation und Kompatibilität

Die technische Herausforderung der Zusammenführung zweier komplexer Simulatoren, die beide auf der Unreal Engine basieren, lag in der Überwindung des "GameMode"-Konflikts. Die Unreal Engine erlaubt pro Welt nur einen aktiven GameMode. CARLA-Air löst dies durch ein kompositionsbasiertes Design: Ein neuer GameMode namens CARLAAirGameMode erbt die Bodensimulationssubsysteme von CARLA, während der Flugakteur von AirSim als reguläre Weltentität hinzugefügt wird. Diese Architektur gewährleistet einen gemeinsamen Physik-Tick und eine gemeinsame Rendering-Pipeline, was eine strikte raumzeitliche Konsistenz über alle Sensoransichten hinweg ermöglicht.

Ein weiterer wichtiger Aspekt ist die volle API-Kompatibilität. Sowohl die nativen Python-APIs von CARLA als auch die von AirSim sowie die ROS 2-Schnittstellen bleiben vollständig erhalten. Dies bedeutet, dass bestehende Codebasen ohne Änderungen auf CARLA-Air ausgeführt werden können, was den Umstieg für Forscher erheblich erleichtert.

Leistung und Stabilität

Die Leistungsfähigkeit von CARLA-Air wurde unter verschiedenen Szenarien evaluiert. In moderaten Szenarien, die Bodenverkehr, eine Drohne und eine umfassende Sensorik umfassen, erreicht die Plattform eine stabile Bildrate von etwa 20 Bildern pro Sekunde (FPS). Dies ist ausreichend für die Evaluation von Richtlinien in Reinforcement Learning (RL)-Anwendungen.

Besonders hervorzuheben ist die Stabilität der Plattform: Ein dreistündiger Dauertest mit 357 Spawn-/Zerstörungszyklen von Akteuren zeigte keine Abstürze und keine signifikante Speicherakkumulation. Dies ist ein kritischer Faktor für lange RL-Trainingsläufe, bei denen Konsistenz und Zuverlässigkeit der Simulationsumgebung von größter Bedeutung sind.

Die Kommunikationslatenz zwischen den APIs ist minimal, da beide Simulator-APIs innerhalb desselben Prozesses über die Loopback-Schnittstelle arbeiten. Dies eliminiert den Overhead der Interprozess-Serialisierung, der bei brückenbasierten Lösungen zu finden ist.

Anwendungsfelder und Forschungspotenziale

CARLA-Air eröffnet neue Möglichkeiten für die Forschung in verschiedenen Bereichen der Embodied AI:

• Luft-Boden-Kooperation: Heterogene Agenten können in einer gemeinsamen Umgebung für Aufgaben wie Überwachung, Eskortierung und Such- und Rettungsmissionen koordiniert werden. Ein Beispiel ist die Präzisionslandung einer Drohne auf einem sich bewegenden Bodenfahrzeug.
• Embodied Navigation und Vision-Language Action (VLN/VLA): Agenten können mithilfe visueller und sprachlicher Eingaben in realistischen Umgebungen navigieren und agieren. CARLA-Air ermöglicht die Generierung von Datensätzen mit Vogelperspektive und bodengestützter Sicht, die für VLN/VLA-Aufgaben unerlässlich sind.
• Multimodale Wahrnehmung und Datensatzkonstruktion: Synchronisierte Luft-Boden-Sensorströme können in großem Maßstab gesammelt werden, um gepaarte Datensätze für die Kreuzansicht-Wahrnehmung, 3D-Rekonstruktion und Szenenverständnis zu erstellen. Die garantierte Synchronisation auf Tick-Ebene eliminiert Ausrichtungsfehler.
• Reinforcement Learning (RL) Training: Die Plattform bietet eine stabile Umgebung für das Training von RL-Richtlinien in Luft-Boden-Kooperationsszenarien, mit konsistenten Zustandsbeobachtungen und zuverlässigen Episoden-Resets.

Erweiterbarkeit und Zukunftsperspektiven

Dank einer erweiterbaren Asset-Pipeline können Forscher eigene Roboterplattformen, UAV-Konfigurationen und Umgebungskarten in die gemeinsame Simulationswelt importieren. Dies unterstützt die flexible Konstruktion vielfältiger Luft-Boden-Interaktionsszenarien.

Da die ursprüngliche Entwicklung von AirSim archiviert wurde, übernimmt CARLA-Air die langfristige Wartung und Weiterentwicklung des Luftfahrt-Stacks. Dies gewährleistet, dass die Flugsimulationsfähigkeiten innerhalb einer modernen und aktiv gepflegten Infrastruktur weiterentwickelt werden.

Zukünftige Arbeiten umfassen die Physik-Zustandssynchronisierung zwischen den beiden Engines und eine ROS 2-Brücke, um eine breitere Ökosystemintegration zu ermöglichen. Langfristig wird auch die Unterstützung von GPU-paralleler Multi-Umgebungs-Ausführung angestrebt, um den Durchsatz für groß angelegtes Reinforcement Learning zu erhöhen.

Fazit

CARLA-Air stellt einen signifikanten Fortschritt in der Simulationslandschaft für autonome Systeme dar. Durch die Beseitigung der Domänentrennung und die Bereitstellung einer physikalisch kohärenten, hochauflösenden und stabilen Simulationsumgebung ermöglicht es CARLA-Air Forschern, komplexe Luft-Boden-Interaktionen mit bisher unerreichter Präzision und Effizienz zu untersuchen. Dies ist ein entscheidender Schritt zur Beschleunigung der Entwicklung und Bewertung von Embodied AI-Systemen im Kontext der aufkommenden Low-Altitude Economy und darüber hinaus.

Bibliografie

• Zeng, Tianle, Chen, Hanxuan, Wen, Yanci, & Zhang, Hong. (2026). CARLA-Air: Fly Drones Inside a CARLA World -- A Unified Infrastructure for Air-Ground Embodied Intelligence. arXiv preprint arXiv:2603.28032.
• Dosovitskiy, Alexey, Ros, German, Codevilla, Felipe, Lopez, Antonio, & Koltun, Vladlen. (2017). CARLA: An open urban driving simulator. Proceedings of the 1st Annual Conference on Robot Learning (CoRL), 1-16.
• Shah, Shital, Dey, Debadeepta, Lovett, Chris, & Kapoor, Ashish. (2018). AirSim: High-fidelity visual and physical simulation for autonomous vehicles. Field and Service Robotics, 621-635.
• Microsoft/AirSim GitHub Repository. (Letzter Zugriff: 2026-04-02).
• Carla-simulator/Carla GitHub Repository. (Letzter Zugriff: 2026-04-02).
• louiszengCN/CarlaAir GitHub Repository. (Letzter Zugriff: 2026-04-02).
• tianlezeng/CarlaAIr-v0.1.7 Hugging Face. (Letzter Zugriff: 2026-04-02).