FluidGym: Neue Benchmark-Suite für Reinforcement Learning in der Strömungskontrolle

Revolution in der Strömungskontrolle: FluidGym setzt neue Maßstäbe für Reinforcement Learning

Die Anwendung von Reinforcement Learning (RL) in der aktiven Strömungskontrolle (Active Flow Control, AFC) birgt ein erhebliches Potenzial, um die Effizienz in Bereichen wie Aerodynamik, Energieerzeugung und der Reduzierung von Treibhausgasemissionen zu steigern. Trotz vielversprechender Ergebnisse sehen sich Forschende in diesem Feld jedoch oft mit erheblichen Herausforderungen konfrontiert. Ein zentrales Problem ist die Fragmentierung und Inkonsistenz bestehender Studien, die auf heterogenen Beobachtungs- und Aktuierungsschemata, numerischen Setups und Bewertungsansätzen basieren. Diese Heterogenität erschwert einen systematischen Vergleich von Algorithmen und die Bewertung des Fortschritts. Eine neue Entwicklung in diesem Bereich ist FluidGym, eine von Jannis Becktepe und Kollegen entwickelte Benchmark-Suite, die darauf abzielt, diese Lücken zu schließen und eine standardisierte, zugängliche und reproduzierbare Plattform für die RL-Forschung in der AFC bereitzustellen.

Die Herausforderungen bestehender Benchmarks

Bisherige Benchmarks in der aktiven Strömungskontrolle weisen mehrere Einschränkungen auf, die deren breite Akzeptanz und Effektivität schmälern:

• Abhängigkeit von externen CFD-Solvern: Viele existierende Benchmarks, wie DRLinFluids oder drlFoam, greifen auf externe Computational Fluid Dynamics (CFD)-Solver (z.B. OpenFOAM, Fluent, FEniCS) zurück. Dies erfordert eine komplexe Installation, Konfiguration und Kopplung mit Python-RL-Code, was Fachwissen im Bereich CFD voraussetzt und zu fehleranfälligen Software-Pipelines führen kann.
• Mangelnde Differenzierbarkeit: Die meisten Benchmarks sind entweder gar nicht oder nur begrenzt differenzierbar. Dies verhindert den End-to-End-Einsatz von differenzierbaren prädiktiven Kontrollmethoden (DPC) und modernen differenzierbaren RL-Verfahren, die das Training beschleunigen und die Leistung klassischer RL-Algorithmen übertreffen können.
• Begrenzte 3D- und Multi-Agenten-Unterstützung: Viele Umgebungen sind auf 2D-Flüsse beschränkt und bieten nur eingeschränkte Unterstützung für Multi-Agenten-Reinforcement Learning (MARL), obwohl räumlich verteilte Aktuierung in realen Strömungssystemen eine wichtige Rolle spielt.
• Inkonsistente Bewertungsprotokolle: Die Varianz in experimentellen Setups, wie Aktuatoren, Sensorplatzierungen und physikalischen Parametern, sowie unterschiedliche RL-Algorithmen und Hyperparameter erschweren den direkten Vergleich von Forschungsergebnissen und die Bewertung des aktuellen Stands der Technik.

FluidGym: Eine umfassende Lösung

FluidGym wurde entwickelt, um diese Einschränkungen zu überwinden und eine robuste Grundlage für die zukünftige Forschung in der lernbasierten Strömungskontrolle zu schaffen. Die Kernprinzipien von FluidGym sind:

• Eigenständigkeit und Benutzerfreundlichkeit: FluidGym ist vollständig in PyTorch implementiert und nutzt den GPU-beschleunigten PICT-Solver. Dies ermöglicht den Betrieb in einem einzigen Python-Stack ohne externe CFD-Software und vereinfacht die Installation und Nutzung erheblich. Es lässt sich nahtlos in gängige RL-Schnittstellen wie Gymnasium und PettingZoo sowie Algorithmus-Frameworks wie Stable-Baselines3 und TorchRL integrieren.
• End-to-End Differenzierbarkeit: Die Suite ist vollständig differenzierbar, was die Anwendung gradientenbasierter Kontrollmethoden und differenzierbarer RL-Algorithmen ermöglicht. Die Gradientenberechnung erfolgt durch eine Kombination aus Discretize-then-Optimize (DtO) und Optimize-then-Discretize (OtD) Paradigmen.
• Native Multi-Agenten-Unterstützung: FluidGym unterstützt von Grund auf sowohl Single-Agent- (SARL) als auch Multi-Agent-RL (MARL), mit standardisierten Beobachtungs-, Aktions- und Belohnungsspezifikationen für zentralisierte oder dezentralisierte Kontrollstrategien.
• Hochauflösende 3D-Umgebungen: Die Benchmark-Suite umfasst vielfältige 2D- und 3D-Umgebungen, die auf vier kanonischen Strömungsszenarien basieren und jeweils in drei Schwierigkeitsgraden verfügbar sind.
• Standardisierte Protokolle: FluidGym bietet einheitliche Trainings- und Bewertungsprotokolle mit vordefinierten Train-, Validierungs- und Test-Splits und randomisierten Anfangsbedingungen, um Reproduzierbarkeit und statistische Robustheit zu gewährleisten.

Die FluidGym-Umgebungen im Detail

FluidGym umfasst 13 Umgebungen, die aus vier grundlegenden Strömungsszenarien abgeleitet sind, um eine breite Palette von Herausforderungen abzubilden:

Strömung um einen Zylinder

Dieses klassische Setup simuliert die Kármánsche Wirbelstraße hinter einem Zylinder. Das Ziel ist die Reduzierung des Widerstandsbeiwerts (Drag Coefficient, C_D) bei geringem Auftrieb (Lift, C_L). Die Aktuierung erfolgt über synthetische Düsen oder Zylinderrotation. Die Schwierigkeit wird durch die Reynolds-Zahl (Re) variiert, wobei höhere Re-Zahlen zu stärkerer Turbulenz führen.

Rayleigh-Bénard-Konvektion (RBC)

Hierbei handelt es sich um eine Auftriebsströmung zwischen einer beheizten Bodenplatte und einer gekühlten Deckplatte. Das Ziel ist die Verbesserung des Wärmeübergangs durch Minimierung der momentanen Nusselt-Zahl (Nu_instant). Die Steuerung erfolgt über Heizelemente am Boden. Die Schwierigkeit wird durch die Rayleigh-Zahl (Ra) angepasst, wobei höhere Ra-Werte komplexere Konvektionsmuster erzeugen.

Strömung um ein Tragflächenprofil

Dieses Szenario konzentriert sich auf die Strömung um ein NACA 0012 Tragflächenprofil. Ziel ist die Steigerung der aerodynamischen Effizienz durch Maximierung des Verhältnisses von Auftrieb zu Widerstand. Die Aktuierung erfolgt mittels synthetischer Düsen an der Oberfläche des Profils. Die Schwierigkeit wird ebenfalls durch die Reynolds-Zahl bestimmt.

Turbulente Kanalströmung (TCF)

Die TCF simuliert die Strömung zwischen zwei parallelen Platten. Das Hauptziel ist die Reduzierung der Wandschubspannung (τ_wall). Die Aktuierung wird durch wandnormale Ein- und Ausblasdüsen an den Wänden realisiert. Die Schwierigkeit wird durch die Reibungs-Reynolds-Zahl (Re_τ) beeinflusst.

Experimentelle Ergebnisse und Erkenntnisse

Die Autoren führten umfangreiche Experimente mit den Algorithmen Proximal Policy Optimization (PPO) und Soft Actor-Critic (SAC) sowie deren Multi-Agenten-Varianten (MA-PPO, MA-SAC) durch. Insgesamt wurden über 16.000 GPU-Stunden für diese Studien aufgewendet. Die wichtigsten Ergebnisse umfassen:

• Algorithmus-Leistung: SAC zeigte in den meisten Umgebungen eine überlegene Leistung gegenüber PPO, insbesondere bei höheren Schwierigkeitsgraden. Die Multi-Agenten-Varianten waren vergleichbarer, wobei MA-SAC geringfügig besser abschnitt. Dies deutet auf die Bedeutung der algorithmischen Robustheit und Sample-Effizienz für turbulente AFC-Aufgaben hin.
• Differenzierbare Modellprädiktive Kontrolle (D-MPC): Die Evaluierung von D-MPC, das ausschließlich auf Gradienteninformationen basiert, zeigte eine effektive Reduzierung des Widerstands. Dies unterstreicht den Wert der vollständigen Differenzierbarkeit von FluidGym und das Potenzial gradientenbasierter Kontrollansätze.
• Koordiniertes Verhalten in MARL: Im RBC3D-easy-v0-Szenario zeigte MA-PPO ein koordiniertes Verhalten der Agenten, das zu stabilen Konvektionsrollen führte. Dies demonstriert die Fähigkeit von MARL, räumlich invariante Kontrollstrategien für global koordiniertes Verhalten zu erlernen.
• Transfer-Learning:
  • Dimensionalitätstransfer: Richtlinien, die in 2D-Zylinderumgebungen trainiert wurden, zeigten einen robusten Transfer auf ihre 3D-Pendants und übertrafen in einigen Fällen sogar direkt in 3D trainierte Baselines.
  • Domänengrößen-Transfer: Im TCF-Szenario erbrachten in kleineren Domänen trainierte Richtlinien eine vergleichbare Leistung wie die Oppositionskontrolle und übertrafen diejenigen, die direkt in größeren Domänen trainiert wurden. Dies legt nahe, dass MARL räumlich übertragbare Kontrollstrategien erlernen kann, die über verschiedene Domänenskalen hinweg generalisieren.

Einschränkungen und zukünftige Richtungen

Trotz der Fortschritte, die FluidGym bietet, bestehen weiterhin Einschränkungen. Dazu gehören die begrenzte Anzahl von Zufallssamen aufgrund der hohen Rechenkosten, die Notwendigkeit einer CUDA-fähigen GPU und die anfängliche Konzentration auf modellfreies RL. Zukünftige Arbeiten könnten die statistische Robustheit durch mehr Zufallssamen verbessern, fortgeschrittene gradientenbasierte Kontrollmethoden systematisch evaluieren und die Umgebungsvielfalt erweitern, um zusätzliche Geometrien und physikalische Regime abzudecken. Auch die Ausweitung auf magnetohydrodynamische (MHD) Strömungen ist geplant.

Fazit

FluidGym stellt einen wesentlichen Fortschritt in der Forschung zur aktiven Strömungskontrolle mittels Reinforcement Learning dar. Durch die Bereitstellung einer eigenständigen, vollständig differenzierbaren und zugänglichen Benchmark-Suite überbrückt es die Lücke zwischen RL-Forschung und Fluiddynamik. Die standardisierten Umgebungen und Bewertungsprotokolle fördern die Reproduzierbarkeit und ermöglichen einen systematischen Vergleich von Kontrollmethoden. Die Veröffentlichung aller Umgebungen und trainierten Modelle soll die Einstiegshürden für Forschende senken und die wissenschaftliche Zusammenarbeit in diesem vielversprechenden Feld fördern. FluidGym legt somit ein skalierbares Fundament für die Entwicklung und Bewertung zukünftiger lernbasierter Strömungskontrollstrategien.

Bibliographie

- Becktepe, J., Franz, A., Thuerey, N., & Peitz, S. (2026). Plug-and-Play Benchmarking of Reinforcement Learning Algorithms for Large-Scale Flow Control. arXiv preprint arXiv:2601.15015. - Hugging Face, (2026). Paper page - Plug-and-Play Benchmarking of Reinforcement Learning Algorithms for Large-Scale Flow Control. Verfügbar unter: https://huggingface.co/papers/2601.15015 - TheMoonlight.io, (n.d.). [Literature Review] Plug-and-Play Benchmarking of Reinforcement Learning Algorithms for Large-Scale Flow Control. Verfügbar unter: https://www.themoonlight.io/review/plug-and-play-benchmarking-of-reinforcement-learning-algorithms-for-large-scale-flow-control - ChatPaper.com, (n.d.). Plug-and-Play Benchmarking of Reinforcement Learning Algorithms for Large-Scale Flow Control. Verfügbar unter: https://chatpaper.com/zh-CN/paper/228289 - arXiv.org, (2025). HydroGym: A Reinforcement Learning Platform for Fluid Dynamics. arXiv preprint arXiv:2512.17534. Verfügbar unter: https://arxiv.org/abs/2512.17534 - arXiv.org, (2024). Open RL Benchmark: Comprehensive Tracked Experiments for Reinforcement Learning. arXiv preprint arXiv:2402.03046. Verfügbar unter: https://arxiv.org/abs/2402.03046 - TsinghuaC3I. (n.d.). A Survey of Reinforcement Learning for Large Reasoning Models. GitHub. Verfügbar unter: https://github.com/TsinghuaC3I/Awesome-RL-for-LRMs