Gaia2 als neuer Benchmark zur Bewertung von LLM-Agenten in dynamischen Umgebungen

Gaia2: Ein neuer Maßstab für die Bewertung von LLM-Agenten in dynamischen Umgebungen

Die Entwicklung von Large Language Models (LLMs) hat in den letzten Jahren erhebliche Fortschritte gemacht. Doch während statische Benchmarks oft die Leistungsfähigkeit dieser Modelle in isolierten Aufgaben gut abbilden, stellt die Bewertung von LLM-Agenten in realitätsnahen, dynamischen und asynchronen Umgebungen eine größere Herausforderung dar. Hier setzt Gaia2 an, ein neuer Benchmark, der in Zusammenarbeit mit Meta AI entwickelt wurde, um genau diese Lücke zu schließen. Er bietet eine umfassende Plattform zur Evaluierung von Agentensystemen unter Bedingungen, die den Anforderungen der realen Welt näherkommen.

Die Notwendigkeit dynamischer Benchmarks

Bisherige Evaluationsmethoden für LLM-Agenten konzentrierten sich häufig auf statische oder synchrone Aufgaben. In solchen Szenarien pausiert die Umgebung, während der Agent agiert, und es treten keine unvorhergesehenen Ereignisse auf. Die Realität ist jedoch anders: In vielen Anwendungen müssen Agenten in Umgebungen operieren, die sich unabhängig von ihren Aktionen entwickeln, auf zeitliche Beschränkungen reagieren, mit unsicheren Informationen umgehen und sogar mit anderen Agenten zusammenarbeiten. Diese komplexen Anforderungen erfordern eine neue Generation von Benchmarks, die diese Dynamik abbilden können.

Einführung von Gaia2 und ARE

Gaia2 ist der Nachfolger des ursprünglichen GAIA-Benchmarks und wurde entwickelt, um deutlich komplexere Verhaltensweisen zu analysieren. Im Gegensatz zu GAIA, der sich auf Leseoperationen konzentrierte, ist Gaia2 ein Lese- und Schreib-Benchmark, der interaktives Verhalten und die Bewältigung von Komplexität in den Vordergrund stellt. Die Grundlage für Gaia2 bildet die Open-Source-Plattform Agents Research Environments (ARE). ARE ist eine Forschungsumgebung, die die skalierbare Erstellung von Umgebungen, die Integration synthetischer oder realer Anwendungen und die Ausführung von Agentenorchestrationen ermöglicht. Sie bietet Abstraktionen, um komplexe und vielfältige Umgebungen mit eigenen Regeln, Tools, Inhalten und Verifizierern aufzubauen, was dazu beiträgt, die Lücke zwischen Modellentwicklung und realer Bereitstellung zu überbrücken.

Kernmerkmale von Gaia2

Gaia2 besteht aus 1.120 von Menschen annotierten Szenarien in einer Smartphone-ähnlichen Umgebung, genannt "Mobile". Diese Umgebung simuliert den Alltag eines Menschen und umfasst Anwendungen wie E-Mail, Messaging, Kalender und Kontakte. Die Szenarien sind darauf ausgelegt, folgende Agentenfähigkeiten zu testen:

• Ausführung: Mehrstufige Anweisungsbefolgung und Tool-Nutzung.
• Suche: Informationsbeschaffung aus verschiedenen Quellen.
• Umgang mit Ambiguität: Klärung widersprüchlicher oder unklarer Anfragen.
• Anpassungsfähigkeit: Reaktion auf unerwartete Änderungen in der Umgebung.
• Zeitmanagement: Zeitkritische Aktionen und Einhaltung temporaler Beschränkungen.
• Multi-Agenten-Kollaboration: Kommunikation und Koordination zwischen Agenten ohne direkten API-Zugriff.
• Robustheit gegenüber Störungen: Umgang mit Fehlern, wie z.B. API-Ausfällen oder irrelevanten Umgebungsereignissen.

Ein zentrales Element von Gaia2 ist der Write-Action Verifier. Dieser Verifizierer bewertet jede zustandsändernde Schreibaktion eines Agenten anhand von Oracle-Annotationen, um Konsistenz, Kausalität, Timing und korrekte Ausführung auf Aktionsebene zu überprüfen. Dies ermöglicht eine feingranulare Bewertung und macht Gaia2 direkt für Reinforcement Learning aus verifizierbaren Belohnungen (RLVR) nutzbar.

Evaluierung und Ergebnisse

Eine Evaluierung führender proprietärer und Open-Source-Modelle auf Gaia2 lieferte interessante Einblicke. Es zeigte sich, dass kein einzelnes Modell über alle Fähigkeiten hinweg dominiert. Beispielsweise erreichte GPT-5 (high) mit 42% pass@1 die höchste Gesamtpunktzahl, scheiterte jedoch bei zeitkritischen Aufgaben. Claude-4 Sonnet zeigte einen Kompromiss zwischen Genauigkeit und Geschwindigkeit im Verhältnis zu den Kosten, während Kimi-K2 mit 21% pass@1 führend unter den Open-Source-Modellen war.

Diese Ergebnisse unterstreichen fundamentale Kompromisse zwischen Denkfähigkeit, Effizienz und Robustheit. Insbesondere die Kategorie "Zeit" erwies sich als besonders herausfordernd. Modelle, die bei komplexen Denkaufgaben hervorragend abschneiden, zeigen bei zeitkritischen Szenarien oft eine schlechtere Leistung, da ihre längeren Inferenzzeiten zu Verzögerungen führen können. Dies deutet darauf hin, dass "Intelligenz" nicht nur Genauigkeit, sondern auch Effizienz umfassen muss – ein intelligenter Agent sollte in der Lage sein, seine Rechenleistung an die Komplexität der Aufgabe anzupassen.

Die Rolle von ARE für die Forschungsgemeinschaft

Die Veröffentlichung von Gaia2 zusammen mit dem ARE-Framework zielt darauf ab, der Forschungsgemeinschaft eine flexible Infrastruktur für die Entwicklung, das Benchmarking und das Training der nächsten Generation praktischer Agentensysteme zur Verfügung zu stellen. ARE bietet eine graphische Benutzeroberfläche (GUI), die es Entwicklern ermöglicht, Umgebungen zu erkunden, Szenarien zu visualisieren und das Verhalten von Agenten detailliert zu analysieren und zu debuggen. Dies vereinfacht nicht nur die Szenarienerstellung und -qualitätskontrolle, sondern fördert auch die Reproduzierbarkeit und Vergleichbarkeit von Forschungsergebnissen.

Darüber hinaus unterstützt ARE die Erstellung neuer Evaluationsdimensionen durch die Anwendung verschiedener Umweltmodifikationen auf bestehende Szenarien. Dies ermöglicht die Erforschung von Fähigkeiten wie Gedächtnis, Sicherheit oder Schutz, ohne den erheblichen Aufwand für die Erstellung völlig neuer Benchmark-Datensätze. Die Plattform ist zudem so konzipiert, dass bestehende Agenten-Benchmarks in ARE repliziert werden können, was eine Vereinheitlichung der Evaluationslandschaft fördert.

Ausblick

Gaia2 und ARE stellen einen wichtigen Schritt dar, um die Entwicklung von LLM-Agenten in Richtung realitätsnaher Anwendungen voranzutreiben. Die Erkenntnisse aus diesem Benchmark zeigen deutlich, dass die Bewertung von Agenten über reine Such- und Ausführungsaufgaben hinausgehen muss, um die Herausforderungen dynamischer, asynchroner Umgebungen zu meistern. Die bereitgestellte Open-Source-Infrastruktur ermöglicht es der Gemeinschaft, diese Herausforderungen gemeinsam anzugehen und die nächste Generation von intelligenten Agentensystemen zu entwickeln, die in der Lage sind, in der komplexen und sich ständig ändernden realen Welt erfolgreich zu agieren.

Bibliographie

- Andrews, P., Benhalloum, A., Bertran, G. M.-T., Bettini, M., Budhiraja, A., Cabral, R. S., Do, V., Froger, R., Garreau, E., Gaya, J.-B., Laurençon, H., Lecanu, M., Malkan, K., Mekala, D., Ménard, P., Mialon, G., Piterbarg, U., Plekhanov, M., Rita, M., Rusakov, A., Scialom, T., Vorotilov, V., Wang, M., & Yu, I. (2025). ARE: Scaling Up Agent Environments and Evaluations. *arXiv preprint arXiv:2509.17158*. - Froger, R., Andrews, P., Bettini, M., Budhiraja, A., Cabral, R. S., Do, V., Garreau, E., Gaya, J.-B., Laurençon, H., Lecanu, M., Malkan, K., Mekala, D., Menard, P., Moreno-Torres Bertran, G., Piterbarg, U., Plekhanov, M., Rita, M., Rusakov, A., Vorotilov, V., Wang, M., et al. (2026). Gaia2: Benchmarking LLM Agents on Dynamic and Asynchronous Environments. *ICLR 2026 Oral*. - Hugging Face Blog. (2025, September 22). *Gaia2 and ARE: Empowering the Community to Evaluate Agents*. Retrieved from https://huggingface.co/blog/gaia2 - OpenReview. (2026, January 26). *Gaia2: Benchmarking LLM Agents on Dynamic and Asynchronous Environments*. Retrieved from https://openreview.net/forum?id=9gw03JpKK4 - OpenNovelty.org. (n.d.). *Gaia2: Benchmarking LLM Agents on Dynamic and Asynchronous Environments*. Retrieved from https://www.opennovelty.org/papers/9gw03JpKK4/gaia2-benchmarking-llm-agents-on-dynamic-and-asynchronous-environments - Meta AI Research. (2025, September 22). *ARE: scaling up agent environments and evaluations*. Retrieved from https://ai.meta.com/research/publications/are-scaling-up-agent-environments-and-evaluations/ - Burch, D. (2025, November 6). *Meta AI Researcher Explains ARE and Gaia2: Scaling Up Agent Environments and Evaluations*. Arize AI. Retrieved from https://arize.com/blog/meta-ai-researcher-explains-are-and-gaia2/