Bewertung von Sprachagenten in realistischen Szenarien mit dem Tool Decathlon

Einführung in die Herausforderung für Sprachagenten

Die Entwicklung von Sprachagenten, die in der Lage sind, komplexe Aufgaben in realen Umgebungen autonom zu bewältigen, stellt eine zentrale Herausforderung in der aktuellen KI-Forschung dar. Diese Agenten müssen nicht nur einzelne Anfragen verstehen und beantworten können, sondern auch mehrstufige Arbeitsabläufe über verschiedene Anwendungen hinweg koordinieren und dabei eine Vielzahl von Tools effektiv nutzen. Ein Beispiel hierfür wäre ein Agent, der E-Mails verwaltet, indem er Kalender und Dateisysteme integriert, oder ein anderer, der eine Produktionsdatenbank überwacht, um Anomalien zu erkennen und Berichte gemäß einem Betriebshandbuch zu erstellen.

Bestehende Benchmarks für Sprachagenten konzentrieren sich häufig auf spezielle Domänen oder vereinfachte Aufgabenstellungen. Dies führt dazu, dass sie die Diversität, den Realismus und die langfristige Komplexität, die für eine aussagekräftige Bewertung der Leistungsfähigkeit von Agenten in der Praxis erforderlich wären, nicht ausreichend abbilden können. Die Lücke zwischen den Fähigkeiten, die in diesen spezialisierten Benchmarks demonstriert werden, und den Anforderungen realer Anwendungen ist somit beträchtlich. Um diese Diskrepanz zu überwinden, wurde ein neues Benchmark namens "Tool Decathlon" (kurz: Toolathlon) entwickelt, das darauf abzielt, eine umfassendere und realistischere Bewertung von Sprachagenten zu ermöglichen.

Das Tool Decathlon (Toolathlon): Ein neuer Ansatz zur Bewertung von Sprachagenten

Konzept und Umfang

Das Tool Decathlon, auch als Toolathlon bezeichnet, ist ein speziell konzipiertes Benchmark, das darauf abzielt, die Fähigkeiten von Sprachagenten in vielfältigen, realistischen und langfristigen Aufgaben zu bewerten. Es unterscheidet sich von früheren Ansätzen durch seinen breiten Anwendungsbereich und die hohe Komplexität der gestellten Aufgaben.

• Vielfältige Anwendungen und Tools: Toolathlon integriert 32 verschiedene Softwareanwendungen und 604 Tools. Diese reichen von alltäglichen Plattformen wie Google Kalender und Notion bis hin zu professionellen Systemen wie WooCommerce, Kubernetes und BigQuery. Die meisten dieser Tools basieren auf hochwertigen Model Context Protocol (MCP)-Servern, die entweder überarbeitet oder neu implementiert wurden, um eine präzise und zuverlässige Interaktion zu gewährleisten.
• Realistische Umgebungsbedingungen: Im Gegensatz zu früheren Benchmarks, die oft funktionale Realismus bieten, aber eine begrenzte Diversität der Umgebungszustände aufweisen, nutzt Toolathlon realistische Anfangszustände aus echten Softwareumgebungen. Dies umfasst beispielsweise Canvas-Kurse mit zahlreichen Studierenden oder authentische Finanztabellen. Dieser Ansatz erhöht den Realismus der Aufgaben erheblich und erfordert von den Agenten eine Anpassungsfähigkeit, die über die bloße Befolgung vordefinierter Schemata hinausgeht.
• Langfristige und komplexe Aufgaben: Das Benchmark umfasst insgesamt 108 manuell erstellte oder adaptierte Aufgaben. Diese Aufgaben erfordern im Durchschnitt etwa 20 Interaktionsschritte mit mehreren Anwendungen, um abgeschlossen zu werden. Die Komplexität liegt nicht nur in der Anzahl der Schritte, sondern auch in der Notwendigkeit, Informationen über verschiedene Tools hinweg zu kombinieren und logische Schlussfolgerungen über einen längeren Zeitraum zu ziehen.
• Zuverlässige, ausführungsbasierte Bewertung: Jede Aufgabe in Toolathlon ist durch dedizierte Evaluierungsskripte streng überprüfbar. Dies gewährleistet eine objektive und präzise Messung der Erfolgsraten und minimiert die Subjektivität in der Bewertung der Agentenleistung.

Hintergrund und Motivation

Die Motivation hinter der Entwicklung von Toolathlon liegt in der Beobachtung, dass die Fortschritte bei Sprachmodellen (LLMs) zwar beeindruckend sind, ihre Anwendung in komplexen, realen Szenarien jedoch weiterhin Herausforderungen birgt. Während LLMs in der Lage sind, kohärenten Text zu generieren und einfache Anweisungen zu befolgen, ist ihre Fähigkeit, als Agenten in dynamischen und interaktiven Umgebungen zu agieren, noch begrenzt. Solche Umgebungen erfordern nicht nur Sprachverständnis, sondern auch Planungsfähigkeiten, die Fähigkeit zur Tool-Nutzung, zur Fehlerkorrektur und zur Anpassung an unvorhergesehene Situationen.

Bisherige Benchmarks wie WebArena oder AgentGym-RL haben zwar wichtige Beiträge zur Evaluation von Agenten geleistet, jedoch oft mit Einschränkungen hinsichtlich des Realismus, der Tool-Vielfalt oder der Aufgabenkomplexität. WebArena konzentriert sich beispielsweise auf Web-Browsing-Aufgaben, während AgentGym-RL ein modulares RL-Framework für das Training von LLM-Agenten in verschiedenen Umgebungen bietet, ohne auf überwachtes Fine-Tuning angewiesen zu sein.

Toolathlon versucht, diese Lücken zu schließen, indem es eine breitere Palette von Tools und Anwendungen abdeckt und gleichzeitig den Realismus der Umgebungszustände durch die Verwendung von Daten aus echten Softwareanwendungen erhöht. Dies ermöglicht eine umfassendere Einschätzung der Fähigkeiten von Sprachagenten, insbesondere im Hinblick auf die Ausführung von Aufgaben, die einen langen Planungshorizont erfordern.

Aktuelle Leistungsbewertungen

Eine umfassende Evaluierung des Toolathlon-Benchmarks mit aktuellen Modellen zeigt, dass selbst die fortschrittlichsten Sprachagenten noch erhebliche Defizite aufweisen, wenn es um die Bewältigung komplexer, realer Aufgaben geht. Die Ergebnisse unterstreichen die Notwendigkeit weiterer Forschung und Entwicklung in diesem Bereich.

• Claude-4.5-Sonnet: Das derzeit leistungsfähigste Modell im Test, Claude-4.5-Sonnet, erreichte eine Erfolgsrate von lediglich 38,6 %. Dies bedeutet, dass weniger als die Hälfte der gestellten Aufgaben erfolgreich abgeschlossen werden konnten. Im Durchschnitt benötigte das Modell 20,2 Tool-Aufrufe pro Aufgabe, um zu einem Ergebnis zu gelangen, selbst wenn dieses nicht immer korrekt war.
• DeepSeek-V3.2-Exp: Unter den Open-Source-Modellen erzielte DeepSeek-V3.2-Exp eine Erfolgsrate von 20,1 %. Dieser Wert liegt deutlich unter dem des kommerziellen Spitzenmodells, was die Leistungsunterschiede zwischen den aktuell verfügbaren Architekturen verdeutlicht.
• Allgemeine Beobachtungen: Die geringen Erfolgsraten weisen darauf hin, dass die aktuellen Sprachagenten Schwierigkeiten haben, die Anforderungen von Toolathlon zu erfüllen. Dies betrifft insbesondere die Fähigkeit, über längere Zeiträume hinweg zu planen, Fehler zu erkennen und zu korrigieren sowie Informationen konsistent über verschiedene Tools und Anwendungen hinweg zu verwalten. Die Notwendigkeit von durchschnittlich über 20 Tool-Aufrufen pro Aufgabe unterstreicht zudem die Komplexität der Workflows, die von den Agenten erwartet werden.

Diese Ergebnisse sind nicht nur eine Momentaufnahme des aktuellen Standes der Technik, sondern dienen auch als Indikator für die Richtung, in die sich die Forschung und Entwicklung von Sprachagenten bewegen muss. Das Ziel ist es, Agenten zu entwickeln, die nicht nur einzelne Befehle ausführen, sondern auch proaktiv, adaptiv und robust in dynamischen Umgebungen agieren können.

Vergleich mit bestehenden Benchmarks

Das Tool Decathlon (Toolathlon) unterscheidet sich in mehreren kritischen Aspekten von existierenden Benchmarks für Sprachagenten und große Sprachmodelle (LLMs). Diese Unterschiede sind entscheidend für die Relevanz und den Mehrwert von Toolathlon in der Forschung und Entwicklung.

Abgrenzung von traditionellen LLM-Benchmarks

Viele traditionelle LLM-Benchmarks konzentrieren sich auf Aufgaben wie Textgenerierung, Zusammenfassung, Übersetzungen oder die Beantwortung von Fragen innerhalb eines vorgegebenen Kontextes. Diese Benchmarks bewerten primär die sprachlichen Fähigkeiten und das Weltwissen der Modelle. Toolathlon hingegen legt den Fokus auf die Interaktion mit externen Tools und Anwendungen sowie die Ausführung komplexer, mehrschrittiger Aufgaben.

Unterschiede zu agentenorientierten Benchmarks

Auch im Bereich der agentenorientierten Benchmarks gibt es wichtige Unterscheidungsmerkmale:

• WebArena: Dieser Benchmark konzentriert sich primär auf Web-Browsing-Aufgaben. Obwohl dies eine Form der Tool-Nutzung darstellt, ist der Umfang der Anwendungen und die Vielfalt der Interaktionen in WebArena enger gefasst als bei Toolathlon. Toolathlon integriert eine breitere Palette von Softwaretypen, die über reine Web-Interaktionen hinausgehen.
• AgentGym-RL: AgentGym-RL bietet ein Framework für das Training von LLM-Agenten mittels Reinforcement Learning in verschiedenen Umgebungen. Während es den Fokus auf das Training von Agenten legt, ist Toolathlon stärker auf die Evaluierung der Leistungsfähigkeit in realistischen Szenarien ausgerichtet, die eine hohe Diversität an Tools und Umgebungszuständen beinhalten.
• LoTa-Bench (Language-oriented Task Planners): LoTa-Bench bewertet sprachorientierte Aufgabenplaner, was eine gewisse Überschneidung mit Toolathlon aufweist. Allerdings legt Toolathlon einen stärkeren Schwerpunkt auf die konkrete Ausführung von Aufgaben mit realen Tools und Daten, während LoTa-Bench möglicherweise stärker auf die Planungskomponente abzielt.
• VLABench (Vision-Language-Action Benchmark): VLABench konzentriert sich auf sprachgesteuerte Roboter-Manipulationen mit Aufgaben, die langfristiges Denken erfordern. Es bewertet Fähigkeiten wie das Verständnis von Mesh & Textur, räumliches Verständnis, Übertragung von Weltwissen und semantisches Anweisungsverständnis. Obwohl VLABench ebenfalls komplexe Aufgaben und langfristiges Denken adressiert, liegt sein Fokus auf physischen Interaktionen in einer simulierten Roboterumgebung, während Toolathlon sich auf Softwareanwendungen und digitale Workflows konzentriert.
• RE-Bench (Research Engineering Benchmark): RE-Bench bewertet die F&E-Fähigkeiten von Sprachmodell-Agenten im Vergleich zu menschlichen Experten bei ML-Forschungsingenieursaufgaben. Es legt Wert auf realistische Aufgaben, die nicht in Trainingskorpora enthalten sind, und ermöglicht den Vergleich von Menschen und KI-Agenten unter gleichen Bedingungen. Während RE-Bench ebenfalls auf komplexe, realistische Aufgaben mit langen Zeithorizonten abzielt, ist sein Fokus auf ML-spezifische Forschungs- und Ingenieuraufgaben beschränkt. Toolathlon hingegen deckt ein breiteres Spektrum an Unternehmens- und Alltagstools ab.

Der Hauptvorteil von Toolathlon liegt in der Kombination aus Tool-Vielfalt, Realismus der Umgebungszustände und der Komplexität der mehrschrittigen Aufgaben, die über einen langen Horizont ausgeführt werden müssen. Dies ermöglicht eine Bewertung, die der tatsächlichen Anwendung von Sprachagenten in realen Geschäftsumgebungen näherkommt und somit aussagekräftigere Erkenntnisse über ihre aktuellen Fähigkeiten und die erforderlichen Entwicklungsschritte liefert.

Implikationen für die zukünftige Entwicklung von Sprachagenten

Die Ergebnisse des Toolathlons verdeutlichen, dass die aktuellen Sprachagenten, trotz ihrer beeindruckenden Fortschritte, noch nicht in der Lage sind, komplexe, realistische und langfristige Aufgaben in vielfältigen Tool-Umgebungen zuverlässig zu bewältigen. Diese Erkenntnisse haben mehrere wichtige Implikationen für die zukünftige Forschung und Entwicklung im Bereich der Künstlichen Intelligenz.

Notwendigkeit verbesserter Planungs- und Problemlösungsfähigkeiten

Die geringen Erfolgsraten zeigen, dass Sprachagenten über die reine Sprachverarbeitung hinaus verbesserte Fähigkeiten in der Planung und Problemlösung benötigen. Dies umfasst:

• Mehrstufige Planung: Agenten müssen in der Lage sein, komplexe Aufgaben in eine Reihe von logischen Teilschritten zu zerlegen und diese sequenziell oder parallel auszuführen.
• Fehlererkennung und -korrektur: In realen Szenarien treten unweigerlich Fehler auf. Agenten müssen in der Lage sein, diese Fehler zu erkennen, ihre Ursachen zu analysieren und geeignete Korrekturmaßnahmen zu ergreifen, ohne menschliches Eingreifen.
• Adaptives Verhalten: Die Fähigkeit, sich an neue oder unerwartete Umgebungszustände anzupassen und flexible Strategien zu entwickeln, ist entscheidend.
• Ressourcenmanagement: Der effiziente Einsatz von Tools und die Verwaltung von Informationen über verschiedene Anwendungen hinweg erfordert ein ausgeklügeltes Ressourcenmanagement.

Bedeutung von Tool-Integration und API-Verständnis

Die breite Palette an Tools in Toolathlon unterstreicht die Notwendigkeit, dass Sprachagenten nicht nur generische Befehle verstehen, sondern auch die spezifischen Funktionen und APIs verschiedener Anwendungen beherrschen. Dies erfordert möglicherweise neue Ansätze für:

• Automatisierte API-Erkundung: Agenten könnten lernen, APIs selbstständig zu erkunden und zu verstehen, anstatt auf vorprogrammierte Tool-Definitionen angewiesen zu sein.
• Kontextsensitives Tool-Switching: Die Fähigkeit, das am besten geeignete Tool für eine bestimmte Aufgabe im jeweiligen Kontext auszuwählen, ist von entscheidender Bedeutung.
• Robustheit gegenüber Tool-Änderungen: Da sich Software und APIs ständig weiterentwickeln, müssen Agenten in der Lage sein, mit Änderungen umzugehen und ihre Tool-Nutzung entsprechend anzupassen.

Steigerung des Realismus in Benchmarks

Toolathlon hat gezeigt, dass die Verwendung von realistischen Anfangszuständen und diversen Szenarien unerlässlich ist, um die wahren Fähigkeiten von Agenten zu testen. Zukünftige Benchmarks sollten diesem Beispiel folgen und:

• Noch komplexere und dynamischere Umgebungen: Die Simulation von noch unübersichtlicheren und sich ständig ändernden realen Arbeitsumgebungen könnte die Entwicklung robusterer Agenten vorantreiben.
• Interaktion mit menschlichen Nutzern: Die Integration von menschlichem Feedback und die Zusammenarbeit mit menschlichen Nutzern in den Bewertungsprozess könnte Agenten dazu anregen, sozial intelligentere und kooperativere Verhaltensweisen zu entwickeln.
• Langfristige Evaluierungsmetriken: Metriken, die nicht nur den sofortigen Erfolg, sondern auch die Effizienz, die Anpassungsfähigkeit und die Robustheit über längere Zeiträume hinweg bewerten, sind notwendig.

Zusammenfassend lässt sich sagen, dass Toolathlon einen wichtigen Schritt darstellt, um die Entwicklung von Sprachagenten in Richtung realer Anwendungsfälle voranzutreiben. Die Ergebnisse zeigen deutlich die Bereiche auf, in denen weitere Forschung und Innovation erforderlich sind, um das volle Potenzial dieser Technologien auszuschöpfen und sie zu zuverlässigen Partnern in komplexen digitalen Arbeitsabläufen zu machen.

Fazit

Das Tool Decathlon (Toolathlon) stellt einen bedeutenden Fortschritt in der Evaluierung von Sprachagenten dar. Es überwindet die Beschränkungen vieler bestehender Benchmarks, indem es eine breite Palette an realen Anwendungen und Tools integriert und Aufgaben mit hoher Komplexität und langem Horizont abbildet. Die Evaluierung der aktuellen Modelle, die eine Erfolgsrate von unter 40 % zeigen, unterstreicht die noch bestehenden Herausforderungen bei der Entwicklung von Sprachagenten, die in realen Szenarien autonom agieren können.

Die Notwendigkeit verbesserter Planungs- und Problemlösungsfähigkeiten, ein tieferes Verständnis der Tool-Integration und APIs sowie die weitere Steigerung des Realismus in Benchmarks sind zentrale Erkenntnisse aus dieser Arbeit. Toolathlon wird voraussichtlich als wichtiger Treiber für die Entwicklung der nächsten Generation intelligenter Agenten dienen, die in der Lage sind, komplexe, realitätsnahe Aufgaben effektiv zu bewältigen und somit einen wesentlichen Beitrag zur Automatisierung und Effizienzsteigerung in vielen Bereichen leisten können.

Bibliographie

• Li, J., Zhao, W., Zhao, J., Zeng, W., Wu, H., Wang, X., ... & He, J. (2025). The Tool Decathlon: Benchmarking Language Agents for Diverse, Realistic, and Long-Horizon Task Execution. arXiv preprint arXiv:2510.25726.
• Xi, Z., Huang, J., Liao, C., Huang, B., Guo, H., Liu, J., ... & Huang, X. (2025). AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning. arXiv preprint arXiv:2509.08755.
• METR. (2024, November 22). Evaluating frontier AI R&D capabilities of language model agents against human experts. Blog post. Verfügbar unter: https://metr.org/blog/2024-11-22-evaluating-r-d-capabilities-of-llms/
• Zhang, S., Xu, Z., Liu, P., Yu, X., Li, Y., Gao, Q., ... & Qiu, X. (2024). VLABench: A Large-Scale Benchmark for Language-Conditioned Robotics Manipulation with Long-Horizon Reasoning Tasks. arXiv preprint arXiv:2412.18194.
• Guo, S., Xu, C., Roberts, N., Khodak, M., Shen, J., Sparks, E., ... & Schneider, A. (2022). AutoML Decathlon: Diverse Tasks, Modern Methods, and Efficiency at Scale. NeurIPS 2022 Competition. Verfügbar unter: https://neurips.cc/virtual/2022/competition/50094
• Hugging Face Papers. (Tägliche Aktualisierungen). Verfügbar unter: https://huggingface.co/papers
• ChatPaper. (Tägliche Aktualisierungen). Verfügbar unter: https://chatpaper.com/chatpaper?id=3&date=1761753600&page=1
• NLP Group @ HKUST - GitHub. Verfügbar unter: https://github.com/hkust-nlp
• HuggingFace Papers - Top Last 3 Days. Verfügbar unter: https://huggingface-paper-explorer.vercel.app/
• Li, J., Zhao, W., Zhao, J., Zeng, W., Wu, H., Wang, X., et al. (2025). The Tool Decathlon: Benchmarking Language Agents for Diverse, Realistic, and Long-Horizon Task Execution. GitHub Repository. Verfügbar unter: https://github.com/hkust-nlp/Toolathlon
• Li, J., Zhao, W., Zhao, J., Zeng, W., Wu, H., Wang, X., et al. (2025). Toolathlon Project Page. Verfügbar unter: https://toolathlon.xyz/introduction