Offene Datensätze als Schlüssel zur Weiterentwicklung von KI-Agenten

Im Bereich der Künstlichen Intelligenz, insbesondere bei der Entwicklung von KI-Agenten, gewinnt die Bereitstellung von hochwertigen, offenen Datensätzen zunehmend an Bedeutung. Diese Entwicklung wird von führenden Persönlichkeiten der Branche und der Open-Source-Gemeinschaft vorangetrieben, um die Transparenz, Zugänglichkeit und Innovationskraft im Sektor der KI-Forschung und -Anwendung zu fördern.

Die Notwendigkeit offener Datensätze für Frontier-Agenten

Die Diskussion um "Frontier-Agenten" – also KI-Systeme an der Spitze der aktuellen Entwicklung – unterstreicht die wachsende Erkenntnis, dass ihre Leistungsfähigkeit maßgeblich von der Qualität und Verfügbarkeit der Trainingsdaten abhängt. Während große Sprachmodelle (LLMs) traditionell auf umfangreichen Webarchiven trainiert wurden, erfordern die neuesten Generationen von Agenten, die komplexere Denkprozesse, Handlungen und Werkzeugnutzung simulieren sollen, spezifischere und oft synthetisch generierte Datensätze.

Die Forderung nach offen zugänglichen Datensätzen resultiert aus dem Wunsch, die Entwicklung dieser fortschrittlichen KI-Modelle zu demokratisieren. Offene Datensätze ermöglichen es Forschern und Entwicklern weltweit, an der Verbesserung und Validierung von KI-Agenten mitzuwirken, ohne durch proprietäre Datenbeschränkungen behindert zu werden. Dies fördert eine kollaborative Umgebung, in der Innovationen schneller vorangetrieben werden können.

Initiativen und Projekte im Bereich offener Datensätze

SYNTH: Synthetische Daten für fortgeschrittene Denkprozesse

Ein bemerkenswertes Projekt in diesem Kontext ist SYNTH, ein synthetischer Datensatz, der einen Paradigmenwechsel im Vortraining von Sprachmodellen darstellt. Anstatt sich ausschließlich auf große Mengen unstrukturierter Webdaten zu verlassen, konzentriert sich SYNTH auf die Assimilation von Wissen und Fähigkeiten, die für das Denken und "agentisches" Verhalten relevant sind. Dieser Datensatz wurde aus 50.000 wichtigen Wikipedia-Artikeln entwickelt und in eine breite Sammlung von Problemen und Lösungspfaden erweitert, die von mathematischen Übungen bis hin zu kreativem Schreiben reichen.

SYNTH nutzt kleinere, fein abgestimmte Modelle in komplexen Workflows, um die synthetischen Daten zu generieren. Dieser Ansatz bietet mehrere Vorteile:

• Wirtschaftlichkeit der Inferenz: Synthetisches Training ist dateneffizienter, auch wenn es die Generierung von Milliarden von Tokens erfordert.
• Verankerung: Wikipedia-Artikel dienen als Grundlage, um die Fakten in den generierten Daten überprüfbar zu machen.
• Diversität: Randomisierte Einschränkungen während der Abfrage- und Antwortgenerierung helfen, Modellkollaps zu verhindern und die Robustheit gegenüber unvorhergesehenen Inhalten zu stärken.
• Verifikation: Einige Pipelines ermöglichen formale Überprüfungen oder die Kuratierung durch LLM-Richter, um die Qualität der generierten Denkprozesse zu verbessern.

Durch diesen Ansatz konnten Modelle wie Baguettotron und Monad, die auf SYNTH trainiert wurden, mit deutlich weniger Daten (10- bis 50-mal weniger) vergleichbare oder bessere Ergebnisse erzielen als Modelle, die auf herkömmlichen Datensätzen basieren. Dies unterstreicht das Potenzial synthetischer, reasoning-zentrierter Daten für die Entwicklung effizienter und leistungsfähiger kleiner Modelle.

clembench: Spielbasierte Evaluierung von LLM-Agenten

Ein weiterer wichtiger Beitrag zur Entwicklung und Evaluierung von KI-Agenten ist das clembench-Framework. Dieses Framework ermöglicht die Bewertung von LLMs als Multi-Action-Agenten durch die Simulation von Konversationsspielen. Die Spiele sind so konzipiert, dass sie spezifische Fähigkeiten wie das Befolgen allgemeiner Anweisungen, strategische Zielorientierung und Sprachverständnis testen.

clembench zeichnet sich durch folgende Merkmale aus:

• Dynamische Bewertung: Das Framework kann sich an neue Entwicklungen anpassen und Datenkontamination vermeiden, indem es neue Spielinstanzen generiert.
• Herausforderung: Die Benchmarks bleiben anspruchsvoll, da die Leistung selbst der besten Modelle deutlich unter der menschlichen Leistung liegt.
• Flexibilität: Neue Modelle können leicht integriert werden, und es ermöglicht die Verfolgung der Entwicklung von Open-Weight-Modellen.
• Mehrsprachigkeit: Das Framework unterstützt die Bewertung von Modellen in verschiedenen Sprachen, was die Untersuchung mehrsprachiger Interaktionsfähigkeiten ermöglicht.

Die Ergebnisse von clembench zeigen, dass Open-Weight-Modelle in den letzten Jahren erhebliche Fortschritte gemacht haben und die Lücke zu proprietären Modellen verringern konnten. Dies bestätigt die Bedeutung offener Forschungsansätze und die Notwendigkeit robuster, dynamischer Evaluierungsmethoden.

Dataclaw: Konversationshistorien als Datensätze

Das Projekt DataClaw bietet eine Methode, um die Konversationshistorie von Coding-Agenten wie Claude Code als strukturierte Daten zu veröffentlichen und auf Hugging Face bereitzustellen. Dies ermöglicht es, reale Mensch-KI-Kollaborationen im Bereich der Softwareentwicklung als Datensatz zu nutzen.

DataClaw zielt darauf ab, die Transparenz bei der Datennutzung zu erhöhen, insbesondere angesichts restriktiverer Datenrichtlinien einiger großer Anbieter. Das Tool parst Sitzungsprotokolle, redigiert sensible Informationen und persönliche Daten (PII) und lädt die Ergebnisse als gebrauchsfertige Datensätze hoch. Dies fördert die Schaffung eines verteilten Datensatzes realer Interaktionen, der für das Training und die Analyse von KI-Agenten wertvoll sein kann.

Herausforderungen und Ausblick

Trotz der vielversprechenden Fortschritte gibt es weiterhin Herausforderungen bei der Schaffung und Pflege offener Datensätze für KI-Agenten:

• Datenqualität und Kuratierung: Die Sicherstellung der Qualität, Relevanz und Diversität von Datensätzen erfordert erhebliche Anstrengungen, insbesondere bei synthetischen Daten.
• Datenschutz und Sicherheit: Die Redaktion sensibler Informationen und der Schutz der Privatsphäre sind bei der Veröffentlichung von Datensätzen von entscheidender Bedeutung.
• Standardisierung: Die Entwicklung offener Standards und Schemata für synthetische Daten und Agenteninteraktionen ist notwendig, um die Interoperabilität und Wiederverwendbarkeit zu gewährleisten.
• Ressourcen und Kollaboration: Die Erstellung und Pflege großer, hochwertiger Datensätze erfordert erhebliche Rechenressourcen und eine starke Kollaboration innerhalb der Forschungsgemeinschaft.

Die kontinuierliche Arbeit an offenen Datensätzen und Evaluierungsframeworks ist von grundlegender Bedeutung für die Weiterentwicklung von KI-Agenten. Sie ermöglicht nicht nur eine breitere Beteiligung an der Forschung, sondern fördert auch die Entwicklung robusterer, transparenterer und ethischerer KI-Systeme. Die von Mindverse als KI-Partner unterstützten Unternehmen profitieren direkt von diesen Entwicklungen, da sie Zugang zu fortschrittlicheren Tools und tieferen Einblicken in die Leistungsfähigkeit von KI-Modellen erhalten.

Bibliographie

- Clem Delangue 🤗. (2024, November 20). Let's make dataset work great again (and open)! LinkedIn. https://www.linkedin.com/posts/clementdelangue_lets-make-dataset-work-great-again-and-activity-7265025461099847680-C-zG - Clem Delangue 🤗. (2025, July 8). We just released the best 3B model, 100% open-source, open dataset, architecture details, exact data mixtures and full training recipe including pre-training, mid-training, post-training, and synthetic data generation for everyone to train their own. LinkedIn. https://www.linkedin.com/posts/clementdelangue_we-just-released-the-best-3b-model-100-activity-7348439932295667713-PEmX - Langlais, P.-C. (2025, November 10). SYNTH: the new data frontier. Hugging Face Blog. https://huggingface.co/blog/Pclanglais/synth-data-frontier - NextFrontierBuilds/elite-longterm-memory. (2026, January 30). GitHub. https://github.com/NextFrontierBuilds/elite-longterm-memory - NielsRogge. (2025, December 12). Release reme.library (appworld.jsonl, bfcl_v3.jsonl) datasets on Hugging Face · Issue #48 · agentscope-ai/ReMe. GitHub. https://github.com/agentscope-ai/ReMe/issues/48 - Open-thoughts/OpenThoughts-Agent. (2025, December 5). GitHub. https://github.com/open-thoughts/OpenThoughts-Agent - Omallet, P. (2026, February 24). peteromallet/dataclaw. GitHub. https://github.com/peteromallet/dataclaw - Schlangen, D., Beyer, A., Chalamalasetti, K., Hakimov, S., Madureira, B., & Sadler, P. (2024). clembench2024 A Challenging, Dynamic, Complementary, Multilingual Benchmark and Underlying Flexible Framework for LLMs as Multi-Action Agents. arXiv. https://arxiv.org/html/2405.20859v1 - De Goede, B. (2026, February 19). Your OpenClaw can book flights. But can it survive a dungeon crawl? Bart de Goede. https://bart.degoe.de/ai-agent-dungeon-crawl/ - juliosuas. (2026, March 17). 🌱 AI Garden: An open experiment where AI agents build a shared world · Issue #27 · wanxingai/LightAgent. GitHub. https://github.com/wanxingai/LightAgent/issues/27