ALTK-Evolve: Fortschritte im On-the-Job-Lernen für KI-Agenten

Sehr geehrte Leserschaft,

Die Entwicklung von Künstlicher Intelligenz (KI) schreitet rasant voran, und mit ihr die Komplexität der Aufgaben, die autonome Agenten bewältigen sollen. Während KI-Systeme in der Lage sind, immer anspruchsvollere Anweisungen zu befolgen, stoßen sie oft an Grenzen, wenn es darum geht, aus Erfahrungen zu lernen und dieses Wissen generalisiert auf neue, ähnliche Probleme anzuwenden. Dieses als "ewiges Praktikantenproblem" bezeichnete Phänomen führt dazu, dass Agenten Fehler wiederholen und Schwierigkeiten haben, sich an dynamische Umgebungen anzupassen. Vor diesem Hintergrund präsentiert sich ALTK-Evolve als eine vielversprechende Lösung, die darauf abzielt, KI-Agenten "On-the-Job"-Lernen zu ermöglichen und ihre Leistungsfähigkeit nachhaltig zu steigern.

Die Herausforderung des "ewigen Praktikanten"

Viele aktuelle KI-Agenten agieren ähnlich einem Koch, der jedes Rezept auswendig kennt, aber jeden Morgen vergisst, dass der Backofen in Ihrer Küche heißer läuft oder dass Stammgäste extra Salz bevorzugen. Sie befolgen Anweisungen präzise, sind jedoch unfähig, aus diesen Erfahrungen allgemeingültige Prinzipien abzuleiten. Dies führt dazu, dass sie bei geringfügigen Abweichungen von bekannten Mustern oder bei der Übertragung von Wissen auf neue, aber verwandte Aufgaben, an ihre Grenzen stoßen. Ein Junior-Koch benötigt separate Rezepte für "Vinaigrette" und "Ente à l'Orange", während ein erfahrener Koch das Prinzip "Säure gleicht Fett aus" verinnerlicht und überall anwenden kann. Ähnlich sollen zuverlässige KI-Agenten Prinzipien aus Erfahrungen destillieren und auf neue Aufgaben übertragen können, anstatt lediglich alte Protokolle zu wiederholen.

Eine Studie des MIT soll ergeben haben, dass 95 % der Pilotprojekte im Bereich KI scheitern, weil Agenten sich nicht anpassen und während ihrer Arbeit lernen können. ALTK-Evolve adressiert diese Lernlücke durch den Einsatz eines Langzeitgedächtnisses, das Agenten dabei helfen soll, bessere Entscheidungen zu treffen.

ALTK-Evolve: Eine Lösung für kontinuierliches Lernen

ALTK-Evolve ist ein Gedächtnissystem für KI-Agenten, das darauf ausgelegt ist, Agenten im Laufe der Zeit zu verbessern, indem es aus Richtlinien lernt, die aus früheren Ausführungen generiert wurden. Das System arbeitet in einem kontinuierlichen Kreislauf, der zwei Hauptphasen umfasst:

Fluss der Informationsverarbeitung

1. Abwärtsfluss (Beobachtung & Extraktion):

• In dieser Phase werden die vollständigen Trajektorien des Agenten erfasst. Dazu gehören Benutzereingaben, interne Gedankenprozesse, Tool-Aufrufe und Ergebnisse.
• Diese Daten werden in einer Interaktionsschicht (z.B. Langfuse oder ein anderes OpenTelemetry-basiertes Observability-Tool) gesammelt.
• Pluggable Extraktoren analysieren diese Spuren, um strukturelle Muster zu identifizieren und als potenzielle Entitäten (z.B. Richtlinien) zu speichern.

2. Aufwärtsfluss (Verfeinerung & Abruf):

• Ein Hintergrundprozess konsolidiert und bewertet die gesammelten Entitäten. Dabei werden Duplikate zusammengeführt, schwache Regeln eliminiert und bewährte Strategien gestärkt. Dies führt zur Entwicklung einer hochwertigen Bibliothek von Entitäten wie Richtlinien, Vorgehensweisen und Standardarbeitsanweisungen (SOPs).
• Bei einer neuen Aufgabe ruft das System über die Interaktionsschicht nur die relevanten Elemente ab und injiziert sie zum Zeitpunkt der Aktion in den Kontext des Agenten.

Dieser Ansatz bietet mehrere Vorteile:

• Schulung des Urteilsvermögens: Einmalige Ereignisse werden in übertragbare Strategien umgewandelt, die über verschiedene Aufgaben hinweg angewendet werden können.
• Kontrolle von Störungen: Eine Bewertungsfunktion sorgt dafür, dass das Gedächtnis schlank und nützlich bleibt und nicht zu einem "wachsenden Sammelsurium" wird.
• Progressive Offenlegung: Der Abruf erfolgt just-in-time, wodurch der Kontext nicht überladen wird.

Ergebnisse: Verbesserte Zuverlässigkeit, insbesondere bei schwierigen Aufgaben

Die Evaluierung von ALTK-Evolve erfolgte auf der AppWorld-Plattform, wo Agenten realistische, mehrstufige API-Aufgaben mit durchschnittlich 9,5 APIs über 1,8 Anwendungen hinweg bewältigen mussten. Besonders im Fokus standen dabei komplexe Kontrollflüsse. Ein ReAct-Agent erhielt dabei die Aufgabenanweisung sowie die fünf am besten abgerufenen Richtlinien aus einem vorherigen Durchlauf und wurde auf einer ungesehenen Partition getestet. Als Metrik diente der Scenario Goal Completion (SGC), ein strenges Konsistenzmaß, das den Erfolg über verschiedene Szenarien hinweg erfordert.

Die Ergebnisse zeigten eine signifikante Steigerung der Zuverlässigkeit:

• Die Gesamtleistung (Aggregate SGC) verbesserte sich um 8,9 Prozentpunkte.
• Bei den schwierigsten Aufgaben (Hard tasks) wurde eine Steigerung von 14,2 Prozentpunkten erzielt, was einer relativen Erhöhung der Erfolgsrate um 74 % entspricht.
• Die Agenten zeigten eine verbesserte Generalisierungsfähigkeit, indem sie Prinzipien lernten statt lediglich Rezepte auswendig zu lernen. Dies äußerte sich in einer höheren Konsistenz über Szenarienvarianten hinweg und einem geringeren "flaky" Verhalten bei komplexen Kontrollflüssen.

Diese Ergebnisse deuten darauf hin, dass die Integration von ALTK-Evolve Agenten nicht nur hilft, Aufgaben zu lösen, sondern diese auch zuverlässiger und konsistenter zu bewältigen.

Integration von ALTK-Evolve: Flexible Ansätze

ALTK-Evolve bietet diverse Integrationsmöglichkeiten, die den unterschiedlichen Bedürfnissen von Entwicklern und Anwendern entgegenkommen:

No-Code-Integration

Für Anwender von Tools wie Claude Code, OpenAI Codex und IBM Bob ist eine einfache Plugin-Installation verfügbar. Diese ermöglicht es, Entitäten aus Agenten-Trajektorien zu extrahieren und als Dateien zu speichern, wobei die automatische Abfrage über die Hooks der jeweiligen Plattform erfolgt. Dieser "Lite-Modus" ist ideal für einen schnellen Einstieg, weist jedoch Einschränkungen hinsichtlich der agentenübergreifenden Erkenntnisgewinnung und der Konsolidierung von Entitäten auf.

Low-Code-Integration

Entwickler, die mit ReAct-Agenten arbeiten, können ALTK-Evolve mit einem einzigen Import von altk_evolve.auto integrieren. Dies ermöglicht das Emittieren von Traces an eine Arize Phoenix UI und die Generierung von Verbesserungsrichtlinien, ohne den bestehenden Stack ändern zu müssen. Diese Methode ist mit gängigen LLM-Clients und Agenten-Frameworks kompatibel und bietet erweiterte Sichtbarkeit und Kontrolle.

Pro-Code-Integration

Für maximale Kontrolle und tiefgehende Integration bietet ALTK-Evolve eine Pro-Code-Option, die direkt in Systeme wie CUGA über das Model Context Protocol (MCP) eingebunden werden kann. Dies schafft einen effizienten Lernkreislauf, bei dem aufgabenspezifische Steuerungsrichtlinien vor jeder Ausführung bereitgestellt und strukturierte Ausführungsspuren nach der Ausführung zur Verfeinerung zukünftiger Anleitungen zurückgesendet werden.

Fazit

ALTK-Evolve stellt einen bedeutenden Fortschritt im Bereich des On-the-Job-Learnings für KI-Agenten dar. Durch die Umwandlung von rohen Ausführungsspuren in wiederverwendbare Richtlinien und die Fähigkeit, diese Erkenntnisse generalisiert auf neue Aufgaben anzuwenden, adressiert das System ein Kernproblem der aktuellen KI-Entwicklung: die mangelnde Anpassungsfähigkeit und Fähigkeit zur kontinuierlichen Verbesserung. Die flexible Integration, von No-Code bis Pro-Code, ermöglicht eine breite Anwendung in verschiedenen Kontexten und trägt dazu bei, die Zuverlässigkeit und Effizienz von KI-Agenten signifikant zu steigern. Dies ist ein wichtiger Schritt auf dem Weg zu intelligenteren, autonomeren und letztlich vertrauenswürdigeren KI-Systemen, die nicht nur Anweisungen befolgen, sondern auch aus ihren Erfahrungen lernen und wachsen können.

Bibliographie

• Isahagian, V., & Muthusamy, V. (2026, April 8). ALTK Evolve: On‑the‑job learning for AI agents now open builders. IBM.
• Hugging Face Blog. (2026, April 8). ALTK‑Evolve: On‑the‑Job Learning for AI Agents.
• HyperAI. (2026, April 8). ALTK-Evolve enables on-the-job learning for AI agents.
• AgentToolkit. (2026, April 7). ALTK-Evolve: Self-improving AI agents - Codex demo [Video]. YouTube.
• AgentToolkit. (2026, April 8). ALTK-Evolve: Self-improving AI agents - Claude Code demo [Video]. YouTube.
• UNUVAR, M. (2026, April 7). Merve UNUVAR's Post - AgentToolkit/altk-evolve. LinkedIn.
• Tsay, J., et al. (2026, March 16). Agent Lifecycle Toolkit (ALTK): Reusable Middleware Components for Robust AI Agents. arXiv.
• Airom, A. (2025, October 30). Introducing ALTK, the open-source agent lifecycle toolkit. Medium.
• AgentToolkit. (n.d.). AgentToolkit/agent-lifecycle-toolkit. GitHub.
• PyPI. (n.d.). altk-evolve v1.0.6.