WALL-E: Ein neuer Ansatz zur Verbesserung von LLM-Agenten durch Welt-Alignment und Regel-Lernen

Große Sprachmodelle (LLMs) haben sich in den Bereichen Argumentation, Generierung und Planung als äußerst leistungsfähig erwiesen. Ihre direkte Verwendung als Weltmodelle für KI-Agenten in offenen Umgebungen wie Spielen oder VR/AR-Systemen stößt jedoch auf Herausforderungen. Der Forschungsartikel "WALL-E: World Alignment by Rule Learning Improves World Model-based LLM Agents" befasst sich mit der Frage, ob und wie LLMs durch "Welt-Alignment" zu effektiven Weltmodellen für KI-Agenten werden können.

Die Herausforderung der "Welt-Alignment"

Ein zentrales Problem bei der Verwendung von LLMs als Weltmodelle ist die Diskrepanz zwischen ihrem vortrainierten Wissen und der Funktionsweise der spezifischen Umgebung, in der sie eingesetzt werden sollen. Dies kann zu falschen Vorhersagen, Halluzinationen und Verletzungen grundlegender Gesetze in der Entscheidungsfindung von LLM-Agenten führen. Während die Ausrichtung von LLMs an menschlichen Werten bereits umfassend erforscht wurde, ist die "Welt-Alignment" – also die Abstimmung auf die Dynamik einer bestimmten Umgebung – bisher noch nicht ausreichend untersucht worden.

Neurosymbolische Weltmodelle durch Regel-Lernen

Der Artikel stellt "WALL-E" (World Alignment by ruLe LEarning) vor, einen Ansatz, der ein neurosymbolisches Weltmodell durch das Erlernen von Regeln auf LLMs aufbaut. Dieses Modell kombiniert die Stärken von LLMs, wie z.B. ihr umfassendes Vorwissen und ihre Fähigkeit zum probabilistischen Denken, mit der Präzision und den Garantien, die durch Regeln geboten werden. Anstatt ein komplexes, regelbasiertes Weltmodell von Grund auf neu zu erstellen, was aufgrund der Vielzahl von Regeln und Unsicherheiten schwierig ist, verfolgt WALL-E den Ansatz, ein vortrainiertes LLM mit nur wenigen zusätzlichen Regeln an die spezifische Umgebung anzupassen. Diese Regeln werden dem LLM einfach als Teil des Prompts hinzugefügt, ohne dass ein aufwendiges Training oder eine komplexe Inferenz erforderlich ist.

Wie WALL-E Regeln lernt

WALL-E lernt Regeln, indem es Interaktionstrajektorien mit der Umgebung analysiert und mit den Vorhersagen des Weltmodells vergleicht. In jeder Iteration werden folgende Schritte durchgeführt: - Der Agent interagiert mit der Umgebung und erzeugt eine reale Trajektorie. - Die reale Trajektorie wird mit der vom Weltmodell vorhergesagten Trajektorie verglichen. - Ein LLM analysiert die Unterschiede und leitet neue Regeln ab oder passt bestehende Regeln an, um die Übereinstimmung zwischen vorhergesagten und realen Trajektorien zu verbessern.

Modellprädiktive Steuerung (MPC) für LLM-Agenten

Um die Leistungsfähigkeit des durch WALL-E erzeugten Weltmodells zu nutzen, setzt der Artikel auf modellprädiktive Steuerung (MPC) für LLM-Agenten. MPC ermöglicht es dem Agenten, Aktionen in einem vorausschauenden Zeitfenster zu optimieren, was die Explorations- und Lerneffizienz im Vergleich zu herkömmlichem Reinforcement Learning (RL) deutlich verbessert.

Bewertung von WALL-E in offenen Welten

WALL-E wurde in anspruchsvollen, offenen Umgebungen wie Minecraft und ALFWorld evaluiert. Die Ergebnisse zeigen, dass WALL-E im Vergleich zu bestehenden Methoden höhere Erfolgsraten bei gleichzeitig geringerem Rechenaufwand und geringerer Anzahl von Tokens für die Entscheidungsfindung erzielt.

Zusammenfassung

Der Artikel "WALL-E: World Alignment by Rule Learning Improves World Model-based LLM Agents" präsentiert einen vielversprechenden Ansatz, um LLMs durch die Integration von Regel-Lernen zu effektiven Weltmodellen für KI-Agenten zu machen. Die Kombination aus neurosymbolischen Weltmodellen und modellprädiktiver Steuerung ermöglicht es LLM-Agenten, in komplexen, offenen Umgebungen erfolgreich zu agieren.

Bibliographie

https://arxiv.org/html/2410.07484v1 http://paperreading.club/page?id=258025 https://www.chatpaper.com/chatpaper/zh-CN/paper/66471 https://arxiv.org/list/cs.AI/recent https://icml.cc/virtual/2024/events/oral https://github.com/dair-ai/ML-Papers-of-the-Week https://www.nature.com/articles/s41599-024-03611-3 https://neurips.cc/virtual/2023/papers.html https://github.com/WooooDyy/LLM-Agent-Paper-List https://iclr.cc/virtual/2024/events/oral