Reflexion im Einsatz: Fortschritte bei Embodied LLMs durch innovative Planungsansätze

Sehr geehrte Damen und Herren,

die Entwicklung von Künstlicher Intelligenz, insbesondere im Bereich der Large Language Models (LLMs), schreitet mit bemerkenswerter Geschwindigkeit voran. Ein zentrales Forschungsfeld ist dabei die Fähigkeit von sogenannten "Embodied LLMs", also LLMs, die in physischen Umgebungen agieren, aus Fehlern zu lernen und ihre Strategien anzupassen. Aktuelle Studien beleuchten hierbei innovative Ansätze, die das menschliche Reflexionsvermögen nachahmen, um die Robustheit und Effizienz dieser Systeme signifikant zu steigern. Im Folgenden analysieren wir die jüngsten Fortschritte in diesem Bereich und deren Implikationen für B2B-Anwendungen.

Die Herausforderung: Lernen aus Fehlern in realen Umgebungen

Embodied LLMs ermöglichen Robotern zwar ein hochrangiges Aufgabenverständnis und eine entsprechende Planung, doch fehlt ihnen oft die Fähigkeit, zu reflektieren, was schiefgelaufen ist und warum. Dies führt dazu, dass Fehler in einer Abfolge unabhängiger Versuche immer wiederholt werden, anstatt dass sich aus ihnen Erfahrung aufbaut. Menschliche Experten hingegen zeichnen sich durch ihre Fähigkeit zur Reflexion aus. Sie simulieren Handlungen mental, hinterfragen ihre Ansätze und nutzen die tatsächlichen Ergebnisse, um ihre Annahmen über die Umgebung und ihre Handlungsstrategien anzupassen.

Bisherige Ansätze in der KI haben bestenfalls eine oberflächliche Version einer dieser Reflexionsmodi erfasst. Einige Arbeiten nutzen beispielsweise LLM-basierte verbale Reflexion, um vergangenes Verhalten in natürlicher Sprache zu kritisieren und zukünftige Aktionen zu beeinflussen. Diese Reflexionen werden jedoch oft nur als kontextueller Text gespeichert und aktualisieren nicht den zugrunde liegenden Entscheidungsprozess, wodurch ihre Wirkung flüchtig sein kann. Andere Ansätze verlassen sich auf interne Weltmodelle, um die Aktionsauswahl in physischen Umgebungen zu steuern. Diese unterstützen zwar die Reflexion-in-Aktion durch antizipierte Ergebnisse, basieren jedoch typischerweise auf festen, vorab trainierten Dynamikmodellen, die während der Ausführung falsch sein können.

"Reflective Test-Time Planning": Ein zweistufiger Reflexionsansatz

Ein vielversprechender neuer Ansatz, das "Reflective Test-Time Planning" (RTTP), zielt darauf ab, beide Reflexionsmodi nahtlos in Embodied Agents während des Test-Time-Einsatzes zu vereinigen. Dieses Framework setzt drei Embodied LLMs während des Einsatzes ein:

• Ein Aktionsgenerierungsmodell (πθ), das Aktionen basierend auf Beobachtungen erzeugt.
• Ein internes Reflexions-LLM (Vϕi), das Vor-Aktions-Bewertungen generiert.
• Ein externes Reflexions-LLM (Vϕe), das Nach-Ausführungs-Bewertungen vornimmt.

Das Framework integriert zwei Hauptformen der Reflexion:

Reflection-in-Action: Mentale Simulation vor der Ausführung

Ähnlich wie Menschen unter Unsicherheit mental Handlungen simulieren, ermöglicht RTTP den Agenten, vor der Ausführung mehrere Kandidatenaktionen zu generieren und jede davon intern zu bewerten. Dies geschieht durch "Test-Time Scaling", bei dem N diverse Kandidatenaktionen generiert und das interne Reflexions-LLM verwendet wird, um reflektierende Bewertungen für jede Kandidatenaktion zu erstellen. Die Aktion mit der höchsten Bewertung wird dann zur Ausführung ausgewählt. Anstatt sich frühzeitig auf eine Aktion festzulegen, "probiert" der Agent mental mehrere Optionen aus und wählt diejenige, die er intern als am vielversprechendsten erachtet.

Reflection-on-Action: Lernen aus realen Erfahrungen

Die Reflection-in-Action hat eine Einschränkung: Die interne Reflexion operiert in der Vorstellung und nicht in der Realität. Eine Aktion, die vom internen Reflexions-LLM hoch bewertet wird, kann aufgrund unvorhergesehener physikalischer Einschränkungen oder Umgebungsdynamiken fehlschlagen. Hier setzt die Reflection-on-Action an, die nach der Ausführung von Aktionen aus Erfahrungen lernt und das Lernen in tatsächlichen Ausführungsergebnissen verankert.

Mehrstufige externe Reflexion

Nach der Ausführung einer Aktion und der Beobachtung des Ergebnisses generiert das externe Reflexions-LLM eine Rückmeldung in natürlicher Sprache, die das unmittelbare Ergebnis und dessen Ursache bewertet. Dies bietet eine Echtzeit-Bewertung basierend auf direkt beobachtbaren Konsequenzen.

Retrospektive Reflexion mit Weitsicht

Eine kritische Begrenzung der externen Reflexion ist, dass sie Aktionen nur auf der Grundlage unmittelbarer Ergebnisse bewertet. Eine anfangs erfolgreich erscheinende Aktion kann sich später als problematisch erweisen (z. B. das Platzieren eines Objekts an einem zugänglichen Ort, der den einzigen Platz für ein größeres Objekt blockiert). Um dieses Problem der Kreditzuweisung zu lösen, führt das Framework die retrospektive Reflexion ein. Das externe Reflexions-LLM bewertet dabei periodisch frühere Entscheidungen mit vollem Rückblick neu. Diese Rückblicksbewertungen liefern selbstüberwachte Signale während des Einsatzes und ermöglichen zwei Formen des "Test-Time Training":

1. Policy Gradient für πθ: Begünstigt Aktionen, die unter Rückblick gut abschneiden.
2. Supervised Learning für Vϕi: Antizipiert, was der Rückblick offenbaren wird.

Diese Aktualisierungen überarbeiten nicht nur die Aktionsrichtlinie, sondern auch die zugrunde liegenden prädiktiven Annahmen, was einem "Double-Loop Learning" entspricht. Die Agenten lernen nicht nur aus Ergebnissen, sondern diagnostizieren und korrigieren die zugrunde liegenden Ursachen ihrer Fehler.

Experimentelle Ergebnisse und Benchmarks

Die Wirksamkeit von RTTP wurde auf zwei neu entwickelten Embodied-Benchmarks evaluiert, die speziell auf fehlergesteuerte Anpassung ausgelegt sind:

• Long-Horizon Household Benchmark: Erfordert die Fehlerbehebung bei mehrstufiger Planung über mehrere Räume hinweg.
• MuJoCo Cupboard Fitting Benchmark: Isoliert geometrische Platzierungsfehler.

Die Ergebnisse zeigen signifikante Leistungssteigerungen gegenüber verschiedenen Basismodellen, einschließlich verbaler Reflexion, RL- und Weltmodell-Baselines. Insbesondere bei "Fitting"-Aufgaben, die enge räumliche Beschränkungen erfordern, erzielt der Ansatz deutliche Verbesserungen. Ablationsstudien bestätigen, dass die Verbesserung nur dann eintritt, wenn sowohl Reflection-in-Action als auch Reflection-on-Action stattfinden und sowohl die Aktionsrichtlinie als auch das interne Reflexionsmodell während des Einsatzes aktualisiert werden.

Ein Vergleich mit einer "Receding Horizon Planning"-Strategie zeigte, dass die Ein-Schritt-Aktionsgenerierung in Kombination mit retrospektiver Reflexion bei fünffach geringeren Rechenkosten eine überlegene Leistung erbringt. Dies deutet darauf hin, dass effektives langfristiges Denken in Embodied Agents nicht unbedingt aus expliziter Sequenzplanung resultieren muss, sondern durch erlernte Antizipation erreicht werden kann.

Implikationen für B2B-Anwendungen

Die Erkenntnisse aus dieser Forschung haben weitreichende Implikationen für Unternehmen, die Embodied AI-Systeme entwickeln oder einsetzen:

• Robustheit in dynamischen Umgebungen: Systeme, die aus Fehlern lernen und sich anpassen können, sind entscheidend für den Einsatz in unstrukturierten und sich ständig ändernden Umgebungen (z. B. Logistik, Fertigung, Service-Robotik).
• Effizienzsteigerung: Durch die Reduzierung wiederholter Fehler und die Optimierung von Handlungsabläufen können Embodied LLMs Aufgaben schneller und mit weniger Ressourcen erledigen. Die Studie zeigte, dass die Reflexion zwar zusätzliche Rechenzeit pro Schritt benötigt, dies aber durch die Vermeidung von Fehlern und die verbesserte Lernfähigkeit gerechtfertigt ist.
• Autonome Anpassung: Die Fähigkeit zur Selbstkorrektur und zum Lernen während des Einsatzes reduziert den Bedarf an manuellen Eingriffen und teuren Neu-Trainingszyklen.
• Verbesserte Generalisierbarkeit: Die Experimente auf dem HM3D-Datensatz zeigten, dass das Framework auch bei Domain-Shifts, also der Übertragung von synthetischen auf fotorealistische Umgebungen, eine robuste Generalisierung aufweist.
• Interpretierbarkeit und Transparenz: Die verbale Reflexion, die von den LLMs generiert wird, bietet eine interpretierbare Rückmeldung, die für das Verständnis der Entscheidungsfindung des Agenten und für die Problemdiagnose von großem Wert sein kann.

Es ist jedoch zu beachten, dass die autonome Verhaltensaktualisierung während des Einsatzes auch wichtige Überlegungen mit sich bringt: Agenten könnten unerwartete Strategien entwickeln, die Sicherheitsbeschränkungen umgehen, verbale Reflexionen könnten Modell-Bias erben, und eine verbesserte Fehlerbehebung könnte die menschliche Aufsicht in sicherheitskritischen Anwendungen reduzieren. Transparenz durch interpretierbare verbale Reflexionen und sorgfältige Überwachung während der ersten Einsätze können diese Risiken mindern.

Fazit und Ausblick

"Reflective Test-Time Planning" stellt einen bedeutenden Schritt zur Entwicklung intelligenterer und anpassungsfähigerer Embodied LLMs dar. Die Kombination aus vorausschauender mentaler Simulation und rückblickendem Lernen aus realen Erfahrungen ermöglicht es diesen Systemen, eine menschenähnliche Fähigkeit zur strategischen Reflexion zu entwickeln. Für Unternehmen, die an der vordersten Front der KI-Innovation stehen, bietet dieser Ansatz das Potenzial, die Leistungsfähigkeit autonomer Systeme in einer Vielzahl von Anwendungen grundlegend zu verbessern.

Zukünftige Arbeiten könnten die reflektierende Anpassung auf reichhaltigere sensorische Modalitäten (z. B. taktile Informationen) ausweiten und die Integration mit Mechanismen für lebenslanges Lernen untersuchen, um Erfahrungen über eine Vielzahl von Aufgaben hinweg zu nutzen. Die kontinuierliche Verbesserung der Fähigkeiten von Vision-Language Models (VLMs) und Vision-Language-Action Models (VLAs) wird die Wirksamkeit von Reflexionsmechanismen weiter verstärken und den Weg für noch komplexere und zuverlässigere KI-Systeme ebnen.

Wir bei Mindverse beobachten diese Entwicklungen genau und integrieren die neuesten Erkenntnisse in unsere Plattform, um unseren B2B-Kunden stets die fortschrittlichsten KI-Lösungen für ihre Content-Erstellung und -Optimierung zu bieten. Die Fähigkeit von KI, aus Fehlern zu lernen und sich anzupassen, ist dabei ein Schlüsselprinzip, das wir auch in unseren eigenen Produkten anstreben, um Ihnen stets die bestmöglichen, sich selbst verbessernden Tools zur Verfügung zu stellen.

Mit freundlichen Grüßen,

Ihr Senior Specialist Journalist & Analyst für Mindverse

Bibliografie

• Hong, Y., Huang, H., Li, M., Fei-Fei, L., Wu, J., & Choi, Y. (2026). Learning from Trials and Errors: Reflective Test-Time Planning for Embodied LLMs. arXiv preprint arXiv:2602.21198.
• Schön, D. A. (1992). The reflective practitioner: How professionals think in action. Basic Books.
• Argyris, C. (1977). Double loop learning in organizations. Harvard Business Review.
• Zhu, C., Wang, T., Zhang, W., Pang, J., & Liu, X. (2025). LLaVA-3D: a simple yet effective pathway to empowering LMMs with 3D-awareness. In International Conference on Computer Vision.
• Hu, W., Hong, Y., Wang, Y., Gao, L., Wei, Z., Yao, X., Peng, N., Bitton, Y., Szpektor, I., & Chang, K. (2025). 3DLLM-mem: long-term spatial-temporal memory for embodied 3d large language model. arXiv preprint arXiv:2505.22657.
• Li, C., Zhang, R., Wong, J., Gokmen, C., Srivastava, S., Martín-Martín, R., Wang, C., Levine, G., Ai, W., Yin, H., Lingelbach, M., Hwang, M., Hiranaka, A., Garlanka, S., Aydin, A., Lee, S., Sun, J., Anvari, M., Sharma, M., Bansal, D., Hunter, S., Kim, K., Lou, A., Matthews, C. R., Villa-Renteria, I., Tang, J. H., Tang, C., Xia, F., Li, Y., Savarese, S., Gweon, H., Liu, C. K., Wu, J., & Fei-Fei, L. (2024). BEHAVIOR-1k: a human-centered, embodied ai benchmark with 1,000 everyday activities and realistic simulation. arXiv preprint arXiv:2403.09227.
• Ramakrishnan, S. K., Gokaslan, A., Wijmans, E., Maksymets, O., Clegg, A., Turner, J., Undersander, E., Galuba, W., Westbury, A., Chang, A. X., Savva, M., Zhao, Y., & Batra, D. (2021). Habitat-matterport 3d dataset (hm3d): 1000 large-scale 3d environments for embodied ai. arXiv preprint arXiv:2109.08238.
• Shinn, N., Cassano, F., Gopinath, A., Narasimhan, K., & Yao, S. (2023). Reflexion: language agents with verbal reinforcement learning. Advances in Neural Information Processing Systems.
• Madaan, A., Tandon, N., Gupta, P., Hallinan, S., Gao, L., Wiegreffe, S., Alon, U., Dziri, N., Prabhumoye, S., Yang, Y., Welleck, S., Majumder, B. P., Gupta, S., Yazdanbakhsh, A., & Clark, P. (2023). Self-refine: iterative refinement with self-feedback. Advances in Neural Information Processing Systems.
• Feng, Y., Han, J., Yang, Z., Yue, X., Levine, S., & Luo, J. (2025). Reflective planning: vision-language models for multi-stage long-horizon robotic manipulation. arXiv preprint arXiv:2502.16707.
• Hafner, D., Pasukonis, J., Ba, J., & Lillicrap, T. (2024). Mastering diverse domains through world models. arXiv preprint arXiv:2301.04104.
• Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., & Chen, W. (2021). LoRA: low-rank adaptation of large language models. arXiv preprint arXiv:2106.09685.
• Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347.
• Zhou, S., Du, Y., Chen, J., Li, Y., Yeung, D., & Gan, C. (2024). RoboDreamer: learning compositional world models for robot imagination. arXiv preprint arXiv:2404.12377.
• Wang, H., Li, T., Deng, Z., Roth, D., & Li, Y. (2024). Devil’s Advocate: Anticipatory Reflection for LLM Agents. Findings of the Association for Computational Linguistics: EMNLP 2024.