Stabilisierung von Policy-Optimierung in großen Sprachmodellen durch kausale Kalman-Filterung

Online Kausale Kalman-Filterung für stabile und effektive Politikoptimierung in Sprachmodellen

Die Anwendung von Reinforcement Learning (RL) auf große Sprachmodelle (LLMs) hat in den letzten Jahren signifikante Fortschritte gemacht, birgt jedoch weiterhin Herausforderungen, insbesondere im Hinblick auf die Stabilität der Policy-Optimierung. Ein zentrales Problem ist die hohe Varianz der Importance Sampling (IS) Ratios auf Token-Ebene, die bei der Skalierung zu Instabilitäten führen kann. Aktuelle Forschungsergebnisse, insbesondere eine Arbeit mit dem Titel "Online Causal Kalman Filtering for Stable and Effective Policy Optimization", die am 11. Februar 2026 eingereicht wurde, beleuchten dieses Problem und schlagen eine neuartige Lösung vor.

Die Herausforderung der Policy-Optimierung in LLMs

Reinforcement Learning zur Optimierung von LLMs basiert häufig auf der Schätzung von Importance Sampling (IS) Ratios, um die Auswirkungen von Aktionen (z.B. der Auswahl von Tokens) zu bewerten, die von einer älteren Policy stammen, aber auf die aktuelle Policy angewendet werden. Diese IS Ratios können jedoch auf Token-Ebene eine hohe Varianz aufweisen. Dies bedeutet, dass die Schätzungen der Wichtigkeit einzelner Tokens stark schwanken können, was die Policy-Optimierung erheblich destabilisiert und im schlimmsten Fall zu einem "Training Collapse" führen kann.

Bisherige Ansätze zur Bewältigung dieser Instabilität umfassten in der Regel zwei Strategien:

• Die Verwendung eines festen IS Ratios auf Sequenz-Ebene für alle Tokens innerhalb einer Sequenz. Dieser Ansatz vereinfacht die Berechnung, ignoriert jedoch die individuellen Abweichungen der Tokens.
• Die separate Anpassung des IS Ratios für jedes Token. Hierbei wird oft die temporale Off-Policy-Ableitung über die Tokens einer Sequenz hinweg vernachlässigt, was zu strukturellen Inkonsistenzen führen kann.

Die empirische Analyse einer aktuellen Veröffentlichung zeigt, dass lokale Off-Policy-Abweichungen auf Token-Ebene strukturell inkonsistent sind. Diese Inkonsistenzen können die Policy-Gradient-Updates benachbarter Tokens verzerren und somit die Stabilität des gesamten Trainingsprozesses gefährden.

KPO: Eine neuartige Lösung mit kausaler Kalman-Filterung

Um diese Probleme zu adressieren, wurde "Online Causal Kalman Filtering for Stable and Effective Policy Optimization" (KPO) vorgeschlagen. KPO modelliert das gewünschte IS Ratio als einen latenten Zustand, der sich über die Tokens hinweg entwickelt. Der zentrale Bestandteil dieses Ansatzes ist die Anwendung eines Kalman-Filters, um diesen latenten Zustand online und autoregressiv zu aktualisieren. Dies geschieht basierend auf den Zuständen vergangener Tokens, unabhängig von zukünftigen Tokens.

Der Kalman-Filter ist ein rekursiver Algorithmus, der eine effiziente Schätzung des Zustands eines dynamischen Systems aus einer Reihe von fehlerbehafteten Messungen ermöglicht. Er wird traditionell in der Regelungstechnik und Signalverarbeitung eingesetzt, findet aber zunehmend Anwendung in maschinellen Lernverfahren, insbesondere bei nicht-stationären Datenströmen. Im Kontext von KPO ermöglicht der Kalman-Filter eine adaptive und sequenzbewusste Schätzung der Belohnungs-Baseline, indem er beobachtete Belohnungen als verrauschte Messungen eines latenten Belohnungssignals behandelt.

Die Implementierung von KPO führt zu gefilterten IS Ratios, die tokenweise lokale, strukturbewusste Variationen beibehalten und gleichzeitig Rauschspitzen stark glätten. Dies resultiert in stabileren und effektiveren Policy-Updates. KPO erfordert keine zusätzlichen Lernparameter über bestehende Methoden wie GRPO (Group Relative Policy Optimization) hinaus und verursacht nur einen vernachlässigbaren zusätzlichen Rechenaufwand. Die Methode ist vollständig differenzierbar, was eine effiziente Integration in bestehende RL-Frameworks ermöglicht.

Experimentelle Validierung und Ergebnisse

Die Wirksamkeit von KPO wurde auf herausfordernden mathematischen Denkaufgaben evaluiert. Die experimentellen Ergebnisse zeigen, dass KPO im Vergleich zu bestehenden State-of-the-Art-Methoden, einschließlich PPO (Proximal Policy Optimization) und GRPO, überlegene Leistungen erzielt. Insbesondere konnte KPO die Genauigkeit auf Datensätzen wie "Arithmetic" und "OpenMath-Instruct" signifikant verbessern.

• Auf dem Arithmetic-Datensatz zeigte KPO Verbesserungen von 2,296% bis 5,361% gegenüber GRPO in verschiedenen Schwierigkeitsgraden.
• Auf dem OpenMath-Instruct-Datensatz waren die Verbesserungen noch ausgeprägter, mit Steigerungen von 4,623% bis 17,876% gegenüber GRPO.

Diese Ergebnisse deuten darauf hin, dass die Verwendung eines Kalman-Filters zur Schätzung der Belohnungs-Baseline eine stabilere und genauere Advantage-Schätzung liefert, was dem Policy-Lernen zugutekommt, insbesondere bei komplexeren Problemen. Es wurde auch beobachtet, dass der Leistungsvorsprung von KPO mit zunehmendem Schwierigkeitsgrad der Aufgaben wächst, was die Robustheit der Methode in Szenarien mit hoher Varianz und komplexen Denkprozessen unterstreicht.

Die Analyse der Trainingskurven zeigte zudem, dass KPO schneller konvergiert und letztendlich höhere Belohnungen erreicht als GRPO. Auch die Analyse des KL-Divergenz-Verhaltens und der normalisierten Gradienten unterstreicht die Vorteile von KPO, indem es eine stärkere und informativere Optimierung ermöglicht.

Zeitliche Effizienz und praktische Implikationen

Ein wichtiger Aspekt von KPO ist seine zeitliche Effizienz. Der Kalman-Filter ist eine nicht-parametrische Methode, die im Vergleich zu GRPO nur einen minimalen zusätzlichen Rechenaufwand verursacht. Die Trainingszeit pro Frage bleibt nahezu identisch, was bedeutet, dass die verbesserten Schätzungen von KPO ohne wesentliche Steigerung der Rechenkosten erreicht werden. Für die Testphase ist der Kalman-Filter nicht Teil des Bewertungsprozesses, sodass hier keine zusätzliche Zeitbelastung entsteht.

Diese Forschung hat bedeutende Implikationen für die Entwicklung von stabileren und leistungsfähigeren Reinforcement Learning-Systemen für große Sprachmodelle. Durch die adressierten Herausforderungen der Varianz in IS Ratios bietet KPO einen vielversprechenden Weg zur Verbesserung der Policy-Optimierung und zur Erzielung robusterer Ergebnisse in komplexen KI-Anwendungen.

Zukünftige Perspektiven

Die Arbeit an KPO ist noch im Gange, und die Forscher planen, weitere Vergleichsmethoden und Modelle zu integrieren sowie KPO als Open-Source-Lösung bereitzustellen. Dies könnte die weitere Forschung und Anwendung dieser Methode in der KI-Gemeinschaft fördern.

Die Integration von klassischen Kontrolltheoriekonzepten wie dem Kalman-Filter in moderne maschinelle Lernverfahren, insbesondere im Bereich der neuronalen Netze, stellt eine vielversprechende Richtung für die Entwicklung robuster und effizient adaptiver Systeme dar. Dieser interdisziplinäre Ansatz nutzt die mathematische Präzision der Kontrolltheorie in Verbindung mit der Repräsentationskraft neuronaler Netze und eröffnet breitere Möglichkeiten für hybride Methoden.

Bestehende Forschung zeigt, dass die Kalman-Filterung auch in anderen Kontexten zur Online-Anpassung von neuronalen Netzen unter Systemdrift eingesetzt wird, um Parameter effizient und selektiv zu aktualisieren. Dies unterstreicht die Vielseitigkeit und das Potenzial des Kalman-Filters als Werkzeug zur Bewältigung von Nicht-Stationarität und Dynamik in komplexen Systemen.

Die hier vorgestellten Ergebnisse zu KPO zeigen einen klaren Weg auf, wie die Stabilität und Effektivität von Reinforcement Learning in LLMs durch eine präzisere und adaptivere Schätzung von Importance Sampling Ratios verbessert werden kann. Dies ist ein wichtiger Schritt zur Realisierung noch leistungsfähigerer und zuverlässigerer KI-Systeme.

Bibliography: - He, S., Feng, L., Cheng, X., Feng, L., & An, B. (2026). Online Causal Kalman Filtering for Stable and Effective Policy Optimization. arXiv preprint arXiv:2602.10609. - Wang, H., Ma, C., Reid, I., & Yaqub, M. (2025). Kalman Filter Enhanced GRPO for Reinforcement Learning-Based Language Model Reasoning. arXiv preprint arXiv:2505.07527. - Chang, P. G., Durán-Martín, G., Shestopaloff, A., Jones, M., & Murphy, K. P. (2023). Low-rank extended Kalman filtering for online learning of neural networks from streaming data. Proceedings of The 2nd Conference on Lifelong Learning Agents, 232, 1025-1071. - Titsias, M. K., Galashov, A., Rannen-Triki, A., Pascanu, R., Teh, Y. W., & Bornschein, J. (2023). Kalman Filter for Online Classification of Non-Stationary Data. arXiv preprint arXiv:2306.08448. - Goel, G., & Hassibi, B. (2022). Online estimation and control with optimal pathlength regret. Proceedings of Machine Learning Research, 168, 1-11. - Hammond, J. E., Soderstrom, T. A., Korgel, B. A., & Baldea, M. (2025). A selective Kalman filtering approach to online neural network updating under system drift. Scientific Reports, 15, 43577. - Cai, R., Huang, S., Qiao, J., Chen, W., Zeng, Y., Zhang, K., ... & Hao, Z. (2024). Learning by Doing: An Online Causal Reinforcement Learning Framework with Causal-Aware Policy. arXiv preprint arXiv:2402.04869. - Qian, J., & Zheng, Y. (2025). Logarithmic Regret and Polynomial Scaling in Online Multi-step-ahead Prediction. arXiv preprint arXiv:2511.12467.