Optimierung von Reinforcement Learning durch F-GRPO und die Bedeutung schwieriger Trainingsbeispiele

Optimierung von Reinforcement Learning mit F-GRPO: Seltene Lösungen nicht vergessen

Die Weiterentwicklung großer Sprachmodelle (LLMs) durch Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) ist ein zentrales Forschungsfeld. Eine aktuelle Veröffentlichung beleuchtet nun eine kritische Herausforderung in diesem Bereich: die Tendenz von Lernalgorithmen, häufige Lösungen zu bevorzugen und seltene, aber potenziell wertvolle Korrekturen zu übersehen. Dies führt zu einer Verengung der Lösungsdiversität und kann die Gesamtleistung der Modelle beeinträchtigen. Das Paper mit dem Titel "F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare" stellt eine innovative Lösung vor, die darauf abzielt, dieses Problem zu mindern und die Effizienz des Lernprozesses zu steigern.

Die Herausforderung des Gruppensamplings in RLVR

RLVR-Methoden basieren häufig auf dem sogenannten Gruppensampling, um Vorteile zu schätzen und Aktualisierungen der Policy zu stabilisieren. Dabei werden mehrere Lösungswege pro Prompt generiert und bewertet. In der Praxis stößt dieses Vorgehen jedoch an Grenzen:

• Rechenkosten: Große Gruppengrößen sind aufgrund des hohen Rechenaufwands oft nicht praktikabel.
• Lernverzerrung: Kleinere Gruppengrößen können dazu führen, dass das Lernen auf bereits wahrscheinliche oder häufige Trajektorien voreingenommen wird.
• Verlust seltener Lösungen: Seltene, aber korrekte Lösungswege werden in kleineren Gruppen oft übersehen, da die Wahrscheinlichkeit sich auf die gängigsten Lösungen konzentriert.

Die Autoren des Papers analysieren die Wahrscheinlichkeit, dass Policy-Updates seltene, korrekte Modi verfehlen, in Abhängigkeit von der Gruppengröße. Sie zeigen ein nicht-monotones Verhalten auf, was bedeutet, dass die Gefahr, seltene Lösungen zu übersehen, bei mittleren Gruppengrößen am größten ist. Kleine Gruppen erzeugen seltener Lernsignale und bewahren so eine gewisse Diversität passiv, während große Gruppen seltene Modi durch ihre breite Abdeckung erfassen. Intermediate Gruppen hingegen maximieren das Risiko der "Vergesslichkeit" seltener, korrekter Lösungswege.

F-GRPO: Eine Schwierigkeitsbewusste Anpassung

Motiviert durch diese Analyse schlagen die Forscher von T-Tech und der Saint Petersburg Electrotechnical University „LETI“ eine Modifikation vor: F-GRPO. Hierbei handelt es sich um einen Schwierigkeits-sensitiven Vorteilsskalierungskoeffizienten, der von der Focal Loss-Funktion inspiriert ist. Das Kernprinzip besteht darin, Updates für Prompts mit bereits hoher Erfolgsquote geringer zu gewichten. Dies ermöglicht es dem Modell, sich stärker auf schwierigere oder seltenere Szenarien zu konzentrieren, ohne dabei die bekannten, gut funktionierenden Lösungen zu vernachlässigen.

Diese Modifikation ist laut den Autoren leichtgewichtig und kann direkt in bestehende gruppenrelative RLVR-Algorithmen wie GRPO, DAPO und CISPO integriert werden. Die Vorteile dieser Methode sind signifikant:

• Verbesserte Leistung: Bei Tests mit dem Qwen2.5-7B-Modell auf In-Domain- und Out-of-Domain-Benchmarks konnte F-GRPO die pass@256-Raten deutlich steigern:
  • GRPO: von 64.1 auf 70.3
  • DAPO: von 69.3 auf 72.5
  • CISPO: von 73.2 auf 76.8
• Erhalt der pass@1-Leistung: Gleichzeitig blieb die pass@1-Leistung erhalten oder verbesserte sich sogar.
• Keine zusätzlichen Kosten: Die Verbesserungen wurden ohne Erhöhung der Gruppengröße oder des Rechenaufwands erzielt.

Mechanismus und Implikationen

Die Analyse der Autoren zeigt, dass die Wahrscheinlichkeit, dass ein Trainingsupdate aktiv ist (d.h. gemischte Belohnungen in einem Batch enthält), aber dennoch seltene, korrekte Lösungen verpasst, bei mittleren Gruppengrößen ihren Höhepunkt erreicht. F-GRPO bei einer Gruppengröße von N=8 konnte die Leistung von GRPO bei N=32 erreichen oder übertreffen, was zu einem höheren pass@256 (z.B. 52.6 vs. 49.5 auf AIME 2025) und einem verbesserten OOD pass@1 führte, und das bei einem viermal geringeren Rechenaufwand.

Diese Erkenntnisse haben weitreichende Implikationen für die Praxis des LLM-Post-Trainings:

• Effizienzsteigerung: Durch die gezielte Gewichtung schwieriger Beispiele können Trainingsressourcen effizienter eingesetzt werden.
• Robustheit der Modelle: Modelle, die mit F-GRPO trainiert werden, zeigen eine verbesserte Fähigkeit, auch auf komplexere und ungesehene Probleme zu generalisieren.
• Geringere "Vergesslichkeit": Die Methode hilft, das "Vergessen" seltener, aber korrekter Lösungswege zu vermeiden, was zu einer umfassenderen und zuverlässigeren Modellleistung führt.

Zusätzliche Perspektiven: Die Bedeutung "schwieriger" Beispiele

Eine weitere Studie, "Hard Examples Are All You Need: Maximizing GRPO Post-Training Under Annotation Budgets", unterstreicht die Bedeutung schwieriger Beispiele. Diese Arbeit fokussiert sich auf die Frage, welche Art von Trainingsbeispielen bei begrenzten Budgets für die Datenerfassung und -annotation priorisiert werden sollten, um die Post-Training-Leistung von GRPO zu maximieren. Die Ergebnisse zeigen, dass das Training mit den schwierigsten 10% der Beispiele (solche, bei denen das Basismodell am häufigsten versagt) Leistungssteigerungen von bis zu 47% erzielt, während leichte Beispiele nur minimale Verbesserungen von 3-15% liefern.

Der Grund dafür ist, dass GRPO eine Ergebnisvarianz benötigt, um Lernsignale zu generieren. Schwierige Beispiele weisen während des gesamten Trainings gemischte Erfolgs-/Misserfolgs-Ergebnisse auf, während einfache Beispiele schnell zu konsistentem Erfolg konvergieren und somit Lernmöglichkeiten eliminieren. Darüber hinaus zeigen Modelle, die mit schwierigen Beispielen trainiert wurden, eine überlegene Generalisierungsfähigkeit außerhalb der ursprünglichen Datenverteilung.

Diese Erkenntnisse ergänzen die Arbeit an F-GRPO, indem sie die fundamentale Rolle der Schwierigkeit von Trainingsdaten für den Lernerfolg von GRPO-basierten Algorithmen hervorheben. Die Kombination aus Schwierigkeits-bewusster Vorteils-Skalierung und der Priorisierung von "schwierigen" Beispielen könnte zukünftig zu noch leistungsfähigeren und robusteren Sprachmodellen führen.

Fazit

Die Einführung von F-GRPO stellt einen wichtigen Schritt in der Optimierung von Reinforcement Learning mit verifizierbaren Belohnungen dar. Durch die gezielte Adressierung der Herausforderung, seltene, aber korrekte Lösungswege nicht zu übersehen, und die effiziente Nutzung von Rechenressourcen, ermöglicht F-GRPO eine verbesserte Modellleistung und Generalisierungsfähigkeit. Für Unternehmen, die auf präzise und zuverlässige KI-Textgenerierung angewiesen sind, wie Mindverse, bedeuten solche Fortschritte eine kontinuierliche Steigerung der Qualität und Effizienz der zugrunde liegenden Modelle. Die fortlaufende Forschung in diesem Bereich wird entscheidend sein, um das volle Potenzial von LLMs in komplexen Anwendungen auszuschöpfen.

Bibliography: - Plyusov, D., Gorbatovski, A., Shaposhnikov, B., Sinii, V., Malakhov, A., & Gavrilov, D. (2026). F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare. arXiv preprint arXiv:2602.06717. - Pikus, B., Tiwari, P. R., & Ye, B. (2025). Hard Examples Are All You Need: Maximizing GRPO Post-Training Under Annotation Budgets. arXiv preprint arXiv:2508.14094. - Banatt, E. (n.d.). Understanding Modern LLMs via DeepSeek. Retrieved from https://planetbanatt.net/articles/deepseek.html - Hugging Face. (2026). Daily Papers. Retrieved from https://huggingface.co/papers/week/2026-W07 - smiles724. (2025). smiles724/Awesome-LLM-RLVR. GitHub. Retrieved from https://github.com/smiles724/Awesome-LLM-RLVR - Paper Reading Club. (2026). F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare. Retrieved from http://paperreading.club/page?id=375065 - ICCV 2025 Papers. (n.d.). Retrieved from https://iccv.thecvf.com/virtual/2025/papers.html