Neue Ansätze zur Stärkung der Denkfähigkeit großer Sprachmodelle durch Composition-RL

Optimierung von Sprachmodellen: Wie Composition-RL die Denkfähigkeit verbessert

Die Weiterentwicklung großer Sprachmodelle (LLMs) ist ein zentrales Thema in der aktuellen KI-Forschung. Ein entscheidender Aspekt dieser Entwicklung ist die Fähigkeit der Modelle, komplexe Denkprozesse zu vollziehen. Eine neue Forschungsarbeit mit dem Titel "Composition-RL: Compose Your Verifiable Prompts for Reinforcement Learning of Large Language Models" stellt einen innovativen Ansatz vor, der darauf abzielt, die Reasoning-Fähigkeiten von LLMs durch die automatische Komposition von Prompts signifikant zu verbessern.

Die Herausforderung verifizierbarer Prompts im Reinforcement Learning

Der Erfolg des Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hängt maßgeblich von umfangreichen Sammlungen verifizierbarer Prompts ab. Diese Prompts, die mit Ground-Truth-Antworten versehen sind, ermöglichen die Berechnung von Belohnungen während des Trainings. Ein wiederkehrendes Problem ist jedoch, dass viele dieser Prompts uninformative Beispiele enthalten und die Erweiterung der Datensätze mit neuen, hochwertigen Prompts kostspielig ist. Bisherige Studien konzentrierten sich darauf, begrenzte Trainingsdaten besser zu nutzen, indem sie "schwierige" Prompts mit einer Erfolgsquote von 0 priorisierten. Doch im Laufe des Trainings gewinnen "einfache" Prompts mit einer Erfolgsquote von 1 zunehmend an Bedeutung, was die effektive Datengröße verringern kann.

Composition-RL: Eine innovative Lösung

Um dieser Problematik zu begegnen, wurde Composition-RL entwickelt. Dieser Ansatz ist darauf ausgelegt, die vorhandenen verifizierbaren Prompts, insbesondere jene mit einer Erfolgsquote von 1, effektiver zu nutzen. Die Kernidee besteht darin, mehrere Einzelprobleme automatisch zu einer neuen, komplexeren und verifizierbaren Frage zu kombinieren. Diese "kompositionellen Prompts" werden dann für das RL-Training der Sprachmodelle eingesetzt.

Methodik und experimentelle Ergebnisse

Die Forscher hinter Composition-RL haben umfangreiche Experimente mit LLMs unterschiedlicher Größen, von 4 Milliarden bis zu 30 Milliarden Parametern, durchgeführt. Die Ergebnisse dieser Experimente zeigen eine konsistente Verbesserung der Reasoning-Fähigkeit bei Modellen, die mit Composition-RL trainiert wurden, im Vergleich zu solchen, die auf dem ursprünglichen Datensatz basierten. Dies deutet darauf hin, dass die Komposition von Prompts eine effektive Methode ist, um die Modelle zu anspruchsvolleren Denkprozessen anzuregen.

Ein weiterer vielversprechender Aspekt ist die curriculare Variante von Composition-RL. Hierbei wird die Kompositionstiefe der Prompts während des Trainings schrittweise erhöht. Dieser Ansatz konnte die Leistungsfähigkeit der Modelle zusätzlich steigern. Dies legt nahe, dass ein gestufter Lernprozess, der mit einfacheren Kompositionen beginnt und zu komplexeren übergeht, besonders vorteilhaft ist.

Darüber hinaus hat Composition-RL gezeigt, dass es ein effektiveres domänenübergreifendes Reinforcement Learning ermöglicht. Durch die Kombination von Prompts aus verschiedenen Domänen können die Modelle ihre erlernten Fähigkeiten breiter anwenden und verallgemeinern.

Bedeutung für die B2B-Anwendung von KI

Für Unternehmen, die auf KI-Technologien wie die von Mindverse setzen, sind diese Entwicklungen von großer Relevanz. Die Verbesserung der Reasoning-Fähigkeiten von LLMs durch Methoden wie Composition-RL bedeutet:

• Höhere Problemlösungskompetenz: LLMs können komplexere Anfragen und Probleme in Geschäftsprozessen präziser und effektiver bearbeiten.
• Effizientere Datenverwertung: Auch mit begrenzten, aber "einfachen" Trainingsdaten lassen sich durch geschickte Komposition anspruchsvollere Lernziele erreichen. Dies reduziert den Bedarf an aufwendiger Datenerfassung und -kuratierung.
• Verbesserte Verallgemeinerungsfähigkeit: Die Fähigkeit, Wissen über verschiedene Domänen hinweg zu transferieren, macht LLMs flexibler und anpassungsfähiger für vielfältige Anwendungsfälle in Unternehmen.
• Potenzial für maßgeschneiderte KI-Lösungen: Die Möglichkeit, Prompts spezifisch zu komponieren, erlaubt eine feinere Abstimmung der Modelle auf individuelle Kundenbedürfnisse und branchenspezifische Herausforderungen.

Die Forschungsergebnisse zu Composition-RL unterstreichen das kontinuierliche Bestreben, die Leistungsfähigkeit von Sprachmodellen zu maximieren. Die Fähigkeit, aus vorhandenen Daten durch intelligente Komposition neue, lehrreichere Beispiele zu generieren, stellt einen wichtigen Schritt dar, um LLMs noch leistungsfähiger und vielseitiger für anspruchsvolle Aufgaben in der Praxis zu machen.

Weitere Informationen, Codes, Datensätze und Modelle sind öffentlich zugänglich, was eine detailliertere Untersuchung und Replikation der Forschungsergebnisse ermöglicht.

Quellen

• Xu, Xin et al. (2026). Composition-RL: Compose Your Verifiable Prompts for Reinforcement Learning of Large Language Models. arXiv preprint arXiv:2602.12036.
• Hugging Face Daily Papers. https://huggingface.co/papers/date/2026-02-13 (Zugriff am 13. Februar 2026).
• HuggingFace Paper Explorer. https://huggingface-paper-explorer.vercel.app/ (Zugriff am 13. Februar 2026).
• Cohen, Vanya et al. (2025). Compositional Instruction Following with Language Models and Reinforcement Learning. arXiv preprint arXiv:2501.12539.
• Tarek, Mirza Farhan Bin, & Beheshti, Rahmatollah (2025). Reward Hacking Mitigation using Verifiable Composite Rewards. arXiv preprint arXiv:2509.15557.
• Li, Andrew C. et al. (2025). Ground-Compose-Reinforce: Grounding Language in Agentic Behaviours using Limited Data. arXiv preprint arXiv:2507.10741.
• Machine Learning Department, Carnegie Mellon University (2023). RLPrompt: Optimizing Discrete Text Prompts with Reinforcement Learning.
• TsinghuaC3I. A Survey of Reinforcement Learning for Large Reasoning Models. GitHub.