Effiziente Inferenzverfahren für große Sprachmodelle durch dynamischen Modellwechsel

Die rapide Entwicklung großer Sprachmodelle (LLMs) hat zu bemerkenswerten Fortschritten bei der Bewältigung komplexer Denkaufgaben geführt. Modelle mit über 32 Milliarden Parametern sind dabei zum De-facto-Standard avanciert. Diese Leistungssteigerung geht jedoch oft mit erheblichen Inferenzkosten und Latenzzeiten einher, was die praktische Anwendung in vielen Szenarien erschwert. Die Herausforderung besteht darin, die Effizienz dieser Modelle zu steigern, ohne ihre Leistungsfähigkeit bei komplexen Reasoning-Aufgaben zu beeinträchtigen. Eine vielversprechende Strategie ist der dynamische Wechsel zwischen verschiedenen Modellgrößen während des Generierungsprozesses.

Herausforderungen bei der Effizienz großer Reasoning-Modelle

Große Reasoning-Modelle (LRMs) generieren oft lange, mehrstufige Reasoning-Trajektorien, um komplexe Probleme zu lösen. Die Schwierigkeit innerhalb einer einzelnen Ausgabe kann jedoch stark variieren. Bestehende Effizienzansätze ignorieren diese Variation oft oder setzen auf komplexe, überwachungsbasierte Token-Level-Routings, die den Systemaufwand erhöhen. Das Kernproblem ist, dass nicht alle Teile einer langen Reasoning-Ausgabe die volle Kapazität eines großen Modells erfordern.

Frühere Methoden zur Verbesserung der Inferenz-Effizienz konzentrierten sich auf:

• Input-Level-Routing: Hier wird ein einziges Modell für den gesamten Input ausgewählt. Dies berücksichtigt jedoch nicht die Schwierigkeitsunterschiede innerhalb einer Generierung.
• Token-Level-Routing: Ansätze wie R2R versuchen, bei jedem Dekodierungsschritt ein Modell basierend auf der geschätzten Schwierigkeit auszuwählen. Dies erfordert jedoch oft ein trainiertes Routing-Modell und zusätzliche Komplexität.
• Segment- oder Step-Level-Switching: Methoden wie Speculative Thinking treffen Routing-Entscheidungen über größere Einheiten. Sie basieren jedoch oft auf heuristischen Kriterien und berücksichtigen nicht immer die tatsächliche Schwierigkeit.

Diese Ansätze kämpfen damit, die Schwierigkeitsvariation innerhalb einer einzelnen, langen Reasoning-Ausgabe effektiv zu nutzen.

RelayGen: Trainingsfreier, segmentbasierter Modellwechsel

Um diese Lücke zu schließen, wurde RelayGen entwickelt – ein trainingsfreies, segmentbasiertes Runtime-Framework für den Modellwechsel während der Generierung langer Reasoning-Sequenzen. RelayGen basiert auf der Beobachtung, dass die Generierungsschwierigkeit innerhalb einer Reasoning-Trajektorie erheblich schwankt und nicht alle Segmente die volle Leistung eines großen Modells benötigen.

Funktionsweise von RelayGen

RelayGen weist die Modellkapazität dynamisch der lokalen Generierungsschwierigkeit zu. Die Kernprinzipien sind:

• Empirische Analyse der Schwierigkeitsvariation: Eine Offline-Analyse der Generierungsunsicherheit mittels Token-Wahrscheinlichkeitsmargen zeigt, dass die Schwierigkeit innerhalb einer Reasoning-Trajektorie stark variiert. Segmente wie Reflexionen, Paraphrasierungen oder Post-Reasoning-Fortsetzungen weisen oft eine geringere Unsicherheit auf als Kern-Reasoning-Segmente.
• Segment-Level-Steuerung: Grobkörnige Steuerung auf Segmentebene reicht aus, um Schwierigkeitsübergänge zu erfassen.
• Identifizierung von Wechsel-Cues: RelayGen identifiziert modellspezifische "Switch Cues" (diskursbezogene Hinweise), die Übergänge zu weniger schwierigen Segmenten signalisieren. Diese Cues werden offline durch Profiling von Generierungsstatistiken aus vortrainierten Modellen ausgewählt, ohne zusätzliches Training oder Optimierung.
• Dynamische Delegation: Wenn ein solcher Switch Cue erkannt wird, wird die Fortsetzung des Segments dynamisch an ein kleineres Modell delegiert. Anspruchsvolles Reasoning verbleibt beim großen Modell.
• Übergang zur Antwortphase: Nach dem Übergang von der Reasoning- zur Antwortphase wird der Rest der Ausgabe vollständig vom kleinen Modell generiert, da die Antwortgenerierung typischerweise einfacher ist und hauptsächlich Zusammenfassung und Formatierung umfasst.

RelayGen arbeitet vollständig zur Laufzeit und benötigt weder zusätzliches Training noch Hilfs-Routing-Komponenten. Es nutzt Standard-Generierungsmechanismen und vLLM's Präfix-Caching, um den Switching-Overhead zu minimieren.

Vorteile und Kompatibilität

Ein wesentlicher Vorteil von RelayGen ist seine Kompatibilität mit spekulativer Dekodierung. Da der Modellwechsel auf grobkörnigen Segmentgrenzen stattfindet, kann spekulative Dekodierung angewendet werden, wenn das große Modell aktiv ist, ohne die Switching-Logik zu stören. Dies steht im Gegensatz zu Token-Level-Routing-Schemata, die den Draft-Verify-Prozess unterbrechen und die Effektivität der spekulativen Dekodierung beeinträchtigen können.

RelayLLM: Kollaborative Dekodierung auf Token-Ebene

Ein weiterer Ansatz zur Effizienzsteigerung ist RelayLLM, ein Framework für effizientes Reasoning durch kollaborative Dekodierung auf Token-Ebene. RelayLLM adressiert die Ineffizienz von "Alles-oder-Nichts"-Offloading-Strategien, indem es das kleine Sprachmodell als aktiven Controller agieren lässt, der das große Modell nur für kritische Token hinzuzieht.

Funktionsweise von RelayLLM

RelayLLM betrachtet ein hybrides Inferenzszenario mit einem primären, ressourceneffizienten kleinen Sprachmodell (SLM) und einem leistungsstarken, aber rechenintensiven großen Sprachmodell (LLM). Der Prozess läuft wie folgt ab:

• SLM als Controller: Das kleine Modell generiert standardmäßig Token autoregressiv. Es ist jedoch in der Lage, aktiv Unterstützung anzufordern, indem es ein spezielles Befehlsmuster generiert, das die benötigte Anzahl von Token vom großen Modell angibt.
• LLM-Intervention: Wird dieses Befehlsmuster erkannt, pausiert die Generierung durch das SLM. Der aktuelle Kontext wird an das LLM weitergeleitet. Das große Modell generiert dann die angegebene Anzahl von Token.
• Iteratives Relais: Nach der Generierung durch das LLM wird die Kontrolle an das kleine Modell zurückgegeben. Der Kontext wird mit den neuen, vom LLM generierten Token aktualisiert, und das SLM setzt die Generierung fort, wobei es die Anleitung des Experten berücksichtigt.

Trainingsansatz

Um dem kleinen Modell beizubringen, wann und wie lange es das LLM hinzuziehen soll, verwendet RelayLLM einen zweistufigen Trainingsansatz:

• Supervised Warm-up: In einer ersten Phase wird das kleine Modell mit einem synthetischen Datensatz trainiert, um das syntaktische Muster der Aufrufkommandos zu erlernen. Dies verhindert Verteilungsverschiebungen und schafft einen stabilen Ausgangspunkt.
• Policy Refinement mit Reinforcement Learning (GRPO): Anschließend wird Reinforcement Learning (speziell Group Relative Policy Optimization, GRPO) eingesetzt, um das Verhalten des Modells zu optimieren. Ein kontextsensitiver Reward-Mechanismus leitet das Modell an, Unabhängigkeit und strategisches "Hilfesuchen" auszubalancieren, wobei sowohl verschwendete Kosten als auch vermeidbare Fehler bestraft werden. Dieser Reward berücksichtigt drei Szenarien: vom Studenten lösbare Aufgaben, vom Lehrer abhängige Aufgaben und für den Lehrer unlösbare Aufgaben.

Empirische Ergebnisse und Auswirkungen

Beide Frameworks, RelayGen und RelayLLM, wurden auf verschiedenen Reasoning-Benchmarks evaluiert und zeigen vielversprechende Ergebnisse:

• Reduzierung der Latenz und Kosten: RelayGen erreicht in Kombination mit spekulativer Dekodierung eine End-to-End-Beschleunigung von bis zu 2,2x bei weniger als 2% Genauigkeitsverlust. RelayLLM erzielt eine ähnliche Leistungssteigerung und reduziert die Aufrufrate des großen Modells auf nur 1,07% der gesamten generierten Token, was eine Kostenreduzierung von 98,2% im Vergleich zu leistungsgleichen Routern bedeutet.
• Erhaltung der Genauigkeit: Beide Ansätze bewahren einen Großteil der Genauigkeit großer Modelle und übertreffen oft Baselines, die auf heuristischen oder grobkörnigen Switching-Methoden basieren.
• Generalisierbarkeit: RelayLLM zeigt Generalisierungsfähigkeit über die Trainingsdomäne hinaus und hilft dem kleinen Modell, auch bei unbekannten Inputs seine Wissenslücken zu erkennen und das LLM zu konsultieren.
• Leichtgewichtige Kalibrierung: RelayGen erfordert nur eine einmalige, leichte Offline-Kalibrierung zur Auswahl der Switch Cues, was den Overhead im Vergleich zu komplexen, lernbasierten Routing-Modellen minimiert.
• Dynamische Token-Längen-Anfrage: RelayLLM zeigt, dass die dynamische Vorhersage der benötigten Token-Länge des großen Modells effizienter ist als starre, vordefinierte Längen, da es "gerade genug" Token anfordert, um die Reasoning-Lücke zu schließen.

Fazit für die B2B-Anwendung

Für Unternehmen, die große Sprachmodelle in ihren Prozessen einsetzen, bieten RelayGen und RelayLLM signifikante Vorteile. Sie ermöglichen es, die Rechenkosten und Latenzzeiten bei komplexen Reasoning-Aufgaben erheblich zu senken, ohne dabei die hohe Genauigkeit und Leistungsfähigkeit der großen Modelle zu opfern. Die Fähigkeit, dynamisch zwischen Modellen zu wechseln und dabei die inhärenten Schwierigkeitsvariationen innerhalb einer Generierung zu berücksichtigen, stellt einen entscheidenden Schritt in Richtung effizienterer und skalierbarer KI-Anwendungen dar. Insbesondere die trainingsfreien und auf Laufzeit basierenden Ansätze von RelayGen, sowie die token-level kollaborative Dekodierung von RelayLLM, eröffnen neue Möglichkeiten für den kosteneffizienten Einsatz von KI in anspruchsvollen B2B-Szenarien, wie sie beispielsweise von einer KI-Plattform wie Mindverse als KI-Partner angeboten werden.

Die vorgestellten Methoden unterstreichen die Bedeutung der intelligenten Ressourcenallokation in der Welt der KI. Anstatt immer auf das leistungsstärkste, aber teuerste Modell zu setzen, können Unternehmen durch den gezielten Einsatz kleinerer Modelle für weniger anspruchsvolle Segmente erhebliche Einsparungen erzielen, während die Qualität der Ergebnisse erhalten bleibt. Dies ist ein wichtiger Schritt zur Demokratisierung und breiteren Anwendung von fortschrittlichen KI-Technologien in der Geschäftswelt.

Bibliography Jiwon Song, Yoongon Kim, Jae-Joon Kim. RelayGen: Intra-Generation Model Switching for Efficient Reasoning. Cornell University, 2026. Chengsong Huang, Tong Zheng, Langlin Huang, Jinyuan Li, Haolin Liu, Jiaxin Huang. RelayLLM: Efficient Reasoning via Collaborative Decoding. Washington University in St. Louis, University of Maryland, University of Virginia, 2026.