Effizientes quantisiertes Training von LLMs ohne Mastergewichte durch den Error-Compensating Optimizer

Revolution im LLM-Training: ECO ermöglicht effiziente Quantisierung ohne Mastergewichte

Die rapide Entwicklung von Large Language Models (LLMs) hat die künstliche Intelligenz in vielfältigen Anwendungsbereichen vorangebracht. Gleichzeitig sind die Anforderungen an Rechenleistung und Speicherkapazität für das Training dieser Modelle exponentiell gestiegen. Eine Schlüsseltechnologie zur Bewältigung dieser Herausforderungen ist die Quantisierung, die darauf abzielt, die Präzision von Modellparametern zu reduzieren, um Speicherplatz und Rechenkosten zu senken. Traditionelle Quantisierungsansätze stießen jedoch an Grenzen, da sie weiterhin auf hochpräzise Mastergewichte angewiesen waren, die einen erheblichen Speicher-Overhead verursachten. Eine neue Entwicklung, der Error-Compensating Optimizer (ECO), verspricht hier eine grundlegende Änderung, indem er quantisiertes Training ohne die Notwendigkeit solcher Mastergewichte ermöglicht.

Die Herausforderung der Mastergewichte im quantisierten Training

Quantisiertes Training ist ein Verfahren, bei dem die numerische Präzision von Gewichten und Aktivierungen in neuronalen Netzen reduziert wird, typischerweise von 32-Bit-Floating-Point (FP32) auf niedrigere Präzisionen wie 16-Bit (FP16), 8-Bit (INT8) oder sogar 4-Bit (INT4). Dies führt zu einer deutlichen Reduzierung des Speicherbedarfs und einer Beschleunigung der Berechnungen, da moderne Hardware für Operationen mit geringerer Präzision optimiert ist. Trotz dieser Vorteile benötigten die meisten bisherigen Ansätze zur Quantisierung hochpräzise Mastergewichte. Diese Mastergewichte dienten dazu, Gradienten-Updates in hoher Präzision zu akkumulieren und so Genauigkeitsverluste während des Trainings zu minimieren.

Der Hauptnachteil dieser Methode liegt im erheblichen Speicher-Overhead, den die Mastergewichte verursachen. Dies ist insbesondere bei sehr großen Modellen wie Sparse Mixture of Experts (SMoE) LLMs problematisch, bei denen Modellparameter und Optimierungszustände den Großteil des Speicherverbrauchs ausmachen. Die Notwendigkeit, sowohl die quantisierten Parameter als auch eine hochpräzise Kopie (die Mastergewichte) zu speichern, schränkt die Skalierbarkeit und Effizienz des Trainings erheblich ein.

Der Error-Compensating Optimizer (ECO): Eine innovative Lösung

Mahdi Nikdan und sein Team bei Google Research haben mit dem Error-Compensating Optimizer (ECO) einen neuartigen Ansatz vorgestellt, der die Abhängigkeit von hochpräzisen Mastergewichten eliminiert. ECO integriert sich in Standard-Optimierer und ermöglicht erstmals ein quantisiertes Training von Large Language Models (LLMs), indem Updates direkt auf quantisierte Parameter angewendet werden. Die Kerninnovation besteht darin, dass ECO die Gewichte nach jedem Schritt quantisiert und den daraus resultierenden Quantisierungsfehler sorgfältig in den Momentum des Optimierers einspeist. Dies bildet eine Fehler-Feedback-Schleife, die keine zusätzliche Speicherkapazität erfordert.

Die Funktionsweise von ECO kann wie folgt zusammengefasst werden:

• Direkte Updates auf quantisierte Parameter: Anstatt Gradienten-Updates auf hochpräzise Mastergewichte anzuwenden, modifiziert ECO die quantisierten Parameter direkt.
• Fehlerkompensation: Nach jeder Aktualisierung werden die Gewichte erneut quantisiert. Der dabei entstehende Quantisierungsfehler wird nicht ignoriert, sondern gezielt in den Optimierer-Momentum injiziert.
• Fehler-Feedback-Schleife: Diese Injektion des Fehlers schafft eine Rückkopplung, die sicherstellt, dass die Genauigkeit des Modells trotz der niedrigen Präzision erhalten bleibt.

Diese Methode reduziert den Speicherbedarf erheblich, da die Notwendigkeit einer hochpräzisen Kopie der Gewichte entfällt. Dies ist ein entscheidender Vorteil für das Training immer größerer und komplexerer LLMs.

Konvergenz und empirische Ergebnisse

Die Forschung hinter ECO belegt mathematisch, dass der Optimierer unter Standardannahmen und einer abnehmenden Lernrate zu einer optimalen Lösung konvergiert. Im Gegensatz dazu kann eine naive Entfernung der Mastergewichte zu einem Fehler führen, der umgekehrt proportional zur Lernrate ist, was die Trainingsstabilität beeinträchtigen würde. ECO umgeht dieses Problem durch seine intelligente Fehlerkompensation.

Empirische Tests haben die Wirksamkeit von ECO über verschiedene Modellarchitekturen hinweg demonstriert:

• Kleine Transformer-Modelle (30-800M Parameter): Beim Vortraining dieser Modelle erreichte ECO eine Leistung, die der von Baselines mit Mastergewichten nahezu verlustfrei entsprach.
• Gemma-3 1B Modell: Auch bei diesem Modell konnte ECO eine vergleichbare Genauigkeit erzielen.
• Sparse Mixture of Experts (SMoE) Modell (2.1B Parameter mit FP8-Quantisierung): Besonders bei SMoE-Modellen, die für ihren hohen Speicherbedarf bekannt sind, zeigte ECO signifikante Vorteile bei FP8-Quantisierung.
• Feinabstimmung von DeepSeek-MoE-16B (INT4-Präzision): Im Bereich der Feinabstimmung mit INT4-Präzision konnte ECO ebenfalls überzeugen und die Effizienz steigern.

Diese Ergebnisse deuten darauf hin, dass ECO die statische Speicher-Validierungsverlust-Pareto-Frontier erheblich verschiebt, was bedeutet, dass bei gleichem Validierungsverlust deutlich weniger Speicher benötigt wird, oder umgekehrt, bei gleichem Speicherverbrauch eine bessere Validierungsleistung erzielt werden kann.

Bedeutung für die B2B-Anwendung von KI

Für Unternehmen, die auf den Einsatz und die Entwicklung von Large Language Models setzen, bietet ECO mehrere entscheidende Vorteile:

• Kosteneffizienz: Durch die Reduzierung des Speicherbedarfs können Trainingskosten gesenkt werden, da weniger leistungsstarke oder weniger GPUs für das Training benötigt werden. Dies ist besonders relevant für Start-ups und KMU, die ihre KI-Infrastruktur optimieren möchten.
• Skalierbarkeit: Die Möglichkeit, größere Modelle mit begrenzten Ressourcen zu trainieren oder bestehende Modelle effizienter zu gestalten, verbessert die Skalierbarkeit von KI-Anwendungen erheblich. Dies ermöglicht den Einsatz von LLMs in Szenarien, die bisher aus Kostengründen nicht realisierbar waren.
• Nachhaltigkeit: Ein geringerer Energieverbrauch durch effizientere Trainingsprozesse trägt zur ökologischen Nachhaltigkeit von KI-Operationen bei, ein zunehmend wichtiger Faktor für Unternehmen und deren Stakeholder.
• Zugänglichkeit: Die Vereinfachung des Trainingsprozesses und die Reduzierung der Hardwareanforderungen können die Entwicklung und den Einsatz von LLMs demokratisieren, indem sie auch kleineren Teams den Zugang zu fortschrittlichen KI-Technologien ermöglichen.

Ausblick und zukünftige Entwicklungen

Die Einführung von ECO stellt einen wichtigen Fortschritt im Bereich des quantisierten LLM-Trainings dar. Es adressiert eine zentrale Herausforderung, die den breiteren Einsatz und die Skalierung von LLMs bisher behindert hat. Zukünftige Forschungsarbeiten könnten sich darauf konzentrieren, ECO in noch breitere Anwendungsbereiche zu integrieren, die Kompatibilität mit verschiedenen Hardwarearchitekturen weiter zu optimieren und die theoretischen Grundlagen der Fehlerkompensation für noch extremere Quantisierungsstufen zu vertiefen. Die Kombination von ECO mit anderen Effizienzsteigerungstechniken wie feingranularer Quantisierung oder adaptiven Skalierungsstrategien könnte weitere Potenziale freisetzen und die Effizienz des LLM-Trainings nachhaltig verbessern.

Die Erkenntnisse aus der ECO-Forschung, insbesondere die Notwendigkeit, Quantisierungsfehler nicht zu ignorieren, sondern aktiv in den Optimierungsprozess einzubeziehen, könnten auch andere Bereiche des maschinellen Lernens beeinflussen, in denen ressourcenbeschränkte Umgebungen eine Rolle spielen. Dies unterstreicht die kontinuierliche Innovation im Bereich der KI und die Bedeutung von Grundlagenforschung für die praktische Anwendbarkeit.

Die Entwicklung von ECO ist ein Beispiel dafür, wie präzise analytische Arbeit zu handfesten Verbesserungen in der Effizienz und Skalierbarkeit von KI-Systemen führen kann, was für die B2B-Welt von großer Relevanz ist.

Bibliographie:

- Nikdan, M., Zandieh, A., Alistarh, D., & Mirrokni, V. (2026). ECO: Quantized Training without Full-Precision Master Weights. - Hao, Z., Guo, J., Shen, L., Luo, Y., Hu, H., Wang, G., Yu, D., Wen, Y., & Tao, D. (2025). Low-Precision Training of Large Language Models: Methods, Challenges, and Opportunities. arXiv preprint arXiv:2505.01043. - Zhao, K., Tabaru, T., Kobayashi, K., Honda, T., Yamazaki, M., & Tsuruoka, Y. (2024). Direct Quantized Training of Language Models with Stochastic Rounding. arXiv preprint arXiv:2412.04787. - Tan, Q., Song, X., Lu, J., Li, G., Liu, J., Hong, L., Ding, C., Li, J., Zhai, X., Huang, S., Niu, W., & Yuan, G. (2025). ZeroQAT: Your Quantization-aware Training but Efficient. arXiv preprint arXiv:2509.00031. - Shang, S., Zhou, J., Lin, C., Li, M., & Zhou, K. (2025). Fine-tuning Quantized Neural Networks with Zeroth-order Optimization. arXiv preprint arXiv:2505.13430. - Chen, M., Shao, W., Xu, P., Wang, J., Gao, P., Zhang, K., & Luo, P. (2024). EfficientQAT: Efficient Quantization-Aware Training for Large Language Models. arXiv preprint arXiv:2407.11062. - Bondarenko, Y., Del Chiaro, R., & Nagel, M. (2024). Low-Rank Quantization-Aware Training for LLMs. arXiv preprint arXiv:2406.06385.