Neue Forschungsergebnisse zeigen: Sprachmodelle lernen Arithmetik symbolisch

Große Sprachmodelle (LLMs) zeigen beeindruckende Fähigkeiten in verschiedenen Bereichen, doch ihre mathematischen Fähigkeiten werden oft in Frage gestellt. Eine neue Studie untersucht nun genauer, wie LLMs arithmetische Aufgaben lösen und liefert interessante Erkenntnisse über die zugrundeliegenden Mechanismen.

Die Rolle von Teilprodukten

Eine der zentralen Fragen der Studie war, ob LLMs Teilprodukte beim Erlernen von Arithmetik nutzen, ähnlich wie Menschen es tun. Die Forscher untersuchten vier verschiedene Multiplikationsmethoden: Standardmultiplikation, wiederholte Addition, Gittermethode und ägyptische Multiplikation. LLMs wurden auf Multiplikationsaufgaben trainiert und konnten danach zwar Teilprodukte besser identifizieren, jedoch führte ein explizites Training auf Teilprodukte nicht zu einer Verbesserung ihrer Multiplikationsfähigkeiten. Dies deutet darauf hin, dass LLMs Teilprodukte nicht aktiv für Berechnungen verwenden.

Symbolisches Lernen auf Untergruppenebene

Die Studie legt nahe, dass LLMs Arithmetik symbolisch lernen, indem sie Aufgaben in Untergruppen zerlegen. Die Schwierigkeit einer Aufgabe hängt dabei von der Komplexität und Auswahl der Untergruppen ab. Die Komplexität wird durch die Kardinalität des Domänenraums (die maximale Größe der Trainingsdaten), die Entropie des Label-Raums (die Variabilität der möglichen Ergebnisse) und die Qualität der Untergruppe (wie eindeutig eine Untergruppe vom Domänen- zum Label-Raum abbildet) bestimmt.

Um den Einfluss der Label-Raum-Entropie zu untersuchen, wurden Addition und Multiplikation durch Translation und Skalierung verändert, wobei die Gesamtentropie über alle Ausgabestellen konstant gehalten wurde. Die Ergebnisse zeigten, dass die Genauigkeit der LLMs über verschiedene Störungsgrößen hinweg nahezu gleich blieb. Eine gezielte Reduzierung der Entropie durch Modulo-Operationen führte hingegen zu einer erhöhten Genauigkeit. Dies bestätigt, dass die Entropie des Label-Raums ein aussagekräftiges Maß für die Aufgabenkomplexität ist und unterstützt die Hypothese, dass LLMs als symbolische Mustererkenner fungieren.

Der Auswahlprozess von Untergruppen

Die Forscher untersuchten auch, wie LLMs während des Trainings die richtigen Untergruppen auswählen, indem sie die positionsbezogene Genauigkeit analysierten. Es zeigte sich ein U-förmiger Verlauf: Anfangs- und Endpositionen der Ziffern wurden schnell mit hoher Genauigkeit gelernt, während die Genauigkeit bei den mittleren Ziffern zunächst deutlich niedriger war und erst im Laufe des Trainings zunahm. Dies deutet darauf hin, dass LLMs Untergruppen nach einem "von einfach zu schwer"-Paradigma auswählen, was ihr symbolisches Lernverhalten weiter unterstreicht.

Schlussfolgerung

Die Studie kommt zu dem Schluss, dass LLMs Arithmetik nicht im herkömmlichen Sinne berechnen, sondern symbolisch erlernen. Die Komplexität und Auswahl von Untergruppen spielen dabei eine entscheidende Rolle. Die Entropie des Label-Raums beeinflusst die Konvergenzgeschwindigkeit, während die Qualität der Untergruppen die Lerndynamik bestimmt. Die Ergebnisse unterstreichen die Bedeutung einer detaillierten Analyse auf Untergruppenebene, um das symbolische Lernen von Arithmetik in LLMs besser zu verstehen. Diese Erkenntnisse sind für die Weiterentwicklung und Optimierung von LLMs, insbesondere im Hinblick auf mathematische Fähigkeiten, von großer Bedeutung. Für Unternehmen wie Mindverse, die maßgeschneiderte KI-Lösungen entwickeln, bieten diese Forschungsergebnisse wertvolle Ansatzpunkte für die Verbesserung von Chatbots, Voicebots, KI-Suchmaschinen und Wissenssystemen.

Bibliographie Deng, C., Li, Z., Xie, R., Chang, R., & Chen, H. (2024). Language Models are Symbolic Learners in Arithmetic. arXiv preprint arXiv:2410.15580. Noorbakhsh, K., Sulaiman, M., Sharifi, M., Roy, K., & Jamshidi, P. (2021). Pretrained Language Models are Symbolic Mathematics Solvers too! arXiv preprint arXiv:2110.03501. Gao, L., Madaan, A., Zhou, S., Alon, U., Liu, P., Yang, Y., ... & Neubig, G. (2022). PAL: Program-aided Language Models. arXiv preprint arXiv:2211.10435.