Die Verbesserung der Lösungskompetenz von Schülern bei mathematischen Textaufgaben durch Schema-basierte Instruktion und Retrieval-Augmented Generation

Mathematische Textaufgaben stellen für viele Schüler eine Herausforderung dar. Oftmals fällt es ihnen schwer, die wichtigen Informationen aus dem Text zu extrahieren und die richtigen mathematischen Operationen auszuwählen. Ein vielversprechender Ansatz zur Verbesserung der Lösungskompetenz ist die Schema-basierte Instruktion (SBI), eine evidenzbasierte Strategie, die Schülern hilft, Probleme anhand ihrer Struktur zu kategorisieren.

Aufbauend auf diesem Ansatz wurde nun ein neues Framework namens "Schema-Based Instruction Retrieval-Augmented Generation" (SBI-RAG) entwickelt, das die Vorteile von SBI mit denen großer Sprachmodelle (LLMs) kombiniert.

Funktionsweise von SBI-RAG

SBI-RAG nutzt Schemata, um die Generierung von Lösungen Schritt für Schritt zu steuern. Das bedeutet, dass das System den Schülern nicht einfach nur die richtige Antwort liefert, sondern sie durch den Lösungsprozess führt und ihnen hilft, die zugrundeliegende Struktur des Problems zu verstehen.

Die Funktionsweise von SBI-RAG lässt sich in drei Schritten zusammenfassen:

1. **Identifizierung des Schemas:** Zunächst analysiert das System die Textaufgabe und ordnet sie einem bestimmten Schema zu. Ein Schema ist dabei ein abstraktes Muster, das die grundlegende Struktur einer Klasse von Problemen beschreibt.
2. **Informationsabruf:** Basierend auf dem identifizierten Schema ruft das System relevante Informationen aus einer Wissensdatenbank ab. Diese Informationen können beispielsweise Definitionen, Formeln oder Beispielaufgaben umfassen.
3. **Lösungsprozess:** Mithilfe der abgerufenen Informationen generiert das System eine Schritt-für-Schritt-Lösung für die Textaufgabe. Dabei wird der Lösungsprozess durch das Schema gesteuert und die Schüler werden durch jeden Schritt geführt.

Bewertung und Ergebnisse

Um die Leistungsfähigkeit von SBI-RAG zu bewerten, wurde es mit den Sprachmodellen GPT-4 und GPT-3.5 Turbo verglichen. Als Datensatz diente der GSM8K-Datensatz, der eine Vielzahl von mathematischen Textaufgaben umfasst. Zur Beurteilung der Lösungsqualität wurde ein spezieller "Reasoning Score" eingeführt, der die Klarheit und Logik des Lösungsprozesses misst.

Die Ergebnisse zeigen, dass SBI-RAG im Vergleich zu den beiden getesteten Sprachmodellen die Klarheit und Genauigkeit der Argumentation verbessert. Dies deutet darauf hin, dass SBI-RAG das Potenzial hat, Schülern dabei zu helfen, mathematische Textaufgaben besser zu verstehen und zu lösen.

Potenzial für die Bildung

SBI-RAG ist ein vielversprechender Ansatz, um die Art und Weise, wie Schüler Mathematik lernen, zu verändern. Durch die Kombination von Schema-basierter Instruktion und Retrieval-Augmented Generation bietet das System eine Reihe von Vorteilen:

- **Förderung des Verständnisses:** Anstatt nur die richtige Antwort zu liefern, hilft SBI-RAG den Schülern, die zugrundeliegende Struktur mathematischer Probleme zu verstehen. - **Individuelle Förderung:** Das System kann an die individuellen Bedürfnisse der Schüler angepasst werden, indem es den Schwierigkeitsgrad der Aufgaben und die Detailliertheit der Lösungsschritte anpasst. - **Steigerung der Motivation:** Durch die schrittweise Lösung und die Möglichkeit, jederzeit Hilfe abzurufen, kann SBI-RAG dazu beitragen, die Motivation und das Selbstvertrauen der Schüler zu steigern.

Obwohl SBI-RAG noch in einem frühen Entwicklungsstadium ist, zeigt es bereits großes Potenzial für die Verbesserung des Mathematikunterrichts. Zukünftige Forschung sollte sich darauf konzentrieren, das System weiterzuentwickeln und in realen Unterrichtskontexten zu evaluieren.

Bibliographie

- Dixit, P., & Oates, T. (2024). SBI-RAG: Enhancing Math Word Problem Solving for Students through Schema-Based Instruction and Retrieval-Augmented Generation. *arXiv preprint arXiv:2410.13293*. - Levonian, Z., Li, C., Zhu, W., Gade, A., Henkel, O., Postle, M., & Xing, W. (2023). Retrieval-augmented Generation to Improve Math Question-Answering: Trade-offs Between Groundedness and Human Preference. *arXiv preprint arXiv:2310.03184*.