Die Weiterentwicklung visueller Schlussfolgerungsfähigkeiten: Von LLMs zu MLLMs

Multimodale große Sprachmodelle (MLLMs) gewinnen zunehmend an Bedeutung, insbesondere in Bereichen, die visuelle und sprachliche Informationen kombinieren. Eine Herausforderung besteht darin, MLLMs mit robusten visuellen Schlussfolgerungsfähigkeiten auszustatten, die für Aufgaben wie das Verstehen und Beantworten von Fragen zu Diagrammen unerlässlich sind. Diese Fähigkeiten umfassen im Wesentlichen zwei Komponenten: die Extraktion relevanter Informationen aus visuellen Eingaben und die darauf aufbauende logische Schlussfolgerung.

Die Entwicklung solcher MLLMs wird derzeit durch den hohen Aufwand für die Erstellung von Trainingsdaten erschwert. Das Sammeln, Annotieren und die Qualitätskontrolle von komplexen Diagrammen und dazugehörigen Fragen ist zeit- und kostenintensiv. Ein vielversprechender Ansatz zur Verbesserung der visuellen Fähigkeiten von MLLMs ist die sogenannte Code-as-Intermediary Translation (CIT). Diese Methode ermöglicht es, das visuelle Schlussfolgerungsvermögen von großen Sprachmodellen (LLMs) effizient und kostengünstig auf MLLMs zu übertragen.

Code als Brücke zwischen Modalitäten

CIT nutzt Code als Mittler zwischen visuellen und textuellen Repräsentationen. Diagramme werden in Code übersetzt, der die relevanten Informationen für die Darstellung des Diagramms enthält. LLMs können diesen Code interpretieren und so die visuellen Informationen "verstehen". Anschließend können textbasierte Synthesetechniken verwendet werden, um Fragen und Antworten zu generieren, die auf dem Diagrammcode basieren. Dadurch entsteht ein synthetischer Datensatz, mit dem MLLMs trainiert werden können, ohne dass manuell annotierte Daten benötigt werden.

ReachQA: Ein synthetischer Datensatz für komplexes Chart-Reasoning

Ein Beispiel für die Anwendung von CIT ist der ReachQA-Datensatz. Dieser Datensatz besteht aus 3.000 Diagrammen und 20.000 Frage-Antwort-Paaren, die speziell darauf ausgelegt sind, sowohl die Erkennungs- als auch die Schlussfolgerungsfähigkeiten von MLLMs zu verbessern. Die Diagramme in ReachQA decken ein breites Spektrum an Komplexität ab und die Fragen erfordern mehrschrittige Schlussfolgerungen.

Verbesserte Performance auf Chart- und Mathematik-Benchmarks

Experimente haben gezeigt, dass MLLMs, die mit ReachQA trainiert wurden, eine verbesserte Leistung auf verschiedenen Benchmarks erzielen. Dies gilt nicht nur für chartbezogene Aufgaben, sondern auch für allgemeine mathematische Benchmarks wie MathVista. Die Ergebnisse deuten darauf hin, dass die durch CIT vermittelte Wissensdestillation von LLMs zu MLLMs eine effektive Methode zur Verbesserung der visuellen Schlussfolgerungsfähigkeiten ist.

Skalierbarkeit und Effizienz durch CIT

Ein entscheidender Vorteil von CIT ist die Skalierbarkeit. Durch die automatisierte Datengenerierung können große Datensätze mit geringem Aufwand erstellt werden. Dies ist besonders wichtig im Kontext von MLLMs, die in der Regel große Datenmengen für das Training benötigen. Die Methode ist zudem effizient, da sie auf bestehenden LLMs aufbaut und deren bereits vorhandenes Wissen nutzt.

Ausblick: Zukünftige Anwendungen und Forschung

Die CIT-Methode und Datensätze wie ReachQA eröffnen neue Möglichkeiten für die Entwicklung leistungsstarker MLLMs. Zukünftige Forschung könnte sich auf die Erweiterung der Methode auf andere visuelle Domänen konzentrieren, wie z.B. das Verstehen von Fotos oder Videos. Auch die Entwicklung von noch komplexeren synthetischen Datensätzen, die ein noch breiteres Spektrum an visuellen Schlussfolgerungsaufgaben abdecken, ist ein vielversprechendes Forschungsfeld.

Weitere Entwicklungen im Bereich Multimodalität

Neben CIT gibt es weitere vielversprechende Ansätze zur Verbesserung von MLLMs. Dazu gehören:

- Multimodales Instruction Tuning: MLLMs werden mit Anweisungen trainiert, die sowohl Text als auch visuelle Informationen enthalten. - Multimodales In-Context Learning: MLLMs lernen, neue Aufgaben anhand weniger Beispiele zu lösen, die sowohl Text als auch visuelle Informationen enthalten. - Multimodales Chain-of-Thought: MLLMs werden trainiert, mehrschrittige Schlussfolgerungen durchzuführen, indem sie Zwischenschritte in Textform generieren.

Diese Entwicklungen tragen dazu bei, die Fähigkeiten von MLLMs stetig zu erweitern und ihr Potenzial für eine Vielzahl von Anwendungen zu erschließen. Die Kombination von visuellen und sprachlichen Informationen in MLLMs verspricht innovative Lösungen in Bereichen wie der Mensch-Computer-Interaktion, der Datenanalyse und der automatisierten Wissensgewinnung.

Bibliographie He, Wei et al. “Distill Visual Chart Reasoning Ability from LLMs to MLLMs.” arXiv preprint arXiv:2410.18798 (2024). Deng, Naihao et al. “Tables as Texts or Images: Evaluating the Table Reasoning Ability of LLMs and MLLMs.” arXiv preprint arXiv:2402.12424 (2024). BradyFU/Awesome-Multimodal-Large-Language-Models. GitHub. Carbune, Victor et al. "Chart-based Reasoning: Transferring Capabilities from LLMs to VLMs." arXiv preprint arXiv:2403.12596 (2024). Wang, Zhaoyang et al. "Democratizing Reasoning Ability: Tailored Learning from Large Language Model." arXiv preprint arXiv:2310.13332 (2023). 2024.aclweb.org/program/finding_papers/ arxiv-sanity-lite.com/?rank=pid&pid=2403.12596 Yangyi-Chen/Multimodal-AND-Large-Language-Models. GitHub. Kim, Wonjoong et al. "Visual Programming: Compositional visual reasoning without training". ResearchGate (2023). Carbune, Victor et al. "Chart-based Reasoning: Transferring Capabilities from LLMs to VLMs." In: *Findings of the Association for Computational Linguistics: ACL 2024*, pp. 1561-1571, Toronto, Canada. Association for Computational Linguistics, 2024.