Neue Ansätze zur Integration visueller und sprachlicher Informationen in Künstliche Intelligenz

Von Pixeln zu Wörtern: Fortschritte bei nativen Vision-Language Primitiven

Die Integration von visuellen und sprachlichen Informationen in Künstliche Intelligenz (KI)-Modellen ist ein zentrales Forschungsfeld, das die Entwicklung von Systemen vorantreibt, die die Welt auf eine Weise wahrnehmen und verstehen können, die der menschlichen Kognition ähnelt. In diesem Kontext hat ein Forscherteam eine neue Familie von Vision-Language Models (VLMs) namens NEO vorgestellt, die darauf abzielt, grundlegende Limitierungen aktueller Ansätze zu überwinden und die Fusion von Bild und Text auf einer fundamentalen Ebene neu zu definieren.

Die Herausforderung modularer versus nativer VLMs

Traditionelle Vision-Language Models, oft als „modulare VLMs“ bezeichnet, verarbeiten visuelle und sprachliche Daten in getrennten Modulen, die anschließend zusammengeführt werden. Dieser Ansatz hat zwar Erfolge gezeigt, bringt jedoch inhärente Herausforderungen mit sich, insbesondere in Bezug auf die effektive Abstimmung von Pixel- und Wortrepräsentationen und die Vermeidung von Konflikten zwischen den Modalitäten. Das Forschungsteam hebt zwei primäre Fragen hervor, die die breite Akzeptanz und Weiterentwicklung nativer VLMs bisher erschwert haben:

• Welche grundlegenden Einschränkungen unterscheiden native VLMs von modularen, und inwieweit können diese Barrieren überwunden werden?
• Wie kann die Forschung an nativen VLMs zugänglicher und demokratischer gestaltet werden, um den Fortschritt in diesem Bereich zu beschleunigen?

Um diese Fragen zu adressieren, hat das Team Prinzipien für den Aufbau nativer VLMs formuliert. Ein natives VLM-Primitiv sollte:

1. Pixel- und Wortrepräsentationen effektiv in einem gemeinsamen semantischen Raum ausrichten.
2. Die Stärken ehemals getrennter visueller und sprachlicher Module nahtlos integrieren.
3. Verschiedene kreuzmodale Eigenschaften, die eine vereinheitlichte Vision-Language-Kodierung, -Ausrichtung und -Argumentation unterstützen, von Natur aus verkörpern.

NEO: Ein neuer Ansatz für Vision-Language Modelle

Als Antwort auf diese Prinzipien wurde NEO entwickelt, eine neue Familie nativer VLMs, die von Grund auf neu konzipiert wurde. NEO integriert Vision und Sprache innerhalb eines vereinheitlichten Frameworks und zeigt dabei eine bemerkenswerte Leistungsfähigkeit. Ein Schlüsselmerkmal von NEO ist seine Fähigkeit, visuelle Wahrnehmung von Grund auf neu zu entwickeln, selbst mit einer vergleichsweise geringen Datenmenge von 390 Millionen Bild-Text-Beispielen. Dies steht im Gegensatz zu vielen modularen VLMs, die oft deutlich größere Datensätze für das Training benötigen.

Architektonische Innovationen

Die Architektur von NEO ist darauf ausgelegt, Pixel- und Wortkodierung, -ausrichtung und -argumentation innerhalb eines einzigen, dichten Modells über verschiedene Skalen hinweg zu vereinen. Diese „monolithische“ Modellstruktur hilft, Vision-Language-Konflikte zu minimieren, die bei modulareren Ansätzen auftreten können.

Effizienz und Skalierbarkeit

Ein herausragendes Merkmal von NEO ist seine Trainingseffizienz. Trotz der begrenzten Trainingsdaten erreicht NEO eine Leistung, die mit der von führenden modularen VLMs, wie Qwen2.5-VL, vergleichbar ist oder diese in einigen Benchmarks sogar übertrifft. Dies deutet auf ein hohes Potenzial für kosteneffiziente und skalierbare VLM-Entwicklung hin.

Förderung eines Ökosystems

Das Forschungsteam positioniert NEO nicht nur als ein Modell, sondern als einen Grundstein für skalierbare und leistungsstarke native VLMs. Dazu gehört die Bereitstellung eines reichhaltigen Satzes wiederverwendbarer Komponenten, die die Entwicklungskosten senken und die Forschung an nativen Large Models erleichtern sollen. Code und Modelle sind öffentlich zugänglich, um die Demokratisierung und Beschleunigung der Forschung in diesem Bereich zu fördern.

Vergleich mit bestehenden Modellen

In Benchmarks zeigt NEO in verschiedenen Szenarien eine konkurrenzfähige Leistung. Insbesondere bei 2B-Modellen (2 Milliarden Parameter) erzielt NEO in Kategorien wie MMMU, MMB, MMVet, MMStar, SEED_I, POPE, HallB, AI2D, DocVQA, ChartQA, InfoVQA und TextVQA Ergebnisse, die oft die anderer nativer VLMs übertreffen und sich mit modularen Spitzenmodellen messen können. Bei den 8B-Modellen (8 Milliarden Parameter) setzt sich dieses Muster fort, wobei NEO in mehreren Metriken führend ist.

Diese Ergebnisse unterstreichen das Potenzial von nativen VLMs, die eine tiefere und effizientere Integration von visuellen und sprachlichen Informationen ermöglichen könnten. Die Fähigkeit, mit weniger Daten eine starke visuelle Wahrnehmung zu entwickeln und gleichzeitig eine einheitliche Architektur beizubehalten, könnte neue Wege für die Entwicklung multimodaler KI-Systeme eröffnen.

Ausblick

Die Einführung von NEO markiert einen wichtigen Schritt in der Entwicklung nativer Vision-Language Models. Die Betonung einer vereinheitlichten Architektur, kombiniert mit hoher Trainingseffizienz und der Bereitstellung von Open-Source-Ressourcen, könnte die Forschung in diesem Bereich erheblich vorantreiben. Für Unternehmen und Entwickler in der KI-Branche bietet dieser Ansatz neue Perspektiven für die Schaffung leistungsfähigerer und effizienterer multimodaler Anwendungen. Die weitere Erforschung und Anpassung dieser nativen Primitiven könnte die Art und Weise, wie KI visuelle und sprachliche Informationen verarbeitet und versteht, grundlegend verändern.

Bibliography

- Diao, H., Li, M., Wu, S., Dai, L., Wang, X., Deng, H., Lu, L., Lin, D., & Liu, Z. (2025). From Pixels to Words -- Towards Native Vision-Language Primitives at Scale. arXiv preprint arXiv:2510.14979. - EvolvingLMMs-Lab. (o. J.). NEO Series: Native Vision-Language Models from First Principles. GitHub. Abgerufen am 17. Oktober 2025, von https://github.com/EvolvingLMMs-Lab/NEO - Hugging Face. (o. J.). Towards Native Vision-Language Primitives at Scale. Abgerufen am 17. Oktober 2025, von https://huggingface.co/papers/2510.14979 - Diao, H. (o. J.). Haiwen Diao. Abgerufen am 17. Oktober 2025, von https://paranioar.github.io/