Fortschritte in der multimodalen Informationsgewinnung durch Llama Nemotron RAG-Modelle

Revolution in der Informationsgewinnung: Llama Nemotron RAG-Modelle für präzise multimodale Suche

Die Fähigkeit, relevante Informationen aus einer wachsenden Menge an Daten zu extrahieren, stellt Unternehmen vor zunehmend komplexe Herausforderungen. Insbesondere wenn Daten nicht nur in Textform, sondern auch in visuellen Formaten wie Diagrammen, gescannten Verträgen, Tabellen oder Präsentationen vorliegen, stossen rein textbasierte Retrieval-Augmented Generation (RAG)-Systeme an ihre Grenzen. Hier setzen innovative multimodale RAG-Pipelines an, die eine präzisere und umfassendere Informationsgewinnung ermöglichen.

Die Notwendigkeit multimodaler Ansätze in RAG-Pipelines

In realen Anwendungen ist die Datenlandschaft selten homogen. Informationen sind in einer Vielzahl von Formaten eingebettet, die sowohl textuelle als auch visuelle Elemente enthalten können. Ein textbasiertes Retrieval-System würde in solchen Szenarien wichtige Kontextinformationen und visuelle Details übersehen, was zu unvollständigen oder gar fehlerhaften Antworten führen kann. Multimodale RAG-Pipelines adressieren diese Lücke, indem sie die gemeinsame Verarbeitung von Text, Bildern und Layouts ermöglichen. Dies führt zu fundierteren und umsetzbaren Erkenntnissen.

Die NVIDIA Nemotron Modellfamilie, eine Reihe offener Modelle, Datensätze und Technologien, wurde entwickelt, um effiziente, genaue und spezialisierte KI-Systeme zu ermöglichen. Sie ist auf fortgeschrittene Schlussfolgerungen, Codierung, visuelles Verständnis, agentische Aufgaben, Sicherheit, Sprache und Informationsabruf zugeschnitten.

Zentrale Komponenten für präzise multimodale Suche

Für die multimodale Suche in visuellen Dokumenten sind zwei spezifische Llama Nemotron-Modelle von Bedeutung:

• llama-nemotron-embed-vl-1b-v2: Ein dichtes, single-vector multimodales Embedding-Modell (Bild + Text) für den seitenbasierten Abruf und die Ähnlichkeitssuche. Dieses Modell ist darauf ausgelegt, visuelle und textuelle Informationen effizient in einer einzigen Repräsentation zu verdichten. Es ist mit allen Standard-Vektordatenbanken kompatibel und ermöglicht Suchvorgänge mit Millisekundenlatenz im Unternehmensmassstab.
• llama-nemotron-rerank-vl-1b-v2: Ein Cross-Encoder Re-Ranking-Modell zur Bewertung der Relevanz von Abfragen und Seiten. Dieses Modell ordnet die obersten Abrufkandidaten neu an, um die Relevanz zu verbessern und die Qualität nachfolgender Antworten zu steigern, ohne dass Speicher- oder Indexformate geändert werden müssen.

Beide Modelle zeichnen sich durch ihre Kompaktheit aus, wodurch sie mit den meisten NVIDIA GPU-Ressourcen betrieben werden können. Ihre Kompatibilität mit Standard-Vektordatenbanken und ihr Design zur Reduzierung von "Halluzinationen" durch die Bereitstellung besserer Evidenz – anstatt längerer Prompts – unterstreichen ihren praktischen Nutzen.

Funktionsweise und Architektur

Multimodale RAG-Pipelines kombinieren einen Retriever mit einem Vision-Language Model (VLM). Dies stellt sicher, dass die generierten Antworten sowohl auf den abgerufenen Seitentexten als auch auf visuellen Inhalten basieren und nicht ausschliesslich auf rohen Text-Prompts. Die Qualität der Embeddings kontrolliert dabei, welche Seiten abgerufen und dem VLM präsentiert werden. Re-Ranking-Modelle entscheiden, welche dieser Seiten am relevantesten sind und die Antwort am stärksten beeinflussen sollten.

Eine unpräzise Durchführung dieser Schritte erhöht die Wahrscheinlichkeit, dass das VLM "halluziniert" – oft mit hohem Vertrauen. Der Einsatz von multimodalen Embeddings in Verbindung mit einem multimodalen Re-Ranker gewährleistet, dass die Generierung auf den korrekten Seitenbildern und Texten basiert.

Architektonische Details und Trainingsmethodik

Das llama-nemotron-embed-vl-1b-v2 Embedding-Modell ist ein Transformer-basierter Encoder mit etwa 1,7 Milliarden Parametern. Es handelt sich um eine feinabgestimmte Version der NVIDIA Eagle Modellfamilie, die das Llama 3.2 1B Sprachmodell und den SigLip2 400M Vision-Encoder nutzt. Embedding-Modelle für den Abruf werden typischerweise mit einer Bi-Encoder-Architektur trainiert, die Abfrage und Dokument unabhängig voneinander kodiert. Durch Mean-Pooling über die Output-Token-Embeddings des Sprachmodells wird ein einzelnes Embedding mit 2048 Dimensionen erzeugt. Kontrastives Lernen wird eingesetzt, um die Ähnlichkeit zwischen Abfragen und relevanten Dokumenten zu erhöhen und gleichzeitig die Ähnlichkeit zu negativen Beispielen zu verringern.

Das llama-nemotron-rerank-vl-1b-v2 ist ein Cross-Encoder-Modell mit ebenfalls etwa 1,7 Milliarden Parametern. Auch dieses Modell ist eine feinabgestimmte Version eines NVIDIA Eagle-Familienmodells. Die Hidden States der letzten Schicht des Sprachmodells werden mittels Mean-Pooling aggregiert, und ein binärer Klassifikations-Layer wird für die Re-Ranking-Aufgabe feinabgestimmt. Das Modell wurde mit Cross-Entropy-Loss unter Verwendung öffentlich verfügbarer und synthetisch generierter Datensätze trainiert.

Leistungsbewertung und Benchmarks

Die Modelle llama-nemotron-embed-vl-1b-v2 und llama-nemotron-rerank-vl-1b-v2 wurden auf mehreren visuellen Dokumenten-Retrieval-Datensätzen evaluiert, darunter ViDoRe V1, V2 und V3, sowie zwei interne Datensätze: DigitalCorpora-10k und Earnings V2. Diese Benchmarks umfassen eine Mischung aus Text, Tabellen und Diagrammen sowie Finanzberichten, um die Leistung in realistischen Szenarien zu testen.

Ergebnisse der visuellen Dokumenten-Retrieval-Benchmarks

Die Modelle zeigten eine verbesserte Retrieval-Genauigkeit (Recall@5) für Bild- und Bild+Text-Modalitäten im Vergleich zu ihren Vorgängern. Insbesondere die Kombination von llama-nemotron-embed-vl-1b-v2 mit llama-nemotron-rerank-vl-1b-v2 steigerte die Genauigkeit signifikant in allen Modalitäten.

Beim Vergleich mit anderen verfügbaren multimodalen Re-Ranker-Modellen, wie jina-reranker-m0 und MonoQwen2-VL-v0.1, zeigte llama-nemotron-rerank-vl-1b-v2 eine überlegene Leistung bei Text- und kombinierten Bild+Text-Modalitäten. Diese Modelle sind zudem unter einer kommerziellen Lizenz verfügbar, was sie für den Unternehmenseinsatz attraktiv macht.

Anwendungsbereiche in Unternehmen

Die neuen Nemotron Embedding- und Re-Ranking-Modelle finden bereits in verschiedenen Branchen Anwendung:

• Design- und EDA-Workflows (Cadence): Ingenieure können durch die Modellierung von Design-Assets als vernetzte multimodale Dokumente gezielte Fragen stellen und relevante Spezifikationsabschnitte sofort finden. Das System kann sogar alternative Strategien für Spezifikationsaktualisierungen vorschlagen und entsprechende Bearbeitungen generieren.
• Domänenintensive Speicher- und Infrastruktur-Dokumente (IBM): Jede Seite von langen PDFs (Produkthandbücher, Konfigurationsanleitungen, Architekturdiagramme) wird als multimodales Dokument behandelt und eingebettet. Der Re-Ranker priorisiert Seiten, auf denen domänenspezifische Begriffe im richtigen Kontext erscheinen, bevor sie an nachgeschaltete LLMs gesendet werden. Dies verbessert die Interpretation von Speicherkonzepten und die Analyse komplexer Infrastruktur-Dokumentation.
• Chat über grosse PDF-Sammlungen (ServiceNow): Multimodale Embeddings werden verwendet, um Seiten aus organisationsinternen PDFs zu indizieren. Der Re-Ranker wählt die relevantesten Seiten für jede Benutzeranfrage aus. Durch die Beibehaltung von hoch bewerteten Seiten im Kontext über mehrere Interaktionen hinweg können die Agenten kohärentere Gespräche führen und Nutzern helfen, grosse Dokumentsammlungen effizienter zu navigieren.

Fazit

Die Entwicklung und Anwendung von Llama Nemotron RAG-Modellen, wie llama-nemotron-embed-vl-1b-v2 und llama-nemotron-rerank-vl-1b-v2, stellt einen bedeutenden Fortschritt in der multimodalen Informationsgewinnung dar. Durch die Fähigkeit, Text und visuelle Informationen gleichermaßen zu verarbeiten und effektiv zu re-ranken, bieten diese Modelle eine verbesserte Genauigkeit und reduzieren die "Halluzinationsneigung" von KI-Systemen. Ihre Kompatibilität, Effizienz und die breite Anwendbarkeit in verschiedenen Unternehmensszenarien unterstreichen ihr Potenzial, die Art und Weise, wie Unternehmen mit komplexen Dokumenten und Daten interagieren, nachhaltig zu verändern. Die fortlaufende Forschung und Entwicklung in diesem Bereich verspricht weitere Innovationen, die die Leistungsfähigkeit und Zuverlässigkeit von KI-gestützten Informationssystemen weiter steigern werden.

Bibliographie

- Hugging Face Blog. (2026, January 6). Small Yet Mighty: Improve Accuracy In Multimodal Search and Visual Document Retrieval with Llama Nemotron RAG Models. Retrieved from https://huggingface.co/blog/nvidia/llama-nemotron-vl-1b - NVIDIA. (n.d.). Foundation Models for Agentic AI | NVIDIA Nemotron. Retrieved from https://www.nvidia.com/en-us/ai-data-science/foundation-models/nemotron/ - NVIDIA Developer. (2025, September 23). Build a RAG Agent with NVIDIA Nemotron - YouTube. Retrieved from https://www.youtube.com/watch?v=f0utW0eLueY - Schifferer, B. (n.d.). Best-in-Class Multimodal RAG: How the Llama 3.2 NeMo Retriever Embedding Model Boosts Pipeline Accuracy. Retrieved from https://developer.nvidia.com/blog/best-in-class-multimodal-rag-how-the-llama-3-2-nemo-retriever-embedding-model-boosts-pipeline-accuracy/ - Pandit, B. (2025, July 14). NVIDIA NeMo Retriever open-sourced, improved with NemoRAG. LinkedIn. Retrieved from https://www.linkedin.com/posts/bhavishya-pandit_llm-opensource-llama-activity-7350761983593385984-7XME - Lumer, E., Cardenas, A., Melich, M., Mason, M., Dieter, S., Subbiah, V. K., Basavaraju, P. H., & Hernandez, R. (2025, November 20). Comparison of Text-Based and Image-Based Retrieval in Multimodal Retrieval Augmented Generation Large Language Model Systems. arXiv. Retrieved from https://arxiv.org/abs/2511.16654 - Xu, M., Zhou, W., Babakhin, Y., Moreira, G., Ak, R., Osmulski, R., Liu, B., Oldridge, E., & Schifferer, B. (2025, October 7). Omni-Embed-Nemotron: A Unified Multimodal Retrieval Model for Text, Image, Audio, and Video. arXiv. Retrieved from https://arxiv.org/pdf/2510.03458 - Hannan, T., Mallios, D., Pathak, P., Sardari, F., Seidl, T., Bertasius, G., Fayyaz, M., & Sengupta, S. (2025, November 14). DocSLM: A Small Vision-Language Model for Long Multimodal Document Understanding. arXiv. Retrieved from https://arxiv.org/abs/2511.11313 - Babakhin, Y., Osmulski, R., Ak, R., Moreira, G., Xu, M., Schifferer, B., Liu, B., & Oldridge, E. (2025, November 10). Llama-Embed-Nemotron-8B: A Universal Text Embedding Model for Multilingual and Cross-Lingual Tasks. arXiv. Retrieved from https://arxiv.org/html/2511.07025v1