Entwicklung der investigativen Intelligenz bei großen Sprachmodellen

Die rapide Entwicklung von Large Language Models (LLMs) hat in den letzten Jahren zu bemerkenswerten Fortschritten in der Künstlichen Intelligenz geführt. Während sich ein Großteil der Forschung und Entwicklung auf die Verbesserung der "Ausführungsintelligenz" konzentrierte – also die Fähigkeit von LLMs, vorgegebene Aufgaben korrekt und effizient zu erfüllen –, rückt nun zunehmend die "Untersuchungsintelligenz" in den Fokus. Hierbei geht es darum, ob LLMs nicht nur Antworten liefern, sondern auch autonom Ziele setzen, zu erforschende Bereiche identifizieren und tiefergehende Erkenntnisse gewinnen können. Eine aktuelle Studie mit dem Titel "Hunt Instead of Wait: Evaluating Deep Data Research on Large Language Models" beleuchtet genau diese nächste Evolutionsstufe.

Die Evolution der LLM-Fähigkeiten: Von der Ausführung zur Untersuchung

Bislang wurden LLMs primär danach bewertet, wie präzise und umfassend sie auf direkte Anfragen reagieren oder spezifische Aufgaben ausführen können. Dieser Ansatz, oft als "executional intelligence" bezeichnet, ist zweifellos wertvoll und hat zu einer Vielzahl praktischer Anwendungen geführt. Doch um das volle Potenzial von LLMs als autonome Agenten in komplexen Szenarien auszuschöpfen, ist eine tiefere Form der Intelligenz erforderlich: die Fähigkeit zur selbstständigen Forschung und Entdeckung. Die Autoren der genannten Studie definieren dies als "investigatory intelligence".

Im Gegensatz zur reinen Beantwortung expliziter Abfragen erfordert investigativer Intelligenz, dass ein LLM:

• Autonom Ziele setzt: Es muss in der Lage sein, eigene Forschungsfragen zu formulieren.
• Explorationspfade wählt: Es entscheidet selbst, welche Informationen relevant sind und wie diese gesucht werden sollen.
• Tiefergehende Einblicke extrahiert: Es geht über oberflächliche Antworten hinaus und synthetisiert umfassende Erkenntnisse aus verschiedenen Quellen.

Deep Data Research (DDR): Ein neues Paradigma für LLM-Evaluation

Um diese Fähigkeiten zu bewerten, wurde das Konzept des Deep Data Research (DDR) eingeführt. DDR ist eine offene Aufgabe, bei der LLMs die Autonomie erhalten, Schlüsselinformationen und Erkenntnisse aus umfangreichen Datenbanken zu extrahieren. Dieser Ansatz simuliert reale Szenarien, in denen Analysen oft mit Rohdaten beginnen und nicht mit präzisen, vorformulierten Fragen.

Die Notwendigkeit eines solchen Paradigmas ergibt sich aus den Limitationen bestehender Benchmarks. Viele dieser Benchmarks sind zu eng gefasst oder stellen mehrdeutige Fragen, was einen fairen Vergleich der investigativen Fähigkeiten von LLMs erschwert. DDR zielt darauf ab, diese Lücke zu schließen, indem es eine realitätsnahe Testumgebung schafft.

DDR-Bench: Der Benchmark für verifizierbare Forschung

Zur systematischen und verifizierbaren Bewertung der DDR-Fähigkeiten wurde DDR-Bench entwickelt. Dieser groß angelegte, checklistenbasierten Benchmark ermöglicht es, die Leistung von LLMs in Bezug auf ihre Untersuchungsintelligenz objektiv zu messen. Die Verifizierbarkeit ist hier ein entscheidender Faktor, da sie sicherstellt, dass die von den LLMs gewonnenen Erkenntnisse nachvollziehbar und überprüfbar sind.

DDR-Bench konzentriert sich auf die Fähigkeit von LLMs, umfassende, zitierfähige Berichte zu erstellen, indem sie Informationen aus hunderten von Live-Webquellen suchen und synthetisieren. Hierbei sind vier Prinzipien von wesentlicher Bedeutung:

• Benutzerzentriertheit: Die Aufgaben sollen realistische Informationsbedürfnisse widerspiegeln.
• Dynamik: Es sind aktuelle Informationen erforderlich, die über parametrisches Wissen hinausgehen.
• Eindeutigkeit: Eine konsistente Interpretation über verschiedene Benutzer hinweg muss gewährleistet sein.
• Multifazettiertheit und Suchintensität: Die Aufgaben erfordern eine Suche über zahlreiche Webquellen und eine tiefgehende Analyse.

LiveResearchBench, ein weiterer Benchmark, der in diesem Kontext entwickelt wurde, umfasst 100 von Experten kuratierte Aufgaben aus dem Alltag, der Wirtschaft und der Wissenschaft, die jeweils eine umfangreiche, dynamische Echtzeit-Websuche und -Synthese erfordern. Über 1.500 Stunden menschlicher Arbeit flossen in die Erstellung dieses Benchmarks ein. Zur Bewertung der dabei entstehenden, zitierfähigen Langform-Berichte wurde DeepEval eingeführt, eine umfassende Suite, die sowohl die inhalts- als auch die berichtsbezogene Qualität bewertet, einschließlich Abdeckung, Präsentation, Zitationsgenauigkeit und -assoziation, Konsistenz und Analysetiefe.

Aktuelle Erkenntnisse und Herausforderungen

Die ersten Analysen mit DDR-Bench und ähnlichen Benchmarks wie LiveResearchBench zeigen, dass führende LLM-Modelle zwar Ansätze von Eigenständigkeit demonstrieren, die Exploration über einen langen Horizont hinweg jedoch weiterhin eine erhebliche Herausforderung darstellt. Dies bedeutet, dass die Modelle zwar in der Lage sind, erste Schritte der Untersuchung einzuleiten, aber Schwierigkeiten haben, diese über längere Zeiträume konsistent und zielgerichtet fortzusetzen.

Die Untersuchung hebt hervor, dass effektive investigativer Intelligenz nicht allein von der "Agenten-Struktur" (wie die LLMs organisiert sind, um Aufgaben zu bewältigen) oder der reinen Skalierung der Modelle abhängt. Vielmehr spielen die intrinsischen Strategien der agentischen Modelle eine entscheidende Rolle. Dies impliziert, dass es nicht ausreicht, immer größere Modelle zu entwickeln oder komplexere Agenten-Frameworks zu implementieren; vielmehr müssen die zugrundeliegenden Mechanismen, mit denen LLMs Informationen verarbeiten, Schlussfolgerungen ziehen und Wissen synthetisieren, weiter verfeinert werden.

Beispiele für Herausforderungen bei der Deep Data Research

Einige der identifizierten Herausforderungen umfassen:

• Umgang mit Redundanz und Informationsdichte: Bei der Suche in Tausenden von Webseiten müssen LLMs in der Lage sein, redundante Informationen zu komprimieren, ohne kritische Beweise zu verlieren.
• Zusammenführung überlappender Inhalte: Wenn Inhalte teilweise redundant sind, müssen LLMs Überlappungen zusammenführen, ohne einzigartige Signale zu übersehen.
• Priorisierung bei Kontextbeschränkungen: Wenn die Menge der relevanten Informationen die Kontextgrenzen des Modells überschreitet, muss das LLM die wesentlichen Punkte erkennen und priorisieren können.

Automatisierte Datensynthese für Deep Research Agenten

Um die Entwicklung fortgeschrittener Deep Research Agenten voranzutreiben, wird zunehmend auf automatisierte Datensynthese gesetzt. Ein Beispiel hierfür ist InfoSeek, ein Framework zur Generierung strukturell komplexer Hierarchical Constraint Satisfaction Problems (HCSPs). HCSPs formalisieren Deep Research Fragen mit überprüfbaren Antworten und unterscheiden sich grundlegend von einfacheren Multi-Hop- oder flachen CSP-Problemen.

InfoSeek nutzt ein Dual-Agenten-System, um rekursiv einen Forschungsbaum aus großflächigen Webseiten zu erstellen. Dabei werden Zwischenknoten zu gültigen Unterproblemen verschwommen und diese Bäume in natürlichsprachliche Fragen umgewandelt, die das Durchlaufen der gesamten Hierarchie erfordern. Die so generierten Datensätze sind strukturell vielfältig, in ihrer Komplexität kontrollierbar und intrinsisch überprüfbar. Experimente zeigen, dass auf InfoSeek trainierte Modelle konsistent bessere Leistungen erbringen als starke Baselines.

Die Rolle von Benchmarks und Metriken

Die stetige Weiterentwicklung von LLMs erfordert auch adäquate Bewertungsmethoden. Benchmarks wie LiveResearchBench und Metriken wie DeepEval sind entscheidend, um die Fortschritte in der investigativen Intelligenz von LLMs transparent und vergleichbar zu machen. Sie ermöglichen es Forschenden und Entwicklern, Stärken und Schwächen aktueller Systeme zu identifizieren und gezielt an Verbesserungen zu arbeiten.

Die Evaluierung der Effektivität von LLMs im Bereich des Abstract Screenings, wie in einer separaten Studie gezeigt, unterstreicht die Notwendigkeit robuster Benchmarks. Hierbei wurden verschiedene LLM-Tools wie ChatGPT, Google PaLM und Meta Llama in ihrer Fähigkeit bewertet, Abstracts für systematische Reviews zu filtern. Die Ergebnisse zeigen, dass LLMs vielversprechende Leistungen erzielen können, aber noch nicht in der Lage sind, menschliche Experten vollständig zu ersetzen. Dies unterstreicht die Bedeutung von Benchmarks, die sowohl Effizienz als auch Genauigkeit umfassend bewerten.

Ausblick und Implikationen für B2B

Für Unternehmen im B2B-Sektor, die auf KI-Lösungen setzen, sind diese Entwicklungen von großer Relevanz. Die Fähigkeit von LLMs, selbstständig komplexe Daten zu recherchieren und tiefgehende Erkenntnisse zu gewinnen, könnte transformative Auswirkungen auf Bereiche wie Marktanalyse, wissenschaftliche Forschung, Rechtsberatung und strategische Planung haben. Ein LLM, das nicht nur auf Anfragen reagiert, sondern proaktiv relevante Informationen aufspürt und synthetisiert, wird zu einem wertvollen Partner in datenintensiven Entscheidungsprozessen.

Die Herausforderung für Unternehmen wird darin bestehen, solche fortschrittlichen LLM-Systeme effektiv zu implementieren und zu nutzen. Dies erfordert nicht nur die Auswahl der richtigen Modelle und Architekturen, sondern auch ein Verständnis dafür, wie diese Systeme am besten trainiert, evaluiert und in bestehende Arbeitsabläufe integriert werden können. Die Forschung im Bereich Deep Data Research und investigativer Intelligenz legt den Grundstein für diese zukünftigen Anwendungen und bietet wertvolle Einblicke in die Potenziale und Grenzen der nächsten Generation von KI-Assistenten.

Die Entwicklung hin zu autonom agierenden LLMs, die nicht nur warten, sondern aktiv recherchieren, verspricht eine neue Ära der KI-Anwendungen, in der die Modelle nicht nur Werkzeuge sind, sondern zu echten Partnern in der Wissensgenerierung und Problemlösung avancieren.

Bibliography - Liu, W., Yu, P., Orini, M., Du, Y., & He, Y. (2026). Hunt Instead of Wait: Evaluating Deep Data Research on Large Language Models. arXiv preprint arXiv:2602.02039. - Wang, J., Ming, Y., Dulepet, R., Chen, Q., Xu, A., Ke, Z., Sala, F., Albarghouthi, A., Xiong, C., & Joty, S. (2025). LiveResearchBench: A Live Benchmark for User-Centric Deep Research in the Wild. arXiv preprint arXiv:2510.14240. - Xia, Z., Luo, K., Qian, H., & Liu, Z. (2025). Open Data Synthesis For Deep Research. arXiv preprint arXiv:2509.00375. - Li, M., Sun, J., & Tan, X. (2024). Evaluating the effectiveness of large language models in abstract screening: a comparative analysis. Systematic Reviews, 13(1), 219. - Pandey, P. (2025). Reading Research Papers in the Age of LLMs. Towards Data Science.