Erkennung und Verifizierung von Zitationshalluzinationen in wissenschaftlichen Texten durch das Framework CiteAudit

Die rapide Entwicklung und Integration von großen Sprachmodellen (LLMs) in wissenschaftliche Schreib- und Peer-Review-Prozesse birgt sowohl Chancen als auch Risiken. Eine der größten Herausforderungen ist die sogenannte Zitationshalluzination, bei der LLMs Referenzen generieren, die zwar plausibel erscheinen, aber in der Realität nicht existieren. Dieses Phänomen stellt eine ernsthafte Bedrohung für die Integrität und Vertrauenswürdigkeit wissenschaftlicher Publikationen dar.

Die Herausforderung der Zitationshalluzination

Wissenschaftliche Forschung baut auf einem Fundament präziser Zitationen auf, die sowohl zur Zuschreibung von Leistungen als auch zur Sicherstellung der Forschungsredlichkeit dienen. Die Einführung von LLMs hat jedoch eine neue Dimension des Risikos geschaffen: die Entstehung von Referenzen, die zwar überzeugend wirken, aber keiner realen Veröffentlichung entsprechen. Solche halluzinierten Zitate wurden bereits in Einreichungen und akzeptierten Papern bei großen Machine-Learning-Konferenzen beobachtet, was auf Schwachstellen im Peer-Review-System hindeutet. Mit der schnell wachsenden Anzahl von Referenzlisten wird eine manuelle Überprüfung zunehmend unpraktikabel. Bestehende automatisierte Tools sind oft anfällig für die Komplexität und Variabilität realer Zitationsformate und es fehlt ihnen an einer standardisierten Bewertungsgrundlage.

CiteAudit: Ein neues Framework zur Zitationsüberprüfung

Um diesen Herausforderungen zu begegnen, wurde ein umfassendes Benchmark- und Erkennungsframework namens CiteAudit vorgestellt. Ziel ist es, halluzinierte Zitate in wissenschaftlichen Texten zu identifizieren und zu verifizieren. Das Framework basiert auf einer speziell entwickelten Multi-Agenten-Verifizierungspipeline, die die Zitationsprüfung in mehrere koordinierte Phasen unterteilt:

• Anspruchsextraktion: Identifizierung von Aussagen, die Zitate enthalten.
• Evidenzbeschaffung: Abrufen potenzieller Belege aus den zitierten Quellen.
• Passage-Matching: Abgleich der Ansprüche mit den relevanten Textpassagen.
• Kontextbezogenes Schlussfolgern: Bewertung, ob die zitierte Quelle den Anspruch tatsächlich stützt.
• Kalibriertes Urteilen: Abgabe eines fundierten Urteils über die Glaubwürdigkeit des Zitats.

Dieser Ansatz ermöglicht eine robuste Bewertung, ob eine zitierte Quelle den ihr zugeschriebenen Anspruch tatsächlich belegt.

Datensatz und Methodik

Für die Entwicklung und Evaluation von CiteAudit wurde ein umfangreicher, menschlich validierter Datensatz erstellt. Dieser Datensatz umfasst verschiedene Domänen und Zitationstypen und enthält sowohl real existierende als auch gezielt generierte halluzinierte Zitate. Die generierten Fälschungen wurden nach einer systematischen Taxonomie von Zitationshalluzinationstypen erstellt, die Titel-, Autoren- und Metadatenfehler umfasst. Die Übereinstimmung der Fehlerverteilung zwischen generierten und realen Daten wurde statistisch bestätigt, was die Validität des Benchmarks unterstreicht.

Die Architektur von CiteAudit ist als kollaborative Multi-Agenten-Pipeline konzipiert, die durch ein hierarchisches Standard Operating Procedure (SOP) koordiniert wird. Fünf spezialisierte Agenten arbeiten zusammen:

1. Extractor Agent (𝒜_ext): Parst visuelle und textuelle Daten aus PDF-Dokumenten und extrahiert Zitationsmetadaten.
2. Dual-End Memory Agent (𝒜_mem): Führt eine schnelle Abfrage in einer internen Wissensbasis durch, um bereits verifizierte Zitate zu erkennen.
3. Web Search Agent (𝒜_web): Bei einem Treffer nicht im internen Speicher durchsucht dieser Agent das Internet über die Google Search API und crawlt die Top-5-URLs zur Evidenzbeschaffung.
4. Judge Agent (𝒜_jud): Bewertet die Übereinstimmung zwischen den extrahierten Metadaten und den gefundenen Beweisen anhand strenger Konsistenzkriterien.
5. Scholar Agent (𝒜_sch): Wird bei unzureichenden Web-Ergebnissen für eine gezielte, hochpräzise Suche in autoritativen Repositorien (z.B. Google Scholar) eingesetzt, um kanonische Aufzeichnungen zu erhalten.

Dieser gestufte Ansatz minimiert den Ressourcenverbrauch, indem computationally aufwendigere Schritte (wie der Scholar Agent) nur bei Bedarf aktiviert werden.

Experimentelle Ergebnisse

Die Experimente mit CiteAudit wurden sowohl auf einem generierten als auch auf einem realen Testdatensatz durchgeführt. Die Ergebnisse zeigen, dass das Framework bestehende Zitationsprüfungsmodelle, einschließlich proprietärer LLMs wie GPT-5.2 und Claude-Sonnet-4.5, in Bezug auf Genauigkeit und Interpretierbarkeit deutlich übertrifft. Insbesondere erreicht CiteAudit eine hohe Präzision und einen vollständigen Recall bei der Erkennung halluzinierter Zitate, während es gleichzeitig eine niedrige Falsch-Positiv-Rate bei echten Referenzen beibehält.

Ein weiterer wichtiger Aspekt ist die Kosteneffizienz. CiteAudit erreicht eine nahezu minimale Verarbeitungszeit und verursacht dabei keine monetären Kosten, was es kommerziellen LLM-basierten Lösungen überlegen macht. Dieser Vorteil ergibt sich aus dem architektonischen Design, bei dem große Sprachmodelle nur für übergeordnete Planungs- und Urteilsaufgaben eingesetzt werden, während der Großteil der Verifizierungsarbeit von leichtgewichtigen Agenten und externen Tools erledigt wird.

Ablationsstudie und Fehleranalyse

Eine detaillierte Ablationsstudie zeigte die kritische Rolle jedes Moduls innerhalb des Multi-Agenten-Frameworks auf:

• Das Entfernen des Scholar Agenten führte zu einem erheblichen Rückgang des Recalls, was die Bedeutung der autoritativen Verifikation für die Erkennung hartnäckiger Halluzinationen unterstreicht.
• Das Ersetzen des LLM-basierten Judge Agenten durch einen einfachen String-Matching-Algorithmus führte zu einem katastrophalen Rückgang der Präzision, was die Notwendigkeit semantischer Schlussfolgerungen zur Bewältigung von Real-World-Rauschen (z.B. Abkürzungen, Tippfehler) belegt.
• Das Ausschließen des Web Search Moduls erhöhte die Inferenzlatenz erheblich, was dessen Rolle als effizienten "Fast-Path"-Filter bestätigt.

Die Analyse proprietärer Modelle zeigte zudem, dass diese selbst bei expliziter Anweisung keine zuverlässigen, nachvollziehbaren Suchverfahren ausführen. Die Herkunft implizit abgerufener Beweise bleibt undurchsichtig, was für die Zitationsprüfung, die eine explizite Nachverfolgung erfordert, problematisch ist.

Fazit und Ausblick

Die Studie zu CiteAudit demonstriert einen entscheidenden Schritt zur Bewältigung der Herausforderung halluzinierter Zitate im Zeitalter der LLMs. Durch die Bereitstellung eines offenen, standardisierten und skalierbaren Benchmarks sowie eines neuartigen Multi-Agenten-Frameworks bietet CiteAudit Forschern, Gutachtern und Verlagen praktische Werkzeuge, um die Vertrauenswürdigkeit wissenschaftlicher Referenzen zu stärken. Die Fähigkeit des Systems, nicht nur echte von gefälschten Zitaten zu unterscheiden, sondern auch detaillierte Inkonsistenzen zu diagnostizieren, ist ein wichtiger Fortschritt für die Aufrechterhaltung der wissenschaftlichen Redlichkeit.

Die zukünftige Forschung wird sich weiterhin darauf konzentrieren müssen, die Mechanismen der Zitationshalluzination in LLMs besser zu verstehen und noch robustere Verifizierungsmethoden zu entwickeln. Die Arbeit von CiteAudit liefert hierfür eine solide Grundlage und trägt dazu bei, das Vertrauen in wissenschaftliche Publikationen in einer zunehmend durch KI geprägten Forschungslandschaft zu bewahren.

Bibliographie

- Yuan, Z., Shi, K., Zhang, Z., Sun, L., Chawla, N. V., & Ye, Y. (2026). CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era. arXiv preprint arXiv:2602.23452. - Press, O., Hochlehnert, A., Prabhu, A., Udandarao, V., Press, O., & Bethge, M. (2024). CiteME: Can Language Models Accurately Cite Scientific Claims? Advances in Neural Information Processing Systems, 37. - Choi, Y. M., Guo, X., Fung, Y. R., & Wang, Q. (2025). CiteGuard: Faithful Citation Attribution for LLMs via Retrieval-Augmented Validation. arXiv preprint arXiv:2510.17853. - Scite.ai. (2026, February 10). Your AI Needs Better Citations. - Tu, Z. (2026, January 31). Verifying Citations with BibAgent: Reliable Reference Checking for LLMs. LinkedIn. - Hugging Face. (2026, March 2). Daily Papers. - Center for AI Safety; Scale AI; HLE Contributors Consortium. (2026). A benchmark of expert-level academic questions to assess AI capabilities. Nature, 649(8099), 1139–1146.