Innovativer Ansatz zur Minderung von Halluzinationen in großen Sprachmodellen

Sehr geehrte Leserinnen und Leser,

Die fortschreitende Entwicklung großer Sprachmodelle (LLMs) hat zu bemerkenswerten Fortschritten in der künstlichen Intelligenz geführt. Gleichzeitig ist jedoch eine erhöhte Inzidenz von sogenannten "Halluzinationen" festzustellen. Diese Halluzinationen, bei denen LLMs plausible, aber sachlich inkorrekte oder nicht durch Fakten gestützte Informationen generieren, stellen eine erhebliche Herausforderung für die Vertrauenswürdigkeit und praktische Anwendbarkeit dieser Modelle dar. Ein kürzlich veröffentlichtes Paper mit dem Titel "No One Size Fits All: QueryBandits for Hallucination Mitigation" beleuchtet einen innovativen Ansatz zur Bewältigung dieses Problems.

Herausforderung der LLM-Halluzinationen

Halluzinationen in LLMs sind ein vielschichtiges Problem. Sie reichen von der Generierung von fehlerhaften Daten bis hin zu Informationen, die im Kontext zwar plausibel erscheinen, aber faktisch falsch sind. Dies kann insbesondere in sensiblen Bereichen wie Rechtsberatung, Medizin oder Finanzwesen schwerwiegende Konsequenzen haben. Bisherige Forschungsarbeiten zur Minderung von Halluzinationen konzentrierten sich oft auf Open-Source-Modelle, nachträgliche Erkennung oder Parameterbearbeitung. Die Bewältigung von Halluzinationen in Closed-Source-Modellen, die in institutionellen Anwendungen weit verbreitet sind, blieb jedoch eine signifikante Lücke.

Ein zentrales Problem ist, dass die meisten Mitigationstechniken sich auf die Filterung von Ausgaben nach der Generierung konzentrieren, anstatt die Abfragen selbst so zu gestalten, dass sie Halluzinationen proaktiv vermeiden. Da LLM-Ausgaben sehr empfindlich auf lexikalische Änderungen in den Eingabeabfragen reagieren, liegt hier ein vielversprechender Ansatzpunkt.

Einführung von QueryBandits

Das vorgestellte Framework QueryBandits adressiert diese Herausforderung durch einen modellunabhängigen, kontextuellen Bandit-Ansatz. Es lernt adaptiv und online, die optimale Strategie zur Umformulierung von Abfragen auszuwählen. Dies geschieht durch die Nutzung einer empirisch validierten und kalibrierten Belohnungsfunktion. QueryBandits ist darauf ausgelegt, die Wahrscheinlichkeit von Halluzinationen zu minimieren, indem es LLMs proaktiv von der Generierung fehlerhafter Inhalte weglenkt.

Der Kern des Ansatzes liegt in der Ausnutzung von 17 linguistischen Merkmalen der Eingabeabfrage. Diese Merkmale umfassen strukturelle Eigenschaften (z.B. Anaphern, Subordination), szenariobasierte Aspekte (z.B. Missverhältnisse, Präsuppositionen, Pragmatik), lexikalische Elemente (z.B. Seltenheit, Negation, Superlative, Polysemie) sowie stilistische Komplexitäten (z.B. Beantwortbarkeit, Exzessivität, Subjektivität, Ambiguität) und semantische Fundierung (z.B. Grounding, Constraints, Entitäten, Spezialisierung).

Methodik und Implementierung

QueryBandits formuliert die Abfrageumformulierung als ein Online-Entscheidungsproblem. Es wählt aus einem Satz von fünf Umformulierungsstrategien diejenige aus, die den erwarteten Nutzen maximiert. Diese Strategien umfassen:

• Paraphrasierung: Umformulierung der Abfrage unter Beibehaltung der Bedeutung, um lexikalische Vielfalt zu schaffen.
• Vereinfachung: Eliminierung verschachtelter Klauseln oder komplexer Syntax, um Halluzinationen durch überladene Details zu reduzieren.
• Disambiguierung: Klärung vager Referenzen (z.B. mehrdeutige Pronomen), um die Leistung von LLMs bei der Auflösung von Ambiguitäten zu verbessern.
• Expansion: Explizite Erweiterung relevanter Entitäten oder Attribute, um dem Modell reichere semantische Präfixe zu bieten.
• Klärung von Begriffen: Präzisierung lexikalischer und semantischer Bedeutungen von Fachbegriffen, die in breiten Domänenkorpora selten vorkommen.

Ein entscheidender Aspekt ist die Belohnungsfunktion, die Halluzinationen als niedrige Belohnungen definiert. Diese Funktion kombiniert drei Signale zur Korrektheit:

• Ein binäres Konsistenzurteil eines GPT-4o-basierten Assessors zur faktischen Korrektheit.
• Eine Fuzzy-String-Ähnlichkeitsmetrik zur Erfassung von weichen Zeichenkettenüberlappungen.
• Der BLEU-1-Score zur Sicherstellung der lexikalischen Treue.

Diese mehrfacetige Formulierung soll individuelle Fehlerquellen einzelner Metriken abmildern und ein stabiles Lernen ermöglichen. Die Gewichtung dieser Komponenten wurde durch eine Pareto-Analyse auf einem manuell gelabelten Validierungsdatensatz optimiert, wobei dem LLM-basierten Urteil eine höhere Bedeutung zugeschrieben wurde.

Experimentelle Ergebnisse und Erkenntnisse

Die Wirksamkeit von QueryBandits wurde in 16 Frage-Antwort-Szenarien demonstriert. Der führende QueryBandit (Thompson Sampling) erreichte eine "Win Rate" von 87,5% gegenüber einer "No-Rewrite"-Baseline. Dies bedeutet, dass in 87,5% der Fälle die umformulierte Abfrage zu einer korrekteren Antwort führte als die ursprüngliche Abfrage. Des Weiteren übertraf QueryBandits statische Zero-Shot-Strategien wie Paraphrasierung und Expansion um 42,6% bzw. 60,3%.

Ein zentrales Ergebnis ist, dass alle kontextuellen Banditen die nicht-kontextuellen (Vanilla) Banditen übertrafen. Eine höhere Merkmalsvarianz korrelierte dabei mit einer größeren Varianz in der Armauswahl, was die Hypothese stützt, dass es keine einzelne optimale Umformulierungsstrategie für alle Abfragen gibt. Interessanterweise zeigten einige statische Richtlinien einen höheren kumulativen Regret als die "No-Rewrite"-Baseline, was darauf hindeutet, dass eine unflexible Abfrageumformulierung Halluzinationen sogar verschlimmern kann.

Keine Einheitslösung für alle Abfragen

Die Analyse der Regressionsgewichte pro Arm zeigte, dass jede Umformulierungsstrategie unterschiedliche Empfindlichkeiten gegenüber verschiedenen linguistischen Merkmalen aufweist. Zum Beispiel ist die Strategie "Expand" bei Abfragen mit "Domain-Spezialisierung" (d.h. Abfragen, die domänenspezifisches Wissen erfordern) sehr effektiv, während "Simplify" in solchen Fällen weniger geeignet ist. Dies unterstreicht die Notwendigkeit eines adaptiven Ansatzes, der die spezifischen Merkmale einer Abfrage berücksichtigt.

Dieser adaptive Mechanismus ermöglicht es QueryBandits, das Modellverhalten rein über Forward-Pass-Mechanismen zu steuern. Dies umgeht die Notwendigkeit eines erneuten Trainings oder einer gradientenbasierten Anpassung, was die Anwendung auch bei Closed-Source-Modellen ermöglicht.

Implikationen für B2B-Anwendungen

Die Ergebnisse von QueryBandits haben weitreichende Implikationen für B2B-Anwendungen von LLMs, insbesondere für Unternehmen, die auf die Genauigkeit und Zuverlässigkeit von KI-generierten Inhalten angewiesen sind. Die Fähigkeit, Halluzinationen proaktiv zu mindern, ohne die Modelle neu trainieren zu müssen, bietet erhebliche Vorteile:

• Erhöhte Vertrauenswürdigkeit: Durch die Reduzierung von Halluzinationen können Unternehmen die Qualität und Verlässlichkeit von LLM-generierten Informationen verbessern, was das Vertrauen der Nutzer stärkt.
• Effizienz und Kosteneinsparungen: Die Vermeidung von aufwändigem Retraining oder Fine-Tuning ist besonders für den Einsatz von Closed-Source-Modellen attraktiv und senkt die Betriebskosten.
• Flexibilität: Der adaptive Ansatz ermöglicht es, LLMs auch in dynamischen Umgebungen effektiv einzusetzen, in denen sich Abfrageprofile ändern können.
• Interpretierbarkeit: QueryBandits bietet einen Mechanismus zur Interpretation der Empfindlichkeit der LLM-Leistung gegenüber kontextuellen Umformulierungen, was zu einem tieferen Verständnis der Modellmechanismen beitragen kann.

Die Erkenntnis, dass linguistische Merkmale einen assoziativen Signalwert für die optimale Umformulierungsstrategie tragen, ist für die Entwicklung intelligenter Content-Tools wie Mindverse von großer Bedeutung. Es zeigt, dass eine tiefgehende Analyse der Abfragestruktur entscheidend ist, um die besten Ergebnisse zu erzielen.

Ausblick

Zukünftige Forschungsarbeiten könnten sich darauf konzentrieren, höhergradige Interaktionen zwischen den linguistischen Merkmalen zu erfassen und kausale Inferenztechniken weiter zu vertiefen. Dies könnte das Verständnis der komplexen Beziehungen zwischen Abfragen, Modellverhalten und Halluzinationen weiter verbessern. Die Integration solcher fortschrittlichen Ansätze in KI-Content-Plattformen birgt das Potenzial, die Qualität und Zuverlässigkeit von KI-generierten Inhalten noch weiter zu steigern und somit den Mehrwert für Unternehmen signifikant zu erhöhen.

Die Arbeit von Nicole Cho, William Watson, Alec Koppel, Sumitra Ganesh und Manuela Veloso leistet einen wichtigen Beitrag zur Bewältigung eines der kritischsten Probleme in der LLM-Forschung und ebnet den Weg für vertrauenswürdigere und zuverlässigere KI-Systeme in der Geschäftswelt.

Bibliografie

- Cho, N., Watson, W., Koppel, A., Ganesh, S., & Veloso, M. (2026). No One Size Fits All: QueryBandits for Hallucination Mitigation. arXiv preprint arXiv:2602.20332. - Cho, N., Watson, W., Koppel, A., Ganesh, S., & Veloso, M. (2025). QueryBandits for Hallucination Mitigation: Exploiting Semantic Features for No-Regret Rewriting. arXiv preprint arXiv:2508.16697. - Cho, N., Watson, W., Koppel, A., Ganesh, S., & Veloso, M. (2025). QueryBandits for Hallucination Mitigation. NeurIPS 2025 Workshop: Bridging Language, Agent, and World Models for Reasoning and Planning (LAW 2025). - Karhade, M. (2025). QueryBandits: A novel framework for mitigating LLM hallucinations through query rewriting. LinkedIn post. - Mala, C. S., Gezici, G., & Giannotti, F. (2025). Hybrid Retrieval for Hallucination Mitigation in Large Language Models: A Comparative Analysis. arXiv preprint arXiv:2504.05324. - Liu, S., Liu, W., Xu, Z., Wang, X., Chen, B., & Li, T. (2025). Towards Mitigation of Hallucination for LLM-empowered Agents: Progressive Generalization Bound Exploration and Watchdog Monitor. arXiv preprint arXiv:2507.15903.