Erkenntnisse zu Halluzinationen in großen Sprachmodellen und deren interne Wissensmechanismen

Große Sprachmodelle (LLMs) sind in den letzten Jahren immer leistungsfähiger geworden und haben in vielen Bereichen Einzug gehalten, von der Textgenerierung bis hin zur Übersetzung. Doch trotz ihrer beeindruckenden Fähigkeiten sind LLMs nicht fehlerfrei. Ein Phänomen, das immer wieder für Diskussionen sorgt, sind die sogenannten "Halluzinationen".

Was sind LLM-Halluzinationen?

Im Kontext von LLMs bezieht sich der Begriff "Halluzination" auf die Generierung von Informationen, die nicht auf den Trainingsdaten basieren oder im Widerspruch zu ihnen stehen. Das bedeutet, das LLM erfindet im Prinzip Inhalte, die zwar auf den ersten Blick plausibel erscheinen mögen, aber faktisch falsch oder unlogisch sind. Solche Halluzinationen können in verschiedenen Formen auftreten: - **Faktische Fehler:** Das LLM gibt falsche Informationen über Personen, Orte, Ereignisse oder andere Fakten wieder. - **Unlogische Schlussfolgerungen:** Das LLM zieht aus den gegebenen Informationen falsche Schlüsse oder stellt unlogische Zusammenhänge her. - **Erfindung von Quellen:** Das LLM beruft sich auf nicht existente Quellen oder erfindet Zitate.

Tiefere Einblicke in die Funktionsweise von LLMs

Eine neue Forschungsarbeit mit dem Titel "LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations" wirft ein neues Licht auf das Phänomen der Halluzinationen. Die Autoren der Studie argumentieren, dass LLMs mehr über die Wahrhaftigkeit ihrer Aussagen "wissen", als sie nach außen hin preisgeben. Dieses "Wissen" sei in den internen Repräsentationen des Modells versteckt. Die Forscher analysierten die internen Repräsentationen von vier verschiedenen LLMs und trainierten sogenannte "Probing-Klassifikatoren", um Merkmale zu identifizieren, die mit der Wahrhaftigkeit von generierten Aussagen korrelieren. Dabei stellten sie fest, dass sich die Informationen über die Wahrhaftigkeit in den "exakten Antwort-Tokens" konzentrieren. Das sind die Tokens, die die eigentliche Antwort auf eine Frage oder Aufgabe enthalten.

Vielfältige Wahrheitsmechanismen und ihre Grenzen

Interessanterweise zeigte sich, dass die trainierten Probing-Klassifikatoren nicht gut zwischen verschiedenen Aufgaben verallgemeinern. Das deutet darauf hin, dass LLMs nicht über einen einzigen, universellen Mechanismus zur Dekodierung von Wahrhaftigkeit verfügen. Stattdessen scheinen sie mehrere, aufgabenspezifische Mechanismen zu verwenden. Die Forscher fanden auch heraus, dass die internen Repräsentationen von LLMs dazu genutzt werden können, die Arten von Fehlern vorherzusagen, die das Modell wahrscheinlich machen wird. Diese Erkenntnis könnte in Zukunft zur Entwicklung von maßgeschneiderten Strategien zur Fehlervermeidung beitragen.

Diskrepanz zwischen internem Wissen und externem Verhalten

Eine der bemerkenswertesten Erkenntnisse der Studie ist die Diskrepanz zwischen den internen Repräsentationen und dem tatsächlichen Ausgabeverhalten von LLMs. In einigen Fällen kodiert das Modell intern die richtige Antwort, generiert aber dennoch eine falsche Antwort. Das legt nahe, dass das externe Verhalten eines LLMs nicht immer ein zuverlässiger Indikator für sein tatsächliches "Wissen" ist.

Ausblick: Was bedeutet das für die Zukunft von LLMs?

Die vorgestellte Forschungsarbeit liefert wichtige Erkenntnisse über die Funktionsweise von LLMs und die Herausforderungen, die mit ihrer Entwicklung und Anwendung verbunden sind. Die Erkenntnis, dass LLMs mehr "wissen", als sie zeigen, eröffnet neue Möglichkeiten zur Verbesserung ihrer Zuverlässigkeit. Zukünftige Forschung sollte sich darauf konzentrieren, die Diskrepanz zwischen internem Wissen und externem Verhalten zu verringern und die Entwicklung von LLMs voranzutreiben, die nicht nur in der Lage sind, menschenähnlichen Text zu generieren, sondern auch ein tieferes Verständnis der Informationen haben, die sie verarbeiten. ## Bibliographie - https://arxiv.org/abs/2410.02707 - https://arxiv.org/html/2410.02707 - https://www.researchgate.net/publication/384630402_LLMs_Know_More_Than_They_Show_On_the_Intrinsic_Representation_of_LLM_Hallucinations/download - https://medium.com/@louis19980927/paper-llms-know-more-than-they-show-on-the-intrinsic-representation-of-llm-hallucinations-2389f8f01066 - https://www.chatpaper.com/chatpaper/de/paper/63841 - https://chatpaper.com/chatpaper/paper/63841 - https://powerdrill.ai/discover/discover-LLMs-Know-More-cm1v7maxiuuqr013wkn1o55cf - https://www.threads.net/@omarsar0/post/DAtYAGfxLEr - https://linnk.ai/insight/natural-language-processing/unveiling-the-hidden-knowledge-of-llms-how-internal-representations-reveal-and-predict-hallucinations-Xz-jrYh9/ - https://piamedia.com/wp-content/uploads/2024/09/PIAM_Whitepaper_LLM-Halluzinationen_EN.pdf