Neuartiges Framework zur Bewertung der Richtlinienkonformität von Sprachmodellen in Unternehmen

Einführung: Die Herausforderung der Richtlinienkonformität von LLMs in Unternehmen

Die Integration großer Sprachmodelle (Large Language Models, LLMs) in geschäftskritische Anwendungen, von der Finanzbranche bis zum Gesundheitswesen, schreitet stetig voran. Mit dieser Entwicklung wächst auch die Notwendigkeit, deren Verhalten genau zu steuern und an spezifische Unternehmensrichtlinien anzupassen. Bisherige Sicherheitsbewertungen von LLMs konzentrierten sich primär auf die Vermeidung universeller Schäden, wie etwa die Generierung toxischer oder voreingenommener Inhalte. Die Einhaltung feingranularer, organisationsspezifischer Regeln – beispielsweise die Beantwortung bestimmter Fragen oder die strikte Ablehnung anderer – blieb dabei oft unzureichend adressiert. Hier setzt das COMPASS-Framework an, ein neuartiger Ansatz, der eine systematische Bewertung dieser spezifischen Richtlinienkonformität ermöglicht.

COMPASS: Ein Rahmenwerk für präzise Richtlinienbewertung

COMPASS, ausgeschrieben als "Company/Organization Policy Alignment Assessment", wurde entwickelt, um die Lücke zwischen generischen Sicherheitsstandards und den individuellen Anforderungen von Unternehmen zu schließen. Das Framework bietet eine methodische Grundlage zur Evaluierung, inwieweit LLMs die von einer Organisation definierten "Allowlist"- und "Denylist"-Richtlinien einhalten. Eine "Allowlist" definiert dabei, welche Themen oder Anfragen bearbeitet werden sollen, während eine "Denylist" festlegt, welche Inhalte oder Anfragen strikt abzulehnen sind.

Methodik und Anwendungsbereiche

Das COMPASS-Framework wird in acht unterschiedlichen Industrieszenarien angewandt, um dessen Vielseitigkeit und Relevanz zu demonstrieren. Hierfür wurden 5.920 Anfragen generiert und validiert. Diese umfassen sowohl Standardanfragen zur Überprüfung der Routinekonformität als auch sogenannte "Adversarial Robustness"-Tests. Letztere sind strategisch gestaltete Grenzfälle, die darauf abzielen, die Grenzen der Modell-Compliance auszuloten und potenzielle Schwachstellen aufzudecken.

Die Kernkomponenten des Frameworks umfassen:

• Definition kundenspezifischer Richtlinien: Unternehmen können ihre eigenen "Allowlist"- und "Denylist"-Regeln festlegen.
• Generierung von Benchmarks: Das System erstellt synthetische Anfragen, die sowohl Standardfälle als auch adversarial gestaltete Abfragen umfassen, um die Robustheit der LLMs zu testen.
• Evaluierung der LLM-Konformität: LLMs werden anhand dieser generierten Anfragen bewertet, um ihre Einhaltung der definierten Richtlinien zu messen.

Ergebnisse der Evaluierung: Eine kritische Asymmetrie

Die Anwendung von COMPASS auf sieben aktuelle LLMs hat eine signifikante Asymmetrie in deren Leistungsfähigkeit offenbart. Während die Modelle legitime Anfragen mit einer Genauigkeit von über 95 % zuverlässig verarbeiten, zeigen sie bei der Durchsetzung von Verboten erhebliche Defizite. Nur zwischen 13 % und 40 % der gegen "Denylist"-Regeln verstoßenden Anfragen wurden korrekt abgelehnt.

Diese Erkenntnis ist von entscheidender Bedeutung für Unternehmen, die LLMs in sicherheitskritischen Umgebungen einsetzen möchten. Sie deutet darauf hin, dass die aktuellen LLMs nicht die notwendige Robustheit für derartige "Policy-Critical Deployments" besitzen. Die Fähigkeit eines LLM, verbotene Inhalte zuverlässig zu erkennen und abzulehnen, ist für die Minimierung von Risiken und die Wahrung der Compliance von höchster Wichtigkeit.

Implikationen für die Unternehmens-KI-Sicherheit

Die Ergebnisse der COMPASS-Studie unterstreichen die Notwendigkeit einer präziseren und umfassenderen Bewertung von LLMs, insbesondere wenn diese in regulierten oder sensiblen Geschäftsbereichen zum Einsatz kommen. Für B2B-Kunden, die auf KI-Lösungen setzen, ergeben sich daraus mehrere wichtige Schlussfolgerungen:

• Erhöhte Anforderungen an die Modellvalidierung: Unternehmen sollten über generische Sicherheitsprüfungen hinausgehen und spezifische Validierungsverfahren implementieren, die ihre individuellen Compliance-Anforderungen widerspiegeln.
• Bedarf an robusteren LLMs: Die Entwicklung von LLMs muss sich verstärkt auf die Verbesserung der "Denylist"-Durchsetzung konzentrieren, um eine zuverlässige Ablehnung unerwünschter Inhalte zu gewährleisten.
• Transparenz und Nachvollziehbarkeit: Die Fähigkeit, die Einhaltung von Richtlinien durch LLMs transparent zu belegen, wird zu einem kritischen Faktor für die Akzeptanz und den sicheren Einsatz von KI in Unternehmen.
• Kontinuierliche Anpassung und Evaluierung: Angesichts der schnellen Entwicklung von LLMs ist eine fortlaufende Evaluierung und Anpassung der Richtlinien und Modelle unerlässlich.

COMPASS als Standard für die Zukunft

Das COMPASS-Framework etabliert sich als ein wichtiger Maßstab für die Bewertung der organisationsspezifischen KI-Sicherheit. Es bietet einen praxisorientierten Ansatz, um die Leistungsfähigkeit von LLMs nicht nur in Bezug auf die Generierung korrekter Antworten, sondern auch hinsichtlich der zuverlässigen Einhaltung von Unternehmensrichtlinien zu messen. Für Anbieter von KI-Lösungen wie Mindverse bedeutet dies, dass die Entwicklung von LLMs, die eine hohe Policy-Alignment-Fähigkeit aufweisen, von zentraler Bedeutung sein wird, um den Anforderungen anspruchsvoller B2B-Kunden gerecht zu werden.

Die Erkenntnisse aus der COMPASS-Forschung liefern wertvolle Impulse für die Weiterentwicklung von LLMs und die Gestaltung von KI-Systemen, die nicht nur leistungsfähig, sondern auch verantwortungsvoll und regelkonform agieren. Dies ist ein entscheidender Schritt auf dem Weg zu einer vertrauenswürdigen und sicheren Integration Künstlicher Intelligenz in die Geschäftswelt.

Fazit

Die Studie zum COMPASS-Framework beleuchtet eine kritische Herausforderung im Bereich der Large Language Models: die Diskrepanz zwischen der Fähigkeit, legitime Anfragen zu bearbeiten, und der Notwendigkeit, verbotene Inhalte konsequent abzulehnen. Für Unternehmen, die LLMs in ihren Kernprozessen einsetzen, ist die Beherrschung dieser Diskrepanz von grundlegender Bedeutung. Das COMPASS-Framework bietet hierfür eine systematische Lösung und wird voraussichtlich eine Schlüsselrolle bei der Gestaltung zukünftiger Standards für die Unternehmens-KI-Sicherheit spielen.

Bibliography: - Choi, Dasol, Lee, DongGeon, Kartono, Brigitta Jesica, Berndt, Helena, Kwon, Taeyoun, Jang, Joonwon, Park, Haon, Yu, Hwanjo, & Kahng, Minsuk. (2026). COMPASS: A Framework for Evaluating Organization-Specific Policy Alignment in LLMs. arXiv preprint arXiv:2601.01836. - AIM-Intelligence. (n.d.). COMPASS: A Framework for Policy Alignment Evaluation. GitHub. Retrieved from https://github.com/AIM-Intelligence/COMPASS - Hugging Face. (2026, January 6). COMPASS - a AIM-Intelligence Collection. Retrieved from https://huggingface.co/collections/AIM-Intelligence/compass - Hugging Face. (2026, January 6). Daily Papers. Retrieved from https://huggingface.co/papers?q=allowlist - Paperreading.club. (n.d.). COMPASS: A Framework for Evaluating Organization-Specific ... Retrieved from http://paperreading.club/page?id=366306 - ChatPaper. (2026, January 6). Explore and AI Chat with the Academic Papers. Retrieved from https://chatpaper.com/chatpaper?id=2&date=1767628800&page=1 - arXiv. (2026, January 5). Computer Science > Artificial Intelligence. Retrieved from https://arxiv.org/abs/2601.01836 - Shen, Hua, Knearem, Tiffany, Ghosh, Reshmi, Yang, Yu-Ju, Clark, Nicholas, Mitra, Tanushree, & Huang, Yun. (2025, November 4). ValueCompass: A Framework for Measuring Contextual Value Alignment Between Human and LLMs. arXiv preprint arXiv:2409.09586. - Yao, Jing, Yi, Xiaoyuan, Duan, Shitong, Wang, Jindong, Bai, Yuzhuo, Huang, Muhua, Ou, Yang, Li, Scarlett, Zhang, Peng, Lu, Tun, Dou, Zhicheng, Sun, Maosong, Evans, James, & Xie, Xing. (2025, June 2). Value Compass Leaderboard: A Comprehensive, Generative and Self-Evolving Platform for LLMs’ Value Evaluation. arXiv preprint arXiv:2501.07071. - arXiv. (2025, June 2). [2501.07071] Value Compass Benchmarks: A Platform for ... Retrieved from https://arxiv.org/abs/2501.07071