Künstliche Intelligenz und der Schutz des Vergessenen: Herausforderungen im Umgang mit sensiblen Daten
Große Sprachmodelle und das Dilemma des Vergessens: Die Herausforderung des Schutzes sensibler Daten
Mit der rasanten Entwicklung künstlicher Intelligenz und dem Aufkommen Großer Sprachmodelle (Large Language Models, LLMs), die auf umfangreichen Datenkorpora trainiert werden, stehen Forscher und Entwickler vor neuen Herausforderungen. Diese Modelle, die darauf trainiert sind, menschenähnliche Texte zu verarbeiten und zu generieren, sind aus unserem digitalen Alltag kaum noch wegzudenken. Sie ermöglichen es Nutzern, auf eine schier unendliche Palette von Anfragen zu suchen und Antworten zu finden. Sie finden Anwendung in der Übersetzung von Sprachen, der Zusammenfassung von Texten, dem Beantworten von Fragen und einer Vielzahl weiterer Aufgaben der natürlichen Sprachverarbeitung.
Allerdings bergen diese Modelle auch Risiken. Sie sind in der Lage, sensible oder private Daten zu speichern und wiederzugeben, was sowohl rechtliche als auch ethische Bedenken aufwirft. Die Wissenschaftler stehen daher vor der Aufgabe, Methoden zu entwickeln, die es den Modellen ermöglichen, bestimmte Informationen zu "vergessen", insbesondere dann, wenn es um Daten geht, die nachträglich als schützenswert identifiziert wurden.
Ein innovativer Ansatz zur Bewältigung dieser Herausforderung wurde kürzlich von Forschern der Carnegie Mellon University (CMU) präsentiert. Sie entwickelten das Konzept des "Fictitious Unlearning" für LLMs, oder TOFU (Task of Fictitious Unlearning), als Benchmark zur Vertiefung unseres Verständnisses von Unlearning-Prozessen. TOFU bietet einen Datensatz von 200 diversen synthetischen Autorenprofilen, bestehend aus jeweils 20 Frage-Antwort-Paaren, und einer Teilmenge dieser Profile, die als "Vergessens-Set" dient, auf das sich das Unlearning konzentrieren soll.
Um die Wirksamkeit des Vergessens zu messen, wurde eine Reihe von Metriken zusammengestellt, die ein ganzheitliches Bild der Effizienz des Vergessens liefern sollen. Basierend auf diesen Metriken wurden erste Ergebnisse mithilfe bestehender Algorithmen zum Unlearning ermittelt. Die Ergebnisse zeigten, dass keiner der derzeit verfügbaren Ansätze in der Lage ist, ein effektives Unlearning zu gewährleisten, was die Notwendigkeit unterstreicht, weiterhin Methoden zu entwickeln, die das Verhalten von Modellen so anpassen, dass sie sich verhalten, als wären sie nie auf den zu vergessenden Daten trainiert worden.
Diese Forschung ist von besonderer Bedeutung, da sie sich mit einem der grundlegendsten Probleme der modernen KI auseinandersetzt: der Privatsphäre und Sicherheit. Im Jahr 2020 entdeckten Forscher von CyLab und dem Software Engineering Institute der CMU Schwachstellen in Bildklassifizierern, die durch geringfügige Änderungen an den Bildern die Wahrnehmung und Kategorisierung durch die Modelle beeinflussen konnten. Diese Forschung wurde auf Sprachmodelle übertragen, und es wurden Methoden entwickelt, die es ermöglichen, große Sprachmodelle wie das von Meta entwickelte Open-Source-Chatbot oder ChatGPT zu täuschen und sie zur Generierung anstößigen Inhalts zu bewegen.
Die Forscher haben auch gezeigt, dass es möglich ist, durch das Trainieren eines Angriffssuffixes auf verschiedenen Aufforderungen und Modellen anstößige Inhalte in öffentlichen Schnittstellen wie Google Bard und Claude sowie in Open-Source-LLMs wie Llama 2 Chat, Pythia, Falcon und anderen zu induzieren.
Um den Schutz der Privatsphäre weiter zu stärken, wurde das Konzept des "In-Context Unlearning" vorgeschlagen, bei dem spezifische Trainingsinstanzen neben einer umgekehrten Kennzeichnung und zusätzlichen korrekt gekennzeichneten Instanzen, die zur Eingabezeit der LLMs vorausgesetzt werden, geliefert werden. Experimentelle Ergebnisse deuten darauf hin, dass diese Kontexte effektiv bestimmte Informationen aus dem Trainingssatz entfernen, während sie Leistungsniveaus beibehalten, die mit den neuesten Unlearning-Methoden, die Zugriff auf die Modellparameter erfordern, konkurrieren oder diese sogar übertreffen.
Die KI-Community ist aufgefordert, diese Forschung ernst zu nehmen und an der Lösung des Dilemmas zu arbeiten. Es ist unerlässlich, dass wir Modelle entwickeln, die nicht nur intelligent und nützlich sind, sondern auch sicher und ethisch vertretbar. Nur so können wir gewährleisten, dass die Vorteile der KI-Technologie nicht durch ihre potenziellen Risiken überschattet werden. Die Arbeit der CMU-Forscher ist ein Schritt in die richtige Richtung und eröffnet neue Wege für die Entwicklung sichererer und verantwortungsbewusster KI-Systeme.
