Sicherheitsrisiken bei Open-Source-KI-Modellen und der Bedarf an Standards

Erhöhtes Risiko durch ungesicherte Open-Source-KI-Installationen

Die zunehmende Verbreitung von Open-Source-KI-Modellen bietet zahlreiche Vorteile, birgt jedoch auch erhebliche Sicherheitsrisiken, insbesondere wenn diese Modelle nicht korrekt konfiguriert und genutzt werden. Aktuelle Untersuchungen von Sicherheitsexperten zeigen auf, dass eine beträchtliche Anzahl von Open-Source-KI-Instanzen, wie jene, die auf dem Framework Ollama basieren, im Internet unzureichend geschützt sind.

Die Kooperation von Sentinal Labs und Censys identifizierte über einen Zeitraum von 293 Tagen mehr als 175.000 ungesicherte Ollama-Hosts in 130 Ländern. Diese Instanzen, die es Nutzern ermöglichen, verschiedene offene KI-Modelle lokal zu betreiben, können durch eine einfache Konfigurationsänderung für das Internet zugänglich gemacht werden. Länder wie China, die USA und Deutschland weisen die höchste Dichte solcher offener Systeme auf.

Gefahren durch API-Zugriff und Bildanalyse

Ein zentrales Problem dieser exponierten Ollama-Instanzen liegt darin, dass fast die Hälfte (48 Prozent) von ihnen ihren KI-Tools Zugriff auf API-Endpunkte gewährt. Dies ermöglicht die Interaktion mit externen Diensten und Anwendungen. Angreifer könnten diese Schnittstellen nutzen, um über sogenannte Prompt-Injektionen schädliche Befehle auszuführen. Hierbei werden manipulierte Anweisungen in die KI eingespeist, die dann unautorisierte Aktionen auslösen.

Zusätzlich dazu waren 22 Prozent der untersuchten Systeme in der Lage, Bilder zu analysieren. Dies eröffnet Cyberkriminellen die Möglichkeit, schädliche Anweisungen in Bilddateien (z.B. JPGs) zu verstecken. Wird ein solches manipuliertes Bild von einer ungesicherten Ollama-Instanz verarbeitet, könnten die eingebetteten Befehle ausgeführt werden, was in Verbindung mit API-Zugängen weitreichende Schäden verursachen kann.

Backdoors und manipulierte Lieferketten in KI-Modellen

Über die Fehlkonfiguration hinaus stellen Backdoors in Open-Source-KI-Modellen eine weitere ernste Bedrohung dar. Diese versteckten Schwachstellen können während der Trainings- oder Feinabstimmungsphasen in die Modelle eingeschleust werden. Sie bleiben oft inaktiv, bis ein spezifischer Trigger sie aktiviert, um beispielsweise Daten zu leaken, Fehlklassifizierungen zu verursachen oder unbefugte Aktionen auszuführen. Traditionelle Sicherheitsmaßnahmen wie statische Code-Analysen oder Software Bills of Materials (SBOMs) sind zur Erkennung dieser Art von Bedrohungen in komplexen KI-Modellen oft ungeeignet.

Ashish Verma und Deep Patel von Trend Micro weisen darauf hin, dass die schnelle Adaption von Open-Source-KI-Modellen Unternehmen erheblichen Risiken in der Lieferkette aussetzt. Plattformen, die Open-Source-Modelle hosten, bieten oft nur minimale Überprüfung, was die Verbreitung von Modellen mit bösartigem Code begünstigt. Eine Studie von JFrog zeigte, dass von über einer Million Modellen auf Hugging Face 400 schädlichen Code enthielten.

Angriffsvektoren im Lebenszyklus von KI-Modellen

Angriffe auf KI-Modelle können in verschiedenen Phasen des Lebenszyklus ansetzen:

• Trainingsphase: Hier können Angreifer die Daten manipulieren, um Schwachstellen direkt in die Logik des Modells einzubetten. Beispiele sind Label Poisoning, bei dem Trainingsdaten falsch gekennzeichnet werden, oder Datenvergiftung, bei der bösartige Samples eingeschleust werden, um das Modell zu verfälschen.
• Speicher- und Verteilungsphase (Supply Chain): Nach dem Training können Angreifer direkten Zugriff auf Modelldateien nutzen, um Gewichte zu manipulieren oder Malware einzuschleusen, ohne das Modell neu trainieren zu müssen.
• Lade- und Bereitstellungsphase: Unsichere Praktiken beim Laden und Ausführen von Modelldateien können ausgenutzt werden. Dies umfasst das Bündeln schädlicher Skripte in Modellcontainern oder die Remote-Code-Ausführung über Deserialisierung in bestimmten Modellformaten.

Die Herausforderung der Erkennung und Abwehr

Die Erkennung von Backdoors in KI-Modellen wird durch mehrere Faktoren erschwert:

• Mangelndes Fachwissen und etablierte Best Practices.
• Begrenzte Tests, die sich oft nur auf den Anwendungszweck konzentrieren und nicht auf adversarielle Eingaben.
• Fehlende Metadaten zur Herkunft von Trainingsdaten und Hyperparametern.
• Die Undurchsichtigkeit der Modellarchitektur, bei der bösartige Logik nicht als klar erkennbare Zeichenfolgen oder Funktionen erscheint.

Regulierungsbedarf und branchenweite Standards

Experten fordern einheitliche Regeln und Standards für Open-Source-KI-Modelle, um Nutzer umfassend zu schützen. Dazu gehört die kontinuierliche Untersuchung von Modellen nach dem Release, die Offenlegung von Schwachstellen und deren Behebung. Große Sprachmodelle, die zunehmend Anweisungen in Aktionen umsetzen, müssen mit denselben Authentifizierungs-, Überwachungs- und Netzwerkkontrollen behandelt werden wie andere extern zugängliche Infrastrukturen.

Philipp Steevens betont in einem Interview die Notwendigkeit, sich vor Deepfakes, Deepscams und der Malware-Erstellung mittels LLMs zu schützen. Er weist darauf hin, dass Open-Source-KI-Modelle, wie sie beispielsweise Meta mit Llama anbietet, von Kriminellen missbraucht werden können, da diese sich nicht an Lizenzbedingungen halten.

Vorschläge zur Verbesserung der Sicherheit umfassen den Model Artifact Trust Standard (MATS), der über bestehende Standards hinausgeht und modellspezifische Sicherheitsanforderungen wie den Nachweis von Verhaltensvalidierungen, Feinabstimmungs-Abstammung und kryptografische Gewichts-Hashes beinhaltet. Zudem wird die Implementierung von Signierungs- und Überprüfbarkeitsmechanismen auf Plattformebene sowie die Ausweitung des EU-Cyberresilienzgesetzes auf KI-Modelle gefordert.

Ein globales Netzwerk zum Austausch von KI-Bedrohungsinformationen, ähnlich dem CVE/CWE-Modell, könnte ebenfalls dazu beitragen, die Sicherheitslage zu verbessern, indem es den Informationsaustausch zwischen Verteidigern, Forschern und Anbietern fördert.

Fazit

Während Open-Source-KI-Modelle das Potenzial haben, Innovationen voranzutreiben und den Zugang zu fortschrittlichen Technologien zu demokratisieren, ist es von entscheidender Bedeutung, die damit verbundenen Sicherheitsrisiken proaktiv anzugehen. Unternehmen und Entwickler sind gefordert, bewährte Sicherheitspraktiken zu implementieren, Modelle sorgfältig zu prüfen und sich der potenziellen Angriffsvektoren bewusst zu sein. Nur durch eine Kombination aus technologischen Lösungen, strengen Standards und einer erhöhten Sensibilisierung kann die Sicherheit im Ökosystem der Open-Source-KI gewährleistet werden.

Bibliographie

- Fuhrmann, Marvin. "Sicherheitsexperten warnen: Open-Source-KI könnte zu gravierendem Security-Problem werden." t3n, 2. Februar 2026. - Verma, Ashish und Patel, Deep. "Backdoors in Open-Source KI-Modellen." Trend Micro, 13. August 2025. - Verma, Ashish und Patel, Deep. "Umgang mit Backdoors in Open-Source KI-Modellen." Trend Micro, 20. August 2025. - Solomon, Howard. "Neues GenAI-Tool soll Open-Source-Sicherheit erhöhen." CSO Online, 11. Juni 2025. - Steevens, Philipp. "Interview: KI wird erstmal viele Menschen unglücklich machen." heise online, 3. Juni 2024.