Manipulation autonomer Fahrzeuge durch visuelle Eingriffe und ihre Sicherheitsimplikationen

Gezielte Manipulation: Wie Forscher autonome Fahrzeuge durch visuelle Anweisungen beeinflussen

Die fortschreitende Entwicklung autonomer Fahrzeuge verspricht eine Revolution im Transportwesen. Gleichzeitig rücken jedoch auch potenzielle Schwachstellen dieser hochkomplexen Systeme in den Fokus der Forschung. Eine aktuelle Studie der Universität von Kalifornien Santa Cruz liefert bemerkenswerte Erkenntnisse darüber, wie selbstfahrende Fahrzeuge, exemplarisch die Robotaxis von Waymo, durch relativ simple visuelle Eingriffe von ihrem vorgesehenen Kurs abzubringen sind.

Die Funktionsweise autonomer Systeme und ihre Anfälligkeit

Autonome Fahrzeuge wie die von Waymo sind auf die präzise Erfassung und Interpretation ihrer Umgebung angewiesen. Kameras, Sensoren und eine dahinterliegende Künstliche Intelligenz (KI) verarbeiten in Echtzeit eine Fülle von Informationen – von Verkehrsschildern über Ampeln bis hin zu anderen Verkehrsteilnehmern. Diese Systeme basieren häufig auf sogenannten Large Vision-Language Models (LVLM), die visuelle und textuelle Daten integrieren, um Entscheidungen zu treffen.

Die Studie, die als Preprint veröffentlicht und noch unabhängiger Prüfung unterzogen wird, konzentrierte sich auf die Anfälligkeit dieser LVLM für "visuelle Prompt Injection". Dabei handelt es sich um eine Methode, bei der gezielt visuelle Befehle in Form von manipulierten Verkehrsschildern oder Aufklebern in das Sichtfeld der Fahrzeugkameras platziert werden, um die KI zu Fehlinterpretationen oder unerwünschten Aktionen zu verleiten.

Experimentelle Szenarien und deren Ergebnisse

Die Forscher implementierten ihr Angriffssystem, genannt CHAI (Command Hijacking against embodied AI), in verschiedenen Szenarien, um die Robustheit der autonomen Systeme zu testen. Dabei wurden unter anderem folgende Situationen simuliert:

• Ein autonomes Fahrzeug sollte dazu gebracht werden, einen Zebrastreifen zu überfahren, obwohl sich Fußgänger in der Nähe befanden.
• Drohnen wurden mit visuellen Anweisungen manipuliert, um an unsicheren Orten zu landen oder alternative Ziele zu verfolgen.

Die Ergebnisse waren aufschlussreich: In Simulationen erreichten die Angriffe auf fahrerlose Autos eine Erfolgsquote von bis zu 81,8 Prozent. Bei Drohnen, die zur Verfolgung von Flugobjekten eingesetzt wurden, lag die Erfolgsquote sogar bei 95,5 Prozent. Selbst in realen Tests mit einem Roboterauto, das durch Institutsflure navigierte und auf präparierte Schilder reagierte, konnten die Systeme erfolgreich getäuscht werden. Diese Tests bestätigten zudem, dass die Angriffe unter verschiedenen Lichtverhältnissen funktionierten.

Implikationen für die Sicherheit autonomer Technologien

Die Ergebnisse dieser Studie unterstreichen eine potenziell signifikante Sicherheitslücke in verkörperten KI-Systemen. Angesichts der prognostizierten Zunahme autonomer Fahrzeuge und anderer KI-gesteuerter Roboter in den kommenden Jahren gewinnt diese Thematik an Relevanz. Alvaro Cardenas, der Studienleiter, betont die Notwendigkeit, bereits in der Entwicklungsphase robuste Abwehrmaßnahmen gegen solche Angriffe zu implementieren.

Es ist nicht der erste Fall, in dem die Anfälligkeit autonomer Systeme demonstriert wurde. Bereits 2024 zeigten Forscher der University of Pennsylvania in einer Simulation, wie ein selbstfahrendes Auto durch Prompt Injection von seinem Weg abzubringen und Hindernisse zu ignorieren war. Auch Tesla-Fahrzeuge gerieten in der Vergangenheit in die Schlagzeilen, etwa als ihr Autopilot auf aufgemalte Straßenbilder reagierte und reale Hindernisse übersah.

Waymo und die Herausforderungen des autonomen Fahrens

Waymo, eine Tochtergesellschaft von Alphabet, gehört zu den führenden Unternehmen im Bereich autonomes Fahren und betreibt Robotaxi-Flotten in mehreren US-Städten. Trotz der beeindruckenden Fortschritte und der hohen Anzahl an absolvierten fahrerlosen Fahrten sind auch Waymo-Fahrzeuge nicht immun gegen Herausforderungen.

In der Vergangenheit gab es Berichte über unvorhergesehenes Verhalten von Waymo-Robotaxis, die beispielsweise Fast-Food-Autoschalter blockierten oder in Kreisverkehren feststeckten. Solche Vorfälle, auch wenn sie selten sind, zeigen die Komplexität der Interaktion autonomer Systeme mit unstrukturierten oder unerwarteten Situationen im realen Straßenverkehr. Auch Rückrufaktionen aufgrund von Softwarefehlern, die zu Kollisionen mit statischen Objekten führten, verdeutlichen die kontinuierliche Notwendigkeit der Systemoptimierung.

Die Diskussionen um das "selbstbewusstere" Fahrverhalten von Waymo-Fahrzeugen, die sich an menschliche Fahrmuster anpassen, um im komplexen Stadtverkehr nicht als Hindernis wahrgenommen zu werden, zeigen den schmalen Grat zwischen Effizienz und Sicherheit. Während Waymo betont, dass ihre Technologie die Verkehrssicherheit erhöht, bleiben die Herausforderungen bei der Gewährleistung einer umfassenden Robustheit gegenüber externen Manipulationen und unvorhergesehenen Szenarien bestehen.

Ausblick: Die Notwendigkeit ganzheitlicher Sicherheitskonzepte

Die Erkenntnisse aus der Studie der Universität von Kalifornien Santa Cruz sind ein deutlicher Hinweis darauf, dass die Sicherheit autonomer Systeme über die reine Funktionalität hinausgeht. Die Entwicklung effektiver Abwehrmaßnahmen gegen visuelle Prompt Injection und ähnliche Angriffsvektoren wird entscheidend sein, um das Vertrauen in diese Technologien zu stärken und ihre sichere Integration in den Alltag zu gewährleisten. Für Unternehmen im B2B-Bereich, die sich mit der Implementierung und dem Betrieb autonomer Lösungen befassen, bedeutet dies, dass ganzheitliche Sicherheitskonzepte, die sowohl technische als auch operative Aspekte berücksichtigen, von größter Bedeutung sind.

Die kontinuierliche Forschung und Entwicklung in diesem Bereich ist unerlässlich, um die Resilienz autonomer Systeme gegenüber intelligenten Manipulationen zu erhöhen und die Vision eines sicheren und effizienten autonomen Transports Realität werden zu lassen.

Bibliography - Kühl, E. (2026, 31. Januar). Sicherheitslücke bei autonomen Autos: Forscher bringen Waymo-Robotaxis mit simplen Schildern vom Kurs ab. t3n.de. Abgerufen am 20. Mai 2024, von https://t3n.de/news/sicherheitsluecke-bei-autonomen-autos-1726825/ - Kühl, E. (2026, 26. Januar). Am Zebrastreifen Gas geben: Autonome Autos und Drohnen lassen sich durch simple Schilder überlisten. t3n.de. Abgerufen am 20. Mai 2024, von https://t3n.de/news/am-zebrastreifen-gas-geben-autonome-autos-und-drohnen-lassen-sich-durch-simple-schilder-ueberlisten-1726825/ - Elzer, C. (2025, 21. März). Teslas Autopilot hält aufgemalte Straße für real – und fällt auf Roadrunner-Trick herein. Merkur.de. Abgerufen am 20. Mai 2024, von https://www.merkur.de/wirtschaft/aufgemalte-strasse-mit-echter-verwechselt-teslas-autopilot-faellt-auf-uralten-roadrunner-trick-rein-zr-93631745.html - Herger, M. (2023, 6. September). Waymo versus Mensch: Wer fährt sicherer? Neue Studie beantwortet die Frage eindeutig. Der letzte Führerscheinneuling…. Abgerufen am 20. Mai 2024, von https://derletztefuehrerscheinneuling.com/2023/09/06/waymo-versus-mensch-wer-fahrt-sicherer-neue-studie-beantwortet-die-frage-eindeutig/ - Handelsblatt. (2023, 3. August). Wut gegen Robotaxis – Aktivisten in den USA legen selbstfahrende Autos lahm. Handelsblatt.com. Abgerufen am 20. Mai 2024, von https://www.handelsblatt.com/mobilitaet/motor/waymo-und-cruise-wut-gegen-robotaxis-aktivisten-in-den-usa-legen-selbstfahrende-autos-lahm/29294994.html - Fuhrmann, M. (2025, 3. Dezember). Waymo-Roboterautos: Selbstbewusstes Fahrverhalten sorgt für Diskussionen. heise online. Abgerufen am 20. Mai 2024, von https://www.heise.de/news/Waymo-Roboterautos-Selbstbewusstes-Fahrverhalten-sorgt-fuer-Diskussionen-11101905.html - Knobloch, A. (o. J.). Nach kleineren Kollisionen: Waymo ruft 1.200 autonom fahrende Fahrzeuge zurück. heise online. Abgerufen am 20. Mai 2024, von https://www.heise.de/news/Nach-kleineren-Unfaellen-Waymo-ruft-1-200-selbstfahrende-Fahrzeuge-zurueck-10384080.html - Weber, J. (2025, 15. Mai). Alphabet: Rückruf bei Robotaxi-Tochter Waymo – wie schlimm ist es? DER AKTIONÄR. Abgerufen am 20. Mai 2024, von https://www.deraktionaer.de/artikel/mobilitaet-oel-energie/alphabet-rueckruf-bei-robotaxi-tochter-waymo-wie-schlimm-ist-es-20380177.html - dpa. (2025, 10. April). Tücken der Technik: Leeres Robotaxi blockiert Fast-Food-Autoschalter. ZEIT ONLINE. Abgerufen am 20. Mai 2024, von https://www.zeit.de/news/2025-04/10/leeres-robotaxi-blockiert-fast-food-autoschalter