Sicherheitsherausforderungen und neue Bewertungsansätze für KI-Agenten im Haushalt

Die fortschreitende Entwicklung von Künstlicher Intelligenz (KI) und insbesondere von verkörperten Agenten hat das Potenzial, unseren Alltag maßgeblich zu verändern. Haushaltsroboter, die in der Lage sind, komplexe Aufgaben zu übernehmen, rücken zunehmend in den Bereich des Möglichen. Doch mit dieser Entwicklung gehen auch neue Herausforderungen einher, insbesondere im Bereich der Sicherheit. Im Gegensatz zu kontrollierten Industrieumgebungen sind Haushalte dynamisch und unvorhersehbar, was die Erkennung und Vermeidung von Sicherheitsrisiken durch KI-Systeme erschwert. Eine aktuelle Studie beleuchtet diese Problematik und stellt einen neuen Benchmark sowie eine innovative Architektur zur Verbesserung der Sicherheit verkörperter Agenten vor.

Herausforderungen bei der Sicherheit verkörperter Agenten in Haushalten

Die schnelle Verbreitung von verkörperten Agenten, insbesondere Haushaltsrobotern, in realen Umgebungen wirft Fragen hinsichtlich ihrer Sicherheit auf. Systembeschränkungen wie Wahrnehmungsverzögerungen oder mangelndes Alltagsverständnis können zu gefährlichen Fehlern führen. Bisherige Sicherheitsbewertungen konzentrierten sich oft auf statische Bilder, Texte oder allgemeine Gefahren und konnten die dynamische Natur unsicherer Handlungen in Haushaltsszenarien nicht ausreichend abbilden.

Um diese Lücke zu schließen, wurde ein neuer, anspruchsvoller Benchmark namens HomeSafe-Bench entwickelt. Dieser Benchmark zielt darauf ab, Vision-Language Models (VLMs) bei der Erkennung unsicherer Handlungen in Haushaltsszenarien zu evaluieren. Er basiert auf einer hybriden Pipeline, die physische Simulation mit fortschrittlicher Videogenerierung kombiniert und 438 verschiedene Fälle aus sechs Funktionsbereichen mit fein abgestuften, mehrdimensionalen Annotationen umfasst.

HomeSafe-Bench: Ein neuer Standard für die Sicherheitsbewertung

Aufbau und Methodik

HomeSafe-Bench wurde entwickelt, um die Einschränkungen bestehender Benchmarks zu überwinden, die sich oft auf textuelle Beschreibungen oder statische Ansichten verlassen. Durch die Verwendung dynamischer Bilder aus der Ich-Perspektive in simulierten Haushaltsumgebungen ermöglicht HomeSafe-Bench eine realitätsnähere Bewertung der VLM-Fähigkeiten zur Inspektion der Heimsicherheit.

Der Benchmark umfasst 12.900 Datenpunkte, die fünf häufige Haushaltsgefahren abdecken:

• Brandgefahren: Entflammbare Materialien in der Nähe von Hitzequellen.
• Stromschlaggefahren: Elektrische Geräte in Kontakt mit Wasser.
• Herabfallende Objekte: Gegenstände, die von erhöhten Positionen fallen könnten.
• Stolpergefahren: Hindernisse auf dem Boden.
• Kindersicherheitsgefahren: Gefährliche Gegenstände in Reichweite von Kindern.

Die Erstellung des Datensatzes erfolgte in einem dreistufigen Prozess:

1. Annotation potenzieller Gefahrenstellen: Menschliche Annotatoren identifizierten 136 potenzielle Gefahrenstellen in 12 simulierten Räumen.
2. Annotation von Objektattributen: 367 Objekte wurden mit Sicherheitsattributen wie "entflammbar" oder "elektrisch" versehen.
3. Regelbasierte Beispielgenerierung: Durch die Kombination von Gefahrenstellen und Objektattributen wurden die finalen Szenarien generiert.

Die Qualität des Benchmarks wurde durch umfangreiche menschliche Überprüfungen sichergestellt. Menschliche Inspektoren erreichten in einem Test eine F1-Punktzahl von 75,36 %, was die Lösbarkeit der Aufgaben bestätigt.

Evaluierung von Vision-Language Models (VLMs)

Die Studie evaluierte eine Reihe gängiger VLMs, darunter sowohl quelloffene Modelle wie Qwen2.5-VL-7B, InternVL2.5-4B/8B, Llama3.2-11B-V und Gemma3-12B als auch proprietäre Modelle wie Qwen-VL-Max und GPT-4o. Die Ergebnisse zeigten, dass selbst die leistungsstärksten Modelle erhebliche Defizite bei der Erkennung von Sicherheitsgefahren aufweisen. Die F1-Punktzahl des besten Modells lag bei lediglich 10,23 %, und alle Modelle erreichten Werte unter 20 % bei Präzision, Recall und F1-Score.

HD-Guard: Hierarchische Dual-Brain-Architektur für Echtzeit-Sicherheit

Über den Benchmark hinaus wurde HD-Guard (Hierarchical Dual-Brain Guard for Household Safety) vorgeschlagen. Dies ist eine hierarchische Streaming-Architektur zur Echtzeit-Sicherheitsüberwachung, die ein leichtgewichtiges "FastBrain" für kontinuierliche Hochfrequenz-Screenings mit einem asynchronen, großskaligen "SlowBrain" für tiefgehende multimodale Schlussfolgerungen koordiniert. Dieses Design zielt darauf ab, die Effizienz der Inferenz mit der Genauigkeit der Erkennung in Einklang zu bringen. Die Evaluierungen zeigen, dass HD-Guard einen überlegenen Kompromiss zwischen Latenz und Leistung erzielt.

Schlüsselerkenntnisse und Limitationen

Die Analysen von HomeSafe-Bench identifizierten kritische Engpässe in der aktuellen VLM-basierten Sicherheitserkennung:

• Modelle übersehen entscheidende visuelle Entitäten.
• Modelle haben Schwierigkeiten mit der zeitlichen Verankerung (temporal grounding).
• Modelle zeigen eine schwache kausale Schlussfolgerung für Gefahren.

Ein zentraler Aspekt der Untersuchung war die Bedeutung der freien Exploration. Experimente zeigten, dass die Fähigkeit zur freien Erkundung entscheidend für die Effektivität der Sicherheitsinspektion ist. Ohne diese Fähigkeit sank die Leistung aller Modelle signifikant. Jedoch zeigte sich auch, dass die aktuellen VLMs erhebliche Schwierigkeiten bei der effektiven Navigation in komplexen Umgebungen haben, insbesondere bei einer größeren Anzahl von Interaktionsschritten. Die Navigationsleistung der Modelle lag unter 50 % der Risikopunkte, die während der Inspektion beobachtet wurden, was die niedrigen Recall-Raten teilweise erklärt.

Die Leistung variierte auch je nach Raumtyp: In Wohnzimmern mit vielen Gegenständen war die Leistung schlechter als in kleineren, übersichtlicheren Badezimmern. Dies deutet darauf hin, dass die VLM-Agenten noch Schwierigkeiten haben, in komplexen Umgebungen effektiv zu navigieren.

Zudem wurde festgestellt, dass die F1-Punktzahl mit zunehmender Anzahl von Interaktionsrunden nicht zwingend monoton ansteigt. Oft erreichte die Leistung ihren Höhepunkt bereits in den ersten Schritten und stagnierte oder sank danach. Dies deutet darauf hin, dass den VLM-basierten Agenten eine klare und solide Planung für eine gut organisierte Inspektion fehlt und sie stattdessen eine eher willkürliche Exploration durchführen, was bei langen Aufgabenreihen wenig Gewinn bringt.

Ausblick

Die Ergebnisse der Studie unterstreichen die Notwendigkeit, VLMs mit verbesserten Fähigkeiten zur zielgerichteten Navigation und robusten langfristigen Planung zu entwickeln. Während HomeSafe-Bench einen soliden Grundstein für die umfassende Bewertung verkörperter VLMs legt, zeigen die identifizierten Schwächen auf, dass noch erhebliche Forschungsarbeit erforderlich ist, um die Sicherheit von KI-Agenten in dynamischen Haushaltsumgebungen zu gewährleisten. Die Bereitstellung des Datensatzes und des Quellcodes wird zukünftige Forschungsarbeiten in diesem wichtigen Bereich unterstützen.

Bibliographie

• Pu, J., Sun, Z., Zhang, Z., Zhang, X., & Xu, J. (2026). HomeSafe-Bench: Evaluating Vision-Language Models on Unsafe Action Detection for Embodied Agents in Household Scenarios. arXiv preprint arXiv:2603.11975.
• Gao, S., Yao, J., Wen, H., Guo, Y., Liu, Z., & Huang, H. (2025). HomeSafeBench: A Benchmark for Embodied Vision-Language Models in Free-Exploration Home Safety Inspection. arXiv preprint arXiv:2509.23690.
• Lu, X., Chen, Z., Hu, X., Zhou, Y., Zhang, W., Liu, D., Sheng, L., & Shao, J. (2025). IS-Bench: Evaluating Interactive Safety of VLM-Driven Embodied Agents in Daily Household Tasks. arXiv preprint arXiv:2506.16402.
• Ying, Z., Wang, L., Xiao, Y., Wang, J., Ma, Y., Guo, J., Yin, Z., Zhang, M., Liu, A., & Liu, X. (2025). AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions. arXiv preprint arXiv:2506.14697.
• Google DeepMind. (2023). What is RT-2? Google DeepMind’s vision-language-action model for robotics. Blog post.