Visuelle Abduktion und die Herausforderung für KI-Modelle in der Schlussfolgerung aus Bildern
Artikel jetzt als Podcast anhören
Visuelle Abduktion: Können KI-Modelle lernen, logische Schlussfolgerungen aus Bildern zu ziehen?
Künstliche Intelligenz (KI) hat in den letzten Jahren enorme Fortschritte gemacht, insbesondere im Bereich der visuellen Sprachmodelle (VLMs). Diese Modelle sind in der Lage, Bilder zu "verstehen" und zu interpretieren, was zu beeindruckenden Anwendungen in Bereichen wie der automatischen Bildbeschreibung und der Objekterkennung geführt hat. Doch trotz dieser Fortschritte bleibt eine entscheidende Fähigkeit von VLMs noch weitgehend unerforscht: die Fähigkeit zum abduktiven Schlussfolgern.
Was ist abduktives Schlussfolgern?
Abduktives Schlussfolgern, auch bekannt als Schlussfolgern auf die beste Erklärung, ist ein Denkprozess, bei dem aus gegebenen Beobachtungen die plausibelste Erklärung abgeleitet wird. Stellen Sie sich vor, Sie sehen einen nassen Boden. Die plausibelste Erklärung dafür wäre, dass es geregnet hat. Natürlich könnte es auch andere Erklärungen geben, z. B. ein Rohrbruch oder jemand, der Wasser verschüttet hat. Aber abduktives Schlussfolgern konzentriert sich auf die wahrscheinlichste Ursache.
Die Herausforderung des abduktiven Schlussfolgerns für VLMs
Für VLMs stellt abduktives Schlussfolgern eine besondere Herausforderung dar. Während Menschen in der Lage sind, ihr Weltwissen und ihren gesunden Menschenverstand zu nutzen, um plausible Erklärungen für visuelle Szenen abzuleiten, fehlt VLMs oft dieser Kontext. Sie "sehen" zwar die Bilder, können aber die zugrunde liegenden Beziehungen und Implikationen nicht immer verstehen.
NL-Eye: Ein neuer Benchmark für visuelles abduktives Schlussfolgern
Um die Fähigkeit von VLMs zum abduktiven Schlussfolgern zu bewerten, wurde ein neuer Benchmark namens NL-Eye entwickelt. NL-Eye basiert auf dem Konzept des abduktiven Natural Language Inference (NLI), bei dem ein Modell die Plausibilität von Hypothesen auf der Grundlage eines gegebenen Textes bewerten muss. NL-Eye überträgt dieses Konzept auf den visuellen Bereich.
Wie funktioniert NL-Eye?
NL-Eye besteht aus einer Reihe von Bildtriplets. Jedes Triplett umfasst:
- Ein Prämissenbild: Dieses Bild zeigt eine Ausgangssituation.
- Zwei Hypothesebilder: Diese Bilder zeigen zwei mögliche Szenarien, die mit der Ausgangssituation zusammenhängen könnten.
Die Aufgabe des VLM besteht darin, zu entscheiden, welches der beiden Hypothesebilder plausibler ist, d. h. welches Szenario eher auf das Prämissenbild folgt oder durch dieses verursacht wurde. Zusätzlich soll das VLM seine Entscheidung erklären.
Beispiel für ein NL-Eye-Triplett
Stellen Sie sich ein Prämissenbild vor, das einen Mann mit einem Gipsbein zeigt. Die beiden Hypothesebilder zeigen:
- Hypothese 1: Einen nassen Boden ohne Warnschild.
- Hypothese 2: Den gleichen Mann beim Entspannen auf einer Parkbank an einem sonnigen Tag.
Ein Mensch würde wahrscheinlich Hypothese 1 als plausibler einstufen. Der Mann könnte auf dem nassen Boden ausgerutscht und sich das Bein gebrochen haben. Die Abwesenheit eines Warnschilds würde die Wahrscheinlichkeit eines Sturzes weiter erhöhen.
Herausforderungen für VLMs
NL-Eye stellt VLMs vor eine Reihe von Herausforderungen:
- Vielfältige Argumentationskategorien: Die Bildtriplets in NL-Eye decken verschiedene Argumentationskategorien ab, darunter physikalische, funktionale, logische, emotionale, kulturelle und soziale Aspekte. VLMs müssen in der Lage sein, diese verschiedenen Argumentationsarten zu erkennen und anzuwenden.
- Zeitliche Beziehungen: Die Szenarien in den Bildtriplets können zeitlich unterschiedlich zueinander stehen. Ein Hypothesebild könnte eine Situation vor, nach oder gleichzeitig mit dem Prämissenbild zeigen. VLMs müssen in der Lage sein, diese zeitlichen Beziehungen zu verstehen und zu berücksichtigen.
- Erklärungsgenerierung: Die Anforderung, die Entscheidung zu erklären, stellt eine zusätzliche Herausforderung dar. VLMs müssen in der Lage sein, ihre Argumentation in einer für Menschen verständlichen Weise zu formulieren.
Erste Ergebnisse und Ausblick
Erste Experimente mit NL-Eye haben gezeigt, dass aktuelle VLMs noch Schwierigkeiten mit dem abduktiven Schlussfolgern haben. Während Menschen in der Lage sind, die plausibleren Hypothesen in den meisten Fällen korrekt zu identifizieren, liegen VLMs oft falsch und schneiden nicht besser ab als ein Zufallsgenerator. Dies deutet darauf hin, dass die Fähigkeit zum abduktiven Schlussfolgern eine komplexe Fähigkeit ist, die über die bloße Interpretation visueller Informationen hinausgeht.
NL-Eye ist ein wichtiger Schritt auf dem Weg zur Entwicklung von VLMs, die über robustere Argumentationsfähigkeiten verfügen. In Zukunft könnten solche Modelle in einer Vielzahl von Anwendungen eingesetzt werden, z. B. in der Entwicklung von Sicherheitsassistenten, die potenziell gefährliche Situationen erkennen und warnen können, oder in der Verifikation von generierten Videos, um Deepfakes zu identifizieren.
