Die offene Vokabular-Objekterkennung (Open-Vocabulary Detection, OVD) hat das Ziel, Objekte über eine vordefinierte Menge von Kategorien hinaus zu erkennen. Ein neues Modell namens Mamba-YOLO-World kombiniert die Effizienz der YOLO-Serie mit fortschrittlichen Features, um sowohl Genauigkeit als auch Geschwindigkeit zu verbessern.
Traditionelle Objekterkennungsmodelle sind oft auf eine feste Anzahl von Kategorien beschränkt, was ihre Anwendungsmöglichkeiten stark einschränkt. Dies ist besonders problematisch in dynamischen Umgebungen, in denen ständig neue Objekte auftauchen. Hier kommt die offene Vokabular-Objekterkennung ins Spiel, die eine größere Flexibilität bietet, indem sie Objekte erkennt, die nicht im Trainingsdatensatz enthalten sind.
YOLO-World, ein früheres Modell in der YOLO-Serie, wurde entwickelt, um schnelle und effiziente Objekterkennung zu ermöglichen. Es war besonders geeignet für Anwendungen, bei denen Geschwindigkeit und Effizienz im Vordergrund stehen. Allerdings hatte YOLO-World seine Schwächen, insbesondere im Feature-Fusion-Mechanismus des sogenannten "Neck", was zu quadratischer Komplexität und begrenzten geführten Rezeptionsfeldern führte.
Um diese Einschränkungen zu überwinden, wurde Mamba-YOLO-World entwickelt. Dieses neue Modell verwendet das MambaFusion Path Aggregation Network (MambaFusion-PAN) als Neck-Architektur. Hierbei handelt es sich um einen innovativen Feature-Fusionsmechanismus, der auf einem State-Space-Modell basiert und sowohl parallele als auch serielle geführte selektive Scan-Algorithmen mit linearer Komplexität und global geführten Rezeptionsfeldern einsetzt.
Die MambaFusion-PAN verwendet multi-modale Eingabesequenzen und "Mamba-Hidden-States", um den selektiven Scan-Prozess zu steuern. Dies ermöglicht eine effizientere Verarbeitung und bessere Erkennungsergebnisse.
Experimente haben gezeigt, dass Mamba-YOLO-World das ursprüngliche YOLO-World-Modell auf den COCO- und LVIS-Benchmarks sowohl in Zero-Shot- als auch in Fine-Tuning-Einstellungen übertrifft, während es vergleichbare Parameter und FLOPs beibehält. Darüber hinaus übertrifft es bestehende OVD-Methoden mit weniger Parametern und FLOPs.
Mamba-YOLO-World zeigt großes Potenzial in verschiedenen Anwendungsbereichen, von der autonomen Fahrzeugtechnik bis hin zur Überwachung und Sicherheit. Durch die Fähigkeit, Objekte in Echtzeit zu erkennen, die nicht im Trainingsdatensatz enthalten sind, bietet es eine vielseitige Lösung für dynamische und sich schnell verändernde Umgebungen.
Die Integration von MambaFusion-PAN in das YOLO-World-Modell markiert einen bedeutenden Fortschritt in der offenen Vokabular-Objekterkennung. Mit seiner verbesserten Effizienz und Genauigkeit stellt Mamba-YOLO-World einen vielversprechenden Ansatz für die zukünftige Entwicklung in diesem Bereich dar.