Meta veröffentlicht CoTracker 2.1: Ein Transformer-basiertes Modell zur Bewegungsprognose in Videos

Meta, das Unternehmen hinter Facebook und Instagram, hat die neueste Version seines Transformer-basierten Modells zur Bewegungsprognose in Videos, CoTracker 2.1, veröffentlicht. Das Modell ist auf der Plattform Hugging Face verfügbar und ermöglicht die gleichzeitige Verfolgung von bis zu 70.000 Punkten auf einer einzigen GPU.

CoTracker: Gemeinsames Tracking für verbesserte Genauigkeit

CoTracker verfolgt einen neuartigen Ansatz im Bereich der Bewegungsschätzung, indem es Punkte in einem Video nicht isoliert, sondern gemeinsam betrachtet. Traditionelle Methoden konzentrieren sich entweder auf die gleichzeitige Schätzung der Bewegung aller Punkte innerhalb eines Videobildes (optischer Fluss) oder verfolgen die Bewegung einzelner Punkte unabhängig voneinander über das gesamte Video hinweg (Punktverfolgung). CoTracker hingegen nutzt die Tatsache, dass Punkte häufig starke statistische Abhängigkeiten aufweisen, beispielsweise weil sie zu demselben Objekt gehören. Durch die gemeinsame Verfolgung dieser Punkte können Genauigkeit und Robustheit der Bewegungsprognose deutlich verbessert werden.

Transformer-Architektur und Proxy-Token für hohe Leistung

CoTracker basiert auf einer Transformer-Architektur, die auf einer zweidimensionalen Token-Darstellung arbeitet. Dabei repräsentieren die Dimensionen die Zeit und die Menge der verfolgten Punkte. Spezielle Self-Attention-Mechanismen ermöglichen es dem Modell, die gesamte Trajektorie jedes Punktes innerhalb eines Zeitfensters zu berücksichtigen und Informationen zwischen den Punkten auszutauschen. Um die bei einer großen Anzahl von Punkten hohen Berechnungskosten zu reduzieren, führt CoTracker das Konzept der Proxy-Token ein. Diese Token fungieren als eine Art Zwischenspeicher und ermöglichen den Wechsel von rechenintensiven Self-Attention-Mechanismen zwischen den Punkten zu effizienteren Cross-Attention-Mechanismen zwischen Punkten und Proxy-Token. Dadurch kann CoTracker eine nahezu dichte Punktmenge auf einer einzigen GPU verfolgen.

Online-Verarbeitung und Unrolled Training für Langzeitverfolgung

CoTracker ist als Online-Tracker konzipiert, der auf relativ kurzen Zeitfenstern arbeitet. Innerhalb eines Fensters werden die Punkte initialisiert und das Modell verfeinert die Positionen iterativ durch wiederholte Anwendung des Transformers. Die Zeitfenster überlappen sich teilweise und kommunizieren miteinander, ähnlich einem rekurrenten neuronalen Netzwerk. Jedes nachfolgende Fenster beginnt mit den verfeinerten Vorhersagen des vorherigen Fensters und aktualisiert die Punkte für die neuen Bilder. Dieser rekurrente Ansatz wird durch "Unrolled Training" optimiert, bei dem mehrere aufeinanderfolgende Zeitfenster während des Trainings gemeinsam betrachtet werden. Dadurch erreicht CoTracker eine hervorragende Leistung bei der Langzeitverfolgung und kann Punkte auch dann noch verfolgen, wenn sie für längere Zeit verdeckt sind oder das Sichtfeld der Kamera verlassen.

Vielfältige Anwendungsmöglichkeiten in der Computer Vision

Die Fähigkeit, Punkte in Videos genau und robust zu verfolgen, ist für viele Anwendungen in der Computer Vision von entscheidender Bedeutung. CoTracker eröffnet neue Möglichkeiten in Bereichen wie:

• Objekterkennung und -verfolgung
• Aktionserkennung
• Videoanalyse
• Robotik
• Autonomes Fahren

Fazit

Mit der Veröffentlichung von CoTracker 2.1 stellt Meta ein leistungsstarkes und vielseitiges Werkzeug für die Bewegungsprognose in Videos zur Verfügung. Der innovative Ansatz des gemeinsamen Trackings, kombiniert mit der effizienten Transformer-Architektur, ermöglicht eine signifikante Verbesserung der Genauigkeit und Robustheit gegenüber herkömmlichen Methoden. CoTracker 2.1 ist ein weiterer Schritt in Richtung einer Zukunft, in der Computer die visuelle Welt um uns herum immer besser verstehen und interpretieren können.

Bibliographie

Karaev, Nikita, et al. "CoTracker: It is Better to Track Together." arXiv preprint arXiv:2307.07635 (2023).