Neues Modell zur Tiefenschätzung in Videos erreicht hohe Effizienz und Genauigkeit

Die Forschung im Bereich der künstlichen Intelligenz (KI) und Computer Vision schreitet rasant voran. Eine aktuelle Entwicklung, die in Fachkreisen auf großes Interesse stößt, ist das Modell "Video Depth Anything" (VDA). Dieses Modell, das auf "Depth Anything V2" aufbaut, verspricht eine präzise und konsistente Tiefenschätzung für Videosequenzen beliebiger Länge. Die Akzeptanz als Highlight-Präsentation auf der renommierten CVPR 2025 unterstreicht die Relevanz dieser Innovation.

Grundlagen der Tiefenschätzung und Herausforderungen bei Videos

Die monokulare Tiefenschätzung (MDE) ist ein fundamentaler Bereich in der Computer Vision, der darauf abzielt, aus einem einzelnen 2D-Bild oder einer Videosequenz die 3D-Tiefeninformationen zu rekonstruieren. Fortschritte in den letzten Jahren, insbesondere durch Modelle wie "MiDaS" und "Depth Anything V2", haben die Genauigkeit und Verallgemeinerungsfähigkeit dieser Systeme erheblich verbessert.

Problematik der Zeitkonsistenz

Bestehende MDE-Modelle, die hauptsächlich für statische Bilder entwickelt wurden, zeigen bei der Anwendung auf Videos oft Schwächen. Dazu gehören:

• Flimmern: Schnelle und inkonsistente Änderungen der Tiefenwahrnehmung zwischen aufeinanderfolgenden Frames.
• Bewegungsunschärfe: Ungenaue Tiefenschätzung in Szenen mit schneller Bewegung.
• Eingeschränkte Anwendbarkeit: Viele Modelle sind auf kurze Videosequenzen beschränkt und erfordern einen Kompromiss zwischen Qualität und Recheneffizienz.

Diese Einschränkungen behindern die praktische Anwendung in Bereichen wie Robotik, Augmented Reality und fortschrittlicher Videobearbeitung, wo zeitlich konsistente Tiefeninformationen unerlässlich sind.

"Video Depth Anything": Ein neuer Ansatz

Das Team hinter "Video Depth Anything" (VDA), darunter Sili Chen, Hengkai Guo und Shengnan Zhu, hat sich diesen Herausforderungen angenommen. Ihr Ziel war es, ein Modell zu entwickeln, das die Fähigkeiten bestehender Tiefenmodelle erbt und gleichzeitig zeitliche Stabilität für beliebig lange Videos erreicht, ohne dabei auf geometrische oder generative Prioren zurückzugreifen.

Architektur und Innovationen

VDA basiert auf "Depth Anything V2" und integriert spezifische Anpassungen für die Videoverarbeitung:

• Spatial-Temporal Head (STH): Ein leichter, räumlich-zeitlicher Head ersetzt den ursprünglichen DPT-Head. Dieser STH enthält vier temporale Aufmerksamkeits-Layer, die entlang der Zeitachse für jede räumliche Position angewendet werden. Dies ermöglicht eine Interaktion temporaler Informationen.
• Temporaler Gradientenabgleich (TGM) Loss: Anstelle von optischem Fluss, der zusätzliche Rechenleistung erfordert und bei bewegten Objekten ungenau sein kann, verwendet VDA einen TGM-Loss. Dieser Loss stellt sicher, dass die Änderung der Tiefeninformationen an derselben Bildkoordinate zwischen aufeinanderfolgenden Frames mit der Änderung in der Ground Truth übereinstimmt.
• Schlüsselbild-basierte Inferenzstrategie für lange Videos: Um sehr lange Videos effizient zu verarbeiten, wurde eine Segment-weise Verarbeitungsstrategie entwickelt. Diese nutzt überlappende Frames und Schlüsselbilder aus früheren Videoclips, um Skalendrift zu reduzieren und flüssige Übergänge zu gewährleisten.

Training und Effizienz

Das Modell wird auf einem kombinierten Datensatz aus Videotiefen-Annotationen und unbeschrifteten Bildern trainiert. Es nutzt einen vortrainierten "Depth Anything V2"-Encoder, dessen Merkmale während des Trainings eingefroren bleiben, um die Trainingskosten zu senken und die erlernten Merkmale zu bewahren.

Ein wesentlicher Vorteil von VDA ist seine Effizienz. Im Vergleich zu Diffusionsmodellen, die oft langsam und ressourcenintensiv sind, bietet VDA:

• Schnellere Inferenzgeschwindigkeit.
• Weniger Parameter.
• Höhere konsistente Tiefengenauigkeit.

Die Entwickler stellen zudem verschiedene Modellgrößen zur Verfügung (Small, Base, Large), um unterschiedliche Anwendungsfälle zu unterstützen. Das kleinste Modell, VDA-S, erreicht laut Angaben sogar Echtzeit-Performance mit 30 Bildern pro Sekunde.

Leistungsbewertung und Vergleich

Umfassende Evaluierungen auf verschiedenen Videobenchmarks haben gezeigt, dass VDA in der Nullschuss-Videotiefenschätzung neue Maßstäbe setzt. Das Modell übertrifft etablierte Ansätze wie "NVDS", "ChronoDepth", "DepthCrafter" und "DepthAnyVideo" sowohl in Bezug auf die geometrische Genauigkeit als auch die zeitliche Stabilität.

Quantitative Ergebnisse

In Experimenten auf Datensätzen wie KITTI, Scannet und NYUv2 zeigte VDA eine signifikante Verbesserung der geometrischen Genauigkeit (gemessen mit der δ1-Metrik). Bei der zeitlichen Konsistenz, gemessen mit dem Temporal Alignment Error (TAE), übertraf es alle Vergleichsmodelle. Besonders hervorzuheben ist die Leistung bei langen Videos, wo VDA eine minimale Verschlechterung der Metriken mit zunehmender Frame-Anzahl aufweist, während andere Modelle an ihre Grenzen stoßen.

Qualitative Ergebnisse

Die visuellen Ergebnisse zeigen, dass VDA Tiefenprofile erzeugt, die der Ground Truth näherkommen und eine bessere zeitliche Konsistenz aufweisen. Dies steht im Gegensatz zu Modellen wie "DepthCrafter", die in langen Sequenzen Tiefendrift aufweisen können, oder "Depth Anything V2", das bei Videos Flimmern produzieren kann.

Inferenzzeit

Die Inferenzzeit ist ein kritischer Faktor für die praktische Anwendbarkeit. VDA-L, das große Modell, erreicht eine sehr niedrige Latenz im Vergleich zu anderen Methoden. Das VDA-S-Modell liegt sogar bei unter 10ms Latenz, was es für Echtzeitanwendungen prädestiniert.

Experimentelle Streaming-Funktion

Ein experimenteller Streaming-Modus wurde implementiert, der ohne erneutes Training auskommt. Hierbei werden die versteckten Zustände der temporalen Aufmerksamkeiten für jeden Frame in Caches gespeichert. Während der Inferenz wird nur ein einzelner Frame an das Videotiefenmodell gesendet, wobei die vergangenen versteckten Zustände in den temporalen Aufmerksamkeiten wiederverwendet werden. Obwohl ein gewisser Leistungsabfall zwischen dem Streaming-Modell und dem Offline-Modell beobachtet wurde, birgt dieser Ansatz großes Potenzial für Echtzeit-Anwendungen, die eine hohe Effizienz erfordern.

Fazit

"Video Depth Anything" stellt einen bedeutenden Fortschritt in der monokularen Tiefenschätzung für Videos dar. Durch die Kombination einer optimierten Architektur, eines neuartigen Verlustfunktion und einer intelligenten Inferenzstrategie überwindet es zentrale Herausforderungen bestehender Modelle. Die Fähigkeit, qualitativ hochwertige, zeitlich konsistente Tiefenschätzungen für beliebig lange Videos mit hoher Effizienz zu liefern, macht VDA zu einem vielversprechenden Werkzeug für eine Vielzahl von B2B-Anwendungen, die von Robotik und autonomem Fahren bis hin zu fortschrittlicher Videobearbeitung und virtueller Realität reichen. Die weitere Entwicklung und Optimierung, insbesondere im Bereich des Streaming-Modus, wird die Einsatzmöglichkeiten dieses Modells voraussichtlich noch erweitern.

Bibliography: - Chen, Sili et al. "Video Depth Anything: Consistent Depth Estimation for Super-Long Videos." arXiv preprint arXiv:2501.12375 (2025). - GitHub - DepthAnything/Video-Depth-Anything. [CVPR 2025 Highlight] Video Depth Anything: Consistent Depth Estimation for Super-Long Videos. - Video Depth Anything. Project Page. https://videodepthanything.github.io/ - Yang, Lihe et al. "Depth Anything V2." arXiv preprint arXiv:2406.09414 (2024). - Yang, Lihe et al. "Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data." CVPR (2024). - Chou, Gene et al. "FlashDepth: Real-time Streaming Video Depth Estimation at 2K Resolution." arXiv preprint arXiv:2504.07093 (2025). - He, Jing et al. "Lotus: Diffusion-based Visual Foundation Model for High-quality Dense Prediction." (2024). - Li, Haodong et al. "DA^2: Depth Anything in Any Direction." arXiv preprint arXiv:2509.26618 (2025).