Fortschritte in der räumlichen Geometrievorhersage mit Depth Anything 3

Die Fähigkeit, die dreidimensionale Struktur der Welt aus visuellen Informationen zu erfassen und zu verstehen, ist eine fundamentale Komponente menschlicher Intelligenz und eine wesentliche Anforderung für zahlreiche moderne Anwendungen, von Robotik bis hin zu Mixed Reality. Im Bereich der Computer Vision wird diese Fähigkeit durch verschiedene Aufgaben wie monokulare Tiefenschätzung, Structure from Motion (SfM) und Multi-View Stereo (MVS) adressiert. Obwohl diese Aufgaben konzeptionell eng miteinander verbunden sind, wurden sie traditionell oft mit hochspezialisierten Modellen gelöst. Eine neue Entwicklung, bekannt als Depth Anything 3 (DA3), zielt darauf ab, diese Fragmentierung zu überwinden, indem ein vereinheitlichtes Modell für die Rekonstruktion des visuellen Raums aus beliebigen Ansichten präsentiert wird.

Einheitliche Geometrierekonstruktion: Der Ansatz von Depth Anything 3

Depth Anything 3 (DA3) stellt ein Modell vor, das räumlich konsistente Geometrie aus einer beliebigen Anzahl visueller Eingaben vorhersagt, unabhängig davon, ob Kameraposen bekannt sind oder nicht. Der Ansatz von DA3 basiert auf zwei grundlegenden Erkenntnissen:

• Ein einzelner, unveränderter Transformer (wie ein vanilla DINO Encoder) ist als Backbone ausreichend, ohne dass architektonische Spezialisierungen erforderlich sind.
• Ein einziger Vorhersage-Target für Tiefenstrahlen macht komplexe Multi-Task-Lernansätze überflüssig.

Durch die Anwendung eines Teacher-Student-Trainingsparadigmas erreicht das Modell ein hohes Maß an Detailtreue und Generalisierbarkeit, das mit seinem Vorgänger, Depth Anything 2 (DA2), vergleichbar ist oder dieses übertrifft. DA3 wurde ausschließlich auf öffentlichen akademischen Datensätzen trainiert und setzt neue Maßstäbe in der Kamerahaltungsschätzung, beliebiger Ansichtsgeometrie und visuellem Rendering.

Architektur und Methodik

Die Architektur von Depth Anything 3 ist modular aufgebaut und besteht aus drei Hauptkomponenten:

• Ein einzelner Transformer-Backbone: Es wird ein Vision Transformer mit LL-Blöcken verwendet, der auf großen monokularen Bildkorpora vortrainiert wurde (z.B. DINOv2). Eine eingabeadaptive Cross-View-Self-Attention-Mechanismus ermöglicht das Schließen über mehrere Ansichten hinweg, indem Eingabetokens neu angeordnet werden. Dies ist adaptiv: Bei einem einzelnen Bild reduziert sich das Modell ohne zusätzlichen Aufwand auf die monokulare Tiefenschätzung.
• Optionaler Kamera-Encoder zur Posenkonditionierung: Um sowohl Bilder mit als auch ohne bekannte Kameraposen verarbeiten zu können, wird jeder Ansicht ein Kameratoken vorangestellt. Sind Kameraparameter verfügbar, werden diese durch ein leichtgewichtiges MLP in das Token kodiert. Andernfalls wird ein geteiltes, lernbares Token verwendet. Diese Kameratoken nehmen an allen Aufmerksamkeitsoperationen teil und liefern entweder expliziten geometrischen Kontext oder einen konsistenten Platzhalter.
• Dual-DPT-Head: Für die finale Vorhersagestufe wurde ein Dual-DPT-Head entwickelt, der gemeinsam dichte Tiefen- und Strahlwerte erzeugt. Dieser Kopf verarbeitet die Merkmale des Backbones durch gemeinsame Reassembly-Module und führt sie anschließend über zwei unterschiedliche Fusionsschichten für den Tiefen- und den Strahlzweig zusammen. Diese Architektur fördert eine starke Interaktion zwischen den beiden Vorhersageaufgaben und vermeidet redundante Zwischenrepräsentationen.

Tiefenstrahl-Repräsentation und Kamerahaltungsschätzung

Ein zentraler Aspekt von DA3 ist die Tiefenstrahl-Repräsentation. Anstatt direkte Rotationsmatrizen vorherzusagen, die aufgrund orthogonaler Beschränkungen schwierig sind, wird die Kamerapose implizit durch eine pro-Pixel-Strahlkarte dargestellt. Diese Karte ist auf das Eingabebild und die Tiefenkarte ausgerichtet. Jeder Pixel erhält einen Kamerastrahl, definiert durch seinen Ursprung und seine Richtung. Diese Formulierung ermöglicht eine konsistente Punktwolken-Generierung durch die Kombination von vorhergesagten Tiefen- und Strahlkarten mittels elementarer Operationen. Bei fehlenden Kameraposen kann das Modell diese aus der Strahlkarte ableiten.

Training und Daten

Das Training von DA3 erfolgt über ein Teacher-Student-Lernparadigma. Dies ist notwendig, da die Trainingsdaten aus verschiedenen Quellen stammen, darunter reale Tiefenaufnahmen, 3D-Rekonstruktionen und synthetische Datensätze. Reale Tiefendaten sind oft verrauscht und unvollständig. Um dies zu kompensieren, wird ein monokulares Tiefenschätzungs-„Teacher“-Modell ausschließlich auf synthetischen Daten trainiert, um hochwertige Pseudo-Labels zu generieren. Diese Pseudo-Tiefenkarten werden dann mit den originalen spärlichen oder verrauschten Ground Truths abgeglichen, wodurch die Detailgenauigkeit der Labels verbessert und die geometrische Genauigkeit erhalten bleibt.

Die Trainingsziele umfassen eine gewichtete Summe verschiedener Terme, die Tiefen-, Strahl- und optionale Kameraposen berücksichtigen. Alle Ground-Truth-Signale werden vor der Verlustberechnung durch einen gemeinsamen Skalierungsfaktor normiert, um konsistente Größenordnungen über verschiedene Modalitäten hinweg zu gewährleisten und den Trainingsprozess zu stabilisieren.

Anwendungen von Depth Anything 3

Die Fähigkeiten von Depth Anything 3 finden Anwendung in verschiedenen fortgeschrittenen 3D-Vision-Aufgaben:

• Feed-Forward 3D Gaussian Splatting (FF-NVS): DA3 kann als Backbone für die Generierung von 3D-Gaussian-Parametern genutzt werden, um neue Ansichten zu synthetisieren. Dies übertrifft spezialisierte Modelle und zeigt, dass verbesserte geometrische Rekonstruktionsfähigkeiten direkt mit einer besseren FF-NVS-Leistung korrelieren.
• SLAM (Simultaneous Localization and Mapping): Eine präzise visuelle Geometrieschätzung verbessert die SLAM-Leistung erheblich. Der Ersatz von VGGT durch DA3 in SLAM-Systemen führt zu einer signifikanten Reduzierung des Driftes in großen Umgebungen.
• Räumliche Wahrnehmung aus mehreren Kameras: Insbesondere für autonome Fahrzeuge ist die Fähigkeit, stabile und fusionierbare Tiefenkarten aus verschiedenen Blickwinkeln zu schätzen, von Bedeutung. DA3 ermöglicht dies auch ohne überlappende Ansichten, was das Umweltverständnis von autonomen Systemen verbessert.

Der Visual Geometry Benchmark

Zur Bewertung der Geometrieprediktionsmodelle wurde ein umfassender Visual Geometry Benchmark etabliert. Dieser Benchmark bewertet direkt die Posen- und Tiefengenauigkeit sowie die visuelle Rendering-Qualität.

• Posen- und Geometrieschätzung: Die Genauigkeit wird anhand von Metriken wie der Relative Rotation Accuracy (RRA) und der Relative Translation Accuracy (RTA) bewertet. Rekonstruktionen werden durch den Vergleich von Punktwolken mit Ground-Truth-Daten und der Anwendung von Chamfer Distance bewertet.
• Visuelles Rendering: Die Qualität des Renderings wird durch die Synthese neuer Ansichten und deren Vergleich mit tatsächlichen Bildern beurteilt, wobei Metriken wie PSNR, SSIM und LPIPS verwendet werden.

Die Ergebnisse auf diesem Benchmark zeigen, dass DA3 in 18 von 20 Einstellungen eine Spitzenleistung erzielt und auch auf standardmäßigen monokularen Benchmarks DA2 übertrifft.

Fazit

Depth Anything 3 repräsentiert einen bedeutsamen Fortschritt in der 3D-Vision, indem es eine vereinheitlichte und minimalistische Modellierungsstrategie verfolgt. Durch die Konzentration auf einen einzigen Transformer-Backbone und ein effizientes Tiefenstrahl-Vorhersageziel liefert DA3 nicht nur präzise Geometrierekonstruktionen aus beliebigen visuellen Eingaben, sondern übertrifft auch etablierte Methoden in verschiedenen 3D-Aufgaben. Die Kombination aus Teacher-Student-Lernen und einer robusten Architektur ermöglicht es dem Modell, sowohl von umfangreichen synthetischen als auch von realen, oft unvollständigen Datensätzen zu profitieren. Die breite Anwendbarkeit, von 3D Gaussian Splatting bis hin zu SLAM und der räumlichen Wahrnehmung für autonome Systeme, unterstreicht das Potenzial von DA3 als grundlegendes Modell für zukünftige Entwicklungen in der Computer Vision.

Bibliographie

- Lin, Haotong et al. (2025). "Depth Anything 3: Recovering the Visual Space from Any Views". arXiv preprint arXiv:2511.10647. - Yang, Lihe et al. (2024). "Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data". CVPR 2024. - Hugging Face Space: "Depth Anything 3 - a Hugging Face Space by depth-anything". https://huggingface.co/spaces/depth-anything/depth-anything-3. - Depth Anything 3 Project Page: https://depth-anything-3.github.io/. - Jang, Wonbong et al. (2025). "Pow3R: Empowering Unconstrained 3D Reconstruction with Camera and Scene Priors". arXiv preprint arXiv:2503.17316. - Keetha, Nikhil et al. (2025). "MapAnything: Universal Feed-Forward Metric 3D Reconstruction". arXiv preprint arXiv:2509.13414. - Guizilini, Vitor et al. (2025). "Zero-Shot Novel View and Depth Synthesis with Multi-View Geometric Diffusion". arXiv preprint arXiv:2501.18804. - Szymanowicz, Stanislaw et al. (2025). "Flash3D: Feed-Forward Generalisable 3D Scene Reconstruction from a Single Image". arXiv preprint arXiv:2406.04343. - T, Mukund Varma et al. (2024). "Lift3D: Zero-Shot Lifting of Any 2D Vision Model to 3D". arXiv preprint arXiv:2403.18922.