Multi-View-Konsistenz in Diffusionsmodellen: Herausforderungen und Lösungen am Beispiel von PBR-Texturen

Die rasante Entwicklung von Diffusionsmodellen hat die automatisierte Generierung hochwertiger RGB-Bildinhalte revolutioniert. Insbesondere Text-zu-Bild- und Text-zu-3D-Ansätze haben diese Möglichkeiten auf die dritte Dimension übertragen. Doch die nahtlose Integration generierter Texturen in 3D-Workflows erfordert Kompatibilität mit Physically Based Rendering (PBR) für realistische Schattierungen und Beleuchtungen.

Aktuelle Verfahren zur Generierung von PBR-Texturen basieren auf generierten RGB-Bildern und anschließender PBR-Extraktion durch inverse Rendering-Prozesse. Diese Ansätze kämpfen mit physikalisch ungenauen Beleuchtungen in den generierten RGB-Diffusionsbildern und Mehrdeutigkeiten im inversen Rendering.

Herausforderungen der Multi-View-Konsistenz

Ein zentrales Problem bei der Generierung von 3D-Inhalten ist die Sicherstellung der Multi-View-Konsistenz. Das bedeutet, dass die generierten Texturen aus verschiedenen Blickwinkeln konsistent und ohne sichtbare Brüche oder Artefakte zusammenpassen müssen. Selbst bei der Text-zu-Textur-Generierung, bei der perfekte geometrische Korrespondenzen bekannt sind, scheitern viele Methoden daran, aus verschiedenen Blickwinkeln ausgerichtete Vorhersagen zu liefern. Dies erfordert komplexe Fusionsmethoden, um die Ergebnisse in das ursprüngliche Mesh zu integrieren.

Der Ansatz des Collaborative Control

Ein vielversprechender Ansatz zur Lösung dieser Herausforderung ist das Collaborative Control-Verfahren, das speziell für PBR-Text-zu-Textur-Workflows entwickelt wurde. Dieser Ansatz modelliert direkt PBR-Bildwahrscheinlichkeitsverteilungen, einschließlich normaler Bump-Maps. Damit ist es nach unserem Kenntnisstand das einzige Diffusionsmodell, das direkt vollständige PBR-Stacks ausgibt.

Im Gegensatz zu herkömmlichen Methoden, die auf der Feinabstimmung von RGB-Modellen basieren, verwendet Collaborative Control ein zweistufiges Verfahren:

- Ein eingefrorenes, vortrainiertes RGB-Modell liefert reichhaltige Informationen über Struktur, Semantik und Materialien. - Ein parallel trainiertes PBR-Modell generiert die PBR-Bilddaten und nutzt dabei das eingefrorene RGB-Modell als Kontrollinstanz.

Dieser Ansatz bietet mehrere Vorteile:

- Vermeidung von Katastrophen vergessen: Durch das Einfrieren des RGB-Modells wird sichergestellt, dass das Modell während des Finetunings nicht seine Fähigkeit verliert, allgemeine Bilder zu generieren. - Kompatibilität mit bestehenden Techniken: Das eingefrorene RGB-Modell kann weiterhin mit Techniken wie IP-Adapter verwendet werden. - Datenefizienz: Die Methode kann auch mit begrenzten Trainingsdaten hochwertige Ergebnisse erzielen.

Umsetzung und Designentscheidungen

Die Implementierung eines Multi-View-konsistenten Collaborative Control-Modells erfordert spezifische Designentscheidungen. Ein wichtiger Aspekt ist die Art und Weise, wie Informationen zwischen dem RGB- und dem PBR-Modell ausgetauscht werden. Ein direkter Ansatz wäre die Verkettung der latenten Repräsentationen beider Modelle. Dies kann jedoch zu suboptimalen Ergebnissen führen, da die latenten Räume unterschiedliche Informationen kodieren.

Stattdessen verwenden effektive Implementierungen Cross-Attention-Mechanismen, um selektiv relevante Informationen zwischen den Modellen auszutauschen. Dies ermöglicht es dem PBR-Modell, die im RGB-Modell enthaltenen Informationen über Form, Textur und Beleuchtung effektiv zu nutzen, ohne dabei die Konsistenz zwischen den Ansichten zu beeinträchtigen.

Fazit und Ausblick

Der Collaborative Control-Ansatz bietet eine vielversprechende Lösung für die Herausforderung der Multi-View-Konsistenz in Diffusionsmodellen. Durch die Kombination eines vortrainierten RGB-Modells mit einem spezialisierten PBR-Modell ist es möglich, hochwertige und konsistente PBR-Texturen zu generieren. Zukünftige Forschung könnte sich auf die Verbesserung der Effizienz des Informationsaustauschs zwischen den Modellen sowie auf die Erweiterung des Ansatzes auf andere 3D-Modalitäten konzentrieren.

Bibliographie

Liu, Yuan, et al. "SyncDreamer: Generating Multiview-consistent Images from a Single-view Image." arXiv preprint arXiv:2309.03453 (2023). Vainer, Shimon, et al. "Collaborative Control for Geometry-Conditioned PBR Image Generation." arXiv preprint arXiv:2402.05919 (2024). Jiang, Yue, et al. "Generative Novel View Synthesis with 3D-Aware Diffusion Models." arXiv preprint arXiv:2304.08311 (2023).