Materialschätzung in Echtzeit (WiSe 2023/24)
Es gibt drei Hauptkomponenten, die zum Inhalt eines von einer Kamera aufgenommenen Bildes beitragen, und zwar die Beleuchtungsbedingungen, die Oberflächengeometrie der beobachteten Objekte sowie deren Materialeigenschaften. Inverses Rendering, als eine zentrale Aufgabe der Computer Vision, zielt darauf ab, diese drei Komponenten, die eine 3D-Szene vollständig beschreiben, zu rekonstruieren, indem man sich nur auf 2D-Bilder als Eingabe stützt.
Der Schwerpunkt dieses Projekts liegt auf der Rekonstruktion von Materialeigenschaften. Diese Aufgabe ist nicht trivial, wenn die Geometrie und die Beleuchtung der Szene nicht bekannt sind (oder nicht perfekt rekonstruiert werden können). Andererseits stellen Objekte mit unbekanntem allgemeinen Reflexionsgrad eine Herausforderung für die Geometrierekonstruktion dar. Um diese voneinander abhängigen Probleme in den Griff zu bekommen, haben Forscher gemeinsame iterative Optimierungsverfahren vorgeschlagen, die in der Lage sind, alle drei Szenenparameter gleichzeitig zu schätzen. Diese Lösungen liefern qualitativ hochwertige Ergebnisse auf Kosten einer langen Rechenzeit.
Ziel des Projekts ist es, ein System zu entwickeln, das die Materialeigenschaften von Szenenobjekten mit (annähernd) bekannter Geometrie in Echtzeit schätzen kann. Das angestrebte System sollte in der Lage sein, relativ komplexe Szenen mit mehreren Objekten aus verschiedenen, nicht homogenen Materialien zu verarbeiten. Das verwendete Reflexionsmodell sollte so gewählt werden, dass es in Echtzeit ausgewertet werden kann, aber auch eine plausible Darstellung komplexer Materialien ermöglicht. Als Beispiel für solche Reflexionsmodelle können Erscheinungseigenschaften wie anisotrope Reflexion, Glanz oder oberflächliche Streuung durch die Disney-BRDF dargestellt werden, während das visuell viel einfachere Phong-Modell rechnerisch sehr effizient ist.
Letztendlich suchen wir nach einem guten Kompromiss zwischen dem erforderlichen Rechenaufwand und der höchstmöglichen visuellen Wiedergabetreue der rekonstruierten Multi-Objekt- und Multimaterial-3D-Szenen.