Materialbasierte Segmentierung (SoSe 2024)
Projektbeschreibung:
Das visuelle Erscheinungsbild der Objekte um uns herum wird durch ihre Materialeigenschaften beeinflusst. Ob wir nun eine Porzellanvase oder einen Baumwollstoff betrachten, der Mensch erkennt leicht, welche Teile einer Oberfläche zum selben Materialtyp gehören. Unterschiede in den Farb- und Texturmustern sowie Formunterbrechungen sind starke Anhaltspunkte für die Erkennung von Bereichen aus einem bestimmten Material. Die Materialeigenschaften können sich jedoch innerhalb der Grenzen eines einzelnen Objekts ändern (eine Steinstatue, die teilweise mit goldener Farbe bedeckt ist), während die Farben bei mehreren unterschiedlichen Objekten identisch sein können (eine weiße Vase auf einer Tischdecke).
Ähnlich wie bei der semantischen Segmentierung besteht das Ziel darin, Bilder in sinnvolle Regionen zu unterteilen. Die Bedeutung dieser Regionen hängt jedoch nicht mit Objektgrenzen oder reinen Farbähnlichkeiten zusammen, sondern mit Materialeigenschaften. Je nach den Lichtverhältnissen, der Blickrichtung und der Form eines bestimmten Objekts kann ein und dasselbe Material auf der gesamten Oberfläche des Objekts ein sehr unterschiedliches Aussehen haben.
In diesem Projekt wollen wir verschiedene hochmoderne Algorithmen für die automatische materialbasierte Szenensegmentierung erforschen, implementieren, bewerten und vergleichen. Das Ergebnis einer solchen automatischen Segmentierung kann später für eine hochwertige Materialschätzung von realen Objekten mit komplexer Geometrie und Reflexionseigenschaften verwendet werden.
Herausforderungen:
- unbekannte Anzahl von Materialien in der Szene
- Vorhandensein von räumlich variierenden (inhomogenen) Materialien
- globale Beleuchtungseffekte wie Interreflexion, Streuung unter der Oberfläche, Selbstabschattung
- unbekannte Beleuchtungsbedingungen
- fehlende geometrische Information für die beobachtete Szene
Voraussetzungen:
- erfolgreicher Abschluss eines der Module Deep Learning for Computer Vision oder Image Analysis and Object Recognition
- solide Programmierkenntnisse