Übersicht
Visuelle Inspektionen spielen eine zentrale Rolle bei der Bauwerksprüfung, insbesondere bei der Analyse von Schäden an kritischen Infrastrukturen. Annotationsvariationen – Abweichungen, Unsicherheiten und teilweise auch Fehler in den Annotationen – stellen jedoch eine große Herausforderung für das maschinelle Lernen dar, da sie die Modellleistung erheblich beeinträchtigen. Dieses Problem ist nicht auf die Bauwerksprüfung beschränkt, sondern betrifft auch zahlreiche andere Anwendungsbereiche, in denen visuelle Daten verarbeitet werden.
Ziel und Vorgehensweise
Das Projekt befasst sich mit verschiedenen Aspekten im Umgang mit Annotationsvariationen (AV):
- Identifikation, Quantifizierung, Auswirkungsanalyse und Korrektur von AV
- Entwicklung neuer Methoden zur Bewältigung von AV während des Trainings von Modellen
- Erstellung praxisnaher Evaluationsmetriken, die die Auswirkungen von AV berücksichtigen
Zusätzlich wird ein Schadenserkennungsdatensatz mit realen AV kuratiert, um die Forschung voranzutreiben und eine Grundlage für zukünftige Arbeiten zu schaffen.
18. März 2026
Der Quellcode für unsere kommende CVPR 2026 Publikation "KαLOS finds Consensus: A Meta-Algorithm for Evaluating Inter-Annotator Agreement in Complex Vision Tasks" steht ab sofort zur Verfügung.
Im Rahmen des VarInSightAI-Projekts bietet dieses Toolkit einen standardisierten Rahmen zur Quantifizierung der Annotationskonsistenz und zur Identifizierung von Annotationsvariationen in komplexen Datensätzen. Das Paper wird im Juni 2026 auf der IEEE/CVF Computer Vision and Pattern Recognition Conference (CVPR) in Denver vorgestellt.
16. Februar 2026
"KαLOS finds Consensus: A Meta-Algorithm for Evaluating Inter-Annotator Agreement in Complex Vision Tasks" wurde für die CVPR 2026 angenommen.
03. März 2025
“Label Convergence: Defining an Upper Performance Bound in Object Recognition through Contradictory Annotations” wurde auf der WACV 2025 vorgestellt.
Die im Projekt entwickelten Erkenntnisse und Werkzeuge werden als frei verfügbare Software veröffentlicht. Bereits jetzt unterstützt das FiftyOne-Plugin Multi-Annotator Toolkit die Identifikation, Quantifizierung und Auswirkungsanalyse von AV.
Aktuelle Publikationen:
- D. Tschirschwitz und V. Rodehorst: KαLOS finds Consensus: A Meta-Algorithm for Evaluating Inter-Annotator Agreement in Complex Vision Tasks, IEEE/CVF Computer Vision and Pattern Recognition (CVPR), Denver, Colorado, 2026.
- D. Tschirschwitz und V. Rodehorst: Label Convergence - Defining an Upper Performance Bound in Object Recognition through Contradictory Annotations, IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), Tucson, Arizona, 2025.
Vorherige Publikationen:
- C. Benz und V. Rodehorst: CrackStructures and CrackEnsembles - The Power of Multi- View for 2.5D Crack Detection, IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), Tucson, Arizona, 2025.
- C. Benz und V. Rodehorst: ENSTRECT - A Stage-based Approach to 2.5D Structural Damage Detection, European Conference on Computer Vision (ECCV) 2. Workshop on Vision-based InduStrial InspectiON (VISION), Mailand, Italien, 2024.
- C. Benz und V. Rodehorst. „MVCrackViT: Robust Multi-View Crack Detection for Point Cloud Segmentation using View Attention“. In: Proc. IEEE Int. Conf. on Image Processing (ICIP), 2024.
- C. Benz und V. Rodehorst. „OmniCrack30k: A Benchmark for Crack Segmentation and the Reasonable Effectiveness of Transfer Learning“. In: Proc. IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR) Workshops, 2024.
- J. Flotzinger, P. J. Rösch, C. Benz, M. Ahmad, M. Cankaya, H. Mayer, V. Rodehorst, N. Oswald und T. Braml. „Dacl-Challenge: Semantic Segmentation During Visual Bridge Inspections“. In: Proc. IEEE/CVF Winter Conf. on Applications of Computer Vision (WACV) Workshops, 2024.
- D. Tschirschwitz, C. Benz, M. Florek, H. Noerderhus, B. Stein und V. Rodehorst. „Drawing the Same Bounding Box Twice? Coping Noisy Annotations in Object Detection with Repeated Labels“. In: Proc. German Conf. on Pattern Recognition (GCPR), 2023.
- C. Benz und V. Rodehorst. „Image-Based Detection of Structural Defects Using Hierarchical Multi-scale Attention“. In: Proc. German Conf. on Pattern Recognition (GCPR), 2022.
- D. Tschirschwitz, F. Klemstein, B. Stein und V. Rodehorst. „A Dataset for Analyzing Complex Document Layouts in the Digital Humanities and its Evaluation with Krippendorff ’s Alpha“. In: Proc. German Conf. on Pattern Recogntion (GCPR), 2022.
- C. Benz, P. Debus, H. K. Ha und V. Rodehorst. „Crack Segmentation on UAS-based Imagery using Transfer Learning“. In: Proc. Int. Conf. on Image and Vision Computing New Zealand (IVCNZ), 2019.
Dieses Projekt wird von der Deutschen Forschungsgemeinschaft (DFG) gefördert - Projektnummer 556314568.