Korrespondenzorientierte Bild-zu-Bild-Zuordnung ermöglicht crossmodales Matching mithilfe von Vorinformationen aus einer Modalität
„Patch Your Matcher“ befasst sich mit dem crossmodalen Teil des Registrierungsproblems. Die Methode lernt Bild-zu-Bild-Zuordnungen, die es einfacher machen, Bilder aus verschiedenen Modalitäten mit bestehenden Bild-Matching-Algorithmen abzugleichen.
Anstatt nur auf visuellen Realismus zu trainieren, trainiert die Methode Übersetzungen für geometrische Korrespondenz. Dies ermöglicht es starken aber festen Matchern wie ELoFTR, LightGlue und RoMA, auf crossmodalen Bildpaaren zu arbeiten.
Weitere Informationen:
- Projektseite: https://xaf-cv.github.io/pym/
- Code: https://github.com/xaf-cv/patch-your-matcher
Literatur:
A. Frolov und V. Rodehorst, ‘Patch Your Matcher: Correspondence-Aware Image-to-Image Translation Unlocks Cross-Modal Matching via Single-Modality Priors’, in Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), S. 7913–7924, 2026.