Skip to main content

Object-Based Semi-global Multi-image Matching

Abstract

Semi-global matching (SGM) is a widespread algorithm for dense image matching which is used for very different applications, ranging from real-time applications (e.g., for generating 3D data for driver assistance systems) to aerial image matching. Originally developed for stereo-image matching, several extensions have been proposed to use more than two images within the matching process (multi-baseline matching and multi-view stereo). These extensions perform the image matching in (rectified) stereo images and combine the pairwise results afterwards to create the final solution. This paper proposes an alternative approach that is suitable for the introduction of an arbitrary number of unrectified images into the matching process. The new method differs from the original SGM method mainly in two aspects: first, the cost calculation is formulated in object space within a dense voxel raster using the grey (or colour) values of all images instead of pairwise cost calculation in image space. Second, the semi-global (pathwise) minimization process is transferred into object space as well, so that the result of semi-global optimization leads to index maps (instead of disparity maps) which directly indicate the 3D positions of the best matches. Altogether, this yields a simplification of the matching process compared to multi-view stereo (MVS) approaches. After a description of the new method, results achieved from different data sets (close-range and aerial, nadir and oblique) are presented and discussed.

Zusammenfassung

Objektbasierte Semiglobale Mehrbildzuordnung. Semi-Global Matching (SGM) ist heute ein weit verbreiteter Algorithmus für die dichte Bildzuordnung (dense image matching), der in zahlreichen verschiedenen Anwendungsgebieten zum Einsatz kommt, die von der Echtzeitanwendung (z.B. zur Erzeugung von 3D-Daten in Fahrerassistenzsystemen) bis zur Luftbildauswertung reichen. Ursprünglich für reine Stereobilddaten entwickelt, existieren mittlerweile zahlreiche Erweiterungen, in denen mehr als zwei Bilder für den Matchingprozess verwendet werden (multi-baseline matching, multi-view stereo MVS). In diesen Ansätzen wird das Matching in (rektifizierten) Stereobildern durchgeführt, deren Ergebnisse anschließend zu einem Gesamtergebnis kombiniert werden. In diesem Beitrag wird dagegen ein Verfahren vorgeschlagen, das eine beliebige Anzahl nicht rektifizierter Bilder simultan in den Matchingprozess integriert. Die neue Methode unterscheidet sich vom SGM vor allem in zwei Aspekten: Erstens wird die Kostenfunktion mit einem dichten Voxelraster im Objektraum formuliert, wobei die Grau- oder Farbwerte aller Bilder simultan verwendet werden, anstatt paarweise im Bildraum zu arbeiten. Zweitens wird der semi-globale (pfadbasierte) Minimierungsprozess ebenfalls in den Objektraum übertragen, so dass das Ergebnis der semi-globalen Optimierung zu Indexkarten (im Gegensatz zu Disparitätskarten) führt, die direkt der 3D-Position der besten Zuordnung entsprechen. Zusammengefasst führt dies im Vergleich zu MVS zu einer wesentlichen Vereinfachung des Matchingprozesses. Nach einer Beschreibung des neuen Verfahrens werden die Ergebnisse für unterschiedliche Datensätze (Nahbereichsfall und Luftbildanwendung mit Nadir- und Schrägluftbildern) präsentiert und diskutiert.

This is a preview of subscription content, access via your institution.

Fig. 1
Fig. 2
Fig. 3
Fig. 4
Fig. 5
Fig. 6
Fig. 7
Fig. 8
Fig. 9
Fig. 10
Fig. 11
Fig. 12
Fig. 13
Fig. 14
Fig. 15
Fig. 16

Notes

  1. http://www.geomagic.com/.

References

  • Banz C, Hesselbarth S, Flatt H, Blume H, Pirsch P (2010) Real-time stereo vision system using semi-global matching disparity estimation: architecture and FPGA-implementation. In: Proceedings of the institute of electrical and electronics engineers, conference on embedded computer systems, architectures, modeling and simulation, pp 93–101

  • Bethmann F, Luhmann T (2014) Object-based multi-image semi-global matching–concept and first results. The international archives of the photogrammetry, remote sensing an spatial information sciences, volume XL-5, 2014 ISPRS technical commission V symposium, 23–25 June 2014. Riva del Garda, Italy, pp 93–100

    Google Scholar 

  • Bethmann F, Luhmann T (2015a) Semi-global matching in object space. PIA15, photogrammetric image analysis, München, international archives of the photogrammetry, remote sensing and spatial information sciences, vol XL-3/W2, pp 23–29

  • Bethmann F, Luhmann T (2015b) Semi-global matching in object space. Proceedings of SPIE 9528:95280N–1

    Article  Google Scholar 

  • Bethmann F, Luhmann T (2011) Kleinste-Quadrate-Zuordnung mit erweiterten geometrischen Transformationen. Photogrammetrie-Fernerkundung-Geoinformation 2011(2):57–69

  • Bleyer M, Rhemann C, Rother C (2011) PatchMatch stereo–stereo matching with slanted support windows. In: Proceedings of the British machine vision conference 2011, BMVA Press, pp 14.1

  • Buder M (2012) Dense realtime stereo matching using a memory efficient semi-global-matching variant based on FPGAs. In: Kehtarnavaz N, Carlsohn M (eds) Real-time image and video processing 2012, SPIE Proceedings, Vol 8437

  • Bulatov D, Wernerus P, Heipke C (2011) Multi-view dense matching supported by triangular meshes. ISPRS J Photogramm Remote Sens 66(2011):907–918

    Article  Google Scholar 

  • Cavegn S, Haala N, Nebiker S, Rothermel M, Tutzauer P (2014) Benchmarking high density image matching for oblique airborne imagery. International archives of the photogrammetry, remote sensing and spatial information sciences, vol XL-3, 2014 ISPRS technical commission III symposium, 5–7 September 2014. Zurich, Switzerland, pp 45–52

    Google Scholar 

  • Ernst I, Hirschmüller H (2008) Mutual information based semi-global stereo matching on the GPU. International symposium on visual computing vol LNCS 5358, Part 1. Las Vegas, NV, USA, pp 228–239

    Google Scholar 

  • Fua P, Leclerc YG (1995) Object-centred surface reconstruction: combining multi-image stereo shading. Int J Comput Vision 16(1):35–56

    Article  Google Scholar 

  • Gallup M, Frahm, Mordohai P, Yang QD, Pollefeys J-M (2007) Real-time plane sweeping stereo with multiple sweeping directions. In: Proceedings of the institute of electrical and electronics engineers, conference on computer vision and pattern recognition, Minneapolis, pp 1–8

  • Gruen AW, Baltsavias EP (1988) Geometrically constrained multiphoto matching. Photogramm Eng Remote Sens 54(5):633–641

    Google Scholar 

  • Gruen AW (1985) Adaptive least-squares correlation–a powerful image matching technique. S Afr J Photogramm Remote Sens Cartogr 14(3):175–187

    Google Scholar 

  • Haala N (2014) Dense image matching final report. EuroSDR–European Spatial Data Research, official publication No. 64. April 2014, pp 115–146

  • Haala N, Rothermel M, Cavegn S (2015) Extracting 3D Urban Models from oblique aerial images. In: Proceedings of the institute of electrical and electronics engineers, joint urban remote sensing event (JURSE)

  • Haala N, Cavegn S (2017) High densitiy aerial image matching: State-of-the-art and future prospects. In: EuroSDR contributions to ISPRS congress XXIII, 12 – 19 July 2016 special sessions, official publication No. 66, pp 28–43

  • Hernándes C, Schmitt F (2004) Silhouette and stereo fusion for 3D object modelling. Comput Vision Image Underst 96(3):367–392

    Article  Google Scholar 

  • Heinrichs M, Rodehorst V, Hellwich O (2007) Efficient semi-global matching for trinocular stereo. In: Stilla U, Meyer H, Rottensteiner F, Heipke C, Hinz S (eds) PIA07 photogrammetric image analysis 2007. International archives of photogrammetry, remote sensing and spatial geoinformation sciences, Vol 36(3/W49B), pp 185–190

  • Hirschmüller H (2005) Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information. In: Proceedings of the institute of electrical and electronics engineers, conference on computer vision and pattern recognition (CVPR) 2005(2), pp 807–814

  • Hirschmüller H (2008) Stereo processing by semi-global matching and mutual information. Proc Inst Electr Electron Eng Trans Pattern Anal Mach Intell (TPAMI) 30(2):328–341

    Google Scholar 

  • Hirschmüller H (2009) Evaluation of stereo matching costs on images with radiometric differences. Proc Inst Electr Electron Eng Trans Pattern Anal Mach Intell (TPAMI) 31(9):1582–1599

    Google Scholar 

  • Kutulakos KN, Seitz SM (2000) A theory of shape by space carving. Int J Comput Vision 38(3):199–218

    Article  Google Scholar 

  • Michael M, Salmen J, Stallkamp J, Schlipsing M, (2013) Real-time stereo vision: optimizing semi-global matching. In, (2013) Institute of electrical and electronics engineers intelligent vehicles symposium (IV), June 23–26, 2013. Gold Coast, Australia

  • Nex F, Gerke M, Remondino F, Przybilla H-J, Bäumker M, Zurhorst A (2015) ISPRS benchmark for multi-platform photogrammetry. In: ISPRS annals of the photogrammetry, remote sensing and spatial information sciences, Munich, Germany, vol II-3/W4, pp 135–142

  • Rothermel M, Wenzel K, Fritsch D, Haala N (2012) SURE: Photogrammetric surface reconstruction from imagery. Proceedings LowCost3D Workshop 2012, December 4-5, 2012, Berlin

  • Schlüter M (1999) Von der 2.5D- zur 3D-Flächenmodellierung für die photogrammetrische Rekonstruktion im Objektraum. Dissertation, Deutsche Geodätische Kommission, Reihe C, Nr. 506

  • Schneider C T (1991) Objektgestützte Mehrbildzuordnung. Dissertation, Deutsche Geodätische Kommission, Reihe C, Nr. 375

  • Scharstein D, Szeliski R (2002) A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. Int J Comput Vision 47(1–3):7–42

    Article  Google Scholar 

  • Seitz S M, Curless B, Diebel J, Scharstein D, Szeliski R (2006) A comparison of multi-view stereo recontruction algorithms. In: Proceedings of the institute of electrical and electronics engineers, conference on computer vision and pattern recognition (CVPR), vol 1. pp 519–528

  • Vogiatzis G, Torr PHS, Cipolla R (2005) Multi-view stereo via volumetric graph-cuts. In: Conference on computer vision and pattern recognition (CVPR), vol 1, pp 391–398

  • Vu H-H, Labatut P, Pons J-P, Keriven R (2012) High accuracy and visibility-consistent dense multiview stereo. Inst Electr Electron Eng Trans Pattern Anal Mach Intell 34(5):889–901

    Google Scholar 

  • Weisensee M (1992) Modelle und Algorithmen für das Facetten-Stereosehen. Dissertation. Deutsche Geodätische Kommission bei der bayrischen Akademie der Wissenschaften, Reihe C, Heft Nr. 374

  • Wendt A (2008) Objektraumbasierte simultane multisensorale Orientierung. Dissertation. Deutsche Geodätische Kommission bei der bayrischen Akademie der Wissenschaften, Reihe C, Heft Nr. 613, Munich

  • Wenzel K, Rothermel M, Fritsch D, Haala N (2013) Image acquisition and model selection for multi-view stereo. In: International archives of the photogrammetry, remote sensing and spatial information sciences, vol XL-5/W1, pp 251–258

  • Wrobel B (1987) Digitale Bildzuordnung durch Facetten mit Hilfe von Objektraummodellen– Bildmessung und Luftbildwesen, 55, Nr. 3: 93-101

Download references

Acknowledgements

The research was supported by the Lower Saxony program for Research Professors, 2013–2016.

Author information

Authors and Affiliations

Authors

Corresponding author

Correspondence to Folkmar Bethmann.

Rights and permissions

Reprints and Permissions

About this article

Verify currency and authenticity via CrossMark

Cite this article

Bethmann, F., Luhmann, T. Object-Based Semi-global Multi-image Matching. PFG 85, 349–364 (2017). https://doi.org/10.1007/s41064-017-0034-z

Download citation

  • Received:

  • Accepted:

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s41064-017-0034-z

Keywords

  • Image matching
  • Semi-global matching
  • Multi-image matching
  • Surface reconstruction
  • True ortho photo