Advertisement

Finite-Element Approach to Camera Modelling and Calibration

  • J. ReznicekEmail author
  • T. Luhmann
Review Article
  • 80 Downloads

Abstract

This paper is focused on the finite-element (FE) method of camera calibration. The FE method enables the modelling of systematic error effects, including those which cannot be recovered by standard modelling procedures, e.g., those based on Brown’s distortion model. The FE approach to camera modelling has been previously published a number of times; however, some important aspects were not sufficiently addressed in this earlier research work. In addition, the computing power was too low to test the finite-element method with high-resolution FE grid. The proposed FE implementation is fully independent of any polynomial model and includes correction of the distance-dependent distortion effect. Besides modelling the effects such as lens distortion and sensor unflatness, the approach also accommodates the calibration of non-perspective lenses such as fisheye lenses. In addition to introducing the proposed FE calibration method, this paper addresses the related issues of sufficient target density, correction pattern smoothness and FE grid size. It also reports on experimental testing of the new FE implementation using the acceptance test procedure of the German VDI guideline 2634. Two different cameras were calibrated within the acceptance tests to analyse the impacts of the sensor size and field of view of the lens. For comparison with the FE method, both data sets were also processed using standard photogrammetric software (AICON 3D Studio). The results have proven the ability of the proposed FE modification to recover any systematic effects and to model ultra-wide field-of-view lenses, while achieving highly accurate measurements. The method is able to model the distance-dependent distortion effect, but requires a very large number of observations, which may be expensive and difficult to establish in practise. The proposed method, which can be characterised by utilising a high-resolution grid, is mostly intended for laboratory calibration of highly stable camera systems and not for on-the-job type calibration, where the target density would likely not be sufficiently large.

Keywords

Camera calibration Finite elements Sensor unflatness Sensor modelling Distance-dependent distortion Fisheye lens 

Zusammenfassung

Dieser Beitrag befasst sich mit einem Finite-Elemente-Ansatz (FE) zur Kamerakalibrierung. Die FE-Methode ermöglicht die Modellierung von systematischen Abbildungsfehlern, einschließlich derer, die nicht durch Standardmodellierungsverfahren, wie z. B. Browns Verzeichnungsmodell, beschrieben werden können. FE-Ansätze zur Kameramodellierung wurden schon mehrfach veröffentlicht. Einige wichtige Aspekte wurden in früheren Arbeiten jedoch nicht ausreichend berücksichtigt. Darüber hinaus war bisher die Rechenleistung zu niedrig, um die Methode mit hochauflösendem FE-Gitter zu testen. Die vorgeschlagene FE-Implementierung ist unabhängig von irgendeinem Polynommodell und beinhaltet zudem die Korrektur von entfernungsabhängigen Verzeichnungseffekten. Neben der Modellierung von Effekten wie Objektivverzeichnung und Sensorunebenheit ermöglicht der Ansatz auch die Kalibrierung von nicht-perspektivischen Objektiven, wie z. B. Fisheye-Objektiven. Zusätzlich zur Einführung der vorgeschlagenen FE-Kalibriermethode befasst sich dieser Artikel mit den damit verbundenen Fragen wie ausreichende Punktdichte, Ebenheit des Korrekturgitters und Größe des FE-Rasters. Weiterhin werden experimentelle Tests der neuen FE-Implementierung nach dem Abnahmeverfahren der VDI-Richtlinie 2634/1 diskutiert. Zwei verschiedene Kameras wurden verwendet und im Rahmen der Abnahmeprüfungen kalibriert, um die Auswirkungen der Sensorgröße und des Sichtfeldes des Objektivs zu analysieren. Als Vergleich zur FE-Methode wurden beide Datensätze auch mit einer Standard-Photogrammetrie-Software (AICON 3D Studio) verarbeitet. Die Ergebnisse belegen die Fähigkeit der vorgeschlagenen FE-Modifikation, alle systematischen Effekte zu modellieren, auch bei extrem großen Bildfeldwinkeln, bei gleichzeitig hoher erreichter Genauigkeit. Das Verfahren ist in der Lage, die abstandsabhängige Verzeichnungseffekte zu erfassen, erfordert jedoch eine sehr große Anzahl von Beobachtungen, die in der Praxis ggf. teuer und schwer zu realisieren sind. Das vorgeschlagene Verfahren lässt sich durch die Verwendung eines hochauflösenden Gitters charakterisieren und ist hauptsächlich für die Laborkalibrierung von hochstabilen Kamerasystemen vorgesehen. Bei einer On-the-Job-Kalibrierung dürfte dagegen die Punktdichte häufig nicht ausreichend groß sein.

Notes

Acknowledgements

The authors would like to thank Mr. Ralph Rosenbauer and ALPA Company for providing us the ALPA camera. This research has been supported by the Lower Saxony program for Research Professors, 2013–2016, and Jade University of Applied Sciences in Oldenburg.

References

  1. Bookstein FL (1989) Principal warps: thin-plate splines and the decomposition of deformations. In: IEEE trans. pattern analysis and machine intelligence, vol 11.  https://doi.org/10.1109/34.24792
  2. Bräuer-Burchardt C, Heinze M, Munkelt C, Kuhmstedt P, Notni G (2006) Distance dependent lens distortion variation in 3D measuring systems using fringe projection. In: Proceedings of the British machine conference. BMVA Press, pp 34.1–34.10.  https://doi.org/10.5244/C.20.34
  3. Brown DC (1971) Close-range camera calibration. Photogramm Eng 37(8):855–866Google Scholar
  4. Dörstel C (2007) DMC-(r)evolution on geometric accuracy. In: Fritsch D (ed) Photogrammetric Week’07. Wichmann Verlag, pp 81–88Google Scholar
  5. Ebner H (1976) Self-calibrating block adjustment. Bildmessung und Luftbildwesen 44(4):128–139Google Scholar
  6. Fritsch D (2017) Photogrammetrische Auswertung digitaler Bilder—Neue Methoden der Kamerakalibration, dichten Bildzuordnung und Interpretation von Punktwolken. In: Heipke (ed) Photogrammetrie und Fernerkundung. Springer Spectrum, Berlin, pp 157–196Google Scholar
  7. Grün A (1978) Experiences with self-calibrating bundle adjustment. In: ACSM-ASP annual meeting, Washington D.CGoogle Scholar
  8. Hastedt H, Ekkel T, Luhmann T (2016) Evaluation of the quality of action cameras with wide-angle lenses in UAV photogrammetry. In: International archives of the photogrammetry, remote sensing and spatial information sciences, vol XLI-B1, pp 851–859.  https://doi.org/10.5194/isprsarchives-xli-b1-851-2016
  9. Jacobsen K (2007) Geometric handling of large size digital airborne frame camera images. In: Optical 3D measurement techniques VIII, Zürich 2007, pp 164–171Google Scholar
  10. Jacobsen K, Cramer M, Ladstädter R, Ressl C, Spreckels V (2010) DGPF project: evaluation of digital photogrammetric camera systems—geometric performance. Photogrammetrie Fernerkundung Geoinformation 2010(2):83–97.  https://doi.org/10.1127/1432-8364/2010/0042 CrossRefGoogle Scholar
  11. Kotowski R (1984) Zur Reseaukorrektur von systematischen Bildfehlern. Bildmessung und Luftbildwesen 52(2):96–101Google Scholar
  12. Lichti DD, Chapman MA (1995) CCD camera calibration using the finite element method. In: Proc. SPIE, vol 2598, videometrics IV, pp 34–43Google Scholar
  13. Luhmann T, Robson S, Kyle S, Boehm J (2014) Close-range photogrammetry and 3D imaging. De Gruyter textbook, 2nd edn. ISBN 978-3-11-030269-1Google Scholar
  14. Luhmann T, Fraser C, Maas H-G (2015) Sensor modelling and camera calibration for close-range photogrammetry. ISPRS J Photogramm Remote Sens.  https://doi.org/10.1016/j.isprsjprs.2015.10.006 Google Scholar
  15. McGlone JC (ed) (2013) Manual of photogrammetry, American Society for Photogrammetry and Remote Sensing, 6th ednGoogle Scholar
  16. Mikhail EM, Ackermann F (1976) Observations and least squares. IEP-A Dun-Donnelley Publisher, New YorkGoogle Scholar
  17. Miks A, Novak J (2012) Dependence of camera lens induced radial distortion and circle of confusion on object position. Opt Laser Technol 44(4):1043–1049.  https://doi.org/10.1016/j.optlastec.2011.10.012 CrossRefGoogle Scholar
  18. Munjy R (1986) Self-calibration using the finite element approach. Photogramm Eng Remote Sens 51(3):411–418Google Scholar
  19. Remondino F, Fraser CS (2006) Digital camera calibration methods: considerations and comparisons. Int Arch Photogramm Remote Sens 36(5):266–272Google Scholar
  20. Reznicek J, Luhmann T, Jepping C (2016) Influence of raw image preprocessing and other selected processes on accuracy of close-range photogrammetric systems according to VDI 2634. In: International archives of the photogrammetry, remote sensing and spatial information sciences, vol XLI-B5, pp 107–113,  https://doi.org/10.5194/isprs-archives-xli-b5-107-2016
  21. Richter K, Mader D, Seidl K, Maas H-G (2013) Development of a geometric model for an all-reflective camera system. ISPRS J Photogramm Remote Sens 86:41–51.  https://doi.org/10.1016/j.isprsjprs.2013.09.002 CrossRefGoogle Scholar
  22. Rieke-Zapp DH (2010) A digital medium-format camera for metric applications—ALPA 12 metric. Photogram Rec 25(131):283–298.  https://doi.org/10.1111/j.1477-9730.2010.00586.x CrossRefGoogle Scholar
  23. Tang R (2013) Mathematical methods for camera self-calibration in photogrammetry and computer vision, DGK Reihe C, p 703Google Scholar
  24. Tecklenburg W, Luhmann T, Hastedt H (2001) Camera modelling with image-variant parameters and finite elements. In: Optical 3-D measurement techniques V, Wichmann Verlag, HeidelbergGoogle Scholar
  25. VDI/VDE 2634.1 (2002) German guideline on optical 3D measuring systems—imaging systems with point-by-point probing. VDI/VDE guideline 2634 Part 1, Beuth Verlag, BerlinGoogle Scholar

Copyright information

© Deutsche Gesellschaft für Photogrammetrie, Fernerkundung und Geoinformation (DGPF) e.V. 2019

Authors and Affiliations

  1. 1.Advanced Technology EuropeHoneywell AerospacePragueCzech Republic
  2. 2.Institute for Applied Photogrammetry and GeoinformaticsJade University of Applied SciencesOldenburgGermany

Personalised recommendations