Intraoperative Bildgebung und Visualisierung

Intraoperative imaging and visualization

  • 18 Accesses



Die chirurgische Onkologie ist eine wichtige Säule in der interdisziplinären Tumorbehandlung. Die intraoperative Visualisierung von Tumor und Risikostrukturen sowie funktioneller Gewebeparameter auf Basis intra- und präoperativer Bildgebung bildet die Grundlage für ein präzises chirurgisches Vorgehen und somit für die Optimierung des onkologischen Outcomes.


Ziel dieses Artikels ist die Zusammenstellung technischer Entwicklungen, welche von besonderer Relevanz für die intraoperative Bildgebung und Visualisierung sind.


Medizinische und technische Experten mit Erfahrung in computerassistierter Chirurgie identifizierten 4 Forschungsfelder mit hohem Potenzial, die chirurgische Onkologie nachhaltig zu verbessern: (1) funktionelle Bildgebung auf Basis von Biophotonik, (2) multimodale Datenvisualisierung durch Augmented Reality, (3) reproduzierbare Bildgebung mittels Robotik und (4) situationsadaptive Visualisierung auf Basis von Surgical Data Science.


Aktuelle Publikationen zeigen exemplarisch das hohe Potenzial der 4 vorgestellten Themenbereiche.


Zukünftige Forschungsarbeiten sollten sich auf die Optimierung von Robustheit und Integrierbarkeit in den chirurgischen Arbeitsablauf konzentrieren.



Surgical oncology is an important pillar of interdisciplinary cancer treatment. The intraoperative visualization of tumors and critical structures along with functional tissue parameters is an important basis for precise surgical treatment and thus for the optimization of patient outcome.


The aim of this article was to compile the latest technological developments with particular relevance to intraoperative imaging and visualization.


Medical and technical experts with experience in computer-assisted surgery identified four research areas with a high potential for sustainably improving surgical oncology: (1) functional imaging based on biophotonics, (2) multimodal data visualization through augmented reality, (3) reproducible imaging by means of robotics, and (4) context-aware visualization based on surgical data science.


Recent publications exemplify the high potential of the four subject areas presented.


Future research should focus on optimizing robustness and integrability into the surgical workflow.

This is a preview of subscription content, log in to check access.

Access options

Buy single article

Instant unlimited access to the full article PDF.

US$ 39.95

Price includes VAT for USA

Abb. 1
Abb. 2
Abb. 3
Abb. 4
Abb. 5
Abb. 6
Abb. 7
Abb. 8


  1. 1.

    Apiou-Sbirlea G, Choe R, Kleemann M, Tromberg BJ (2019) Translational biophotonics. Special Section Guest Editorial: Translational Biophotonics. J Biomed Opt 24:1–2

  2. 2.

    Azuma RT (1997) A survey of augmented reality. Presence: Teleoperators and Virtual Environments 6:355–385

  3. 3.

    Baranski A‑C, Schäfer M, Bauder-Wüst U et al (2018) PSMA-11-derived dual-labeled PSMA inhibitors for preoperative PET imaging and precise fluorescence-guided surgery of prostate cancer. J Nucl Med 59:639–645

  4. 4.

    Beller S, Hünerbein M, Eulenstein S et al (2007) Feasibility of navigated resection of liver tumors using multiplanar visualization of intraoperative 3‑dimensional ultrasound data. Ann Surg 246:288–294

  5. 5.

    Beller S, Hünerbein M, Lange T et al (2007) Image-guided surgery of liver metastases by three-dimensional ultrasound- based optoelectronic navigation. Br J Surg 94:866–875

  6. 6.

    Bernhardt S, Nicolau SA, Soler L, Doignon C (2017) The status of augmented reality in laparoscopic surgery as of 2016. Med Image Anal 37(7):66–90

  7. 7.

    Birkmeyer JD, Stukel TA, Siewers AE et al (2003) Surgeon volume and operative mortality in the United States. N Engl J Med 349:2117–2127

  8. 8.

    Bodenstedt S, Wagner M, Mündermann L et al (2019) Prediction of laparoscopic procedure duration using unlabeled, multimodal sensor data. Int J Comput Assist Radiol Surg 14:1089–1095

  9. 9.

    de Boer E, Harlaar NJ, Taruttis A et al (2015) Optical innovations in surgery. Br J Surg 102:e56–e72

  10. 10.

    Cordemans V, Kaminski L, Banse X et al (2017) Accuracy of a new intraoperative cone beam CT imaging technique (Artis zeego II) compared to postoperative CT scan for assessment of pedicle screws placement and breaches detection. Eur Spine J 26:2906–2916

  11. 11.

    Diana M, Soler L, Agnus V et al (2017) Prospective evaluation of precision multimodal gallbladder surgery navigation: virtual reality, near-infrared fluorescence, and X‑ray-based intraoperative cholangiography. Ann Surg 266:890–897

  12. 12.

    Eck U, Sielhorst T (2018) Display technologies. In: Mixed and augmented reality in medicine. CRC Press, Florida, S 47–60

  13. 13.

    Esposito M, Busam B, Hennersperger C et al (2016) Multimodal US-gamma imaging using collaborative robotics for cancer staging biopsies. Int J Comput Assist Radiol Surg 11:1561–1571

  14. 14.

    Gardiazabal J, Esposito M, Matthies P et al (2014) Towards personalized Interventional SPECT-CT imaging. In: MICCAI 2014. Springer, Switzerland, S 504–511

  15. 15.

    Gardiazabal J, Reichl T, Okur A et al (2013) First flexible robotic intra-operative nuclear imaging for image-guided surgery. In: Information processing in computer-assisted interventions. Springer, Berlin Heidelberg, S 81–90

  16. 16.

    Goyal A (2018) New technologies for sentinel lymph node detection. Breast Care 13:349–353

  17. 17.

    Graschew G, Rakowsky S, Balanou P, Schlag PM (2000) Interactive telemedicine in the operating theatre of the future. J Telemed Telecare 6(Suppl 2):20–24

  18. 18.

    Gunelli R, Fiori M, Salaris C et al (2016) The role of intraoperative ultrasound in small renal mass robotic enucleation. Arch Ital Urol Androl 88:311–313

  19. 19.

    Hagen NA, Kudenov MW (2013) Review of snapshot spectral imaging technologies. Organ Ethic 52:90901

  20. 20.

    Hayashi Y, Misawa K, Oda M et al (2016) Clinical application of a surgical navigation system based on virtual laparoscopy in laparoscopic gastrectomy for gastric cancer. Int J Comput Assist Radiol Surg 11:827–836

  21. 21.

  22. 22.

    Intuitive Surgical Inc (2019) Intuitive announces second quarter earnings | intuitive surgical. Zugegriffen: 7. Aug. 2019

  23. 23.

    Jansen-Winkeln B, Maktabi M, Takoh JP et al (2018) Hyperspektral-Imaging bei gastrointestinalen Anastomosen. Chirurg 89:717–725

  24. 24.

    Jung JJ, Jüni P, Lebovic G, Grantcharov T (2018) First-year analysis of the operating room black box study. Ann Surg 271:122–127

  25. 25.

    Katić D, Wekerle A‑L, Görtler J et al (2013) Context-aware augmented reality in laparoscopic surgery. Comput Med Imaging Graph 37:174–182

  26. 26.

    Kenngott HG, Wagner M, Gondan M et al (2014) Real-time image guidance in laparoscopic liver surgery: first clinical experience with a guidance system based on intraoperative CT imaging. Surg Endosc 28:933–940

  27. 27.

    Kickingereder P, Isensee F, Tursunova I et al (2019) Automated quantitative tumour response assessment of MRI in neuro-oncology with artificial neural networks: a multicentre, retrospective study. Lancet Oncol 20:728–740

  28. 28.

    Kirchner T, Gröhl J, Herrera MA et al (2019) Photoacoustics can image spreading depolarization deep in gyrencephalic brain. Sci Rep 9:8661

  29. 29.

    Knieling F, Neufert C, Hartmann A et al (2017) Multispectral optoacoustic tomography for assessment of Crohn’s disease activity. N Engl J Med 376:1292–1294

  30. 30.

    Köhler H, Jansen-Winkeln B, Chalopin C, Gockel I (2019) Hyperspectral imaging as a new optical method for the measurement of gastric conduit perfusion. Dis Esophagus.

  31. 31.

    Leal Ghezzi T, Campos Corleta O (2016) 30 years of robotic surgery. World J Surg 40:2550–2557

  32. 32.

    Lim MC, Tan CH, Cai J et al (2014) CT volumetry of the liver: where does it stand in clinical practice? Clin Radiol 69:887–895

  33. 33.

    Maier-Hein L, Eisenmann M, Feldmann C et al (2018) Surgical data science: a consensus perspective. arXiv:1806.03184

  34. 34.

    Maier-Hein L, Speidel S, Stenau E et al (2018) Registration. In: Mixed and augmented reality in medicine. CRC Press, Florida, S 29–45

  35. 35.

    Maier-Hein L, Vedula SS, Speidel S et al (2017) Surgical data science for next-generation interventions. Nat Biomed Eng 1:691–696

  36. 36.

    Majlesara A, Golriz M, Hafezi M et al (2017) Indocyanine green fluorescence imaging in hepatobiliary surgery. Photodiagnosis Photodyn Ther 17:208–215

  37. 37.

    Maktabi M, Köhler H, Ivanova M et al (2019) Tissue classification of oncologic esophageal resectates based on hyperspectral data. Int J Comput Assist Radiol Surg.

  38. 38.

    März K, Hafezi M, Weller T et al (2015) Toward knowledge-based liver surgery: holistic information processing for surgical decision support. Int J Comput Assist Radiol Surg 10:749–759

  39. 39.

    Meershoek P, van Oosterom MN, Simon H et al (2019) Robot-assisted laparoscopic surgery using DROP-IN radioguidance: first-in-human translation. Eur J Nucl Med Mol Imaging 46:49–53

  40. 40.

    Mislow JMK, Golby AJ, Black PM (2009) Origins of intraoperative MRI. Neurosurg Clin N Am 20:137–146

  41. 41.

    Moccia S, Wirkert SJ, Kenngott H et al (2018) Uncertainty-aware organ classification for surgical data science applications in Laparoscopy. IEEE Trans Biomed Eng 65:2649–2659

  42. 42.

    Müller M (2003) Risikomanagement und Sicherheitsstrategien der Luftfahrt-ein Vorbild für die Medizin? Z Allg Med 79:339–344

  43. 43.

    Neuschler EI, Butler R, Young CA et al (2018) A pivotal study of optoacoustic imaging to diagnose benign and malignant breast masses: a new evaluation tool for radiologists. Radiology 287:398–412

  44. 44.

    Rajasekaran S, Kanna RM, Bhushan M et al (2018) Coronal vertebral dislocation due to congenital absence of multiple thoracic and lumbar pedicles: report of three cases, review of literature, and role of Intraoperative CT navigation. Spine Deformity 6:621–626

  45. 45.

    Schellenberg MW, Hunt HK (2018) Hand-held optoacoustic imaging: a review. Photoacoustics 11:14–27

  46. 46.

    Schilling C, Gnansegaran G, Thavaraj S, McGurk M (2018) Intraoperative sentinel node imaging versus SPECT/CT in oral cancer - a blinded comparison. Eur J Surg Oncol 44:1901–1907

  47. 47.

    Shen D, Wu G, Suk H‑I (2017) Deep learning in medical image analysis. Annu Rev Biomed Eng 19:221–248

  48. 48.

    Simpfendörfer T, Baumhauer M, Müller M et al (2011) Augmented reality visualization during laparoscopic radical prostatectomy. J Endourol 25:1841–1845

  49. 49.

    Simpfendörfer T, Gasch C, Hatiboglu G et al (2016) Intraoperative computed tomography imaging for navigated laparoscopic renal surgery: first clinical experience. J Endourol 30:1105–1111

  50. 50.

    Tinguely P, Fusaglia M, Freedman J et al (2017) Laparoscopic image-based navigation for microwave ablation of liver tumors‑a multi-center study. Surg Endosc 31:4315–4324

  51. 51.

    Toi M, Asao Y, Matsumoto Y et al (2017) Visualization of tumor-related blood vessels in human breast by photoacoustic imaging system with a hemispherical detector array. Sci Rep 7:41970

  52. 52.

    Tonutti M, Gras G, Yang G‑Z (2017) A machine learning approach for real-time modelling of tissue deformation in image-guided neurosurgery. Artif Intell Med 80:39–47

  53. 53.

    Vidal-Sicart S, Valdés Olmos R, Nieweg OE et al (2018) From interventionist imaging to intraoperative guidance: New perspectives by combining advanced tools and navigation with radio-guided surgery. Rev Esp Med Nucl Imagen Mol 37:28–40

  54. 54.

    Volonté F, Pugin F, Bucher P et al (2011) Augmented reality and image overlay navigation with OsiriX in laparoscopic and robotic surgery: not only a matter of fashion. J Hepatobiliary Pancreat Sci 18:506–509

  55. 55.

    Wirkert SJ, Kenngott H, Mayer B et al (2016) Robust near real-time estimation of physiological parameters from megapixel multispectral images with inverse Monte Carlo and random forest regression. Int J Comput Assist Radiol Surg 11:909–917

  56. 56.

    Wirkert SJ, Vemuri AS, Kenngott HG et al (2017) Physiological parameter estimation from multispectral images unleashed. In: MICCAI 2017. Springer, Cham, S 134–141

  57. 57.

    Zettinig O, Frisch B, Virga S et al (2017) 3D ultrasound registration-based visual servoing for neurosurgical navigation. Int J Comput Assist Radiol Surg 12:1607–1619

Download references


Die Autoren danken der Europäischen Union für die Unterstützung durch den ERC Starting Grant COMBIOSCOPY unter dem New-Horizon-Framework-Programm, unter Zuwendungsvereinbarung ERC-2015-StG-37960, dem Bundesministerium für Wirtschaft und Energie und dem Deutschen Zentrum für Luft- und Raumfahrt e. V. für die Förderung des OP‑4.1‑Projekts sowie dem „Data Science-driven Surgical Oncology“ Programm des Nationalen Centrums für Tumorerkrankungen (NCT) Heidelberg für die Unterstützung. Wir danken weiterhin Carolin Feldmann und Kathrin Breitenbücher für ihre Hilfe bei der Erstellung der Grafiken.

Author information

Correspondence to Prof. Dr. Lena Maier-Hein.

Ethics declarations


L. Maier-Hein, I. Gockel, S. Speidel, T. Wendler, D. Teber, K. März, M. Tizabi, F. Nickel, N. Navab und B. Müller-Stich geben an, dass kein Interessenkonflikt besteht.

Für diesen Beitrag wurden von den Autoren keine Studien an Menschen oder Tieren durchgeführt. Für die aufgeführten Studien gelten die jeweils dort angegebenen ethischen Richtlinien.

Rights and permissions

Reprints and Permissions

About this article

Verify currency and authenticity via CrossMark

Cite this article

Maier-Hein, L., Gockel, I., Speidel, S. et al. Intraoperative Bildgebung und Visualisierung. Onkologe (2020) doi:10.1007/s00761-019-00695-4

Download citation


  • Diagnostische Bildgebung
  • Computerassistierte Bildverarbeitung
  • Augmented Reality
  • Patientenspezifische Modellbildung
  • Medizinische Robotik


  • Diagnostic Imaging
  • Computer-assisted image processing
  • Augmented reality
  • Patient-specific modeling
  • Robotics