Advertisement

Der Onkologe

pp 1–12 | Cite as

Intraoperative Bildgebung und Visualisierung

  • Lena Maier-HeinEmail author
  • Ines Gockel
  • Stefanie Speidel
  • Thomas Wendler
  • Dogu Teber
  • Keno März
  • Minu Tizabi
  • Felix Nickel
  • Nassir Navab
  • Beat Müller-Stich
Leitthema
  • 18 Downloads

Zusammenfassung

Hintergrund

Die chirurgische Onkologie ist eine wichtige Säule in der interdisziplinären Tumorbehandlung. Die intraoperative Visualisierung von Tumor und Risikostrukturen sowie funktioneller Gewebeparameter auf Basis intra- und präoperativer Bildgebung bildet die Grundlage für ein präzises chirurgisches Vorgehen und somit für die Optimierung des onkologischen Outcomes.

Fragestellung

Ziel dieses Artikels ist die Zusammenstellung technischer Entwicklungen, welche von besonderer Relevanz für die intraoperative Bildgebung und Visualisierung sind.

Methoden

Medizinische und technische Experten mit Erfahrung in computerassistierter Chirurgie identifizierten 4 Forschungsfelder mit hohem Potenzial, die chirurgische Onkologie nachhaltig zu verbessern: (1) funktionelle Bildgebung auf Basis von Biophotonik, (2) multimodale Datenvisualisierung durch Augmented Reality, (3) reproduzierbare Bildgebung mittels Robotik und (4) situationsadaptive Visualisierung auf Basis von Surgical Data Science.

Ergebnisse

Aktuelle Publikationen zeigen exemplarisch das hohe Potenzial der 4 vorgestellten Themenbereiche.

Schlussfolgerung

Zukünftige Forschungsarbeiten sollten sich auf die Optimierung von Robustheit und Integrierbarkeit in den chirurgischen Arbeitsablauf konzentrieren.

Schlüsselwörter

Diagnostische Bildgebung Computerassistierte Bildverarbeitung Augmented Reality Patientenspezifische Modellbildung Medizinische Robotik 

Intraoperative imaging and visualization

Abstract

Background

Surgical oncology is an important pillar of interdisciplinary cancer treatment. The intraoperative visualization of tumors and critical structures along with functional tissue parameters is an important basis for precise surgical treatment and thus for the optimization of patient outcome.

Objective

The aim of this article was to compile the latest technological developments with particular relevance to intraoperative imaging and visualization.

Methods

Medical and technical experts with experience in computer-assisted surgery identified four research areas with a high potential for sustainably improving surgical oncology: (1) functional imaging based on biophotonics, (2) multimodal data visualization through augmented reality, (3) reproducible imaging by means of robotics, and (4) context-aware visualization based on surgical data science.

Results

Recent publications exemplify the high potential of the four subject areas presented.

Conclusion

Future research should focus on optimizing robustness and integrability into the surgical workflow.

Keywords

Diagnostic Imaging Computer-assisted image processing Augmented reality Patient-specific modeling Robotics 

Notes

Danksagung

Die Autoren danken der Europäischen Union für die Unterstützung durch den ERC Starting Grant COMBIOSCOPY unter dem New-Horizon-Framework-Programm, unter Zuwendungsvereinbarung ERC-2015-StG-37960, dem Bundesministerium für Wirtschaft und Energie und dem Deutschen Zentrum für Luft- und Raumfahrt e. V. für die Förderung des OP‑4.1‑Projekts sowie dem „Data Science-driven Surgical Oncology“ Programm des Nationalen Centrums für Tumorerkrankungen (NCT) Heidelberg für die Unterstützung. Wir danken weiterhin Carolin Feldmann und Kathrin Breitenbücher für ihre Hilfe bei der Erstellung der Grafiken.

Einhaltung ethischer Richtlinien

Interessenkonflikt

L. Maier-Hein, I. Gockel, S. Speidel, T. Wendler, D. Teber, K. März, M. Tizabi, F. Nickel, N. Navab und B. Müller-Stich geben an, dass kein Interessenkonflikt besteht.

Für diesen Beitrag wurden von den Autoren keine Studien an Menschen oder Tieren durchgeführt. Für die aufgeführten Studien gelten die jeweils dort angegebenen ethischen Richtlinien.

Literatur

  1. 1.
    Apiou-Sbirlea G, Choe R, Kleemann M, Tromberg BJ (2019) Translational biophotonics. Special Section Guest Editorial: Translational Biophotonics. J Biomed Opt 24:1–2PubMedCrossRefPubMedCentralGoogle Scholar
  2. 2.
    Azuma RT (1997) A survey of augmented reality. Presence: Teleoperators and Virtual Environments 6:355–385CrossRefGoogle Scholar
  3. 3.
    Baranski A‑C, Schäfer M, Bauder-Wüst U et al (2018) PSMA-11-derived dual-labeled PSMA inhibitors for preoperative PET imaging and precise fluorescence-guided surgery of prostate cancer. J Nucl Med 59:639–645PubMedCrossRefPubMedCentralGoogle Scholar
  4. 4.
    Beller S, Hünerbein M, Eulenstein S et al (2007) Feasibility of navigated resection of liver tumors using multiplanar visualization of intraoperative 3‑dimensional ultrasound data. Ann Surg 246:288–294PubMedPubMedCentralCrossRefGoogle Scholar
  5. 5.
    Beller S, Hünerbein M, Lange T et al (2007) Image-guided surgery of liver metastases by three-dimensional ultrasound- based optoelectronic navigation. Br J Surg 94:866–875PubMedCrossRefPubMedCentralGoogle Scholar
  6. 6.
    Bernhardt S, Nicolau SA, Soler L, Doignon C (2017) The status of augmented reality in laparoscopic surgery as of 2016. Med Image Anal 37(7):66–90PubMedCrossRefPubMedCentralGoogle Scholar
  7. 7.
    Birkmeyer JD, Stukel TA, Siewers AE et al (2003) Surgeon volume and operative mortality in the United States. N Engl J Med 349:2117–2127PubMedCrossRefPubMedCentralGoogle Scholar
  8. 8.
    Bodenstedt S, Wagner M, Mündermann L et al (2019) Prediction of laparoscopic procedure duration using unlabeled, multimodal sensor data. Int J Comput Assist Radiol Surg 14:1089–1095PubMedCrossRefPubMedCentralGoogle Scholar
  9. 9.
    de Boer E, Harlaar NJ, Taruttis A et al (2015) Optical innovations in surgery. Br J Surg 102:e56–e72PubMedCrossRefPubMedCentralGoogle Scholar
  10. 10.
    Cordemans V, Kaminski L, Banse X et al (2017) Accuracy of a new intraoperative cone beam CT imaging technique (Artis zeego II) compared to postoperative CT scan for assessment of pedicle screws placement and breaches detection. Eur Spine J 26:2906–2916PubMedCrossRefPubMedCentralGoogle Scholar
  11. 11.
    Diana M, Soler L, Agnus V et al (2017) Prospective evaluation of precision multimodal gallbladder surgery navigation: virtual reality, near-infrared fluorescence, and X‑ray-based intraoperative cholangiography. Ann Surg 266:890–897PubMedCrossRefPubMedCentralGoogle Scholar
  12. 12.
    Eck U, Sielhorst T (2018) Display technologies. In: Mixed and augmented reality in medicine. CRC Press, Florida, S 47–60CrossRefGoogle Scholar
  13. 13.
    Esposito M, Busam B, Hennersperger C et al (2016) Multimodal US-gamma imaging using collaborative robotics for cancer staging biopsies. Int J Comput Assist Radiol Surg 11:1561–1571PubMedCrossRefPubMedCentralGoogle Scholar
  14. 14.
    Gardiazabal J, Esposito M, Matthies P et al (2014) Towards personalized Interventional SPECT-CT imaging. In: MICCAI 2014. Springer, Switzerland, S 504–511Google Scholar
  15. 15.
    Gardiazabal J, Reichl T, Okur A et al (2013) First flexible robotic intra-operative nuclear imaging for image-guided surgery. In: Information processing in computer-assisted interventions. Springer, Berlin Heidelberg, S 81–90CrossRefGoogle Scholar
  16. 16.
    Goyal A (2018) New technologies for sentinel lymph node detection. Breast Care 13:349–353PubMedPubMedCentralCrossRefGoogle Scholar
  17. 17.
    Graschew G, Rakowsky S, Balanou P, Schlag PM (2000) Interactive telemedicine in the operating theatre of the future. J Telemed Telecare 6(Suppl 2):20–24CrossRefGoogle Scholar
  18. 18.
    Gunelli R, Fiori M, Salaris C et al (2016) The role of intraoperative ultrasound in small renal mass robotic enucleation. Arch Ital Urol Androl 88:311–313PubMedCrossRefPubMedCentralGoogle Scholar
  19. 19.
    Hagen NA, Kudenov MW (2013) Review of snapshot spectral imaging technologies. Organ Ethic 52:90901Google Scholar
  20. 20.
    Hayashi Y, Misawa K, Oda M et al (2016) Clinical application of a surgical navigation system based on virtual laparoscopy in laparoscopic gastrectomy for gastric cancer. Int J Comput Assist Radiol Surg 11:827–836PubMedCrossRefGoogle Scholar
  21. 21.
  22. 22.
    Intuitive Surgical Inc (2019) Intuitive announces second quarter earnings | intuitive surgical. https://isrg.gcs-web.com/news-releases/news-release-details/intuitive-announces-second-quarter-earnings. Zugegriffen: 7. Aug. 2019
  23. 23.
    Jansen-Winkeln B, Maktabi M, Takoh JP et al (2018) Hyperspektral-Imaging bei gastrointestinalen Anastomosen. Chirurg 89:717–725PubMedCrossRefGoogle Scholar
  24. 24.
    Jung JJ, Jüni P, Lebovic G, Grantcharov T (2018) First-year analysis of the operating room black box study. Ann Surg 271:122–127CrossRefGoogle Scholar
  25. 25.
    Katić D, Wekerle A‑L, Görtler J et al (2013) Context-aware augmented reality in laparoscopic surgery. Comput Med Imaging Graph 37:174–182PubMedCrossRefGoogle Scholar
  26. 26.
    Kenngott HG, Wagner M, Gondan M et al (2014) Real-time image guidance in laparoscopic liver surgery: first clinical experience with a guidance system based on intraoperative CT imaging. Surg Endosc 28:933–940PubMedCrossRefGoogle Scholar
  27. 27.
    Kickingereder P, Isensee F, Tursunova I et al (2019) Automated quantitative tumour response assessment of MRI in neuro-oncology with artificial neural networks: a multicentre, retrospective study. Lancet Oncol 20:728–740PubMedCrossRefGoogle Scholar
  28. 28.
    Kirchner T, Gröhl J, Herrera MA et al (2019) Photoacoustics can image spreading depolarization deep in gyrencephalic brain. Sci Rep 9:8661PubMedPubMedCentralCrossRefGoogle Scholar
  29. 29.
    Knieling F, Neufert C, Hartmann A et al (2017) Multispectral optoacoustic tomography for assessment of Crohn’s disease activity. N Engl J Med 376:1292–1294PubMedCrossRefGoogle Scholar
  30. 30.
    Köhler H, Jansen-Winkeln B, Chalopin C, Gockel I (2019) Hyperspectral imaging as a new optical method for the measurement of gastric conduit perfusion. Dis Esophagus.  https://doi.org/10.1093/dote/doz046 CrossRefPubMedPubMedCentralGoogle Scholar
  31. 31.
    Leal Ghezzi T, Campos Corleta O (2016) 30 years of robotic surgery. World J Surg 40:2550–2557PubMedCrossRefPubMedCentralGoogle Scholar
  32. 32.
    Lim MC, Tan CH, Cai J et al (2014) CT volumetry of the liver: where does it stand in clinical practice? Clin Radiol 69:887–895PubMedCrossRefGoogle Scholar
  33. 33.
    Maier-Hein L, Eisenmann M, Feldmann C et al (2018) Surgical data science: a consensus perspective. arXiv:1806.03184Google Scholar
  34. 34.
    Maier-Hein L, Speidel S, Stenau E et al (2018) Registration. In: Mixed and augmented reality in medicine. CRC Press, Florida, S 29–45CrossRefGoogle Scholar
  35. 35.
    Maier-Hein L, Vedula SS, Speidel S et al (2017) Surgical data science for next-generation interventions. Nat Biomed Eng 1:691–696PubMedCrossRefGoogle Scholar
  36. 36.
    Majlesara A, Golriz M, Hafezi M et al (2017) Indocyanine green fluorescence imaging in hepatobiliary surgery. Photodiagnosis Photodyn Ther 17:208–215PubMedCrossRefGoogle Scholar
  37. 37.
    Maktabi M, Köhler H, Ivanova M et al (2019) Tissue classification of oncologic esophageal resectates based on hyperspectral data. Int J Comput Assist Radiol Surg.  https://doi.org/10.1007/s11548-019-02016-x CrossRefPubMedPubMedCentralGoogle Scholar
  38. 38.
    März K, Hafezi M, Weller T et al (2015) Toward knowledge-based liver surgery: holistic information processing for surgical decision support. Int J Comput Assist Radiol Surg 10:749–759PubMedCrossRefPubMedCentralGoogle Scholar
  39. 39.
    Meershoek P, van Oosterom MN, Simon H et al (2019) Robot-assisted laparoscopic surgery using DROP-IN radioguidance: first-in-human translation. Eur J Nucl Med Mol Imaging 46:49–53PubMedCrossRefPubMedCentralGoogle Scholar
  40. 40.
    Mislow JMK, Golby AJ, Black PM (2009) Origins of intraoperative MRI. Neurosurg Clin N Am 20:137–146PubMedPubMedCentralCrossRefGoogle Scholar
  41. 41.
    Moccia S, Wirkert SJ, Kenngott H et al (2018) Uncertainty-aware organ classification for surgical data science applications in Laparoscopy. IEEE Trans Biomed Eng 65:2649–2659PubMedCrossRefPubMedCentralGoogle Scholar
  42. 42.
    Müller M (2003) Risikomanagement und Sicherheitsstrategien der Luftfahrt-ein Vorbild für die Medizin? Z Allg Med 79:339–344CrossRefGoogle Scholar
  43. 43.
    Neuschler EI, Butler R, Young CA et al (2018) A pivotal study of optoacoustic imaging to diagnose benign and malignant breast masses: a new evaluation tool for radiologists. Radiology 287:398–412PubMedCrossRefPubMedCentralGoogle Scholar
  44. 44.
    Rajasekaran S, Kanna RM, Bhushan M et al (2018) Coronal vertebral dislocation due to congenital absence of multiple thoracic and lumbar pedicles: report of three cases, review of literature, and role of Intraoperative CT navigation. Spine Deformity 6:621–626PubMedCrossRefPubMedCentralGoogle Scholar
  45. 45.
    Schellenberg MW, Hunt HK (2018) Hand-held optoacoustic imaging: a review. Photoacoustics 11:14–27PubMedPubMedCentralCrossRefGoogle Scholar
  46. 46.
    Schilling C, Gnansegaran G, Thavaraj S, McGurk M (2018) Intraoperative sentinel node imaging versus SPECT/CT in oral cancer - a blinded comparison. Eur J Surg Oncol 44:1901–1907PubMedCrossRefPubMedCentralGoogle Scholar
  47. 47.
    Shen D, Wu G, Suk H‑I (2017) Deep learning in medical image analysis. Annu Rev Biomed Eng 19:221–248PubMedPubMedCentralCrossRefGoogle Scholar
  48. 48.
    Simpfendörfer T, Baumhauer M, Müller M et al (2011) Augmented reality visualization during laparoscopic radical prostatectomy. J Endourol 25:1841–1845PubMedCrossRefPubMedCentralGoogle Scholar
  49. 49.
    Simpfendörfer T, Gasch C, Hatiboglu G et al (2016) Intraoperative computed tomography imaging for navigated laparoscopic renal surgery: first clinical experience. J Endourol 30:1105–1111PubMedCrossRefPubMedCentralGoogle Scholar
  50. 50.
    Tinguely P, Fusaglia M, Freedman J et al (2017) Laparoscopic image-based navigation for microwave ablation of liver tumors‑a multi-center study. Surg Endosc 31:4315–4324PubMedCrossRefPubMedCentralGoogle Scholar
  51. 51.
    Toi M, Asao Y, Matsumoto Y et al (2017) Visualization of tumor-related blood vessels in human breast by photoacoustic imaging system with a hemispherical detector array. Sci Rep 7:41970PubMedPubMedCentralCrossRefGoogle Scholar
  52. 52.
    Tonutti M, Gras G, Yang G‑Z (2017) A machine learning approach for real-time modelling of tissue deformation in image-guided neurosurgery. Artif Intell Med 80:39–47PubMedCrossRefPubMedCentralGoogle Scholar
  53. 53.
    Vidal-Sicart S, Valdés Olmos R, Nieweg OE et al (2018) From interventionist imaging to intraoperative guidance: New perspectives by combining advanced tools and navigation with radio-guided surgery. Rev Esp Med Nucl Imagen Mol 37:28–40PubMedPubMedCentralGoogle Scholar
  54. 54.
    Volonté F, Pugin F, Bucher P et al (2011) Augmented reality and image overlay navigation with OsiriX in laparoscopic and robotic surgery: not only a matter of fashion. J Hepatobiliary Pancreat Sci 18:506–509PubMedCrossRefPubMedCentralGoogle Scholar
  55. 55.
    Wirkert SJ, Kenngott H, Mayer B et al (2016) Robust near real-time estimation of physiological parameters from megapixel multispectral images with inverse Monte Carlo and random forest regression. Int J Comput Assist Radiol Surg 11:909–917PubMedPubMedCentralCrossRefGoogle Scholar
  56. 56.
    Wirkert SJ, Vemuri AS, Kenngott HG et al (2017) Physiological parameter estimation from multispectral images unleashed. In: MICCAI 2017. Springer, Cham, S 134–141Google Scholar
  57. 57.
    Zettinig O, Frisch B, Virga S et al (2017) 3D ultrasound registration-based visual servoing for neurosurgical navigation. Int J Comput Assist Radiol Surg 12:1607–1619PubMedCrossRefPubMedCentralGoogle Scholar

Copyright information

© Springer Medizin Verlag GmbH, ein Teil von Springer Nature 2020

Authors and Affiliations

  • Lena Maier-Hein
    • 1
    Email author
  • Ines Gockel
    • 2
  • Stefanie Speidel
    • 3
    • 4
  • Thomas Wendler
    • 5
    • 6
  • Dogu Teber
    • 7
  • Keno März
    • 1
  • Minu Tizabi
    • 1
  • Felix Nickel
    • 8
  • Nassir Navab
    • 5
  • Beat Müller-Stich
    • 8
  1. 1.Abteilung Computer-assistierte Medizinische Interventionen (CAMI)Deutsches KrebsforschungszentrumHeidelbergDeutschland
  2. 2.Klinik und Poliklinik für Viszeral‑, Transplantations‑, Thorax- und Gefäßchirurgie, Department für Operative Medizin (DOPM)Universitätsklinikum Leipzig, AöRLeipzigDeutschland
  3. 3.Abteilung Translationale Chirurgische OnkologieNationales Centrum für Tumorerkrankungen (NCT) DresdenDresdenDeutschland
  4. 4.Centre for Tactile Internet with Human-in-the-Loop (CeTI)Technische Universität DresdenDresdenDeutschland
  5. 5.Lehrstuhl für Informatikanwendungen in der Medizin und Augmented Reality (CAMP)Technische Universität MünchenGarching bei MünchenDeutschland
  6. 6.SurgicEye GmbHMünchenDeutschland
  7. 7.Urologische KlinikStädtisches Klinikum KarlsruheKarlsruheDeutschland
  8. 8.Klinik für Allgemein‑, Viszeral- und TransplantationschirurgieUniversitätsklinikum HeidelbergHeidelbergDeutschland

Personalised recommendations