Skip to main content
SpringerLink
Log in

Bildbasierte Unterstützungsmethoden für die zukünftige Anwendung in der Chirurgie

Image-based supportive measures for future application in surgery

  • Leitthema
  • Published:
Die Chirurgie Aims and scope Submit manuscript

Zusammenfassung

Hintergrund

Die Entwicklung assistiver Technologien wird in den kommenden Jahren nicht nur in der Chirurgie von zunehmender Bedeutung sein. Die Wahrnehmung der Istsituation stellt hierbei die Grundlage jeder autonomen Handlung dar. Hierfür können unterschiedliche Sensorsysteme genutzt werden, wobei videobasierte Systeme ein besonderes Potenzial aufweisen.

Methode

Anhand von Literaturangaben und auf Basis eigener Forschungsarbeiten werden zentrale Aspekte bildbasierter Unterstützungssysteme für die Chirurgie dargestellt. Hierbei wird deren Potenzial, aber auch die Limitationen der Methoden erläutert.

Ergebnisse

Eine etablierte Anwendung stellt die Phasendetektion chirurgischer Eingriffe dar, für die Operationsvideos mittels neuronaler Netzwerke analysiert werden. Durch eine zeitlich gestützte und transformative Analyse konnten die Ergebnisse der Prädiktion jüngst deutlich verbessert werden. Aber auch robotische Kameraführungssysteme nutzen Bilddaten, um das Laparoskop zukünftig autonom zu navigieren. Um die Zuverlässigkeit an die hohen Anforderungen in der Chirurgie anzugleichen, müssen diese jedoch durch zusätzliche Informationen ergänzt werden. Ein vergleichbarer multimodaler Ansatz wurde bereits für die Navigation und Lokalisation bei laparoskopischen Eingriffen umgesetzt. Hierzu werden Videodaten mittels verschiedener Methoden analysiert und diese Ergebnisse mit anderen Sensormodalitäten fusioniert.

Diskussion

Bildbasierte Unterstützungsmethoden sind bereits für diverse Aufgaben verfügbar und stellen einen wichtigen Aspekt für die Chirurgie der Zukunft dar. Um hier jedoch zuverlässig und für autonome Funktionen eingesetzt werden zu können, müssen sie zukünftig in multimodale Ansätze eingebettet werden, um die erforderliche Sicherheit bieten zu können.

Abstract

Background

The development of assistive technologies will become of increasing importance in the coming years and not only in surgery. The comprehensive perception of the actual situation is the basis of every autonomous action. Different sensor systems can be used for this purpose, of which video-based systems have a special potential.

Method

Based on the available literature and on own research projects, central aspects of image-based support systems for surgery are presented. In this context, not only the potential but also the limitations of the methods are explained.

Results

An established application is the phase detection of surgical interventions, for which surgical videos are analyzed using neural networks. Through a time-based and transformative analysis the results of the prediction could only recently be significantly improved. Robotic camera guidance systems will also use image data to autonomously navigate laparoscopes in the near future. The reliability of the systems needs to be adapted to the high requirements in surgery by means of additional information. A comparable multimodal approach has already been implemented for navigation and localization during laparoscopic procedures. For this purpose, video data are analyzed using various methods and these data are fused with other sensor modalities.

Discussion

Image-based supportive methods are already available for various tasks and will become an important aspect for the surgery of the future; however, in order to be able to be reliably implemented for autonomous functions, they must be embedded in multimodal approaches in the future in order to provide the necessary security.

This is a preview of subscription content, log in via an institution to check access.

Access this article

Log in via an institution

Subscribe and save

Springer+ Basic
$34.99 /Month
  • Get 10 units per month
  • Download Article/Chapter or eBook
  • 1 Unit = 1 Article or 1 Chapter
  • Cancel anytime
Subscribe now

Buy Now

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Instant access to the full article PDF.

Institutional subscriptions

Abb. 1
Abb. 2
Abb. 3
Abb. 4
Abb. 5
Abb. 6
Abb. 7

Literatur

  1. Ostler D, Seibold M, Fuchtmann J, Samm N, Feussner H, Wilhelm D, Navab N (2020) Acoustic signal analysis of instrument-tissue interaction for minimally invasive interventions. Int J Comput Assist Radiol Surg 15(5):771–779

    Article  Google Scholar 

  2. El Rassi I, El Rassi J‑M (2020) A review of haptic feedback in tele-operated robotic surgery. J Med Eng Technol 44(5):247–254

    Article  Google Scholar 

  3. Hassan C, Spadaccini M, Iannone A, Maselli R, Jovani M, Chandrasekar VT, Antonelli G, Yu H, Areia M, Dinis-Ribeiro M (2021) Performance of artificial intelligence in colonoscopy for adenoma and polyp detection: a systematic review and meta-analysis. Gastrointest Endosc 93(1):77–85e6

    Article  Google Scholar 

  4. Silas MR, Grassia P, Langerman A (2015) Video recording of the operating room—is anonymity possible? J Surg Res 197(2):272–276

    Article  Google Scholar 

  5. Viola P, Jones M (2001) Fast and robust classification using asymmetric adaboost and a detector cascade. Adv Neural Inf Process Syst 14, 1–8

  6. Maier-Hein L, Vedula S, Speidel S, Navab N, Kikinis R, Park A, Eisenmann M, Feussner H, Forestier G, Giannarou S (2017) Surgical data science: enabling next-generation surgery. arXiv preprint arXiv:170106482

    Google Scholar 

  7. Rivas-Blanco I, Pérez-Del-Pulgar CJ, García-Morales I, Muñoz VF (2021) A review on deep learning in minimally invasive surgery. IEEE Access 9:48658–48678

    Article  Google Scholar 

  8. Mondal SS, Sathish R, Sheet D (2019) Multitask learning of temporal connectionism in convolutional networks using a joint distribution loss function to simultaneously identify tools and phase in surgical videos. arXiv preprint arXiv:190508315

    Google Scholar 

  9. van Amsterdam B, Clarkson MJ, Stoyanov D (2021) Gesture recognition in robotic surgery: a review. IEEE Trans Biomed Eng 68(6). https://doi.org/10.1109/TBME.2021.3054828

  10. Czempiel T, Paschali M, Keicher M, Simson W, Feussner H, Kim ST, Navab N (2020) Tecno: Surgical phase recognition with multi-stage temporal convolutional networks. In: International conference on medical image computing and computer-assisted intervention. Springer, Berlin Heidelberg, S 343–352

    Google Scholar 

  11. Kitaguchi D, Takeshita N, Matsuzaki H, Takano H, Owada Y, Enomoto T, Oda T, Miura H, Yamanashi T, Watanabe M (2020) Real-time automatic surgical phase recognition in laparoscopic sigmoidectomy using the convolutional neural network-based deep learning approach. Surg Endosc 34(11):4924–4931

    Article  Google Scholar 

  12. Funke I, Mees ST, Weitz J, Speidel S (2019) Video-based surgical skill assessment using 3D convolutional neural networks. Int J Comput Assist Radiol Surg 14(7):1217–1225

    Article  Google Scholar 

  13. Panesar S, Cagle Y, Chander D, Morey J, Fernandez-Miranda J, Kliot M (2019) Artificial intelligence and the future of surgical robotics. Ann Surg 270(2):223–226

    Article  Google Scholar 

  14. Immenroth M, Bürger T, Brenner J, Nagelschmidt M, Eberspächer H, Troidl H (2007) Mental training in surgical education: a randomized controlled trial. Ann Surg 245(3):385–391

    Article  Google Scholar 

  15. Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez AN, Kaiser Ł, Polosukhin I (2017) Attention is all you need. Adv Neural Inf Process Syst 30:5998–6008

  16. Floridi L, Chiriatti M (2020) GPT-3: Its nature, scope, limits, and consequences. Minds Mach 30(4):681–694

    Article  Google Scholar 

  17. Czempiel T, Paschali M, Ostler D, Kim ST, Busam B, Navab N (2021) Opera: Attention-regularized transformers for surgical phase recognition. In: International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Berlin Heidelberg, S 604–614

    Google Scholar 

  18. Kranzfelder M, Schneider A, Fiolka A, Koller S, Reiser S, Vogel T, Wilhelm D, Feussner H (2014) Reliability of sensor-based real-time workflow recognition in laparoscopic cholecystectomy. Int J CARS 9(6):941–948

    Article  Google Scholar 

  19. Özsoy E, Örnek EP, Eck U, Tombari F, Navab N (2021) Multimodal semantic scene graphs for holistic modeling of surgical procedures. arXiv preprint arXiv:210615309

    Google Scholar 

  20. Battaglia E, Boehm J, Zheng Y, Jamieson AR, Gahan J, Fey AM (2021) Rethinking autonomous surgery: focusing on enhancement over autonomy. Eur Urol Focus 7(4):696–705

    Article  Google Scholar 

  21. Bihlmaier A (2016) Intraoperative robot-based camera assistance. In: Learning dynamic spatial relations. Springer, Berlin Heidelberg, S 185–208

    Chapter  Google Scholar 

  22. Wagner M, Bihlmaier A, Kenngott HG, Mietkowski P, Scheikl PM, Bodenstedt S, Schiepe-Tiska A, Vetter J, Nickel F, Speidel S (2021) A learning robot for cognitive camera control in minimally invasive surgery. Surg Endosc 35(9):5365–5374

    Article  Google Scholar 

  23. Nilsson C, Sorensen JL, Konge L, Westen M, Stadeager M, Ottesen B, Bjerrum F (2017) Simulation-based camera navigation training in laparoscopy—a randomized trial. Surg Endosc 31(5):2131–2139

    Article  Google Scholar 

  24. Hartwig R, Ostler D, Rosenthal J‑C, Feußner H, Wilhelm D, Wollherr D (2022) Constrained visual-inertial localization with application and benchmark in laparoscopic surgery. arXiv preprint arXiv:220211075

    Book  Google Scholar 

  25. Luthe E‑W, Müller SV, Schiering I (2022) Assistive Technologien im Sozial-und Gesundheitssektor ISBN 978-3-658-34027‑8.

  26. Kranzfelder M, Ostler D, Fuchtmann J, Friess H, Feussner H, Vogel T (2020) Der künstlich intelligente Operationssaal. Klinikarzt 49(06):246–249

    Article  Google Scholar 

  27. Kenngott H, Wagner M, Preukschas A, Müller-Stich B (2016) Der intelligente Operationssaal. Chirurg 87(12):1033–1038

    Article  CAS  Google Scholar 

  28. Kennedy-Metz LR, Mascagni P, Torralba A, Dias RD, Perona P, Shah JA, Padoy N, Zenati MA (2020) Computer vision in the operating room: opportunities and caveats. IEEE Trans Med Robotics Bionics 3(1):2–10

    Article  Google Scholar 

  29. Efthymiou CA (2019) Dystopian levels of bureaucracy distract us from treating patients. BMJ 365:l2334. https://doi.org/10.1136/bmj.l2334.

  30. Mascagni P, Alapatt D, Urade T, Vardazaryan A, Mutter D, Marescaux J, Costamagna G, Dallemagne B, Padoy N (2021) A computer vision platform to automatically locate critical events in surgical videos: documenting safety in laparoscopic cholecystectomy. Ann Surg 274(1):e93–e95

    Article  Google Scholar 

Download references

Author information

Authors and Affiliations

  1. Forschungsgruppe MITI, Klinik und Poliklinik für Chirurgie, Klinikum rechts der Isar, Technische Universität München, München, Deutschland

    R. Hartwig, M. Berlet, J. Fuchtmann, H. Feussner &  D. Wilhelm

  2. Fakultät für Medizin, Klinik und Poliklinik für Chirurgie, Klinikum rechts der Isar, Technische Universität München, München, Deutschland

    M. Berlet &  D. Wilhelm

  3. Computer Aided Medical Procedures, Technische Universitat München, München, Deutschland

    T. Czempiel

  4. Regensburg Medical Image Computing (ReMIC), Ostbayerische Technische Hochschule Regensburg (OTH Regensburg), Regensburg, Deutschland

    T. Rückert

Authors
  1. R. Hartwig
    View author publications

    You can also search for this author in PubMed Google Scholar

  2. M. Berlet
    View author publications

    You can also search for this author in PubMed Google Scholar

  3. T. Czempiel
    View author publications

    You can also search for this author in PubMed Google Scholar

  4. J. Fuchtmann
    View author publications

    You can also search for this author in PubMed Google Scholar

  5. T. Rückert
    View author publications

    You can also search for this author in PubMed Google Scholar

  6. H. Feussner
    View author publications

    You can also search for this author in PubMed Google Scholar

  7. D. Wilhelm
    View author publications

    You can also search for this author in PubMed Google Scholar

Corresponding author

Correspondence to D. Wilhelm.

Ethics declarations

Interessenkonflikt

R. Hartwig, M. Berlet, T. Czempiel, J. Fuchtmann, T. Rückert, H. Feussner und D. Wilhelm geben an, dass kein Interessenkonflikt besteht. Teile der Arbeit sind das Ergebnis wissenschaftlicher Projekte COMPASS, BMBF-Nr. 16V8018, DeepMIC BFS.

Für diesen Beitrag wurden von den Autoren keine Studien an Menschen oder Tieren durchgeführt. Für die aufgeführten Studien gelten die jeweils dort angegebenen ethischen Richtlinien.

Additional information

Redaktion

I. Gockel, Leipzig

figure qr

QR-Code scannen & Beitrag online lesen

Rights and permissions

Reprints and permissions

About this article

Check for updates. Verify currency and authenticity via CrossMark

Cite this article

Hartwig, R., Berlet, M., Czempiel, T. et al. Bildbasierte Unterstützungsmethoden für die zukünftige Anwendung in der Chirurgie. Chirurgie 93, 956–965 (2022). https://doi.org/10.1007/s00104-022-01668-x

Download citation

  • Accepted:

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s00104-022-01668-x

Schlüsselwörter

Keywords

Search

Navigation