Skip to main content
SpringerLink
Log in

Validierung und Implementierung von künstlicher Intelligenz in der radiologischen Versorgung

Quo vadis im Jahr 2022?

Validation and implementation of artificial intelligence in radiology

Quo vadis in 2022?

  • Informationstechnologie und Management
  • Published:
Die Radiologie Aims and scope Submit manuscript

Zusammenfassung

Hintergrund

Der Hype um künstliche Intelligenz (KI) in der Radiologie ist ungebrochen, und die Anzahl an zugelassenen KI-Tools wächst stetig. Trotz des großen Potenzials bleibt die Integration in die radiologische Routine aktuell limitiert. Zudem bildet die Vielzahl an Einzelanwendungen eine Herausforderung für die klinische Routine, da für verschiedene Fragestellungen und Organsysteme einzelne Anwendungen angewählt werden müssen, was die Komplexität und den Zeitaufwand erhöht.

Ziel der Arbeit

In dieser Übersichtsarbeit soll der aktuelle Stand der Validierung und Implementierung von KI-Tools in die klinische Routine mit den aktuellen Limitationen aufgezeigt werden. Außerdem sollen mögliche Lösungsansätze für eine verbesserte Evaluation der Generalisierbarkeit von Ergebnissen der KI-Tools diskutiert werden.

Material und Methoden

Für diese Übersichtsarbeit wurde eine Recherche in verschiedenen Literatur- und Produktdatenbanken sowie in Veröffentlichungen, Positionspapieren und Berichten von verschiedenen Interessensgruppen durchgeführt.

Ergebnisse

Für nur wenige kommerzielle KI-Tools sind wissenschaftliche Evidenz und unabhängige Validierungsstudien vorhanden. Zudem bleibt häufig die Generalisierbarkeit der Ergebnisse fraglich.

Diskussion

Ein Problem besteht in der Vielzahl an Angeboten für einzelne, spezifische Anwendungsgebiete durch eine Vielzahl an Herstellern und die dadurch erschwerte Integration in die bestehende standortindividuelle IT-Infrastruktur. Ein weiteres Problem ist die fehlende wirtschaftliche Vergütung für den Einsatz von KI-Tools in der klinischen Routine durch die Krankenkassen in Deutschland. Für eine Vergütung muss jedoch zunächst der klinische Nutzen neuer Anwendungen nachgewiesen werden. Ein solcher Nachweis wiederum fehlt für die meisten Applikationen.

Abstract

Background

The hype around artificial intelligence (AI) in radiology continues and the number of approved AI tools is growing steadily. Despite the great potential, integration into clinical routine in radiology remains limited. In addition, the large number of individual applications poses a challenge for clinical routine, as individual applications have to be selected for different questions and organ systems, which increases the complexity and time required.

Objectives

This review will discuss the current status of validation and implementation of AI tools in clinical routine, and identify possible approaches for an improved assessment of the generalizability of results of AI tools.

Materials and methods

A literature search in various literature and product databases as well as publications, position papers, and reports from various stakeholders was conducted for this review.

Results

Scientific evidence and independent validation studies are available for only a few commercial AI tools and the generalizability of the results often remains questionable.

Conclusions

One challenge is the multitude of offerings for individual, specific application areas by a large number of manufacturers, making integration into the existing site-specific IT infrastructure more difficult. Furthermore, remuneration for the use of AI tools in clinical routine by health insurance companies in Germany is lacking. But in order for reimbursement to be granted, the clinical utility of new applications must first be proven. Such proof, however, is lacking for most applications.

This is a preview of subscription content, log in via an institution to check access.

Access this article

Log in via an institution

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Instant access to the full article PDF.

Institutional subscriptions

Literatur

  1. Beste NC, Davis X, Kloeckner R et al (2022) Comprehensive analysis of Twitter usage during a major medical conference held virtually versus in-person. Insights Imaging 13:1–7

    Article  Google Scholar 

  2. Haubold J (2020) Künstliche Intelligenz in der Radiologie. Radiologe 60:64–69

    Article  PubMed  Google Scholar 

  3. McKinney SM, Sieniek M, Godbole V et al (2020) International evaluation of an AI system for breast cancer screening. Nature 577:89–94

    Article  CAS  PubMed  Google Scholar 

  4. AI for radiology. https://grand-challenge.org/aiforradiology/. Zugegriffen: 23. Mai 2022

  5. Muehlematter UJ, Daniore P, Vokinger KN (2021) Approval of artificial intelligence and machine learning-based medical devices in the USA and Europe (2015–20): a comparative analysis. Lancet Digit Health 3:e195–e203

    Article  CAS  PubMed  Google Scholar 

  6. (2024) AI in Medical Imaging to Reach $1.5 Billion by. https://www.signifyresearch.net/medical-imaging/machine-learning-medical-imaging-market-approaches-1-5bn-2024/. Zugegriffen: 23. Mai 2022

  7. van Leeuwen KG, Schalekamp S, Rutten MJCM et al (2021) Artificial intelligence in radiology: 100 commercially available products and their scientific evidence. Eur Radiol 31:3797–3804

    Article  PubMed  PubMed Central  Google Scholar 

  8. BVITG (2019) Eckpunktepapier Künstliche Intelligenz. https://www.bvitg.de/wp-content/uploads/21-06-19-Eckpunktepapier-Kuenstliche-Intelligenz.pdf. Zugegriffen: 5. Nov. 2022

  9. Viz.ai granted medicare new technology add-on payment. https://www.prnewswire.com/news-releases/vizai-granted-medicare-new-technology-add-on-payment-301123603.html. Zugegriffen: 23. Mai 2022

  10. Chilamkurthy S, Ghosh R, Tanamala S et al (2018) Deep learning algorithms for detection of critical findings in head CT scans: a retrospective study. Lancet 392:2388–2396

    Article  PubMed  Google Scholar 

  11. Rajpurkar P, Irvin J, Ball RL et al (2018) Deep learning for chest radiograph diagnosis: a retrospective comparison of the CheXneXt algorithm to practicing radiologists. PLoS Med 15:e1002686

    Article  PubMed  PubMed Central  Google Scholar 

  12. Dewey M, Schlattmann P (2019) Deep learning and medical diagnosis. Lancet 394:1710–1711

    Article  PubMed  Google Scholar 

  13. Dratsch T, Caldeira L, Maintz D, Dos SDP (2020) Artificial intelligence abstracts from the European Congress of Radiology: analysis of topics and compliance with the STARD for abstracts checklist. Insights Imaging 11:1–8

    Article  Google Scholar 

  14. Parekh S (2019) Selecting an AI marketplace for radiology: key considerations for healthcare providers. https://www.signifyresearch.net/medical-imaging/selecting-ai-marketplace-radiology-key-considerations-healthcare-providers/. Zugegriffen: 5. Nov. 2022

  15. Omoumi P, Ducarouge A, Tournier A et al (2021) To buy or not to buy—evaluating commercial AI solutions in radiology (the ECLAIR guidelines). Eur Radiol 31:3786–3796

    Article  PubMed  PubMed Central  Google Scholar 

  16. Cole SR, Stuart EA (2010) Generalizing evidence from randomized clinical trials to target populations: the ACTG 320 trial. Am J Epidemiol 172:107–115

    Article  PubMed  PubMed Central  Google Scholar 

  17. Anderson TS, Odden M, Penko J et al (2020) Generalizability of clinical trials supporting the 2017 American College of Cardiology/American Heart Association blood pressure guideline. JAMA Intern Med 180:795–797

    Article  PubMed  PubMed Central  Google Scholar 

  18. Rothwell PM (2006) Factors that can affect the external validity of randomised controlled trials. PLoS Clin Trials 1:e9

    Article  PubMed  PubMed Central  Google Scholar 

  19. Yu AC, Mohajer B, Eng J (2022) External validation of deep learning algorithms for radiologic diagnosis: a systematic review. Radiol Artif Intell e210064. https://doi.org/10.1148/ryai.210064

  20. Sorantin E, Grasser MG, Hemmelmayr A et al (2022) The augmented radiologist: artificial intelligence in the practice of radiology. Pediatr Radiol 52(11):2074–2086. https://doi.org/10.1007/s00247-021-05177-7

  21. Reyes M, Meier R, Pereira S et al (2020) On the interpretability of artificial intelligence in radiology: challenges and opportunities. Radiol Artif Intell 2:e190043

    Article  PubMed  PubMed Central  Google Scholar 

  22. Lee H, Yune S, Mansouri M et al (2019) An explainable deep-learning algorithm for the detection of acute intracranial haemorrhage from small datasets. Nat Biomed Eng 3:173–182

    Article  PubMed  Google Scholar 

  23. Kim D, Chung J, Choi J et al (2022) Accurate auto-labeling of chest X‑ray images based on quantitative similarity to an explainable AI model. Nat Commun 13:1–15

    Google Scholar 

  24. Ghassemi M, Oakden-Rayner L, Beam AL (2021) The false hope of current approaches to explainable artificial intelligence in health care. Lancet Digit Health 3:e745–e750

    Article  CAS  PubMed  Google Scholar 

  25. Selbst AD, Barocas S (2018) The intuitive appeal of explainable machines. Fordham L Rev 87:1085

    Google Scholar 

  26. Yu AC, Eng J (2020) One algorithm may not fit all: how selection bias affects machine learning performance. Radiographics 40:1932–1937

    Article  PubMed  Google Scholar 

  27. The Lancet (2022) Holding artificial intelligence to account. Lancet Digit Health 4:e290. https://doi.org/10.1016/S2589-7500(22)00068-1

    Article  Google Scholar 

  28. Liu X, Glocker B, McCradden MM et al (2022) The medical algorithmic audit. Lancet Digit Health. https://doi.org/10.1016/S2589-7500(22)00003-6

  29. EUR-Lex (2020) Lex—02017R0745-20170505—en—EUR-Lex. https://eur-lex.europa.eu/legal-content/EN/ALL/?uri=CELEX:02017R0745-20200424. Zugegriffen: 5. Nov. 2022

  30. Kim DW, Jang HY, Kim KW et al (2019) Design characteristics of studies reporting the performance of artificial intelligence algorithms for diagnostic analysis of medical images: results from recently published papers. Korean J Radiol 20:405–410

    Article  PubMed  PubMed Central  Google Scholar 

  31. Kelly BS, Judge C, Bollard SM et al (2022) Radiology artificial intelligence: a systematic review and evaluation of methods (RAISE). Eur Radiol. https://doi.org/10.1007/s00330-022-08784-6

    Article  PubMed  PubMed Central  Google Scholar 

  32. Rilinger P‑DDN, Römer WDW, Schlemmer EM (1998) Qualitätssicherung: CT-Ringversuch mit sehr guten Ergebnissen. 38:M166. https://doi.org/10.1007/PL00002788. Zugegriffen: 05. Nov. 2022

  33. Way TW, Hadjiiski LM, Sahiner B et al (2006) Computer-aided diagnosis of pulmonary nodules on CT scans: segmentation and classification using 3D active contours. Med Phys 33:2323–2337

    Article  PubMed  Google Scholar 

  34. Vasey B, Nagendran M, Campbell B et al (2022) Reporting guideline for the early-stage clinical evaluation of decision support systems driven by artificial intelligence: DECIDE-AI. Nat Med 28:924–933. https://doi.org/10.1038/s41591-022-01772-9

    Article  CAS  PubMed  Google Scholar 

Download references

Author information

Authors and Affiliations

  1. Klinik und Poliklinik für Diagnostische und Interventionelle Radiologie, Universitätsmedizin Mainz, Langenbeckstr. 1, 55131, Mainz, Deutschland

    Lukas Müller & Peter Mildenberger

  2. Institut für Interventionelle Radiologie, Universitätsklinikum Schleswig-Holstein – Campus Lübeck, Lübeck, Deutschland

    Roman Kloeckner

  3. Institut für Diagnostische und Interventionelle Radiologie, Uniklinik Köln, Köln, Deutschland

    Daniel Pinto dos Santos

  4. Institut für Diagnostische und Interventionelle Radiologie, Universitätsklinikum Frankfurt, Frankfurt am Main, Deutschland

    Daniel Pinto dos Santos

Authors
  1. Lukas Müller
    View author publications

    You can also search for this author in PubMed Google Scholar

  2. Roman Kloeckner
    View author publications

    You can also search for this author in PubMed Google Scholar

  3. Peter Mildenberger
    View author publications

    You can also search for this author in PubMed Google Scholar

  4. Daniel Pinto dos Santos
    View author publications

    You can also search for this author in PubMed Google Scholar

Corresponding author

Correspondence to Lukas Müller.

Ethics declarations

Interessenkonflikt

L. Müller, R. Kloeckner, P. Mildenberger und D. Pinto dos Santos geben an, dass kein Interessenkonflikt besteht.

Für diesen Beitrag wurden von den Autor/-innen keine Studien an Menschen oder Tieren durchgeführt. Für die aufgeführten Studien gelten die jeweils dort angegebenen ethischen Richtlinien.

Additional information

figure qr

QR-Code scannen & Beitrag online lesen

Rights and permissions

Reprints and permissions

About this article

Check for updates. Verify currency and authenticity via CrossMark

Cite this article

Müller, L., Kloeckner, R., Mildenberger, P. et al. Validierung und Implementierung von künstlicher Intelligenz in der radiologischen Versorgung. Radiologie 63, 381–386 (2023). https://doi.org/10.1007/s00117-022-01097-1

Download citation

  • Accepted:

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s00117-022-01097-1

Schlüsselwörter

Keywords

Search

Navigation