Wie KI definiert werden kann, ist Thema zahlreicher Diskussionen. Während beispielsweise die von der EU einberufene High-Level Expert Group on Artificial Intelligence [1] eine sehr umfängliche Definition annimmt, die von symbolischen Expertensystemen bis in Teile der Robotik reicht, wird auf der anderen Seite häufig verkürzt lediglich das Maschinelle Lernen (ML) als primäres Verfahren von KI hervorgehoben [2]. Grundlegend können Computersysteme oder Maschinen dann als künstlich intelligent betitelt werden, wenn sie in der Lage sind, bis zu einem gewissen Grad selbstständig Probleme zu lösen [3]. Der Begriff der „Intelligenz” kann durch seine Nähe zum Menschlichen dabei kritisch hinterfragt werden, da durch ihn falsche Erwartungen an die mit KI verbundene Leistungsfähigkeit entstehen können. Da jedoch das reine Aufhängen an der Definition vermutlich an den Auswirkungen von KI auf unser Zusammenleben kaum einen Einfluss haben wird [4], verstehen wir, ausgehend von der Grundannahme der selbstständigen Problemlösung, im Folgenden KI als Oberbegriff für Systeme, die auf (statistischen) Modellen und solchen Algorithmen basieren, deren Lösungswege nicht fest programmiert sind. So werden sie in die Lage versetzt, Aufgaben und Entscheidungen, für die menschliche Intelligenz erforderlich ist, zu beeinflussen und in einigen Fällen sogar zu übernehmen [5].

KI-Systeme durchdringen durch den wachsenden Einfluss der Digitalwirtschaft und der verbreiteten Nutzung sozialer Netzwerke bereits unseren Alltag. Aber auch zentrale politische Fragen, beispielsweise wie wir mithilfe autonom gesteuerter Fahrzeuge in Zukunft die Mobilität gestalten oder wie sich die Kriegsführung verändert, stehen in engem Zusammenhang mit den Möglichkeiten, die der Einsatz von KI bietet [6].

Kliniken können im Lebensbereich der Medizin zwar in einigen eng umrissenen Gebieten als Innovationstreiber bezeichnet werden, in Bezug auf den Einsatz von KI-basierter Technologie in der Breite geht es jedoch eher zögerlich voran. Dies liegt u. a. an der fehlenden oder lückenhaften Digitalisierung des klinischen Alltags und damit einhergehend der begrenzten Verfügbarkeit von großen Datensätzen zum Trainieren von KI-Modellen, aber auch an der eingeschränkten Übertragbarkeit der datengetriebenen Methoden zur Anwendung auf medizinische Probleme [7]. Gleichzeitig sind die Anforderungen an Präzision, Sicherheit, Zuverlässigkeit, Gerechtigkeit und Nachvollziehbarkeit solcher Systeme ungleich höher als beispielsweise für automatisierte Empfehlungen im Onlinehandel. Dabei bietet KI großes Potenzial für die Medizin, weshalb verschiedene Systeme zunehmend in der Forschung und in Einzelfällen sogar schon in der Praxis Anwendung finden [8, 9].

Von besonderer Relevanz ist der Einsatz als Entscheidungsunterstützungssystem im klinischen Alltag. Gerade in großen Krankenhäusern zeichnet sich Entscheidungsfindung meist durch „[h]och verdichtete Arbeitsprozesse, Überstunden und [einen] konstante[n] Zeitmangel für Patienten- und Angehörigengespräche [aus]“ [10, S. 1]. KI-Systeme können bei der korrekten Analyse der zur Verfügung stehenden Patient:innendaten helfen, in einigen Fällen sogar Handlungsoptionen bereitstellen. Dadurch bieten sie die Möglichkeit, Arbeitsprozesse zu erleichtern und Fehler zu vermeiden [11].

In der Praxis werden bereits Systeme zur Bilderkennung in den Fachgebieten Radiologie, Augenheilkunde, Pathologie, sowie auch in der Dermatologie und Gastroenterologie eingesetzt [9]. Mit der Verbreitung von neuronalen Netzen und verwandten Methoden hat Maschinelle Bilderkennung ein Niveau erreicht, auf dem diese Systeme in Teilaspekten menschliche Expert:innen hinsichtlich Präzision übertreffen [12]. Gut etabliert sind auch Medikamenten-Interaktions-Checker. Diese werden bereits in vielen Krankenhäusern und Praxen genutzt, um potenziell gefährdende Medikamentenkombinationen zu identifizieren und Ärzt:innen vor solchen Verordnungen zu warnen. Gegenstand regelmäßiger, kontroverser Diskussionen ist Watson for Oncology, der Therapieoptionen für Krebspatienten aus der medizinischen Literatur vorschlägt und als Alternative zur etablierten Methode der interdisziplinären Tumorkonferenz dienen soll [13]. Technisch ähnlich sind die u. a. für die Selbstdiagnose, aber auch zur Unterstützung von medizinischen Expert:innen entwickelten Symptomchecker, unter denen eine Reihe von Programmen verstanden wird, die auf Grundlage der Eingabe von Beschwerden Diagnosevorschläge bereitstellen [14].

Es ist zu erwarten, dass solche KI-Systeme durch die rasante Entwicklung der Sprachtechnologie (Natural Language Processing) weitere Entwicklungsschritte nehmen werden und ganz neue Informationsquellen erschließen können. Datengetriebene Forschung und Entwicklung, die der Förderung von KI in der Medizin dient, beschränkt sich jedoch nicht auf o. g. Fachgebiete und Methoden. Inzwischen hat der Fokus auf ML in vielen medizinischen Forschungsgruppen und Entwicklungsabteilungen der Industrie Einzug gehalten. Daher ist es nur eine Frage der Zeit, bis KI-gestützte Systeme für die klinische Praxis entstehen, sei es als Standalone-Systeme (z. B. Erkennung von Vorhofflimmern mittels Smartwatch), eingebettet in klinische Behandlungspfade (z. B. Chatbots zur Erleichterung der Triage in der Notaufnahme) oder als Teil eines Medizinprodukts (z. B. Zusatzfunktionen von Ultraschallgeräten zur automatisierten Berechnung bestimmter Parameter).

Aufgrund der vielen Einsatzmöglichkeiten in Anamnese, Diagnose und Therapie ist davon auszugehen, dass der Einsatz von KI die klinische Versorgung in Zukunft immer weiter prägen wird. Umso wichtiger ist es, sicherzustellen, dass die Analyse von Gesundheitsdaten bestmöglich zur Verbesserung der Gesundheitsversorgung genutzt wird. Dabei bleiben medizinisch-technische Hürden zu überwinden, um die großen Versprechen der KI, das Gesundheitssystem nachhaltig zu verbessern, auch einzulösen. Diese Aspekte können in diesem Beitrag jedoch allenfalls skizziert werden. Im Vordergrund steht die Gestaltung der Interaktion zwischen Systemen und Menschen sowie der entsprechenden regulatorischen Rahmenbedingungen, um KI-Systeme zur Entscheidungsunterstützung im klinischen Alltag zu etablieren. Ziel ist es, einen Rahmen zu entwerfen, in dem diese neuen Entwicklungen sicher ermöglicht und die technischen Potenziale im Sinne der Patient:innen und Beschäftigten im Gesundheitssystem so weit wie möglich ausgeschöpft werden.

1.1 Anforderungen an den Einsatz von KI im klinischen Entscheidungsprozess

Häufig werden Herausforderungen des Einsatzes von KI-Systemen im Umgang mit Unsicherheit, Undurchsichtigkeit, Bias und potenzieller Diskriminierung der heutigen Algorithmen und Modelle, die ihnen jeweils zugrunde liegen, diskutiert. Die Systeme haben die bereits erwähnte Fähigkeit, Daten zu analysieren und zu interpretieren, verbunden mit der Möglichkeit, Vorschläge bereitzustellen, welche Rückschlüsse aus den vorhandenen Daten gezogen werden können. Dadurch ist der Einsatz dieser Systeme mit dem Potenzial verbunden, Entscheidungen aktiv zu beeinflussen, in einigen Fällen sogar zu ersetzen [15, 16]. Basierend auf dieser Grundannahme ist der potenzielle Schaden hoch, den der Einsatz von KI gerade in klinischen Entscheidungsprozessen mit sich bringen kann. Beispielsweise kann es durch die schlechte Qualität von Daten oder ungeeignete Modellierungen zu fehlerhaften Diagnosen kommen, aber auch ein System, welches seine vorgesehene Funktion zuverlässig ausübt, ist kein Garant dafür, die richtige Entscheidung für die jeweils individuelle Situation bereitzustellen, in der sich Ärzt:innen und Patient:innen befinden [17].

Selbstbestimmung als Leitgedanke

An dieser Stelle kann die Frage gestellt werden, ab wann KI-Systeme überhaupt einen Nutzen für die Gesundheit der Patient:innen bieten. Dabei sollte nicht der Fehler gemacht werden, Gesundheit lediglich als Abwesenheit von Krankheit aufzufassen. Das wird der Komplexität eines derart grundlegenden existentiellen wie gesellschaftlichen Phänomens nicht gerecht [18]. Vielschichtiger erscheint ein Verständnis von Gesundheit, das sie versteht als die Fähigkeit, mit körperlichen oder psychischen Störungen derart umgehen zu können, dass diese weder den Einzelnen noch die Gesellschaft zur Überforderung führen [19]. Gesundheit ist dann nicht nur die Wiederherstellung eines objektiv bezeichneten Zustandes körperlicher oder psychischer Unversehrtheit, sondern ein wesentlicher Teil der Befähigung, auf individueller und sozialer Ebene einen selbstbestimmten Umgang mit Krankheit zu ermöglichen und aufrechtzuerhalten, d. h. Eigenverantwortung und Solidarität zu fördern [20].

Eine Auseinandersetzung mit neuen technischen Behandlungsmethoden fragt demzufolge nicht nur danach, wie gut diese gegen gewisse Krankheiten wirken, sondern auch, wie durch sie die Fürsorge und Gerechtigkeit von Behandlungen verbessert, Schaden vermieden und die Selbstbestimmung aller beteiligten Akteure aufrechterhalten werden kann [21]. Diesem Verständnis folgend darf es nicht darum gehen, neue Technologien willkürlich (nicht) zum Einsatz zu bringen. Es muss gefragt werden, wie wir mit den uns zur Verfügung stehenden Möglichkeiten das Gesundheitssystem bestmöglich gestalten können [22]. Das selbstbestimmte Wohl betroffener Menschen muss daher im Zentrum der Diskussion gesundheitsfördernder und krankheitsverhindernder Maßnahmen stehen. Allein deshalb sollte es bei der Gestaltung des Einsatzes neuer KI-Systeme nicht darum gehen, ob sie in der Lage sind, medizinisches Personal durch Rationalisierung zu ersetzen. Der Fokus muss darauf gerichtet werden, wie das medizinische Umfeld zusammen mit derartigen Systemen gestaltet werden sollte [23].

Orientierung bietet das Ideal, klinische Entscheidungsfindung partizipativ zu gestalten. Als Goldstandard gilt das sogenannte shared decision-making. Dabei geht es darum, die Patient:innen gebührend über den Krankheitszustand und die möglichen Therapieoptionen zu informieren und ihnen darüber hinaus (eingebunden in ihren jeweiligen entscheidenden Beziehungskontext, z. B. von Angehörigen) die Möglichkeit zu geben, die eigenen Bedürfnisse bewusst mit in die Entscheidungsfindung einfließen zu lassen und die Entscheidung am Ende auch selbst zu treffen [24]. Hier findet sich das Ideal wieder, Patient:innen auch in Phasen der Krankheit ein Höchstmaß an Selbstbestimmung zu ermöglichen.

Die reale Umsetzung ist sehr herausfordernd und erfordert spezifische Kompetenzen von allen Beteiligten. Nicht nur muss das medizinische Personal in der Lage sein, Chancen und Risiken einer bestimmten Therapieoption adäquat und verständlich zu kommunizieren, auch müssen Patient:innen die Möglichkeit bekommen, konkret nachzufragen, falls bestimmte Sachverhalte für die endgültige Entscheidungsfindung unklar sind [25]. Zudem kann das Ideal der partizipativen Entscheidungsfindung im durchrationalisierten klinischen Alltag – vorsichtig formuliert – nicht immer gelingen. Auch wenn es von allen Beteiligten als erstrebenswert angesehen wird, zeigt sich in der Praxis häufig nach wie vor ein paternalistisches Vorgehen [26, 27]. Fragen nach dem Einsatz von KI-Systemen in der Medizin können demnach immer auch dahin gehend reflektiert werden, ob partizipative Entscheidungsfindung gefördert oder behindert wird.

Das System als neuer Akteur

Es gilt zu beachten, dass KI-Systeme in der Klinik auf ein Umfeld stoßen, in dem Entscheidungsfindung bereits ein komplexes Unterfangen darstellt, da beispielsweise Hierarchien eine Rolle spielen können und häufig habituierte Prozesse ablaufen. Das wirft die Frage auf, welchen Einfluss die Fähigkeit der Entscheidungsunterstützung durch KI auf dieses Umfeld hat. KI-Systemen können Aufgaben übertragen werden, die ursprünglich menschliche Akteure mit ihren kognitiven, emotionalen und kommunikativen Fähigkeiten benötigen [28]. In den Systemen interagieren Daten, Algorithmen und Modelle oft auf eine schwer nachvollziehbare Art, die nicht auf entsprechende menschliche Herangehensweisen und Erklärmuster rückführbar ist [29]. Die Systeme sind dadurch in der Lage, Diagnosen zu stellen oder Therapieoptionen zu empfehlen, wodurch sie einen großen klinischen Nutzen mit sich bringen können. Eine konkrete Einschätzung oder Empfehlung eines Systems unterscheidet sich jedoch im alltäglichen Einsatz von der Kenntnisnahme eines Laborwertes mit vorgegebener Interpretation. Es ist anzunehmen, dass mit dem Einsatz von KI den gängigen Interaktionsprozessen innerhalb der Klinik eine Entität zwischengeschaltet wird, die selbst Eigenschaften eines eigenständigen Akteurs besitzt, beziehungsweise der diese zugeschrieben werden. Eine Empfehlung kann schließlich verschiedene Reaktionen hervorrufen: Ihr kann blind gefolgt werden, sie kann hinterfragt werden, sie kann unverständlich sein, Sorgen bereiten sowie mit Kolleg:innen und Angehörigen besprochen werden. Deshalb muss eine Reflexion über die Folgen des Einsatzes von KI-Systemen im klinischen Alltag berücksichtigen, dass sowohl Patient:innen als auch Ärzt:innen mit den zur Verfügung stehenden Systemen in Interaktion treten, was letztendlich auch deren Beziehung beeinflusst [30].

Dieser Einfluss auf die Interaktion ist nicht nur von der Komplexität der Systeme abhängig. Es geht auch darum, wie die Einschätzungen und Vorschläge der KI dargestellt sind und welchen Einfluss die Systeme damit auf die Nutzer:innen haben. Anstatt nur auf die Leistungsfähigkeit von KI-Systemen zu blicken, ist es zunehmend wichtig, genauer in konkrete Abläufe bei der Nutzung hineinzuschauen. Die verschiedenen Abläufe während der Entscheidungsfindung im klinischen Alltag sind geprägt von normativen Konzepten, wie Vertrauen, Transparenz und Verantwortung. Geht man davon aus, dass sich die Interaktion zwischen den beteiligten Akteur:innen durch die Verwendung von KI-Systemen verändert, muss auch der Einfluss auf diese normativen Konzepte Teil der Auseinandersetzung sein.

Allein die Tatsache, dass Patient:innen sich in medizinische Behandlung begeben, weist auf Hilfsbedürftigkeit und Vulnerabilität hin [31]. Patient:innen müssen sich auf das medizinische Umfeld verlassen können und in der Lage sein, dem medizinischen Personal zu vertrauen. Es besteht weitestgehender Konsens in der Annahme, dass für eine erfolgreiche Behandlung eine vertrauensvolle Beziehung zwischen den behandelnden Ärzt:innen und den Patien:tinnen unerlässlich ist [32]. Um Entscheidungen an Systeme abzugeben oder sie zumindest davon beeinflussen zu lassen, sollte demnach der Einfluss auf dieses Vertrauensverhältnis reflektiert werden. Einem System Vertrauen entgegenzubringen, ist nicht immer selbstverständlich. Dies gilt besonders, wenn intransparent ist, wie die jeweiligen Entscheidungen des Systems zustande kommen, was durch eine fehlende Standardisierung der Systeme begünstigt wird. Transparenz bedeutet aber nicht zwingend, dass jeder Schritt einer Datenanalyse für alle Beteiligten offengelegt werden muss. Vertrauen kann auch dadurch erreicht werden, dass Transparenz in Bezug auf die Frage geschaffen wird, inwiefern die Einschätzungen eines Systems auf ein Umfeld treffen, in dem diese werteorientiert und unter Expertise eingebettet werden [33]. Zudem sollte zumindest der Entwicklungsprozess nachvollzogen werden können sowie grundlegende Informationen darüber zugänglich sein, wie ein System zu seinen Ergebnissen kommt und welche Risiken mit der Anwendung verbunden sind. Nicht alle Nutzer:innen müssen das System im Ganzen verstehen, um ihm zu vertrauen, aber sie sollten wissen, warum sie ihm vertrauen können [34].

Neue Fragen entstehen auch in Bezug auf Verantwortung. Zwar werden viele Debatten darüber geführt, ob KI-Systeme als moralische Akteure gelten und somit auch für Fehlentscheidungen verantwortlich gemacht werden könnten. Für den Bereich der Medizin besteht jedoch weitestgehender Konsens darüber, dass die notwendige Sensibilität durch die Vulnerabilität der Anwender:innen dafür spricht, dass diese Debatte in der Praxis in naher Zukunft kaum eine Rolle spielen wird [32]. Trotzdem kann vermutet werden, dass es durch die Vielzahl von Akteuren, die an der Entwicklung und dem Einsatz der Systeme in der Medizin beteiligt sind, zu einer Verantwortungsdiffusion kommen kann. Steigt die Komplexität der Algorithmen an, wird es sowohl für die Anwender:innen als auch für die Enwickler:innen immer schwieriger, deren Resultate vorherzusagen [35]. Durch den wachsenden Einfluss von KI-Systemen besteht so die Möglichkeit einer Verschärfung des sogenannten „Problems der vielen Hände“, wenn also mehrere Akteure an einer Entscheidung beteiligt sind und somit auch die Verantwortung für Konsequenzen geteilt wird [36]. Fehler werden jedoch unvermeidbar sein, weshalb Verantwortung im Gesundheitswesen neu gedacht werden muss [37]. Gerade der Umgang mit Verantwortungsdiffusionen ist eine der großen Herausforderungen.

1.2 Forschungsbedarf

Mit diesen Anforderungen im Hintergrund stellt die Etablierung von KI-Systemen als Entscheidungsunterstützung im klinischen Alltag ein komplexes Unterfangen dar, welches aus verschiedenen Perspektiven beleuchtet werden kann. Aus medizinischer Forschungsperspektive sind mit Blick auf die Durchführung und das Reporting von klinischen Studien mit KI-Systemen (DECIDE-AI, SPIRIT-AI, und CONSORT-AI) und KI-basierten Vorhersagemodellen (TRIPOD-AI) bereits konkrete Vorschläge gemacht worden [38–40]. Diese sollen sicherstellen, dass die Nachvollziehbarkeit und Transparenz der datengetriebenen Forschung stets gegeben ist, und verfolgen gleichzeitig das Ziel, eine Verbesserung von patient:innenorientierten klinischen Endpunkten zu erreichen. Auch aus ethischer Perspektive existiert bereits eine breite Debatte über Prinzipien, die für die Implementierung von KI-Systemen in die Patient:innenversorgung Beachtung finden sollen. Häufig werden dabei geltende Prinzipien der Bioethik – Wohlwollen, Gemeinnützigkeit, Autonomie und Gerechtigkeit – als Maßstab herangezogen und durch das Prinzip der Erklärbarkeit ergänzt [41]. Wie diese Prinzipien jedoch in die Praxis überführt werden können, ist ohne genaueres Wissen über das soziale Umfeld, in das die Systeme integriert werden sollen, schwierig zu beantworten [23]. Ebenso existieren bereits unterschiedliche rechtliche Vorschläge, wie mit den Besonderheiten KI-gestützter Entscheidungen normativ umzugehen sei. KI-Systeme erzeugen unvorhersehbare Ergebnisse und sind für die involvierten Akteure nicht immer ohne Weiteres kontrollierbar. Die Spannbreite diskutierter Lösungen ist daher groß: Teilweise wird die Ansicht vertreten, Änderungen und Anpassungen seien nicht notwendig, das bestehende Haftungs- und Strafrecht sei vielmehr ausreichend. Andere Empfehlungen fordern hingegen die Einführung einer Gefährdungshaftung oder einer Zwangsversicherung. Letztendlich versuchen all diese Ansätze, bestehende Konzepte von Verantwortung auf die Interaktion zwischen Mensch und KI-System zu übertragen [42].

Es gibt demnach Forschungsbedarf bezüglich der realen Anwendungsfelder, in denen KI-Systeme zum Einsatz kommen sollen. Dieser umfasst sowohl die Frage, wie geltende ethische Prinzipien in die Praxis überführt werden können, als auch inwiefern gängige rechtliche Konzepte für diese Entwicklung angebracht sind. Zur Bewertung für die in der Ethik und Rechtswissenschaft vorgeschlagenen Konzepte müssen zunächst Erkenntnisse über die Interaktion von Mensch und System gesammelt und anschließend mit diesen in Zusammenhang gebracht werden. Diese interdisziplinäre Verknüpfung leisten die folgenden Kapitel. In empirischen Studien, in denen Ärzt:innen und Patient:innen teils mit realen, teils mit fingierten KI-Systemen interagieren, wurden neben medizinisch-technischen insbesondere ethische und rechtliche Fragestellungen mittels Interviews untersucht. So können die empirischen Ergebnisse dabei helfen, die theoretischen Konzepte praxistauglich in konkrete Handlungsempfehlungen weiterzuentwickeln. Im Anschluss folgt ein Überblick über die Ergebnisse aus zwei Anwendungsfällen. Daraufhin werden Vorschläge aus Ethik und Recht zusammengestellt, um die Ergebnisse zu erweitern und einzuordnen. Hiervon stellen wir die aus unserer Sicht praktikabelsten heraus, um die Frage zu stellen, wie der Einsatz von KI-Systemen in den klinischen Alltag bestmöglich gelingen kann.