In Anbetracht der Chancen, die sich aktuell durch den Einsatz von KI in der Klinik bereits abzeichnen, gilt es zunächst, diese in eine ethische Reflexion einzubeziehen. Es sollte ein Rahmen geschaffen werden, um Systeme zu etablieren, welche die Befähigung im Umgang mit Krankheiten begünstigen. Die Frage, die gestellt werden muss, ist demnach, wie Gesundheitsförderung, d. h. eine möglichst hohe Selbstbestimmung und Autonomie auch in Phasen der Krankheit, durch den Einsatz neuer KI-Systeme gelingen kann. Dabei kann das Konzept des shared decision-making als Ziel formuliert werden. Vertrauen, Transparenz und Verantwortung sind Voraussetzungen für diese Gestaltung und stehen in engem Zusammenhang mit Kontrollansprüchen über die zur Verfügung stehenden Systeme. Die empirischen Studien verdeutlichen, wie wichtig es ist, den sozialen Kontext nicht zu vernachlässigen, in den KI-Systeme eingebettet werden sollen. Zudem wird deutlich, dass den beteiligten Akteuren Raum gegeben werden sollte, aktiv an der Implementierung beteiligt zu sein. Deshalb wird im Folgenden auf Grundlage der Rückschlüsse aus der Empirie das bisher kaum in der medizinischen Domäne angewandte Konzept der Meaningful Human Control (MHC) vorgestellt, das vielversprechende Gedanken für den praxisbezogenen Umgang mit Herausforderungen bereithält, der sich durch den Einsatz von KI zur Entscheidungsfindung ergibt. Daran anschließend kann aus den vorangegangenen Überlegungen die Frage gestellt werden, wie Partizipation im gesamten Prozess der Etablierung und des Einsatzes von KI im klinischen Alltag neu gedacht werden kann.

3.1 Möglichkeiten bedeutsamer Kontrolle

Ich hab ja häufig eher stärker entschieden, tendenziell eine höhere Wahrscheinlichkeit für den Infekt oder für den Transplantatverlust angenommen, weil mich das dann dazu bringt, engmaschigere Kontrollen zu machen. Und das würde ich auch anhand dieses KI-Systems nicht ändern, selbst wenn das KI-System mir dann Entwarnung gibt und sagt, das ist eher weniger wahrscheinlich, würde mein Bauchgefühl schon überstimmen. Und letztendlich tun ja diese Kontrollen nicht weh, die sind nur ein bisschen zeitaufwendig. KI in der Behandlung von Patienten würde ich wahrscheinlich nur aktiv nutzen, wenn es mir die Daten besser aufbereitet, besser visualisiert und sehr hohe, große Datenmengen, die nicht zu überblicken sind, nachvollziehbar aufbereitet. (Nephrologin)

Wie in den zwei angeführten Studien ersichtlich wird, stellen Ärzt:innen Kontrollansprüche an die zur Verfügung stehenden Systeme, um den bereits bestehenden Anforderungen der Entscheidungsfindung und der damit einhergehenden Verantwortung gerecht zu werden. Auch aus Patient:innenperspektive wird deutlich, wie wichtig es ist, die Verantwortung des medizinischen Personals nicht in Gänze auf Patient:innen oder das System zu übertragen und für eine adäquate Aufklärung zu sorgen. Obwohl KI-Systeme Patient:innen mehr Kontrolle über ihre Behandlung ermöglichen können, sollte die Beziehung zum medizinischen Personal durch den Einsatz von KI nicht abnehmen, sondern weiterhin Sicherheit und Orientierung bei der Behandlung bieten. Aufbauend auf dieser Schlussfolgerung werden in diesem Kapitel Vorschläge angeführt, wie die bisherigen Ergebnisse in diesem Sinne erweitert werden können. Dafür wird zunächst auf das Konzept der MHC zurückgegriffen. Dieses hat seinen Ausgangspunkt in der Diskussion um automatisierte Waffensysteme und dem Gedanken, dass letztendlich Menschen Kontrolle über und damit Verantwortung für Entscheidungen, die von KI-Systemen beeinflusst sind, zukommen sollte [55]. Für den Bereich der Medizin ist das Konzept aktuell noch nicht in Gänze ausgearbeitet, bietet jedoch viele Anknüpfungspunkte.

Die erste Frage, die sich mit Blick auf MHC stellt, ist die Erweiterung menschlicher Kontrolle durch das Adjektiv „meaningful“. Wieso genügt es nicht, menschliche Kontrolle im klassischen Sinne zu ermöglichen? Eine treffende Antwort darauf geben Horwitz und Scharre (2015) mit einem anschaulichen Beispiel:

One way to think about what is captured by the term ‘meaningful’ is by thinking about what it excludes. Consider a person who sits in a room and is supposed to press a button every time a light bulb in the room goes on. If the person does this as instructed, and a weapon fires each time the person presses the button, a human has fired the weapon, but human control over the weapon is far from meaningful. [56, S. 10]

Gerade Entscheidungen mit hoher moralischer Tragweite sollten nicht in Gänze an Systeme delegiert werden [57]. Im Bereich der Medizin, in dem Entscheidungen mindestens Einfluss auf die Lebensqualität der Patient:innen haben und es nicht selten um deren Überleben geht, kann dieser Grundsatz ebenfalls geltend gemacht werden [58]. Bezogen auf Kontrolle reicht es nicht aus, ein System einfach nur bedienen zu können. Es muss auch verstanden werden, welche Folgen die Verwendung des Systems mit sich bringt. Im angeführten Beispiel wird deutlich, welche Voraussetzung für eine bedeutsame Kontrolle fehlt. Die Person im Raum müsste auch die Möglichkeit haben, sich zu entscheiden, ob der Knopf gedrückt werden soll oder nicht, selbst wenn die Glühbirne leuchtet. Die Entscheidung, ob die Waffe abgefeuert wird oder nicht, obliegt sonst nicht der Person selbst. Eine aktive Entscheidung zu treffen, würde jedoch voraussetzen, dass die Person nicht nur über die Funktionsweise des Systems Bescheid weiß, sondern auch über den Kontext, in dem das System operiert, zusammen mit den Folgen, die sich durch die Verwendung im jeweiligen Kontext ergeben. Als Grundvoraussetzung für MHC kann demnach hervorgehoben werden, dass die Entscheidung mit einem KI-System immer eine informierte Entscheidung sein sollte. Die Menschen, die zusammen mit dem System Entscheidungen treffen, müssen sich über die Möglichkeiten und Grenzen im Klaren sein, die das jeweilige System bietet [57].

„Meaningful“ meint im Sinne der MHC also tatsächlich „bedeutsam“ und verweist auf eine kontextsensible Herangehensweise, um den Einsatz von KI-Systemen zu gestalten. Demnach muss es mindestens eine Person im Entwicklungs- oder Nutzungskontext geben, welche die Fähigkeiten des Systems kennt und dessen Auswirkungen auf die Umwelt einschätzen kann, bzw. muss sichergestellt sein, dass die verwendeten Systeme ausreichend getestet und die Nutzer:innen dafür ausgebildet sind, diese auf adäquate Weise zu verwenden [56]. Was jedoch in einer akuten Entscheidungssituation in der Klinik bedeutsam ist und was nicht, ist selten eindeutig. Gerade im medizinischen Bereich ist die Fähigkeit, neue und unerwartete Kontexte, beispielsweise durch die Eigenheiten von Patient:innen oder einer unerwarteten Kombination verschiedener Krankheitsbilder und Notlagen, einschätzen zu können, eine fundamentale Anforderung an medizinische Expert:innen. Diese Fähigkeit kann nur durch ein hohes Maß an fachspezifischem Wissen und langjähriger Erfahrung erlangt werden [22]. Ein derartiger Anspruch an Expert:innen wird mit dem Einsatz von KI-Systemen nicht verschwinden. Ganz im Gegenteil zeigt das Konzept der MHC die Notwendigkeit, Expertise zusammen mit den zur Verfügung stehenden Systemen auszuüben und zu erweitern [59]. Es sollte die Möglichkeit geben, die eigene Expertise gewinnbringend zusammen mit dem Einsatz von KI-Systemen einzubringen, eventuell sogar neue Erfahrungen durch die Interaktion mit dem System zu generieren. Es geht also darum, die Interaktion zwischen Systemen und Nutzer:innen in den Fokus der Frage nach Kontrolle zu rücken.

Zudem steht MHC in engem Zusammenhang mit der Forderung, Verantwortungszuschreibung so zu denken, dass diese auch mit dem Einsatz von teilweise autonom entscheidenden Systemen nachvollziehbar möglich ist [55]. Zentrales Problem der Verantwortungszuschreibung ist die Frage danach, ob es angemessen ist, die Verantwortung Nutzer:innen zuzuschreiben, die ein bestimmtes System bedienen, obwohl sie es nicht auf adäquate Art und Weise verstehen. Auf der anderen Seite scheint es ebenfalls problematisch, die Entwickler:innen der Systeme, die zwar ein detaillierteres technisches Verständnis, jedoch kaum Einfluss auf die tatsächliche Anwendung im jeweiligen Kontext haben, verantwortlich zu machen. MHC bietet eine Möglichkeit, Verantwortung denjenigen zuzuschreiben, denen bedeutsame Kontrolle über ein System zugesprochen werden kann [59], um so dem Problem der Verantwortungsdiffusion zu begegnen. Jedoch werden kaum generalisierbare Aussagen darüber getätigt werden können, wie allgemein mit KI-Systemen in der Klinik in Interaktion zu treten ist. Vielmehr kommt es auf den Kontext der Interaktion mit dem System und deren Ausgestaltung an.

3.2 Voraussetzungen bedeutsamer Kontrolle

Das Konzept der MHC schafft Möglichkeiten, ist jedoch auch voraussetzungsvoll. Da mit einem gewissen Grad an Autonomie der Systeme auch eine höhere Komplexität einhergeht, stellt sich die Frage, wie ein Verständnis über und eine gewinnbringende Interaktion mit KI-Systemen sichergestellt werden kann. So muss nachvollzogen werden können, wie ein System zu seiner Entscheidung gelangt, um sicherzugehen, dass es den jeweiligen Anforderungen gerecht wird und im Zweifelsfall die Möglichkeit besteht, zu intervenieren. Aus diesem Grund steht MHC auch in Zusammenhang mit der Frage der Erklärbarkeit [60]. Ohne die Möglichkeit, die Ergebnisse eines KI-Systems erklärbar zu gestalten, wird Individuen die Option verwehrt, bedeutsam Einfluss auf Entscheidungsprozesse zu nehmen, was nicht nur die Partizipation an den Entscheidungen gefährdet, sondern auch die Selbstbestimmung der Menschen, auf die durch ein KI-System Einfluss genommen wird [61].

Erklärbarkeit wird oft als Schlüssel zur Lösung des Problems der sogenannten „Blackbox-Algorithmen“ genannt, um den Mangel an Transparenz zu beheben und Vertrauen und Sicherheit zu schaffen [48], setzt jedoch auch hohe Anforderungen an das Individuum, das nicht nur das System in gewisser Hinsicht verstehen, sondern die Verwendung dieses Systems mit den eigenen Zielen in Verbindung bringen muss [62]. Deshalb kann es nicht darum gehen, jeden Analyseschritt eines Systems für alle Beteiligten transparent zu gestalten, da davon auszugehen ist, dass nicht alle Beteiligten das technische Know-how dafür besitzen und bei steigender Komplexität der Systeme selbst die Entwickler:innen nicht jeden Schritt der Analyse nachvollziehen können [63].

Die Frage, wie es technisch möglich sein kann, die Rückschlüsse eines KI-Systems erklärbar darzustellen, ist durchaus von Bedeutung. Dabei darf jedoch nicht vergessen werden, dass Erklärbarkeit auch eine deutliche soziale Komponente aufweist [64]. Beispielsweise sind die Entscheidungen während des Entwicklungsprozesses bereits wertebasiert. Entwickler:innen benötigen ein Problembewusstsein, um ein System für einen bestimmten Zweck zu entwickeln. Jede Entscheidung, die Art und Weise betreffend, wie ein System programmiert und mit welchen Daten es trainiert wird, ist eine von Menschen getroffene [65]. Um Erklärbarkeit zu erlangen, reicht es demnach nicht aus, nur nach technischen Möglichkeiten der Darstellung von Ergebnissen zu fragen. Auch die menschliche Aktion hinter dem System kann durch aktiven Austausch mit Entwickler:innen transparent gestaltet und sogar beeinflusst werden, wenn sie mit den Akteuren des jeweiligen sozialen Umfelds in Kontakt treten. Was eine Erklärung genau ausmacht, und welche Erklärungen angebracht sind, ist Thema zahlreicher Debatten über den Umgang mit KI-Systemen [66]. Klar ist, dass Erklärbarkeit nicht einfach von Entwickler:innen bereitgestellt werden kann, sondern im Austausch mit den beteiligten Akteuren entstehen und aufrechterhalten werden muss [67].

Zusammengefasst erweitert das Konzept der MHC eine klassische Betrachtung von Kontrollierbarkeit durch einen stärkeren Fokus auf den Kontext, in dem die Systeme zum Einsatz kommen. Es steht in Verbindung mit der Forderung, die Interaktion zwischen System und Mensch in den Blick zu nehmen, Verantwortungszuschreibung neu zu denken und dabei den gesamten Prozess der Entwicklung und Etablierung der Systeme in die Betrachtung einzubeziehen [68]. Beim Konzept der MHC geht es demnach um mehr als die direkte Kontrolle über ein System. Es geht um die Verantwortung, ein soziotechnisches Umfeld angemessen zu gestalten, Technik also nicht allein, sondern im Kontext der Individuen und Organisationen zu betrachten, in dem sie Anwendung findet [69]. Darüber hinaus bedeutet eine soziotechnische Reflexion auch, jeglichen Phasen des Einsatzes neuer Systeme, von der Entwicklung über die Implementierung bis hin zur kontinuierlichen Überprüfung des Einsatzes, Beachtung zu schenken [59, 70]. Dass bei der Entscheidungsfindung in der Klinik neben dem medizinischen Personal auch Patient:innen mit in die Diskussion einbezogen werden müssen, erschließt sich bereits aus den Ausführungen zur partizipativen Entscheidungsfindung. Der soziale Kontext kann jedoch weitergedacht werden. Es erscheint unangebracht, moralische Entscheidungen im Gesundheitsbereich im Ganzen auf Systeme zu übertragen, zugleich aber auch unfair, die Nutzer:innen allein durch die Verwendung für Folgen verantwortlich zu machen [71]. Verantwortung beginnt bereits bei politischen Entscheidungsträger:innen und den Hersteller:innen der Systeme. Schon bei der Regulation und der Entwicklung muss sichergestellt sein, dass Systeme auf den soziotechnischen Kontext ausgerichtet sind, in dem sie zum Einsatz kommen sollen [72].

3.3 Gestaltung eines partizipativen Prozesses

Durch den Bezug zum Ansatz der MHC besteht die Forderung, Kontrollansprüche und damit auch die Zuschreibung von Verantwortung neu zu denken. Durch die Herausforderung, KI-Systeme erklärbar zu gestalten, werden sich Entwickler:innen nicht nur auf die Performanz ihrer Systeme verlassen können, sondern den Mehrwert der Systeme in Zusammenhang des Anwendungskontextes bringen müssen [73, 74]. Diese Forderung wird bereits in verschiedenen Vorschlägen zu Maßnahmen für den Einsatz von KI-Systemen aufgegriffen, wobei stets deutlich gemacht wird, den Fokus auf die Anwender:innen zu setzen [23, 75, 76]. Deshalb muss auch die Entwicklung und Herstellung in die Ausgestaltung eines regulatorischen Rahmens mit einbezogen werden. Mehr noch, die Anwender:innen der Systeme müssen mit in den Entwicklungsprozess eingebunden werden [75, 77].

Bei all dem dürfen jedoch die Eigenarten von KI-Systemen nicht in den Hintergrund geraten. Selbst wenn die Etablierung eines Systems gelingt, wird es zu Situationen kommen, in denen unvorhergesehene Fehler entstehen, mit denen ein Umgang gefunden werden muss. Es benötigt eine ständige Evaluation vor, während und nach der Implementierung. Gerade Systeme, die ihre zugewiesenen Aufgaben mit einem hohen Grad an Autonomie ausführen, müssen dauerhaft kontrolliert und optimiert werden, was den Fokus von einer Prozesskontrolle eher hin zu einer Erfolgskontrolle verschiebt [75]. Deshalb sollte ein regulatorischer Rahmen Maßnahmen berücksichtigen, die auch nach der Implementierung der Systeme Austausch und Partizipation an der kontinuierlichen Ausgestaltung ihres Einsatzes ermöglichen, um eine Gestaltung über reine Prinzipien hinaus zu ermöglichen [78]. Dadurch erschließen sich neue Sichtweisen, beispielsweise auf das Konzept der Vertrauenswürdigkeit. Durch die Unvorhersehbarkeit und Undurchsichtigkeit von KI ist deren Einsatz stets mit Risiken verbunden. Somit sind gerade KI-Systeme prädestiniert dafür, Vertrauen auch zu enttäuschen und durch Intransparenz Misstrauen zu erzeugen [79]. Vertrauen muss demnach aufrechterhalten, manchmal sogar wiederhergestellt werden. Anstatt dieses Wesensmerkmal der Etablierung von KI als Mangel zu verstehen, kann es im Sinne der MHC als Teil des Prozesses gesehen werden, der dauerhaft zur Kontrolle der Systeme beiträgt. Aufkommendes Misstrauen kann genutzt werden, um Vertrauen wiederherzustellen. Dafür muss es jedoch die Möglichkeit geben, auch Misstrauen den Systemen gegenüber äußern zu können, genauso wie Enttäuschung über Fehlleistungen und Schaden, der durch den Einsatz verursacht wurde. Diesbezüglich benötigt es Räume, in denen Austausch über Erwartungen und Erfahrungen stattfindet [80]. Vertrauen sollte demnach auch im soziotechnischen Kontext verstanden werden. Einerseits braucht es gewisse Formen von Transparenz und Erklärbarkeit, um Vertrauen in der direkten Interaktion mit KI-Systemen herzustellen. Das medizinische Personal und Patient:innen müssen jedoch auch den Entwickler:innen vertrauen, welche die Systeme herstellen, und andersherum müssen Entwickler:innen darauf vertrauen können, dass die Systeme richtig angewendet werden, und selbst offen für Feedback der Nutzer:innen sein [33]. Zudem muss es auch nach der Implementierung eines KI-Systems die Möglichkeit geben, Eingriffe und Veränderungen an diesem vorzunehmen, gerade auch um vulnerable Personengruppen zu schützen [81].

Ähnliches kann für die Frage konstatiert werden, wie mit der Verantwortungsdiffusion umgegangen werden soll, die durch den Einsatz von KI-Systemen zu erwarten ist. Diskutiert wird, ob durch den Einsatz von KI Situationen entstehen, in denen kein Akteur die Verantwortung für Fehler zu tragen scheint, oder ob sich die Verantwortungszuschreibung übertragen lässt [37, 82]. Damit wird das Ziel verfolgt, potenzielle Verantwortungslücken zu vermeiden, also Situationen, in denen kein Akteur rechtlich oder moralisch für Fehler verantwortlich gemacht werden kann. Abgesehen davon könnte jedoch auch die Frage gestellt werden, wie mit der zu erwartenden Verantwortungsdiffusion so umgegangen werden kann, dass entstehende Lücken dafür genutzt werden, den Umgang mit Verantwortungsdiffusion zu überdenken und anzupassen [83]. Auch hier gilt es, den Anwender:innen der KI-Systeme die Möglichkeit zu geben, ihre Erfahrungen zu teilen und sicherzustellen, dass Kritik an den richtigen Stellen Gehör findet.

Einerseits müssen die Rollen aller Akteure und deren Verantwortung im gesamten Prozess klar definiert sein [68]. Andererseits sorgt der notwendige Umgang mit Unsicherheiten ebenfalls für die Erfordernis eines kontinuierlichen Austausches, um den Prozess stetig flexibel weiter gestalten zu können und aus Fehlern zu lernen. Auch hier gilt es, Akteure miteinander zu vernetzen und Räume der Deliberation zu schaffen (Patient:innen, Angehörige, Ärzt:innen, Pflegepersonal, Entwicklung). Dabei sollten bereits bestehende Strukturen genutzt werden, beispielsweise bereits vorhandene Steuerungsmechanismen in Kliniken [84].