Basierend auf einem klassischen ML-Verfahren wurde eine erste Studie mit einem Entscheidungsunterstützungssystem im Bereich der Nierentransplantation durchgeführt. Bereits in einer Evaluation ohne Proband:innen erzielte das System vielversprechende Ergebnisse für die Vorhersage einer möglichen Transplantatabstoßung, eines Transplantatversagens und einer schweren bakteriellen Infektion bei nierentransplantierten Patient:innen [43]. Um einen Eindruck davon zu gewinnen, ob das ML-System auch in der Praxis einen Mehrwert schaffen kann, wurden insgesamt 14 Ärzt:innen im Rahmen eines Experiments gebeten, zunächst ohne Unterstützung und anschließend mit dem System zusammen Datenpunkte von nierentransplantierten Patient:innen vorherzusagen. Die Ergebnisse dieses kleinen Experiments zeigen, dass das ML-System bessere Vorhersagen treffen kann als die Ärzt:innen. Jedoch verbesserten die Ärzt:innen ihre Vorhersagen nicht zwangsläufig dadurch, dass sie zusammen mit diesem System arbeiteten [43]. Um den Grund dafür genauer zu beleuchten, wurden im Anschluss daran Interviews geführt und ausgewertet, in denen die Ärzt:innen Aufschluss über das Experiment selbst und die Interaktion mit dem ML-System gaben, aber auch über die Themen, welche sie in Bezug zum Einsatz von KI-Systemen in der Klinik insgesamt beschäftigen.

Ein zweites Experiment fand mit einem fingierten KI-System („Mockup“) im Rahmen einer Dialysebehandlung von fünf nierenkranken Patient:innen statt. Ziel war es, eine lebensnahe Untersuchung der Interaktion zwischen Menschen und Maschine zu ermöglichen. Fingiert meint hier, dass kein echtes KI-System getestet wurde, wie es im vorherigen Experiment der Fall war. Die Patient:innen bekamen stattdessen ein Interface/eine Software zu sehen, auf dem/der verschiedene Handlungsempfehlungen für ihre Dialyse dargestellt wurden. Während die Patient:innen der Überzeugung waren, dass sie es mit einem KI-System und einer KI-gestützten Handlungsempfehlung zu tun hätten, entstammten die Empfehlungen von einer ausgebildeten Dialysepflegekraft, die im Hintergrund die Informationen auf dem Tablet steuern konnte. Sowohl vor als auch nach dem Experiment wurden Interviews mit den Proband:innen geführt und gefragt, welche Einstellung sie zu derartigen Systemen haben und wie sich der Einsatz für sie angefühlt hat. Die Ergebnisse beider Experimente werden im Folgenden zusammengefasst dargestellt.

2.1 KI-gestützte Entscheidungsfindung aus ärztlicher Perspektive

Ich glaube, das System sollte nur ein Mittel sein für den Arzt. (Nephrologin)

Um Aussagen über den Einfluss von KI auf den Prozess der Entscheidungsfindung treffen zu können, muss der Blick zunächst darauf gerichtet werden, wie Entscheidungsfindung im klinischen Alltag überhaupt stattfindet. Danach kann durch die Erfahrungen der Ärzt:innen im vorher beschriebenen Experiment dargestellt werden, welche Einstellungen und Bedürfnisse über den Einsatz von KI im klinischen Alltag geäußert werden.

Entscheidungsfindung ohne KI

Die befragten Ärzt:innen konstatieren, dass klinische Entscheidungsfindung stets evidenzbasiert sein soll, bemerken jedoch, dass dieser Anspruch in der Praxis nicht konsequent aufrechterhalten werden kann. Deshalb gehöre zu guten Ärzt:innen nicht nur die Fähigkeit, Daten auszuwerten und einen Überblick über die aktuelle Studienlage zu haben, sondern auch Attribute wie Intuition und Bauchgefühl, die sich Ärzt:innen durch klinische Erfahrung aneignen würden. Zudem wird deutlich, wie wichtig der Austausch mit Vorgesetzten, Kolleg:innen, Pflegepersonal und Patient:innen ist. Es wird hervorgehoben, dass es in der Verantwortung der Ärzt:innen liegt, möglichst viele Perspektiven in die Entscheidungsfindung einzubeziehen und diese den Patient:innen adäquat zu kommunizieren. Die Entscheidung würden die Patient:innen am Ende selbst treffen.

Umgang mit KI

Aus den Interviews geht hervor, dass die Anwendung des getesteten Systems nicht immer zu einer Arbeitserleichterung geführt hat. Oft berichten die Ärzt:innen davon, zusätzliche Arbeitsschritte vollzogen zu haben, um ein kritisches Bild auf die eigene Einschätzung zu erhalten. Sie scheinen bereit, zusätzlichen Aufwand zu betreiben, um die eigene Einschätzung zu verbessern. Dieser Eindruck bestätigt sich durch den Wunsch der Ärzt:innen, mehr Einfluss auf das zur Verfügung stehende System nehmen zu können. Das System soll demzufolge nicht Entscheidungen für die Ärzt:innen treffen, sondern ihnen ermöglichen, den Prozess der Entscheidungsfindung zu optimieren. Deshalb ist es den Ärzt:innen wichtig, nachvollziehen zu können, wie KI-Systeme zu ihren Einschätzungen kommen.

Skepsis

Dementsprechend könne es auch nicht darum gehen, Ärzt:innen aus dem Entscheidungsprozess auszuschließen. Vielmehr müssen ihre Bedürfnisse bei der Entwicklung und Implementierung von KI-Systemen berücksichtigt werden. Die Bedürfnisse von Ärzt:innen zeigen sich jedoch sehr unterschiedlich. Die vorangegangene Studie lässt die Hypothese zu, dass es jüngeren Ärzt:innen leichter fällt, sich auf ein neues System einzulassen, wodurch sie sich schneller an den Vorschlägen eines solchen Systems orientieren. Andererseits wird gerade von Fachärzt:innen die Sorge geäußert, dass diese schnelle Orientierung an einem KI-System die eigene Erfahrungsbildung behindern kann.

Anforderungen an KI

Zwar wird in den Interviews ein Bedürfnis danach geäußert, KI-Systeme für die klinische Praxis zu nutzen, um Entscheidungen effizienter zu treffen, sich abzusichern und dadurch auch Verantwortung leichter tragen zu können. Die endgültige Abgabe von Verantwortung an eine KI wird jedoch als keine realistische Option erachtet. Es wird betont, wie wichtig zwischenmenschlicher Austausch und Erfahrungsbildung sind und dass ein großes Interesse von Seiten der Ärzt:innen darin besteht, Kontrolle über derartige Systeme auszuüben, um so die Herausforderungen im klinischen Alltag besser meistern zu können [44].

Zusammengefasst entsteht Vertrauen bei den befragten Ärzt:innen zunächst durch Evidenz. Dazu stehen sie vor einer besonderen Herausforderung. Durch die Beteiligung der Patient:innen, und somit durchaus dem Ideal des shared decision-making folgend, müssen sie nicht nur in der Lage sein, die Ergebnisse eines KI-Systems zu verstehen, sondern diese auch kontextabhängig zu kommunizieren. Deshalb ist es ein besonderes Bedürfnis der Ärzt:innen, die Ergebnisse eines Systems nachvollziehen zu können, weshalb klare Anforderungen an gewisse Formen von Transparenz und Kontrolle geäußert werden. Gängigen Formen des Austauschs und der Erfahrungsbildung soll der Einsatz von KI nicht entgegenstehen. Dies gilt ebenso für die Übernahme von Verantwortung, obwohl ein Bedürfnis deutlich gemacht wird, diese leichter tragen zu können.

2.2 KI-gestützte Entscheidungsfindung aus Patient:innenperspektive

Ich hole mir hier mein Leben ab und das meine ich total ernst. Ich kenne einige Patienten, die kotzt es an, herzugehen und haben das nicht geschafft, im Kopf umzudrehen. Ich denke, ohne Dialyse bin ich tot. So. Folglich gehe ich ganz gerne hier hin, was vielleicht ein wichtiger Punkt auch ist. Ich fühle mich hier, in der Dialyse, extrem sicher. Wenn ich aus der Taxe rauskrieche und bin dann hier oben und bin angezogen, dann fühle ich mich sicher wie das Amen in der Kirche, weil ich weiß, hier kann mir kaum was passieren. Es kommt immer irgendein Arzt, der mir helfen kann. (Patient mit Nierenerkrankung).

Da die Dialyse eine Behandlung darstellt, der sich Patient:innen teilweise mehrere Jahrzehnte unterziehen müssen, bietet sie gute Voraussetzungen für die Untersuchung des Einflusses von KI auf die Behandlung und die Beziehung der beteiligten Akteure untereinander. Die Patient:innen befinden sich nicht in einer akuten Notfallsituation, können auf eigene Erfahrungen mit ihrer Krankheit zurückblicken, die sie in die Behandlung einfließen lassen, und gewisse Routinen im Umgang mit ihren Beschwerden entwickeln. So können die Patient:innen einschätzen, wie das vermeintlich angewendete KI-System die Entscheidungsfindung und damit die Beziehung zum medizinischen Personal prägen kann.

Selbstbestimmtheit der Patient:innen

Im Kontext der Dialysebehandlung beschreiben sich die Patient:innen bis zu einem gewissen Grad als äußerst selbstbestimmt und fachkundig. Beispielsweise berechnen sie häufig selbst, wie viel Flüssigkeit bei der Dialyse dem Körper entzogen werden soll. Darüber hinaus geben sie Auskunft über weitere Faktoren wie den Bluthochdruck und den Kaliumwert, die für eine erfolgreiche Dialysebehandlung ebenfalls von Bedeutung sind, und verweisen damit auf das Wissen über ihre Erkrankung. Auch außerhalb der regelmäßigen Dialyse beschreiben die Patient:innen, sich über ihre Behandlung Gedanken zu machen. Gerade in Bezug auf die Flüssigkeitszufuhr und -ausscheidung im Alltag sowie die Ernährung scheint es ihre Aufgabe zu sein, ein Verhalten zu finden, welches mit der Dialysebehandlung im positiven Einklang steht.

Rolle des medizinischen Personals

Die gesamte Behandlung wird vonseiten der Patient:innen im Kontakt mit dem Pflegepersonal beschrieben. Dabei wird betont, dass gerade die Entscheidung der Menge des Flüssigkeitsentzuges zwar maßgeblich von Patient:innenseite mitbestimmt, am Ende jedoch gemeinsam getroffen wird. Das Einstellen der Dialysemaschine, das Einschreiten bei Alarmzeichen und somit der Überblick über die akute Behandlung obliegt ebenfalls dem Pflegepersonal.

Die Rolle der Ärzt:innen wird in der akuten Behandlung eher als passiv beschrieben. Sobald die Patient:innen jedoch Themen ansprechen, die sich außerhalb der routinierten Behandlung abspielen, wird deutlich, wie wichtig sich auch die Beziehung zu den Ärzt:innen gestaltet. Dies zeigt sich beispielsweise, wenn es um den Umgang mit Beschwerden geht, die zusätzlich zur Nierenerkrankung auftreten. Es wird berichtet, dass Ärzt:innen die Risiken einschätzen, falls es Komplikationen gibt. Außerdem würden sie zu Rate gezogen, wenn das Pflegepersonal oder Patient:innen bei einem Problem nicht mehr weiter wissen. In all diesen Fällen wird den Ärzt:innen ein hohes Maß an Expertise zuerkannt. Dies führt dazu, dass dem medizinischen Personal insgesamt ein hohes Maß an Vertrauen und Ansehen zugesprochen wird und auch die Verantwortung am Ende den Pflegekräften und Ärzt:innen zukommt.

Einstellung gegenüber KI

Die befragten Patient:innen geben eine große Offenheit für den Einsatz von KI während der Dialysebehandlung zu erkennen. Der Einbezug und die Analyse weiterer Daten während der Behandlung wird mit der Hoffnung verbunden, den Flüssigkeitsentzug exakter berechnen zu können und so Nebenwirkungen der Dialysebehandlung zu vermeiden. Auch wird die Chance gesehen, den Behandlungsprozess selbstbestimmter zu gestalten. Abgesehen davon wird der KI jedoch nicht das Potenzial zugesprochen, die Behandlung im Gesamten zu verändern. Gerade die Beziehung zum Pflegepersonal und die Möglichkeit, sich bei Fragen abseits der Routine an Ärzt:innen wenden zu können, erscheint als Voraussetzung für einen sicheren und vertrauenswürdigen Einsatz des KI-Systems.

Bedürfnisse und Wünsche

Den Patient:innen ist es wichtig, dass die Kontrolle über den Einsatz von KI-Systemen beim Menschen bleibt. Auch mithilfe eines KI-Systems sollte die Entscheidung, wie viel Flüssigkeit bei der Dialysebehandlung entzogen wird, in Kooperation zwischen den Patient:innen und dem Pflegepersonal getroffen werden. Die Entscheidungshoheit über den Einsatz des Systems im Ganzen sollte den Patient:innen nach bei den Ärzt:innen liegen. Sie sollten auch stets in der Lage sein, die Einschätzungen des Systems zu verstehen, einzuordnen und den Patient:innen ohne die Verwendung zu vieler technischer Details nahe zu bringen. Dass dies nicht immer auf Anhieb möglich ist, scheint den Patient:innen bewusst zu sein, weshalb sie Schulungen für das medizinische Personal fordern, um die Kontrolle über die KI-Systeme sicherzustellen [45].

Zusammengefasst beschreiben die befragten Patient:innen neue KI-Systeme in der Dialyse als Möglichkeit, Selbstbestimmung zu fördern und eine effizientere Therapie sicherzustellen. Gleichzeitig wird die besondere Beziehung zum Pflegepersonal und den Ärzt:innen beschrieben, denen aus Sicht der Patient:innen die Kontrolle über die KI zugesprochen werden muss. Somit würde sich die Beziehung zwischen Ärzt:innen und Patient:innen kaum verändern. Jedoch steigen die Anforderungen an das medizinische Personal, da dieses in die Lage versetzt werden muss, die zur Verfügung stehenden Systeme zu verstehen, um die Patient:innen adäquat aufzuklären, Verantwortung übernehmen zu können und einen vertrauensvollen Einsatz sicherzustellen.

2.3 Rückschlüsse aus der Empirie

Ich glaub, KI ohne ʼnen Arzt wird nicht funktionieren. Das seh ich jetzt nicht kommen. Ich weiß nicht, ob wir das erleben werden. Ich sag mal jetzt einfach: Nein. Oder nur ganz begrenzt. Am Ende sitzt da halt immer ʼn Arzt. Der trifft ʼne Entscheidung aufgrund von Lehrbüchern, die er gelesen hat, aufgrund von Vergleichsfällen, aufgrund von Bauchgefühl und aufgrund von ʼnem Algorithmus, der ihm hilft, auf Dinge zu stoßen. (Nephrologe)

Ich hatte ja beim letzten Mal auch schon gesagt, dass die KI vielleicht schon meine erste Prognose stellen könnte, bevor dann der Arzt mit reingezogen wird. Das dauert ja manchmal so ein bisschen. Gerade, wenn viel zu tun ist auf den Stationen. Aber ich glaube auch immer noch, dass die Pfleger ja auch einen gewissen Erfahrungswert und Menschenverstand haben. Ich würde immer sagen, das ist so ein Zusammenspiel von allem, von beiden Seiten oder von den drei Seiten. (Patientin mit Nierenerkrankung)

Wenn KI-Systeme nicht adäquat in bereits bestehende Arbeitsroutinen eingeführt werden, können sie die Situation verkomplizieren und das Kommunikationsverhältnis zwischen dem medizinischen Personal und den Patient:innen behindern [46]. Der Bezug zu den empirischen Studien kann dabei helfen, Fragen nach Vertrauen, Transparenz und Verantwortung konkret auf die Erfahrung der Akteure zu beziehen und so Aufschluss darüber geben, wo Maßnahmen zur Steuerung des Einsatzes von KI im klinischen Alltag ansetzen müssen.

Einem System zu vertrauen, wird in den dargelegten empirischen Studien vor allem davon abhängig gemacht, dass dieses evidenzbasiert sein muss. Das lässt bereits erste Rückschlüsse zu. Medizinisches Personal würde ein System nur einsetzen, wenn es in prospektiven klinischen Studien getestet wurde. Evidenzbasierte Medizin bezieht sich aber nicht nur auf die durch wissenschaftliche Standards festgestellte Wirksamkeit der jeweiligen Medizinprodukte, sondern auch darauf, diese bestmöglich mit der Expertise des medizinischen Personals in Verbindung zu bringen [47]. Um Vertrauen zu schaffen, muss das medizinische Personal Systeme derart verstehen können, dass alle Beteiligten in der Lage sind, zusammen mit dem System die bestmögliche Entscheidung zu treffen.

Deshalb sind Bedürfnisse nach Transparenz von großer Bedeutung, die in den Studien vor allem unter dem Begriff der Nachvollziehbarkeit verhandelt werden. Zwar wird unter Nachvollziehbarkeit im technischen Sinne der Versuch verstanden, eine größtmögliche algorithmische Transparenz herzustellen [48]. In den Interviews erscheint sie jedoch eher als die Notwendigkeit, ein grundlegendes Verständnis über die Systeme zu ermöglichen. Es geht demnach nicht um die Offenlegung der sogenannten „Blackbox“Footnote 1, sondern um ein Verständnis darüber, wie ein System zu seinen Einschätzungen kommt. Auch wenn es prinzipiell möglich ist, durch Menschen interpretierbare Erklärungen bereitzustellen, so stünde der Aufwand beim heutigen Stand der Technik in keinem Verhältnis. Anders gesprochen sind die Systeme heute deshalb oft so mächtig, weil sie „eigene“ Muster in den Daten erkennen, beispielsweise bei der Krebsdiagnose in MRT-Scans, ohne dass die Bilder vorher durch Expert:innen eigens ausgezeichnet und mit Erklärungen versehen werden müssten, die die Systeme dann lernen. Die Ergebnisse eines KI-Systems zumindest ansatzweise nachvollziehbar zu gestalten, ist trotzdem möglich [47], aber herausfordernd, da dies mit einer Reihe technischer Dokumentationen einhergeht, beispielsweise der Beschreibung des exakten Entwicklungsansatzes, der Trainingsdaten, des Parameter-Tunings oder der Fragen, wie einzelne Variablen definiert sind, welche Methodik angewandt wurde und in welchen Perioden Updates der Systeme zur Verfügung stehen [40]. Zudem stellt sich die Frage, wie ein System Einschätzungen visuell verständlich darstellen kann und dabei alle relevanten Informationen für die jeweilige Einschätzung zugänglich macht [50]. Dabei bleibt offen, wie viel Einfluss die Anwender:innen auf die Empfehlung des jeweiligen Systems haben sollten. Mit zunehmender Einflussnahme auf die Systeme kann sich gerade die Verantwortungszuschreibung verkomplizieren [51], weshalb klare Vorgaben für die Handhabung unerlässlich sind.

Verantwortung spielt in den Studien jedoch nicht nur im Kontext der aktiven Anwendung der Systeme eine Rolle, sondern auch im Anspruch der adäquaten Aufklärung und Betreuung von Patient:innen. Aufklärung steht ebenfalls mit Haftungsfragen in Verbindung. Gute Betreuung setzt die adäquate Anwendung der Systeme voraus, sowie die angemessene Kommunikation der durch sie produzierten Ergebnisse [52]. Es ist Aufgabe des medizinischen Personals, die Patient:innen darüber aufzuklären, wieso ein bestimmtes System verwendet wird und welche Risiken damit verbunden sind. Zudem wird in den Studien betont, dass es unangebracht wäre, Patient:innen mit den bloßen Ergebnissen einer KI-Anwendung zu konfrontieren, und die Patient:innen selbst lehnen es ab, mit zu vielen technischen Details aufgeklärt zu werden. Es liegt nach wie vor in der Verantwortung des medizinischen Personals, die Ergebnisse eines KI-Systems für die Patient:innen zu interpretieren und einzuordnen. Im Gegensatz zur oben diskutierten Forderung, die Blackbox zu öffnen, kann beispielsweise ein zweites System – ein „Erklärsystem“ – gebaut werden, welches dann das Ergebnis (Diagnose, Empfehlung o. Ä.) erklärt, aber eben nicht den algorithmischen/technischen Weg, auf dem das eigentliche System zu dem Ergebnis kam.

Den Ergebnissen der Studien zufolge muss das medizinische Personal klare Kontrollansprüche über KI-Systeme erheben, um der ihm zugeschriebenen Verantwortung gerecht zu werden, diese bestmöglich in die bereits bestehenden Prozesse der Entscheidungsfindung zu integrieren. Dieser Prozess wird in den Studien auch ohne KI bereits als äußerst interaktiv und kommunikativ beschrieben. Der Einsatz von KI sollte demnach so gestaltet sein, dass ein aktiver Austausch der Beteiligten untereinander nicht behindert wird. Vielmehr ist davon auszugehen, dass der Austausch erweitert und gefördert werden muss. Beispielsweise scheint es schlüssig, dass bei auftretenden Unsicherheiten bei der Interpretation der Ergebnisse eines Systems andere Akteure mit in die Entscheidungsfindung einbezogen werden, um Fehlern vorzubeugen [53]. Es kann sogar damit gerechnet werden, dass weitere Akteure an dem Geschehen beteiligt werden müssen als nur medizinisches Personal und Patient:innen. Gerade Anforderungen, die Ergebnisse eines KI-Systems nachvollziehbar zu gestalten, werden es notwendig machen, das medizinische Personal mehr in die Entwicklung der Systeme einzubeziehen [54], auch um die Vielzahl an Bedürfnissen zu berücksichtigen, die sich in den Studien bereits durch die unterschiedliche Nutzung der Systeme von Assistenzärzt:innen und Fachärzt:innen andeutet. Und da auch Patient:innen im akuten Entscheidungsprozess mit KI-Systemen interagieren werden, wird auch deren Perspektive für die Entwicklung von Bedeutung sein.

Der bestmögliche Einbezug der Patient:innen findet dabei auf mehreren Ebenen statt. Hinsichtlich der vorliegenden Patient:innenstudie kann zunächst der Rückschluss gezogen werden, dass die Einstellung der befragten Patient:innen gute Voraussetzungen für shared decision-making bietet. Insofern die Einschätzung des Systems die Behandlung wahrnehmbar verbessert, stehen sie dem System offen gegenüber und geben durch ihr Interesse an der Behandlung auch zu erkennen, Entscheidungen selbstbestimmt treffen zu wollen. Dennoch kommt in den Interviews mit Patient:innen ebenfalls die enge Beziehung zum Pflegepersonal zum Vorschein sowie das hohe Ansehen Ärzt:innen gegenüber und deren Bedeutung, gerade wenn die Behandlung abseits der Routine verläuft.

Auch hier gilt es, KI-Systeme im Zusammenhang mit der Beziehung der Patient:innen zum gesamten medizinischen Personal zu betrachten. Gerade durch die Möglichkeit von KI, Entscheidungsfindung partizipativer zu gestalten, scheint die Beziehung intensiviert werden zu müssen. Denn auch für Patient:innen ist es von großer Bedeutung, dass die Kontrolle über die Behandlung in der Routine beim Pflegepersonal und im Gesamten bei den Ärzt:innen verbleibt. Auch die Verantwortung für den Einsatz eines neuen Systems und dessen Folgen wird von den Patient:innen beim medizinischen Personal gesehen. Ohne den Einbezug des medizinischen Personals wird es letztendlich schwierig sein, Vertrauen in neue KI-Systeme zu generieren.