Natürlich, die gefühlte Verantwortung wird sicherlich übertragen. Also man beruft sich dann auf ein Programm. Ich glaube die rechtliche oder bestehende Verantwortung nicht, aber die gefühlte Verantwortung ist wahrscheinlich abgegeben. (Nephrologe)

Die KI übernimmt da schon eine gewisse Verantwortung, aber ich bin immer noch der Meinung, dass die letzte Entscheidung immer noch beim Pfleger und bei den Ärzten liegt, ob wir diese Vorschläge und diese Verantwortung annehmen oder nicht. (Patientin mit Nierenerkrankung)

Der Fortschritt von KI hat Konsequenzen für das Recht. Auch die rechtlichen Herausforderungen basieren auf den mit den Systemen verbundenen Risiken, wie der Unvorhersehbarkeit und einer (befürchteten) Unkontrollierbarkeit. Die Schwierigkeiten manifestieren sich besonders im sensiblen Lebensbereich der Medizin. Aus rechtlicher Perspektive stehen die Verantwortungsdiffusion, das Verhältnis zwischen Ärzt:innen und Patient:innen und die Selbstbestimmung über und Zuordnung von medizinischen Daten im Fokus. Dabei gilt es, verschiedene Interessen in angemessenen Ausgleich zu bringen, insofern Geschädigte und Gesellschaft vor einer Verantwortungsdiffusion zu schützen, zugleich aber die mit KI interagierenden Individuen vor unzulässiger Inanspruchnahme zu bewahren.

Die folgenden rechtlichen Überlegungen sind geleitet durch den in Kap. 2 gegebenen empirischen Einblick sowie das in Kap. 3 dargestellte Konzept „Meaningful Human Control“ (MHC): Das Konzept basiert auf der Prämisse, dass für die Verantwortung eines Menschen für Entscheidungen in Interaktion mit KI eine bedeutsame Kontrolle erforderlich ist. Die Kontrolle kann dabei den Moment der Entscheidung betreffen (etwa über eine Diagnose oder eine bestimmte Behandlung), sie kann aber auch früher greifen. Auch die Art und Weise der Aufklärung der Patient:innen über den Einsatz dieser Technologie oder der Umgang mit Daten – Zuordnung, Rücksicht auf personenbezogene Informationen – sollten von der Prämisse bedeutsamer Kontrolle durch die Betroffenen geprägt sein. Dies gilt bereits für das Zulassungsverfahren [85] und die Möglichkeit der Partizipation der beteiligten Akteure. Zu diskutieren ist dabei, was genau für diese Kontrolle als notwendig gilt (vgl. die Überlegungen zu Transparenz und Erklärbarkeit). Für den Lebensbereich der Medizin lauten die Fragen z. B.: Was müssen Ärzt:innen von der Funktionsweise der KI verstehen, um einen Diagnosevorschlag anzunehmen oder abzulehnen? Wie sind die Entscheidungsvorschläge auszugestalten, damit Ärzt:innen die Kontrolle behalten? Welches Training und welche Daten sind erforderlich für den Umgang mit diesen Systemen? Welche Informationen brauchen die Patient:innen für eine Einwilligung? Wie kann eine bedeutsame Kontrolle der Patient:innen über ihre Daten erhalten werden? Wie kann Rechtssicherheit für die an der Entwicklung Beteiligten hergestellt werden und wie können sie die Informationen erhalten, die für die rechtlich adäquate Herstellung, Programmierung und das Training der Systeme erforderlich sind?

Anhand der Perspektiven der Akteure werden im Folgenden Überlegungen angestellt, wo es Bedarf zur rechtlichen Diskussion gibt. Aus den empirischen Studien geht hervor, dass Ärzt:innen schnell bereit sind, Verantwortung zu übernehmen. Zunächst ist hier zwischen rechtlicher und moralischer Verantwortung zu differenzieren. Spricht man ihnen die rechtliche Verantwortung zu, besteht die Gefahr, dass sie durch ihre spezifische Rolle als behandelnde Person und vermeintliche Letztentscheider zum „Haftungsknecht“ degradiert werden. Haftungsfragen müssen an dieser Stelle weitergedacht und einem strukturellen Druck entgegengewirkt werden. Die befragten Patient:innen beschreiben selbstbewusst ihr Eingebundensein in die Behandlung. Diese Form der Partizipation gilt es zu fördern, jedoch ohne die Erwartung, dass Patient:innen die Rolle der Expert:innen ersetzen müssen. Deshalb steht eine adäquate Aufklärung an erster Stelle. Weiterhin ist es wichtig, den Patient:innen die Kontrolle über ihre personenbezogenen Daten zu gewährleisten, welche die Grundlage für die Funktion von KI-Systemen darstellen. Zudem gilt es, Diskriminierungsrisiken zu vermeiden. Diese beiden Perspektiven werden zum Schluss durch die der Entwicklung ergänzt. Entwickler:innen kommt dabei eine Schlüsselrolle zu. Einerseits profitieren sie von klaren Regelungen und einer damit einhergehenden Rechtssicherheit. Gleichzeitig besteht die Gefahr, gerade bei der Forschung an KI-Systemen, bei zu restriktiven Regelungen grundsätzlich vorteilhafte Entwicklungen zu verhindern. Auch sind es die Entwickler:innen, die schlussendlich die Überlegungen zu MHC (mit-)umsetzen müssen, indem sie ihre Systeme entsprechend gestalten. Dabei bedarf es regelmäßig auch der Involvierung übriger, mit dem System agierender Akteure.

4.1 Perspektive des medizinischen Personals

Die potenziell weitreichende Haftung des medizinischen Personals ist diesem bewusst, wie auch die empirischen Erhebungen zeigen. Gleichzeitig besteht die Bereitschaft, Verantwortung zu übernehmen. Gerade deshalb ist aus rechtlicher Perspektive dafür zu sorgen, dass dies nur geschieht, wenn es der Situation und Handlungsmacht der Akteure auch entspricht. Bei Fehlverhalten und Schädigung der Patient:innen können sie zur Erstattung der Schäden verpflichtet werden (u. a. aus Behandlungsvertrag, §§ 630a ff. BGB, aber auch aus deliktischer Haftung). Darüber hinaus drohen bei fahrlässigem Handeln strafrechtliche Sanktionen, vgl. §§ 222, 229 StGB. Soweit KI-Systeme Vorschläge machen und ein Mensch aus diesen auswählt oder nach ihnen handelt, bleibt der Mensch grundsätzlich für diese Entscheidungen und Handlungen verantwortlich [86–88]. Dies kann problematisch sein, wenn man etwa nicht weiß, worauf die Entscheidungsvorschläge der KI basieren, wie valide diese sind, mit welchen Daten das System trainiert wurde, etc., oder wenn man sich nicht mehr ohne Weiteres gegen das System entscheiden kann. Zugleich ist es bei KI-Systemen schwierig, einen anderen Verantwortlichen auszumachen, da sie nicht nur ex ante schwer vorhersehbar, sondern auch ex post nicht ohne weiteres auf Fehler überprüfbar sind [85, 89]. Dies führt zu Verantwortungsdiffusion. Wenn niemand haftet bzw. verantwortlich ist, lässt dies die Geschädigten unter Umständen ohne Adressaten für einen Schadensersatz und verringert möglicherweise die Akzeptanz der Technologie [90]. Deshalb bedarf es Lösungen für eine angemessene Verantwortungsverteilung. Dabei ist zu vermeiden, dass Ärzt:innen als „Letztentscheider“ zum „Haftungsknecht“ gemacht werden, ohne dass diesen bedeutsame Kontrolle zukommt [85, 91]. Zudem erscheint es sinnvoll, Hersteller:innen, Programmierer:innen und Trainer:innen sowie den „Halter“ – wie beispielsweise im medizinischen Kontext die Klinik – des KI-Systems verstärkt in die Haftung einzubeziehen. Ihr Verschulden der Fehlentscheidung könnte vermutet werden, während es beim medizinischen Personal nachgewiesen werden müsste. Das entspricht unseres Erachtens der faktischen Situation und entlastet die Ärzt:innen auf adäquate Weise. Denn hiermit würde deren Haftung und Verantwortung begrenzt auf die Fälle, in denen eindeutig nachgewiesen werden kann, dass sie jedenfalls fahrlässig gehandelt haben, d. h. zum einen, dass kein eindeutiger Fehler der Maschine vorliegt, den sie nicht erkennen konnten, und zum anderen, dass sie trotz relevanter bedeutsamer Kontrolle über die Interaktion eine Fehlentscheidung getroffen haben. Ergänzt wird die Verschuldensvermutung durch eine Vermutung für Fehler und die Ursächlichkeit für den Schaden (So sieht es auch der Vorschlag der Europäischen Kommission zur Anpassung der Vorschriften über die außervertragliche Haftung vor [92]).

Ein nicht nur im Kontext von KI bestehendes Problem moderner Gesellschaften ist, dass Einzelfallentscheidungen typischerweise in kollektiven Kontexten getroffen werden [85, 91]. Für unsere Fragestellung hat das etwa zur Folge, dass zumeist nicht das medizinische Personal, sondern die Klinikleitung über den Einsatz von KI und Hersteller:innen und Programmierer:innen über die konkrete Funktionsweise der Systeme entscheiden. Das Recht kann diesem strukturellen Druck nur begrenzt entgegenwirken – neben der sorgfältigen Auflösung des Geflechts mit Blick auf die Haftung spielen insofern insbesondere Compliance-Strukturen sowie arbeitsrechtliche Absicherungen eine Rolle. Hinzuweisen ist an dieser Stelle auf den Chief Digital Officer (CDO), der in Unternehmen die Verantwortung für die digitale Transformation trägt [93]. Umfasst davon sind technische Infrastruktur und Datenmanagement, digitale Organisation und Steuerung des operativen Geschäfts. Der CDO muss zudem gute Kenntnis der Technologielandschaft, IT-Know-how und Managementfähigkeiten haben [94]. Für die Überwachung der KI-Entwicklung scheint es daher denkbar, die Position des CDOs auszubauen.

Darüber hinaus ist an dieser Stelle bedeutsam, dass das medizinische Personal in die Entscheidung über die Nutzung, die Art und Weise der Unterstützung durch das System und die Herstellung bzw. Entwicklung der Technologie eingebunden wird. Das trägt nicht nur zu einer Verbesserung der Systeme, sondern auch zu einer Abmilderung des strukturellen Drucks bei.

4.2 Perspektive der Patient:innen

Für Patient:innen ist zentral, wie auch die empirischen Erkenntnisse zeigen, dass sie in den Behandlungsprozess eingebunden sind. Dazu gehören insbesondere eine umfassende Aufklärung als Basis ihrer Einwilligung, vgl. § 630d und § 630e BGB. Dies dient der Wahrung ihres Selbstbestimmungsrechts. Wie diese Aufklärung konkret auszugestalten ist und was sie beinhalten muss, ist von den Umständen des Einzelfalls und der gewählten Behandlungsmethode abhängig. Bei der Verwendung von KI könnte man argumentieren, dass es sich hierbei nur um ein weiteres technologisches Werkzeug handelt und auch über andere Technologien nicht gesondert aufgeklärt werden muss. Zugleich sprechen die Besonderheit der Entscheidungsunterstützung und die fundamentale Neuheit der Verwendung einer KI bei medizinischen Entscheidungen dafür, dass eine Information darüber zu einer vollständigen Aufklärung gehört [95]. Die Kontrolle kann nur erhalten bleiben, wenn Patient:innen ausreichend Verständnis für diese Technologie und die Auswirkungen auf die ärztliche Entscheidung entwickeln können. Auch hier ist letztlich im Einzelfall festzulegen, wie genau „ausreichend“ zu verstehen ist; zugleich ist es erforderlich, eine rechtliche Orientierung vorzugeben, wie die KI-Systeme in die Aufklärung zu integrieren sind. Sicherlich sollte über die Blackbox-Problematik aufgeklärt werden [96]. Schon aus dem geltenden Recht ergibt sich bei Neulandmethoden, dass zusätzlich darüber informiert werden muss, dass es unbekannte Risiken gibt [96–98]. Dabei müssen Anwender:innen auf die Angaben des Herstellers vertrauen können [91, 99, 100].

Ein weiterer für Patient:innen wichtiger Aspekt ist der Umgang mit ihren personenbezogenen medizinischen Daten [85]. Der Schutz der personenbezogenen Daten ist durch die Datenschutzgrundverordnung in Verbindung mit deren Öffnungsklauseln und das Bundesdatenschutzgesetz detailliert geregelt [85]. Die aktuelle Regelung zum Datenschutz stellt jedoch die Weiterentwicklung der KI generell vor erhebliche Herausforderungen: Aufgrund der Notwendigkeit der Einwilligung für jeden Verwendungsschritt (mit Ausnahme der anderen Erlaubnistatbeständen, die potenziell in der jeweiligen Situation greifen könnten), der Unzulässigkeit der nicht-zweckgerichteten Speicherung sowie der Möglichkeit des jederzeitigen Widerrufs ist es schwer, hinreichende Datenmengen für Weiterentwicklung und Training der Systeme zu erlangen (zum Problem der Vereinbarkeit [85, 101]; es besteht darüber hinaus Unklarheit über die Konsequenzen eines Widerrufs). Hier ist künftig eine bewusste Interessenabwägung zwischen der Weiterentwicklung der Systeme und der Beibehaltung des weitreichenden Schutzes personenbezogener Daten vorzunehmen. Teilweise wird eine Lösung im Sinne eines „Broad Consent“ diskutiert, d. h. die Ansprüche von Patient:innen aus den Art. 16 ff. DS-GVO, etwa auf Löschung bzw. die Möglichkeit des Widerrufs, sollten auf das technisch Machbare begrenzt sein. Die Patient:innen willigen von vornherein in diese Begrenzung ihrer Ansprüche ein [101–104].

Ein anderer Aspekt, der außerhalb der Datenschutzgrundverordnung diskutiert wird, betrifft die Zuordnung der Daten als eine Art speziellen „Eigentums“. In diesem Kontext würde sich etwa die Frage stellen, ob das medizinische Personal bzw. das System die Daten zum Weiterlernen verwenden darf oder ob sie anonymisiert an Dritte weitergegeben werden dürfen, etwa zum Überprüfen der KI-Systeme, zu einer Weiterentwicklung oder für die Zulassung (zur Problematik von personenbezogenen Trainingsdaten [105]). Diese rechtlichen Unklarheiten bedürfen einer eindeutigeren Regelung.

Weiterhin ist aus Patient:innensicht auf das bereits dargestellte Problem der Haftung einzugehen. Insofern ist vor allem von Bedeutung, dass Geschädigte keinesfalls ohne Adressaten für den angemessenen Ersatz ihres Schadens bzw. Schmerzensgeldes sein sollten und die Durchsetzung dieser Ansprüche durch den Einsatz von KI-Systemen nicht verschlechtert werden sollte.

Ein weiterer Aspekt, der letztlich für jegliche KI-Anwendung angeführt werden kann, ist: All diese Systeme bergen die Gefahr der Diskriminierung bei Anwendung [106]. Auch im medizinischen Bereich könnte, etwa durch die an der Bevölkerungsmehrheit orientierte Auswahl von Daten, eine unangemessene Benachteiligung von Minderheiten entstehen. Dass dem entgegenzuwirken ist, ergibt sich nicht zuletzt aus Art. 3 GG sowie dem AGG. Im Zulassungsprozess sollte daher eine Überprüfung auf mögliche Diskriminierung erfolgen.

Aus den oben genannten Punkten, aber auch um von Unbeteiligten nicht bedachte Aspekte in die Entwicklung der Systeme und Gestaltung der Interaktion zwischen System und Mensch einzubringen, sollten auch Patient:innen am Forschungsprozess von Beginn an partizipieren [107].

4.3 Perspektive der Entwicklung

Die Perspektive der Entwicklung ist zunächst distanziert. Hersteller:innen, Programmierer:innen oder Trainer:innen stehen nicht in direkter Beziehung zum medizinischen Personal oder den Patient:innen und können deshalb nicht ohne Weiteres deren Interessen berücksichtigen. Die Entwicklung ist typischerweise geprägt vom Wunsch nach technologischem Fortschritt und nach Verbesserung der Lebensbedingungen, in diesem Fall der medizinischen Versorgung. Dass die Produkte neu, die Risiken schwer vorhersehbar und die Nutzen-Kosten-Abwägung zwangsläufig unvollständig ist, kommt hier häufig vor. Zugleich gibt es in der Regel Verfahren und Bedingungen, deren Erfüllung die Rechtmäßigkeit der Forschung und spätere Nutzung der Produkte garantieren. Dies ändert sich bei KI-gestützten Systemen – der rechtliche Rahmen erfasst diese Entwicklung jedenfalls nicht umfassend.

Ein wichtiges Interesse der an der Entwicklung Beteiligten ist deshalb Rechtssicherheit. Das betrifft zunächst Fragen der zivilrechtlichen Haftung, etwa der Haftung für Fehler beim Einsatz der Systeme, aber auch der strafrechtlichen Verantwortlichkeit. Hierzu gehören, wie bereits im Kontext des medizinischen Personals erläutert, klare Verhaltensstandards und Sorgfaltsmaßstäbe. Die Blackbox-Problematik der Systeme erschwert eine Zuordnung schädigenden Verhaltens zu einem der an der Entwicklung Beteiligten erheblich. Um dem zu begegnen, empfiehlt sich die Einführung einer gesamtschuldnerischen Haftung, bei der Verschulden, Fehler und deren Ursächlichkeit für einen Schaden widerleglich vermutet werden [108].

Gleichwohl besteht die Möglichkeit der Entlastung, da es für die an der Herstellung Beteiligten aufgrund ihres Zugriffs auf die Systeme einfacher ist, nachzuweisen, dass sie für den Schaden nicht verantwortlich sind. Weiterhin ist das Produkthaftungsrecht anzupassen, sodass auch KI-Systeme klar vom Produktbegriff erfasst werden. Nach § 1 Abs. 2 Nr. 5 ProdHaftG ist zudem eine Haftung ausgeschlossen, wenn der Fehler während des Inverkehrbringens des Produkts vom Hersteller nicht erkannt werden konnte. Hier besteht bei weiter Auslegung die Gefahr, dass aufgrund der antizipierbaren Unvorhersehbarkeit bei KI der Haftungsausschluss nie greift, obwohl dies im Einzelfall interessengerecht sein könnte [85]. Bei enger Auslegung würde der Ausschluss wiederum sogar immer greifen. Daher bedarf es auch hier einer klarstellenden Neuregelung. Ein weiteres Problem der Produkthaftung liegt darin, dass geschädigte Patient:innen – trotz vermutetem Verschulden – zunächst den Fehler, den Schaden und den ursächlichen Zusammenhang zwischen Fehler und Schaden beweisen müssen. Auch dies überzeugt mit Blick auf die Besonderheiten der KI nicht, es bedarf einer Umgestaltung der Beweispflicht.

Für die Entwicklung ist von zentraler Bedeutung, dass die entwickelten Produkte in der Realität genutzt werden können. Eine wichtige Bedingung hierfür ist die rechtliche Zertifizierung, zum einen auf der Stufe der Forschung, zum anderen für die spätere Nutzung. Mit Blick auf KI-gestützte Systeme gilt es, hier einige Besonderheiten zu beachten. So spricht vieles dafür, KI-Produkte nicht nur aufgrund ihrer Technologie (Blackbox-Problematik), sondern auch aufgrund ihrer potenziellen Gefährlichkeit in Risikoklassen einzuteilen [109]. Insofern sind Art. 52 Abs. 3–6 MDR und der Anhang VIII Regel 11 nicht unproblematisch, da hiernach eine Hochstufung schon dann erfolgt, wenn Produkte schwerwiegende Gesundheitsbeeinträchtigungen, chirurgische Eingriffe oder irreversible Gesundheitsschädigungen als Folge haben könnten. Eine wortgenaue Auslegung würde bei KI immer dazu führen, dass etwa wegen der hohen Stufe – wie es die MDR hierzu vorsieht – Benannte StellenFootnote 1 zu involvieren sind. Dies ist zumindest zu hinterfragen, da diese Stellen dadurch überfordert werden und Zertifizierungen zu lange dauern könnten. Dennoch können KI-Produkte grundsätzlich in Risikoklassen eingeordnet werden, die solchen Stellen zugeordnet sind, wenn die entsprechenden Stellen aufstocken werden, um Engpässe zu vermeiden [109].

Ein zentrales Problem im Rahmen der Zulassung besteht darin, dass KI-Systeme vor allem in Zukunft nach der Zulassung ihr Modell verändern könnten. Die Systeme entsprechen dann nicht mehr der zugelassenen Zertifizierung, die zum Teil auch von Benannten Stellen vorgenommen wird. Aus diesem Grund müssten die Systeme dann eigentlich neu zugelassen werden. Ein interaktives Vorgehen bietet sich an: Die durch das Lernen erworbenen Erkenntnisse müssten gebündelt und dann in regelmäßigen Abständen neu zertifiziert und zugelassen werden oder jedenfalls regelmäßig überprüft, ähnlich einem TÜV-Konzept. Nach geltendem Recht besteht für den Hersteller bereits die Pflicht, jedes System, das auf den Markt gebracht wurde, zu überwachen [85]. Eine strenge Überwachungspflicht muss gerade für die hier diskutierten selbstlernenden Systeme gelten – zugleich ist aufgrund der Blackbox-Problematik nicht ohne Weiteres feststellbar, wie die Ausübung dieser Pflicht ausgestaltet sein sollte. Insofern wäre eine Konkretisierung der Pflichten sinnvoll [110].