Im Folgenden werden Orientierungsmarker für den Einsatz von KI-Systemen zur Entscheidungsunterstützung im klinischen Alltag ausformuliert. Aus der Verbindung der Akteursperspektiven mit dem Konzept der Meaningful Human Control lassen sich Bedingungen für die Ausgestaltung eines soziotechnischen Phänomens herausarbeiten, denen durch die rechtlichen Empfehlungen ein konkreter Rahmen gegeben werden muss. Auch die technischen Erfahrungen durch die Entwicklung der getesteten Systeme sind wesentlicher Bestandteil der Schlussfolgerungen. Bei allen Empfehlungen geht es nicht darum, den gesellschaftlichen Diskurs vorwegzunehmen, vielmehr ist Partizipation der Beteiligten ein zentrales Element. Es geht um Schärfung des Problembewusstseins, Herausarbeitung relevanter Argumente und Kategorien und Vorschläge für ausgewogene Lösungsmöglichkeiten. Die Ausführung erfolgt unter fünf thematischen Oberpunkten, um die Vielzahl an Perspektiven sinnhaft zusammenzubringen und so der Interdisziplinarität des Vorhabens gerecht zu werden (Abb. 5.1).

Abb. 5.1
figure 1

Übersicht der interdisziplinären Orientierungsmarker

Full size image

Anwendungsorientierte Entwicklung

Die derzeitigen Möglichkeiten und Herausforderungen betrachtend stellt sich die Frage danach, wie sich in der Diskussion und im praktischen Einsatz von KI in der Klinik Sicherheit und Orientierung bieten lässt. Ziel ist es, einen Rahmen zu entwickeln, der für den Einsatz von KI zur Entscheidungsunterstützung pragmatisch anwendbar ist und gleichzeitig die Augen vor zukünftigen Veränderungen nicht verschließt. Voraussetzung dafür ist eine ehrliche und partizipatorische Debattenkultur. Nur so können neue Technologien bedarfsgerecht und benutzerfreundlich entwickelt und weiterentwickelt werden. Es ist wichtig, die aktuellen Leistungen und Möglichkeiten durch KI in der Medizin einzuordnen. Zudem sollte die Entwicklung der Systeme stets im Kontext der Anwendung betrachtet werden und die Evidenz für den klinischen Nutzen sichergestellt sein.

  1. 1.

    Einsatzmöglichkeiten: Es muss klar sein, was KI-Systeme tatsächlich leisten und wo sie dementsprechend eingesetzt werden können. Davon ausgehend ist die wichtigste Frage, wo man sie einsetzen möchte. Im medizinischen Bereich ist beispielsweise klar, dass die Entscheidungsfindung von Ärzt:innen und die Aufgaben von Pflegenden weder vollständig durch KI-Systeme ersetzt werden können, noch, dass dies von den Beteiligten gewollt wäre [111]. Hier sollten keine unnötigen Vorbehalte geschürt, sondern die Aufgaben, die sinnvoll von KI-Systemen unterstützt werden können, in einem partizipatorischen Prozess klar definiert werden. So besteht die Möglichkeit, den Einsatz zu normalisieren und einen kontinuierlichen Prozess der Implementierung zu ermöglichen. Die Ausgestaltung der Mensch-Maschine-Interaktion und das Design des soziotechnischen Systems, in dem menschliche Akteure, Daten und (KI-)Systeme miteinander interagieren, sollten keinesfalls als technische Fragen abgetan werden.

  2. 2.

    Schrittweise Entwicklung: Zur Förderung der Chancen gehört auch ein realistisches Bild. Gerade aus technischer Sicht kann ein zu euphorischer Blick auf KI-Systeme pragmatisch reflektiert werden. Oft fehlt es an der Standardisierung der Daten und der Systeme [112]. Bereits bei der Datengewinnung, -aufbereitung, und -auswertung bedarf es eines engen Austauschs mit klinischen Expert:innen, um inhaltlich korrekte, leistungsfähige und verzerrungsfreie Modelle zu generieren [113]. Diese Modelle stehen wiederum ganz am Anfang der Entwicklung eines KI-Systems. Basierend auf den Modellen erfolgt im Austausch mit Ärzt:innen, Pflegenden und Patient:innen die Weiterentwicklung zu einer Software oder die Integration in ein anderes Medizinprodukt und die anschließende Implementierung (Testeinsatz, Überarbeitung, Ausrollen), welche wiederum von den strukturellen Gegebenheiten des Einsatzortes, der Expertise der Behandelnden, dem aktuellen Stand der Technik und dem Austausch untereinander beeinflusst wird. Anwender:innen sollten dabei als Teil der Entwicklung, also als Ko-Entwickler:innen begriffen und so aktiv in den Entwicklungsprozess einbezogen werden.

  3. 3.

    Alternativen: Es muss geklärt werden, was technisch möglich ist und an welchen Stellen diese technischen Möglichkeiten am gewinnbringendsten eingesetzt werden können. Beispielsweise muss es nicht gleich die Diagnosefindung sein. Eventuell kann das zur Verfügung stehende System zunächst als Sicherheitsnetz eingeführt werden, z. B. beim möglichen Vorliegen einer seltenen Erkrankung einen Hinweis schicken. Allgemein gesprochen sollte nach dem klinischen Bedarf und nicht nach den Möglichkeiten der Entwickler:innen designt werden. Oft stehen Systemeigenschaften wie Performanz (im engeren Sinn) und Transparenz, Veränderbarkeit oder Erklärbarkeit in einem Spannungsfeld, bei dem nicht alles gleichzeitig optimiert werden kann. Daher sollte zu Beginn jeder Entwicklung gefragt werden, ob vollständig transparente Modelle wie etwa ein Entscheidungsbaum [114] nicht ähnlich gute Ergebnisse erzielen können wie etwa ein aktuelles neuronales Netz. Denn eine hohe Transparenz und Nachvollziehbarkeit der Systeme können wesentliche Vorteile bei der Implementierung sein, die kleine Unterschiede in der Performanz mehr als ausgleichen können.

  4. 4.

    Praxisnahe Testung: Im empirischen Teil der angeführten Studien hat sich der Allgemeinplatz bewahrheitet, dass der „Teufel oft im Detail“ steckt. Erst wenn die Prozesse und Interaktionen so durchdacht werden, dass sie implementiert werden können oder noch besser, wenn diese mit Mockups oder Demosystemen durchgespielt werden, treten viele Fragen zutage, die auf dem Reißbrett nicht aufgefallen wären. Diese reichen von rein technischen Fragen nach der Datenverfügbarkeit im geeigneten Format bis hin zur genauen Gestaltung des Behandlungsprozesses, beispielsweise der Frage, ob Mediziner:innen erst ihre eigene Verdachtsdiagnose oder Therapie protokollieren und speichern müssen, bevor sie den Vorschlag des KI-Systems sehen. Solche scheinbaren Nebensachen haben das Potenzial, von der Diagnosequalität bis hin zu Haftungsfragen wichtige Konsequenzen nach sich zu ziehen. Die Frage, ob sie das tun, lässt sich häufig nur empirisch beantworten. Auch weitere Akteure wie beispielsweise das klinische Fachpersonal, die Krankenhausverwaltung oder die krankenhausinterne IT-Infrastruktur, die möglicherweise direkt oder indirekt einen Einfluss auf ein neues Entscheidungsunterstützungssystem haben, sollten identifiziert und möglichst frühzeitig in einen Austausch mit Entwickler:innen gebracht werden.

  5. 5.

    Evidenzbasierung: Im Zeitalter evidenzbasierter Medizin muss für neue Diagnostika und Therapeutika deren Sicherheit sowie Eignung bzw. Wirksamkeit nachgewiesen werden, bevor sie in die klinische Routine übergehen können. Dem Paradigma der evidenzbasierten Medizin folgend, sollten auch KI-Systeme in der Medizin einen Zusatznutzen für Patient:innen (oder nachrangig Ärzt:innen und Pflegende) haben, bevor sie zugelassen/zertifiziert und damit Teil der klinischen Routine werden können. Da die Anwendungsfelder und spezifischen Einsatzmöglichkeiten von KI-Systemen mannigfaltig sind, und von Risikovorhersage über Diagnosestellung bis zur Therapieempfehlung reichen können, bedarf es einer Konkretisierung, welche Art von klinischer Prüfung Medizinprodukte durchlaufen müssen, die KI-Systeme sind oder beinhalten. Hierbei sollten keinesfalls bereits geltende Richtlinien zur Sicherheit und Effizienz, die für Arzneimittel und Medizinprodukte gelten, unterschritten werden.

Bedeutsame Kontrolle

Die Auseinandersetzung mit den empirischen Ergebnissen und damit der Einbezug der Perspektiven des medizinischen Personals und der Patient:innen wirft die Frage auf, was getan werden muss, um benutzerfreundliche Systeme zu entwickeln. Das schließt die ethische Reflexion mit ein und die Frage danach, wie Kontrolle über die zur Verfügung stehenden Systeme ausgestaltet werden sollte. Der Einsatz von KI in der Klinik soll eine bessere Entscheidungsfindung ermöglichen. Dafür ist es gerade in der Klinik nicht erstrebenswert, Entscheidungen im Ganzen an KI-Systeme zu delegieren. Im besten Fall bekommen die beteiligten Akteure durch den Einsatz von KI die Möglichkeit, Entscheidungen zu treffen, denen mehr und/oder fundiertere Informationen zugrunde liegen als zuvor. Es wird deutlich, dass dadurch Anforderungen an die Nutzer:innen entstehen. Sie müssen nicht nur in der Lage sein, die Systeme zu verwenden, sondern sie auch bestmöglich in verschiedenen Situationen einzusetzen. Eine der wichtigsten Fragen an dieser Stelle ist die Ausgestaltung der Interaktion zwischen den Anwender:innen und den zur Verfügung stehenden Systemen. Der Fokus muss hier darauf liegen, Erklärbarkeit und Visualisierung optimal zu gestalten. Für Patient:innen rückt zudem eine bedarfsgerechte Aufklärung in den Fokus der Betrachtung. Auch muss der Umgang mit sensiblen Daten beachtet werden. Daten sind häufig die Grundvoraussetzung für die Entwicklung und Optimierung von KI-Systemen. Zudem werden die benötigten Daten im Gesundheitsbereich von Patient:innen gewonnen und stehen so in direktem Zusammenhang mit der Frage nach deren Anspruch auf Partizipation.

  1. 6.

    Mensch-Maschine-Interaktion: Um bedeutsame Kontrolle zu erlangen, genügt es nicht, dass ein Mensch in den Entscheidungsprozess involviert ist. Vielmehr muss dieser durch entsprechende Gestaltung der Systeme zu einer bedeutsamen Kontrolle befähigt werden, um einen bewussten Entscheidungsprozess zu ermöglichen. Es ist zentral, den Fokus auf die Interaktion zwischen den Systemen und den Anwender:innen – in unserem Fall Patient:innen und das medizinische Personal – zu richten. Zum Beispiel muss klar sein, wie die Rückschlüsse und Empfehlungen eines Systems anzunehmen bzw. an weitere Akteure zu kommunizieren sind. Die Bedienung der Systeme muss für das medizinische Personal in Verbindung mit ihrem Expert:innenwissen stattfinden und für Patient:innen die Möglichkeit bieten, konkrete Nachfragen zu stellen. Dabei ist der verständliche Zugang zu Informationen/Erklärungsmustern für die Bewertung relevant. Gegebenenfalls benötigt es hierfür auch eine bestimmte Schulung oder Ausbildung. Die Systeme müssen technisch so gestaltet sein, dass sie Entscheidungsoptionen über die Interaktion zwischen Mensch und Maschine bieten. Der Mensch kann dann entscheiden, wie das System in den Entscheidungsprozess einbezogen werden soll. So kann den Nutzer:innen eine bedeutsame Kontrolle zukommen.

  2. 7.

    Erklärbarkeit, Visualisierung und Dokumentation: Es kann hilfreich sein, den Anwender:innen die Möglichkeit zu geben, auszuprobieren, wie geringfügige Änderungen der Eingabe das Ergebnis beeinflussen oder andere Formen der Interaktion bereitzustellen. Von Bedeutung sind hier Methoden aus dem Bereich der „Explainable AI“ (XAI). Die sogenannte globale Erklärung beschreibt, welche Variablen für das Modell im Allgemeinen besonders relevant sind und wie stark sie die Empfehlungen des Systems beeinflussen. Weiterhin kann jedoch eine konkrete Entscheidung teilweise auf anderen Faktoren beruhen – hier spricht man von lokaler Erklärung. Beides ermöglicht zwar nicht, die „Blackbox zu öffnen“, erhöht aber gemeinsam mit Informationen zu den Trainingsdaten, der verwendeten Methodik und Ergebnissen in Validierungsstudien die Transparenz des Systems und gibt den Anwender:innen damit Hinweise auf dessen interne Funktionsweise. Diese statischen Erklärungen sollten nur der Anfang sein, denn erst durch das wechselseitige Verstehen des Verhaltens kann Vertrauen in KI-Systeme nachhaltig erreicht werden. Hierfür bedarf es innovativer Interfaces, welche Interaktionen mit KI-Systemen ermöglichen. Die Aufnahme und Verarbeitung von Feedback ist auch vor dem Hintergrund wichtig, dass KI-Systeme wo passend als selbstlernende Systeme gestaltet werden sollten, um ihr Potenzial voll auszuschöpfen. Zusätzlich sollte ein KI-System idealerweise für interessierte und informierte Benutzer:innen gewisse System-Eckdaten bereitstellen, idealerweise in Form eines leicht verständlichen „Beipackzettels“. Diese Eckdaten sollten beispielsweise Auskunft über das zugrundeliegende Modell, Charakteristika der Trainingsdaten (z. B. Größe, Herkunft, Zusammensetzung/Zusammenstellung der Kohorte, Verteilung von Events, Annotationsprozess, Validierung usw.) und Systemevaluation (Art der Studie, Performanz) geben. Zu diesem Zweck gibt es bereits verschiedene Ansätze, beispielsweise Model Cards [115] oder Data Sheets [116]. Ebenso sollte auf bekannte Schwächen/Limits hingewiesen werden.

  3. 8.

    Diskriminierungssensibilität: Eine KI kann aus sich heraus keine diskriminierenden Absichten haben, dennoch reproduzieren sich mitunter in ihrer Nutzung die in den Trainingsdaten enthaltenen Diskriminierungen in den Systemen [106]. Deshalb bedarf es einer ausdrücklichen Regelung bezüglich des Umgangs mit ihren diskriminierenden Eigenschaften. Bisher finden sich hierzu Vorgaben in Art. 3 des Grundgesetzes sowie im Allgemeinen Gleichbehandlungsgesetz. Zur eindeutigen Klarstellung ist eine ausdrückliche Regelung jedoch wünschenswert. Von einer dadurch gewonnenen Rechtssicherheit profitieren Anwender:innen, Hersteller:innen und Betroffene gleichermaßen. Mehr als in anderen Lebensbereichen muss darauf geachtet werden, dass Daten vor ihrer Verwendung für KI-Systeme darauf geprüft werden, ob sie einen Bias enthalten, also eine Verzerrung der Daten, durch die gerade für vulnerable Personengruppen ein hohes Diskriminierungspotenzial verbunden ist [117]. Bereits bei der Einspeisung der Daten sind insofern Sorgfaltspflichten einzuhalten [96, 118]. Ein Bias ist von vornherein bestmöglich auszuschließen, insbesondere sind Daten vorab auf Richtigkeit und Nicht-Diskriminierung zu prüfen. Denn einmal in ein KI-System eingeschriebene Diskriminierungen sind deutlich schwerer zu adressieren als noch in den Daten selbst. Zu empfehlen ist hier eine Überprüfung auf Diskriminierungen im Rahmen der Zulassung (unter Wahrung der Betriebsgeheimnisse): KI-Systeme sind so zu gestalten und zu trainieren, dass alle betroffenen Personengruppen, bei denen die Systeme zur Anwendung kommen sollen, berücksichtigt werden. Grundsätzlich sollen Systeme für alle Personengruppen eingesetzt werden können. Insofern besteht auch Forschungsbedarf, wie dies technisch umsetzbar ist.

  4. 9.

    Aufklärung und Einwilligung der Patient:innen: Gerade um sich dem Ideal des shared decision-makings anzunähern, ist es unumgänglich, für eine adäquate Aufklärung Sorge zu tragen. Bei Neulandmethoden, deren Technik auf KI-Systemen basiert, muss mit Blick auf Diagnose, Therapie und Nachsorge neben den Vorteilen sowohl über die noch unbekannten Risiken als auch über die Blackbox-Problematik der KI-Systeme aufgeklärt werden [119, 120]. Zudem muss über alternative Behandlungsmöglichkeiten informiert werden [121]. Nur so können die Autonomie der Patient:innen und deren sonstige Rechte in ausreichendem Umfang gewahrt werden. Auch wenn die Nutzung von KI-Systemen in Zukunft zum medizinischen Standard gehören sollte, muss weiterhin über die Blackbox-Problematik sowie über die allgemeinen Risiken aufgeklärt werden [96, 120, 122, 123]. Für die Bereitstellung von Informationen und die Vermittlung neuer Kompetenzen für Patient:innen werden auch die Krankenkassen eine nicht zu unterschätzende Rolle einnehmen. Bereits jetzt gibt es Schulungsangebote zu shared decision-making und Digitalisierung. Diese müssen auf ML erweitert werden.

  5. 10.

    Datenschutzrechtliche Einwilligung und Subjekt-sensible Datenströme: Um die Informiertheit der Patient:innen sicherzustellen, sollten u. a. standardisierte Erklärungen zur Funktionsweise des Systems, Konkretisierung der gespeicherten Daten, zu Speicherzeiträumen, Weiterverarbeitung, Weitergabe, Notwendigkeit der Datenerhebung und zum Zweck der Verarbeitung bereitgestellt werden. Ein ausführliches Technikverständnis darf keine Voraussetzung für die Einwilligung sein [124]. Die Datenschutz-Grundverordnung (DS-GVO) bietet Regelungen für den Umgang mit Daten. Trotzdem gibt es weiteren Diskussionsbedarf: Beispielsweise bereitet das Recht auf Löschung aus Art. 17 DS-GVO beim Einsatz von KI im Bereich der Medizin erhebliche Schwierigkeiten. Denn die vollständige nachträgliche Löschung bzw. der Widerruf bereits verarbeiteter personenbezogener Daten aus einem KI-System ist aufgrund ihrer Architektur technisch schwierig. Konzepte wie ein Dynamic Consent, die Einführung von Datentreuhändern und die Möglichkeit der Datenspende ermöglichen den betroffenen Subjekten mehr Kontrolle über ihre Daten, ohne die DS-GVO als Grundlage in Frage zu stellen [125]. Eine Anpassung an die Architektur von KI sollte deshalb weiterhin diskutiert werden. Des Weiteren sollte die Forderung nach Zweckbindung der Daten im Zusammenhang mit Forschung revidiert werden. Gerade die Fähigkeit, mit einem gewissen Grad an Autonomie hilfreiche Muster in Daten zu finden, ist eine Stärke der KI-Systeme, die in Konflikt mit einer engen Zweckbindung steht [124].

Zertifizierung und Zulassung

Zwar sind die Einsatzmöglichkeiten von KI-Systemen im klinischen Alltag aktuell noch recht überschaubar, trotzdem ist klar, dass KI großes Potenzial bietet und ihre verbreitete Anwendung in verschiedenen medizinischen Bereichen vermutlich nur eine Frage der Zeit ist. Neben der Auseinandersetzung mit aktuellen Hindernissen für den Einsatz von KI muss demnach ein rechtlicher Rahmen für Zulassungs- und Zertifizierungsfragen geschaffen werden. Dieser sollte auch auf zukünftige Entwicklungen gerichtet sein. Beispielsweise werden Systeme in Zukunft von Unternehmen entwickelt und an Kliniken verkauft werden oder sich technisch durch eine Veränderung des Modells auszeichnen, was wir im Folgenden unter selbstlernenden Systemen verstehen.

  1. 11.

    Klassifizierung: Aus rechtlicher Perspektive besteht für die Zulassung von KI-Systemen die Möglichkeit einer Eingliederung der KI-Produkte in Risikoklassen auf Grundlage ihrer potenziellen Gefährlichkeit nach Art. 52 Abs. 3–6 MDR. Bei der Klassifizierung von Software als Medizinprodukt erfolgt eine Zuordnung in die Klasse IIb oder höher, wenn Produkte schwerwiegende Gesundheitsbeeinträchtigungen als Folge haben könnten (Regel 11 des Anhangs VIII MDR) [109, 118]. Aufgrund der Blackbox-Problematik der KI-Systeme sind solche Beeinträchtigungen nicht mit an Sicherheit grenzender Wahrscheinlichkeit auszuschließen. Ein derart weites Verständnis birgt jedoch die Gefahr einer Überregulierung, da die Systeme ausschließlich auf Grundlage ihrer Technologie und nicht wegen ihres Einsatzbereiches oder ihrer unmittelbaren Gefährlichkeit hochgestuft werden. Zudem wäre bei dieser Klassifizierung für die Zertifizierung i. d. R. die Einbindung einer Benannten Stelle erforderlich. Das würde die Benannten Stellen überfordern und Zertifizierungen würden zu lange dauern. Deshalb sollten die Aspekte „Einsatzbereich“ und „unmittelbare Gefährlichkeit“ bei der Eingliederung in Risikoklassen explizit berücksichtigt werden. Sollte andernfalls bei der Zertifizierung von KI als Medizinprodukt immer eine Benannte Stelle involviert sein, müssten die Benannten Stellen aufgestockt werden, da sonst Engpässe drohen [109]. Die alleinige Orientierung an der Gefährlichkeit – unabhängig von der Technologie – würde jedoch das Schutzinteresse und den Schutzgegenstand der MDR unterlaufen.

  2. 12.

    Abschnittsweise Erneuerung: Die Unique Device Identification (UDI) ist eine von der EU eingeführte Pflichtmaßnahme zur Registrierung und Identifikation von Medizinprodukten. Bisher ist die UDI immer dann zu erneuern, wenn die bestimmungsgemäße Verwendung der Software geändert wird oder wenn geringfügige Änderungen der Software vorgenommen wurden. Die UDI sollte daher so angepasst werden, dass diese in bestimmten zeitlichen Abschnitten zu erneuern ist.

  3. 13.

    Gebündelte Erneuerung: Nach geltendem Recht müssten die Systeme nach jedem Weiterlernen neu zugelassen werden. Dies ist praktisch kaum durchführbar, weshalb über eine spezifische Form interaktiven Weiterlernens der Systeme nachgedacht werden kann. Dabei würden die gesammelten Informationen innerhalb einer vorgegebenen Zeitperiode in einem Bündel zertifiziert, sodass die Systeme letztlich in gewissen Abschnitten immer neu zugelassen würden. So würde das System zwar nicht direkt von der Interaktion mit Ärzt:innen profitieren, da die Informationen nicht sofort umgesetzt werden. Die Lösungen würden allerdings für die nächste Zulassung gespeichert und anschließend übernommen.

  4. 14.

    Partizipation bei der Zulassung: Sinnvoll erscheint zudem eine Partizipation von Interessenvertreter:innen im Zulassungsprozess der jeweiligen KI-Systeme. Darunter zählen für uns vor allem das medizinische Personal sowie Vertretungen von Patient:innen, Anwender:innen, der Herstellung und Entwicklung. Durch die Einführung eines partizipativen Risikomanagements können die Beteiligten in die Entwicklung eingebunden werden [126]. Dadurch soll verhindert werden, dass die potenziellen Risiken von bestimmten Sicherheits- und Leistungsanforderungen einseitig auf den Hersteller oder Anwender abgewälzt werden. Zudem erscheint die Einbindung von Vertretern des medizinischen Personals im Rahmen der klinischen Bewertung und der Zuordnung der Risikoklassen als sinnvoll. Im Rahmen der klinischen Bewertung, der dazugehörigen Risikoklassen und der klinischen Eignung kann die Mitwirkung von Vertreter:innen des medizinischen Personals dazu führen, dass die Risiken, die Anwender:innen – also das medizinische Personal – betreffen, sinnvoll aufgeschlüsselt sowie angemessen reguliert und verteilt werden [126]. Zuletzt befürworten wir die Einbindung von Patient:innenvertretungen und des medizinischen Personals bei der Verifizierung, Qualifizierung und Validierung, um so ihre Interessen zu berücksichtigen.

  5. 15.

    Aufwertung und Erweiterung der Ethikkommissionen: Es wäre denkbar, die Regularien zur Ethik-Kommission im Bereich klinischer Studien auch für andere Bereiche der MDR als Vorbild zu nehmen. Die Regelungen nach den Art. 62 ff., 82 f. MDR sollten auch auf die allgemeinen Zulassungsvoraussetzungen übertragen werden. Zudem erscheint eine Ausweitung der Besetzung der Ethik-Kommission auf alle Interessensvertreter:innen sinnvoll. Die Einführung einer verpflichtenden Ethik-Kommission bei der Zulassung von KI-Produkten hätte den Vorteil, dass im Zulassungsverfahren interdisziplinäre Sichtweisen berücksichtigt werden könnten und der Prozess partizipatorisch gestaltet wird – hier sollten sämtliche Interessensvertreter:innen eingebunden werden [107]. Dies geht selbstverständlich mit der quantitativen und qualitativen Aufstockung der Benannten Stellen einher, um Partizipation zu erreichen. Die Anforderungen an Benannte Stellen sind in Art. 36 MDR und den Bestimmungen des Anhang VII geregelt. Im Anhang VII MDR werden die Zusammensetzung und die Unabhängigkeit der Mitarbeitenden der Benannten Stellen festgelegt. Die Spezifizierung der Anforderungen an das Personal unter Hinzuziehung weiterer Fachdisziplinen könnte im Rahmen von KI-Systemen die Interdisziplinarität stärken. In diesem Kontext wäre auch die Einführung eines unabhängigen Prüfungskomitees sinnvoll, welches interdisziplinär besetzt ist und im Rahmen der Zulassung bei Klärung und Nachfrage des Medizinproduktes beteiligt wird. So könnten bereits während des Zertifizierungsverfahrens Akteure im Rahmen der Klärung und Nachfrage beteiligt werden und in regelmäßigen Abständen die Funktionsweisen der zertifizierten KI-Systeme überprüfen [127].

Haftungsmöglichkeiten

Haftungsfragen stehen in engem Zusammenhang mit Fragen der Verantwortungszuschreibung. Dabei machen es die Besonderheiten von KI-Systemen schwer, sie unter die bisherige Ausgestaltung der Produkthaftung zu fassen. Ein Ansatz wäre, Verantwortungszuschreibung weiter zu denken und Entwickler:innen sowie Hersteller:innen mehr in die Verantwortung zu ziehen. Zudem erscheint die Einführung eines Entschädigungsfonds als notwendige Maßnahme.

  1. 16.

    Produkthaftung: Derzeit ergibt sich aus der Regelung nicht eindeutig, ob auch Software unter den Begriff des Produkts iSd Produkthaftungsgesetzes (ProdHaftG) fällt. Eine explizite Einbindung von Software in das Produkthaftungsrecht wäre daher wünschenswert, um auch softwaregestützte KI-Systeme zu erfassen. Weiterhin bedarf es einer klarstellenden Regelung in § 1 Abs. 2 Nr. 5 ProdHaftG dahin gehend, dass KI-Systeme nicht pauschal ausgeschlossen sind. Nach diesem ist derzeit eine Haftung ausgeschlossen, wenn der Fehler während des Inverkehrbringens des Produktes vom Hersteller nicht erkannt werden konnte. Sowohl eine weite Auslegung (hiernach würde aufgrund der vorhersehbaren Unvorhersehbarkeit der Haftungsausschluss nie greifen), als auch eine enge Auslegung (hiernach würde der Haftungsausschluss immer greifen) erscheint nicht interessengerecht. Daher sind eine Klarstellung sowie die Anpassung an KI-Systeme erforderlich. Zudem erscheint die Regelung einer Beweislastumkehr in § 1 Abs. 4 S. 1 ProdHaftG sinnvoll. § 1 Abs. 4 S. 1 ProdHaftG statuiert derzeit, dass der Geschädigte den Fehler, den Schaden und den ursächlichen Zusammenhang zwischen Fehler und Schaden beweisen muss. Eine solche einseitige Beweisbelastung geschädigter Patient:innen überzeugt hier nicht [42, 128].

  2. 17.

    Haftungsregime: Fehler entstehen häufig durch ein Zusammenwirken der Parteien, deren Verhalten für sich betrachtet nicht notwendigerweise eine Haftung begründet oder ausschließt. Daher sollten Hersteller:innen, Trainer:innen und Programmierer:innen verschuldensabhängig haften [108], wobei sie jedoch zugleich durch eine Verschuldensvermutung und eine Vermutung für Fehler und Ursächlichkeit für den Schaden belastet sein sollten [42, 129]. Ein Entlastungsbeweis ist für sie leichter zu erbringen als ein Belastungsbeweis durch den Geschädigten, denn durch ein entsprechendes Design und die Gestaltung der Interaktionsmöglichkeiten können diese den Herausforderungen der BlackBox-Problematik besser begegnen. Anwender:innen sollten dementsprechend nur in die gesamtschuldnerische Haftung einbezogen werden, wenn ihnen ein Verschulden nachgewiesen werden kann.

  3. 18.

    Quotelungen: Hersteller:innen, Trainer:innen und Programmierer:innen sollten als Gesamtschuldner haften. Im Innenverhältnis regeln Quotelungen (also prozentuale Aufteilungen der Haftung), wie die Haftung im Innenregress auszusehen hat. Die spezifische Quotelung muss in einem partizipatorischen Prozess eruiert werden. Folgende Möglichkeiten kommen in Betracht: 1) Anfangs starre Quoten und nach einer gewissen Zeit Aufweichung und Verschiebung zulasten des Hauptverantwortlichen. Der Nachteil starrer Quoten ist, dass sie in jedem Fall bindend sind und im Einzelfall zu unbilligen Ergebnissen führen können. Vorteilhaft hingegen ist, dass starre Quoten Rechtssicherheit bieten und sich das Risiko für Unternehmen im Voraus absehen lässt. Nach einer gewissen Zeit könnte die starre Quotelung aufgeweicht werden und eine Verschiebung zu Lasten des Hauptverantwortlichen stattfinden [42]. 2) Quotelung nach Einzelfall. Alternativ könnte für jeden Einzelfall eine bestimmte Quote festgestellt werden. Die Vorteile davon liegen in der Einzelfallgerechtigkeit sowie darin, dass auf jedes spezifische System eingegangen werden kann. Der Nachteil besteht in der Rechtsunsicherheit. Insbesondere sollte nicht vorschnell ein Mitverschulden der Patient:innen bejaht werden. Patient:innen verfügen häufig nur über begrenztes technisches Verständnis; nicht immer sind ihnen die Auswirkungen von marginalen Abweichungen der eingegebenen Werte für eine Diagnose bewusst. Ein Mitverschulden kommt jedenfalls nur in Betracht, wenn die Systeme benutzerfreundlich gestaltet sind. Wesentliche Bedeutung sollte der Benutzerfreundlichkeit der KI-Systeme für Patient:innen und einer sinnvollen Interaktion zwischen Ärzt:innen, Patient:innen und KI-System beigemessen werden. Eine solche Benutzerfreundlichkeit soll im Zulassungsprozess durch Partizipation der Interessensvertreter:innen gewährleistet werden.

  4. 19.

    Entschädigungsfonds: Auch bei Einführung einer gesamtschuldnerischen Haftung mit Vermutung von Kausalität und Verschulden sind Fälle denkbar, bei denen die Geschädigten letztendlich schutzlos stehen. Um unbillige Gerechtigkeitslücken zu vermeiden, ist daher ein Härtefallfonds einzuführen. Möglichkeiten der Ausgestaltung sind: 1) Eine Finanzierung des Fonds könnte durch Abgaben der Hersteller:innen abhängig von der Anzahl verkaufter Systeme erfolgen. Eine Einbeziehung der Anwender:innen überzeugt dagegen nicht, da diese wenig Einfluss auf Entwicklung und Gestaltung der Systeme haben. 2) Bei Einführung einer Pflichtversicherung für KI-Systeme für Anwender:innen kann die Finanzierung des Fonds auch durch die Versicherungsgebenden erfolgen. Zum Vergleich kann hier die Finanzierung der Verkehrsopferhilfe im Bereich des Straßenverkehrs herangezogen werden, die sich nach dem Marktanteil (der Versicherungsgebenden) richtet (vgl. §§ 12, 13 des Pflichtversicherungsgesetzes). Durch eine allgemeine Pflichtversicherung werden jedoch weniger Anreize für die Hersteller gesetzt [97, 130], die Systeme optimal zu entwickeln. Die Einführung eines Härtefallfonds für Patient:innen die mit oder durch KI-Systeme geschädigt wurden, könnte Anwendungshürden im klinischen Kontext reduzieren und Geschädigte vor unbilligen Härten schützen. Der Fond sollte nur subsidiär zur gesamtschuldnerischen Haftung greifen [42, 131].

Einbezug klinischer Organisationsstrukturen

Die Verbindung der Empirie mit ethischen und rechtlichen Schlussfolgerungen weist auf die Notwendigkeit hin, sich den Gegebenheiten im klinischen Alltag zuzuwenden und die Frage zu stellen, wie bisherige Strukturen innerhalb der Klinik genutzt und erweitert werden können. Wichtig erscheint hier die Frage nach der Förderung bereits bestehender Kommunikationsprozesse zwischen dem medizinischen Personal und Fachkräften an der Schnittstelle zur Informationstechnologie und der Fokus auf notwendige Veränderungen bezogen auf die medizinische Aus-, Fort- und Weiterbildung.

  1. 20.

    Austausch mit Vorgesetzten und Kolleg:innen: Bereits bestehende Kommunikationsverhältnisse dürfen durch den Einsatz von KI-Systemen nicht geschwächt werden. Vielmehr gilt es, den Austausch aller Beteiligten zu fördern. Gerade in der Klinik wird deutlich, dass bereits verschiedene Strukturen vorhanden sind, um mit Ungewissheiten umzugehen, beispielsweise der Austausch mit Kolleg:innen oder die Rückversicherung bei Oberärzt:innen [53]. In der Klinik werden Entscheidungen nicht alleine getroffen. Es werden Expertisen eingeholt, beispielsweise aus der Labormedizin oder vom Pflegepersonal. Zudem gibt es regelmäßig stattfindende Konferenzen, um Krankheitsbilder und Behandlungsmöglichkeiten in größeren Runden zu besprechen. Diese bereits vorhandenen Strukturen sollten bei der Gestaltung genutzt werden. Es sollte zum Standard gehören, eine zweite Meinung einzuholen, sobald die Interpretation der Empfehlung eines KI-Systems zu Unsicherheiten führt. Zudem können die Empfehlungen eines KI-Systems Teil der regelmäßig stattfindenden Konferenzen werden.

  2. 21.

    Räume für Feedback und Beschwerden: Es muss ein andauernder Diskurs über den Einsatz von KI im klinischen Alltag geschaffen werden. Sowohl das medizinische Personal als auch Patient:innen müssen die Möglichkeit bekommen, ihre Erwartungen, Sorgen und Erfahrungen zu teilen und dabei auch Gehör zu finden. Gerade im aktuellen Forschungsstadium ist das nicht nur wichtig, um Vertrauen aufrechtzuerhalten, sondern auch für die ständige Weiterentwicklung der Systeme. Es sollte ein Informationskanal zu den Entwickler:innen hergestellt werden, die dadurch kritische Rückmeldung zu ihren Systemen erhalten und die Möglichkeit bekommen, sie zu optimieren. Dabei können die Möglichkeiten der Digitalisierung genutzt werden, beispielsweise durch Online-Foren oder Feedbackfunktionen innerhalb der zur Verfügung stehenden Systeme. Ein Problem dabei ist der Ausschluss von Menschen, die keine Nähe zu digitalen Tools besitzen und so von der Möglichkeit, Feedback zu geben, ausgeschlossen werden. In diesen Fällen muss die Möglichkeit bestehen, das Feedback an dafür zuständigen Schnittstellen zu kommunizieren.

  3. 22.

    Chief Digital Officers: Eine Schnittstelle zwischen Informationstechnologie und Medizin bietet die Position des Chief Digital Officers (CDO). Dieser trägt in Unternehmen die Verantwortung für die digitale Transformation. Umfasst davon sind technische Infrastruktur und Datenmanagement, die digitale Organisation und Steuerung des operativen Geschäfts [93]. Anforderungen an die Position des CDOs sind insbesondere eine gute Kenntnis der Technologielandschaft und IT-Know-how, gleichzeitig aber auch Kommunikationsfähigkeit mit medizinischen Expert:innen und Lai:innen [94]. Für die Überwachung der KI-Entwicklung und des Einsatzes scheint es denkbar, die Position des CDOs auszubauen. Dabei ist dessen Position insbesondere gegen „strukturellen Druck“ abzusichern. Die Befugnisse erfassen dabei die Überprüfung und den Einsatz von KI-Systemen, ähnlich denen eines Datenschutzbeauftragten.

  4. 23.

    Medizinische Ausbildung: Handlungsbedarf besteht beim medizinischen Personal vor allem bei der Vermittlung neuer Kompetenzen im Umgang mit KI sowie der Bereitstellung notwendiger Informationen. Dafür wird es wichtig sein, dem Einsatz von KI in der medizinischen Ausbildung eine größere Rolle zuteilwerden zu lassen. Sowohl die Vermittlung digitaler Kompetenzen im Allgemeinen als auch von ML im Besonderen werden bereits Teil der neuen ärztlichen Approbationsordnung sein, die voraussichtlich 2025 in Kraft treten soll [132]. Wichtig wird sein, darauf zu achten, dass die Anwendungsbeispiele im Studium stets aktuell bleiben. Hierfür sollte auf digitale Lehrangebote zurückgegriffen werden [133].

  5. 24.

    Fort- und Weiterbildung des medizinischen Personals: Da nicht nur eine neue Generation von Mediziner:innen die notwendigen Kompetenzen mitbringen soll, werden Fort- und Weiterbildung für das gesamte medizinische Personal besonders relevant. Diese gehen mit gewissen Sorgfaltspflichten einher [134]: 1) Schulungspflicht: Es sollten regelmäßige Schulungen im Umgang mit dem KI-System durchgeführt werden [97]. 2) Instruktionspflichten: Bei der Überlassung eines KI-Systems an Dritte gelten Instruktionspflichten, die sowohl Hersteller:innen als auch Verleiher:innen beachten müssen [135]. Insbesondere ist darauf hinzuweisen, dass die Anwendung nur für den vorgesehenen Zweck zu erfolgen hat [134]. 3) Überwachungspflichten: Grundsätzlich sollten KI-Systeme vor ihrem Einsatz – ggf. auch durch Hilfspersonen – auf erkennbare Mängel überprüft werden [95, 136]. So ist eine Inbetriebnahme nur sorgfaltsgemäß, wenn zu diesem Zeitpunkt keine offensichtlichen Mängel an dem System erkennbar sind [128, 137]. Darüber hinaus müssen Anwender:innen während des Betriebs des Systems ihrer Pflicht zur Überwachung nachkommen. Entsprechend ist ein Weiterbetreiben eines als fehlerhaft erkannten Systems sorgfaltswidrig [97, 128, 135].