Die Einwilligung einer Patient:in in ihre Behandlung ist eine fundamentale Voraussetzung für das ärztliche Handeln und Ausdruck des ethischen Prinzips Respekt vor der Autonomie. Grundsätzlich wird angenommen, dass eine Patient:in einwilligungsfähig ist. In bestimmten Situationen können aber Zweifel an der Einwilligungsfähigkeit bestehen, zum Beispiel aufgrund einer (psychischen) Erkrankung der Patient:in. Zur Beurteilung der Einwilligungsfähigkeit können Mediziner:innen auf standardisierte Assessment-Tools und auf ihre klinische Beurteilungskompetenz zurückgreifen. Beides steht allerdings in der Kritik, da Ärzt:innen oft zu unterschiedlichen Ergebnissen in der Beurteilung der Einwilligungsfähigkeit gelangen.

Die Idee des von der VW-Stiftung geförderten Forschungsprojektes „Saving Autonomy: Assessing Patients’ Capacity to Consent using Artificial Intelligence“ (SMART Projekt, geleitet von Prof. Dr. phil. habil. Karsten Weber, OTH Regensburg) ist, dass der Einsatz von auf Künstlicher Intelligenz (KI) basierenden Systemen die Beurteilung der Einwilligungsfähigkeit objektivieren und standardisieren könnte. Gleichzeitig wirft der Einsatz solcher Systeme eine Reihe ethischer, rechtlicher und sozialer Fragen auf. Zu diskutieren sind beispielsweise die Auswirkungen auf das Selbstverständnis von Patient:innen und Ärzt:innen; inwiefern KI basierte Systeme diskriminierungsfrei entscheiden können; und wer verantwortlich ist, wenn es zu Fehlentscheidungen kommt. Diese Fragen wurden auf dem interdisziplinären Expert:innen-Workshop „Assessing AI Assessing Humans“ diskutiert. Expert:innen aus den Disziplinen Philosophie, Recht, Medizin, Soziologie, Informatik, Psychologie und Politik analysierten die Herausforderungen und Chancen eines KI-Einsatzes bei der Einschätzung der Einwilligungsfähigkeit.

Der zweitägige Online-Workshop setzte sich aus 12 Impulsvorträgen und anschließenden Diskussionen zusammen. Geleitet wurde der Workshop von Prof. Dr. phil. habil. Karsten Weber (OTH Regensburg); organisiert von Dipl.-Kauffrau Uta Bittner, M. A. (OTH Regensburg), Helene Gerhards, M. A. (OTH Regensburg) und Linda Ellen Kokott, M. Sc. (OTH Regensburg); gemeinsam moderiert mit Prof. Dr. med. Dr. h.c. Heiner Fangerau (HHU Düsseldorf), Prof. Dr. iur. Tanja Henking (Hochschule Würzburg-Schweinfurt) und Andrea Carolin Weber (Hochschule Würzburg-Schweinfurt).

In der ersten Session wurden unter dem Titel „Autonomie – Selbstbestimmung, Fürsorge und Künstliche Intelligenz“ insbesondere philosophische und ethische Perspektiven aufgegriffen. In dem ersten Impulsvortrag „Ersetzung des menschlichen Urteils über Einwilligungsfähigkeit durch KI? – Voraussetzungen und Erwartungen“ ging Prof. Dr. Susanne Hahn (Düsseldorf) der Frage nach, ob das menschliche Urteil über die Einwilligungsfähigkeit durch KI basierte Systeme ersetzt werden könnte, und analysierte die Einwilligungsfähigkeit als Dispositionsprädikat. Im Fokus stand dabei zum einen die Frage nach den Eigenschaften, die die Einwilligungsfähigkeit einer Person bestimmen, und zum anderen wie diese Eigenschaften operationalisiert und von einem automatisierten System erfasst werden könnten.

Prof. Dr. Saskia Nagel (Aachen) stellte in ihrem Impulsvortrag „Autonome Patienten und automatisierte Prozesse: neue Fragen der Verantwortung in der Klinik“ Verantwortungszuschreibungen in den Vordergrund. Sie beschrieb KI basierte Systeme als Teil eines Beziehungs- und Verantwortungssystems und plädierte dafür, KI basierte Systeme als Hilfestellung zu verstehen, um Beziehungen zu stärken, Entscheidungen zu unterstützen und somit die Autonomie der Betroffenen zu fördern.

In den darauffolgenden zwei Vorträgen wurden insbesondere rechtswissenschaftliche Perspektiven aufgegriffen. Prof. Dr. Gunnar Duttge (Göttingen) gab in seinem Impulsvortrag „Zur (limitierten) Kompatibilität des juristischen ‚informed consent‘ für den Einsatz von KI“ eine grundlegende juristische Einordnung des Selbstbestimmungsrechts der Patient:innen in Form der informierten Einwilligung und ging der Frage nach, inwieweit es operationalisierbare Anteile in der Einwilligungsfähigkeit und im Prozess des „informed consent“ gäbe, die für algorithmenbasierte Systeme zugänglich gemacht werden könnten.

Prof. Dr. Jan Eichelberger (Hannover) warf in seinem Impulsvortrag „KI und Verantwortung, passt unser Verantwortungsbegriff in ein Zeitalter der KI?“ Fragen nach Verantwortung für Fehler und Schäden durch den Einsatz von KI auf. Prof. Dr. Eichelberger wies die Idee einer KI als „E-Person“, die Verantwortung bzw. Haftung übernehmen solle, zurück und schloss seinen Vortrag damit, dass es keinen grundlegend neuen Verantwortungsbegriff brauche, da das geltende Haftungsrecht für zukünftige Entwicklungen im Kontext von KI bereits gut gerüstet sei.

In ihrem Impulsvortrag „Herausforderungen bei der Prüfung der Einwilligungsfähigkeit aus Arzt- und Patientensicht“ stellte Prof. Dr. Henriette Krug (Hamburg) anhand einer Fallvignette die Vielschichtigkeit der Einwilligungsfähigkeitsbestimmung in der klinischen Praxis dar. Die Einwilligungsfähigkeit bestehe nicht nur aus einer kognitiven Dimension, sondern unterliege auch einer internen (z. B. Emotionen) und externen Beeinflussung (z. B. soziales Umfeld). Als ein relationales Phänomen brauche die Einwilligungsfähigkeit eine Annäherung sowohl aus der ärztlichen als auch aus der Sicht der Patient:innen. Mit der Hervorhebung der kommunikativen und relationalen Aspekte der Einwilligungsfähigkeit schloss die erste Session des Workshops.

Session 2 „Theorie & Praxis der Einwilligungsfähigkeit“ begann mit dem Impulsvortrag „Einwilligungsfähigkeits-Prüfung: Herausforderungen und Grenzen“ von Dr. Tanja Müller (Frankfurt am Main). Sie gab einen Überblick über unterschiedliche Assessment-Tools zur Beurteilung der Einwilligungsfähigkeit sowie Einblicke in psychologisch-empirische Studien zur Prüfung der Einwilligungsfähigkeit. Dr. Müller zeigte auf, dass selbst bei standardisierten psychometrischen Verfahren keine vollständige Prüfung der Einwilligungsfähigkeit gelinge und auch nicht beabsichtigt sei. Neben den Assessment-Tools wären weitere klinische Faktoren sowie das ärztliche Urteil wichtig; KI basierte Systeme könnten ein zusätzliches unterstützendes Instrument darstellen.

Anschließend zeigte Prof. Dr. Ulrich Gassner (Augsburg) in seinem Impulsvortrag „Rechtliche Rahmenbedingungen KI-basierter Beurteilung der Einwilligungsfähigkeit“, dass die Beurteilung der Einwilligungsfähigkeit bisher in den Verantwortungsbereich der behandelnden Ärzt:innen falle. Prof. Dr. Gassner analysierte, ob der Grundsatz der persönlichen Leistungserbringung, der sich in verschiedenen Rechtsgrundlagen wiederfindet, mit einem standardisierten KI-Verfahren vereinbar wäre. Mit Blick auf produktbezogene Anforderungen diskutierte Prof. Dr. Gassner zusätzlich, ob KI basierte Systeme zur Beurteilung der Einwilligungsfähigkeit in die Klasse der Medizinprodukte fallen und welche Herausforderungen damit einhergehen würden.

Tag 2 startete mit der Session „Künstliche Intelligenz in der Medizin (Chancen und Risiken)“. Prof. Dr. Ingrid Schneider (Hamburg) gab in ihrem Impulsvortag „KI in der Medizin – Chancen, Risiken und Implikationen für die Gesellschaft“ einen Überblick über KI basierte Systeme in der Medizin mit einem Fokus auf klinische Entscheidungsunterstützungssysteme. Grundlegende Schwierigkeiten, etwa fehlende Evidenz, aber auch weitreichende gesellschaftliche Implikationen wurden diskutiert. Prof. Dr. Schneider schloss mit der These, dass trotz der technischen Entwicklungen Unsicherheiten in medizinischen Entscheidungen bestehen und ärztliches Erfahrungswissen daher bedeutend bleiben würde.

Dr.-Ing. Frank Pallas (Berlin) sprach in seinem Impulsvortrag „Gesundheitsdaten, Datenspenden, ungerichtete Innovation und die Einwilligungsproblematik: Technische Ansätze für praxistaugliche Einwilligungen und Zweckbindungen bei Gesundheitsdaten“ über die technische Ausgestaltung einer Einwilligung im Kontext von Gesundheitsdaten-Spenden. Anhand verschiedener Szenarien zeigte er auf, dass Einwilligungen beispielsweise nur sehr schwer maschinenlesbar kodifiziert und daher nur schwer technisch materialisiert werden können. Trotz der Schwierigkeiten plädierte Dr. Pallas für eine technisch vermittelte Einwilligung unter bestimmten Voraussetzungen.

Die vierte Session „Algorithmische Entscheidungen und Datensicherheit“ startete mit dem Impulsvortrag „Verlässlichkeit von algorithmischen Entscheidungen“ von Prof. Dr. Stefan Conrad (Düsseldorf). Prof. Dr. Conrad führte die in der Informatik gebräuchlichen Begriffe der Korrektheit und Robustheit ein und deklinierte beide Begriffe für verschiedene Bereiche (z. B. Algorithmen-Entwicklung) und auf unterschiedlichen Ebenen (z. B. der Trainingsdaten). Anhand dieser Systematisierung diskutierte Prof. Dr. Conrad, wer für die Korrektheit auf welcher Ebene verantwortlich sei und welche Gefahren der Diskriminierung es, zum Beispiel auf der Ebene der Trainingsdaten, gäbe.

In seinem Impulsvortrag „Herausforderungen aus Sicht der Medizininformatik“ griff Prof. Dr. Georg Raptis (Regensburg) Fragen aus dem SMART Projekt auf, die sich bezüglich klinischer Daten für das Training eines KI basierten Systems stellen: 1) Woher die klinischen Daten nehmen, 2) welche Daten wären geeignet und 3) wie mit Datenschutz und Schweigepflicht umgehen? Nach einer Systematisierung möglicher Daten-Quellen und deren jeweiligen Problematiken diskutierte Prof. Dr. Raptis abschließend das Paradox einer erforderlichen Einwilligung von nicht-einwilligungsfähigen Personen sowie die Problematik des Secondary Use von Gesundheitsdaten.

Session 5 „Künstliche Intelligenz und Emotionserkennung“ wurde durch den Impulsvortrag „Multimodale algorithmische Emotionserkennung: Möglichkeiten und Grenzen“ von Prof. Dr. Harald Traue (Ulm) eingeleitet. Er ging den Fragen nach, welche Formen des Emotionalen im Kontext einer Prüfung der Einwilligungsfähigkeit vorkommen können, welche Emotionen berücksichtigt werden sollten und was ein automatisiertes System diesbezüglich leisten könnte. Aufgrund der Schwierigkeit, Emotionen über individuelle Personen hinweg zu erkennen, und des prozesshaften Charakters des Emotionalen in Entscheidungssituationen äußerte Prof. Dr. Traue Zweifel, ob Emotionen bei der Beurteilung der Einwilligungsfähigkeit operationalisiert und durch ein algorithmenbasiertes System berücksichtigt werden könnten. Session 5 endete mit einer Debatte über die Reduzierung von mentalen Phänomenen wie Emotionen auf naturwissenschaftliche Erklärungen sowie mögliche Auswirkungen einer solchen Reduzierung auf das Menschenbild in der Medizin und der Gesellschaft insgesamt.

Der interdisziplinär besetzte Workshop bot ein hochwertiges und abwechslungsreiches Programm, das die Bewertung der Einwilligungsfähigkeit von Patient:innen aus unterschiedlichen Perspektiven beleuchtete und so einen umfassenden Überblick über den aktuellen Forschungs- und Diskussionsstand gab. Die anregenden Impulsvorträge verdeutlichten die Komplexität des Themas, zeigten aber auch, wie fruchtbar der Austausch zwischen den Disziplinen ist. Durch hinreichenden Raum für Diskussionen ermöglichte der Workshop den Teilnehmer:innen, die Inhalte der Vorträge diskursiv weiterzuführen und Erkenntnisse für die weiterführende Arbeit mitzunehmen.