Einleitung

Künstliche Intelligenz (KI) ist ein Begriff, der aus der Diskussion um die Zukunft der Versicherungsbranche nicht mehr wegzudenken ist. Unter Künstlicher Intelligenz werden hier selbstlernende Algorithmen zusammengefasst, die mithilfe von Daten Lösungen für wiederkehrende Entscheidungsprobleme finden können.Footnote 1 KI wird schon jetzt in verschiedenen Bereichen eingesetzt und hat das Potenzial, die Arbeit der Versicherungsbranche grundlegend zu verändern. Die Anwendungsmöglichkeiten reichen dabei von Produktentwicklung über Underwriting, Vertrieb und Bestandsmanagement bis zur Schadenmeldung, -bewertung und -regulierung.

In diesem Beitrag stehen KI-Anwendungen im Fokus, die im Verhältnis zu potenziellen Kunden, zu Versicherungsnehmern und zu Begünstigten von Versicherungsleistungen eingesetzt werden.Footnote 2 Im Vertrieb können intelligente Systeme entweder den Vermittler bei seiner Arbeit unterstützen oder sogar selbst die Beratung übernehmen. Des Weiteren kann KI in Verbindung mit Big Data auch dazu genutzt werden, den Bedarf des Kunden besser zu analysieren und dem Kunden bessere oder zusätzliche Produkte anzubieten. KI ermöglicht insbesondere eine laufende Beobachtung bestimmter versicherter Risiken und eine damit verbundene flexible, an das Risiko angepasste Gestaltung des Versicherungsschutzes (pay as you live). Hinzu kommt der Einsatz in der Schadenbearbeitung. So ist es schon heute machbar, dass KI die Schadenmeldung des Kunden „liest“, bewertet und zum Beispiel weitere Informationen vom Kunden anfordert oder den Schaden sofort reguliert. Insbesondere bei Großereignissen, sogenannten Kumulereignissen, wie den zunehmenden Unwetter-Ereignissen, könnten so die Schadenabteilungen der Versicherer entlastet und den Kunden Wartezeiten erspart werden.

KI ist dem Menschen in vielen Punkten überlegen. Sie kann mehr Informationen verarbeiten, und dies schneller, rund um die Uhr und immer präzise. Eine KI vergisst nichts, hat keinen schlechten Tag, lässt sich nicht ablenken, ist nie frustriert oder müde. Sie ist ferner modular ergänzbar, und die Quanteninformatik eröffnet aktuell ganz neue Perspektiven hinsichtlich der Leistungsfähigkeit von KI. Kurz gesagt – man verspricht sich, dass eine KI effizienter und effektiver arbeitet als der Mensch.Footnote 3

KI ist aber auch nicht perfekt. So zeigen KI-Systeme durchaus Entscheidungs- bzw. Klassifikationsergebnisse, die diskriminieren.Footnote 4 So bot bei einem in England durchgeführten Versuch im Jahr 2018 eine KFZ-Versicherungsvergleichsseite Männern mit vollkommen identischen Risikoprofilen höhere Prämien an, wenn sie keinen klassischen englischen Namen trugen, sondern etwa „Muhammad Khan“ hießen.Footnote 5 Es wird zwar kein Unternehmen je ganz vermeiden können, dass einzelne Mitarbeiter ebenfalls voreingenommene Entscheidungen treffen. Im Unterschied zu diesen Einzelnen ist eine voreingenommene KI jedoch skalierbar. Wird eine solche KI zum Entscheider über z. B. die Höhe der Prämie, den Abschluss eines Versicherungsvertrags oder die Auszahlung der Leistung, so ist jede Entscheidung gegenüber den Kunden „belastet“; es können ganze Gruppen von notwendiger finanzieller Teilhabe ausgeschlossen werden.Footnote 6 Und wird ein solches Verhalten einer KI aufgedeckt, leidet nicht nur der Ruf des Versicherers, sondern es drohen auch rechtliche Konsequenzen.

Der folgende Beitrag behandelt das Thema der Voreingenommenheit von KI, den sog. Bias, aus informationstechnologischer und juristischer Sicht. Wir klären zunächst die technischen Grundlagen und damit die Frage, wie es passieren kann, dass eine KI mit einem Bias belastete Entscheidungen trifft (Abschn. 2.). Im Anschluss untersuchen wir, wann die Diskriminierung von Versicherungsnehmern durch Versicherungsunternehmen verboten ist und welche zivilrechtlichen Folgen sich an einen Verstoß gegen das jeweilige Verbot für den Versicherer knüpfen (Abschn. 3.).Footnote 7 Dann gehen wir auf die technischen Möglichkeiten ein, einem Bias und damit einer verbotenen Diskriminierung entgegenzuwirken (Abschn. 4.). Es folgen Überlegungen dazu, ob und inwieweit das Versicherungsaufsichtsrecht gewährleistet, dass Versicherer Versicherungsnehmer durch Ergreifen dieser Möglichkeiten vor Bias schützen (Abschn. 5.), sowie ein erster Blick auf den Kommissionsentwurf des Artificial Intelligence Act und seiner Bedeutung für die Verhinderung von Diskriminierung (Abschn. 6.). Im Fazit (Abschn. 7.) fassen wir die zentralen Ergebnisse zusammen und geben einen Ausblick auf zukünftig wichtige Forschungsfragen.

Technische Grundlagen

Das Feld der KI im oben genannten Sinne spannt sich in zwei Bereiche auf: Die starke KI befasst sich mit der künstlichen Entwicklung von menschlichem Verhalten und Emotionen. Der technologische Stand von dieser Art KI ist jedoch noch fern von einer Marktreife, sodass er vor allem im akademischen Bereich betrachtet wird.Footnote 8

Anders sieht es hingegen mit dem Bereich der schwachen KI aus, welche sich mit der Lösung genau definierter Probleme beschäftigt und hierdurch immer häufiger im betrieblichen Kontext zur Unterstützung oder Übernahme von wiederkehrender Tätigkeiten eingesetzt wird.Footnote 9 Vor diesem Hintergrund wird im Nachfolgenden lediglich diese Art von KI berücksichtigt.

Der Prozess des Lernens

Das Lernen einer Künstlichen Intelligenz basiert auf größeren Datenmengen, welche üblicherweise in Trainingsdaten und Testdaten, etwa im Verhältnis 80:20 oder 70:30, unterteilt werden.Footnote 10 Während die Trainingsdaten zur Kalibrierung des Algorithmus bzw. zur Erstellung eines Modells genutzt werden, dienen die Testdaten zur Evaluierung der gelernten Muster. Zur Bewertung der algorithmischen Performance wird eine Zielfunktion eingesetzt, welche in der Regel einen möglichst maximalen Nutzen oder minimale Kosten erreichen soll. Eine Abstraktion dieses Lernprozesses wird in der Abb. 1 dargestellt.

Abb. 1
figure 1

Verwendung von Trainingsdaten und Testdaten zum Lernen einer KI; Quelle: Eigene Darstellung

Mit komplexen mathematischen und statistischen Verfahren, welche auch als Verfahren des maschinellen Lernens bekannt sind, wird im Rahmen des Trainings nach Datenmustern gesucht. Die Datenmuster, die in Kombination am besten zur Problemlösung geeignet sind, werden in ein Modell überführt und können mithilfe der Testdaten evaluiert werden. Dabei können die Algorithmen auch sehr komplexe Probleme lösen und trainiertes (oder gelerntes) Wissen auf sehr große Datenbestände anwenden.Footnote 11 Liefert das Modell zufriedenstellende Ergebnisse, kann es in einer Produktivumgebung zur Behandlung unbekannter Datenbestände angewendet werden.

Bevor die Verfahren des maschinellen Lernens jedoch greifen können, müssen die Faktoren bestimmt werden, die im jeweiligen Anwendungsfall relevant sind. Die vorliegenden Merkmale werden untersucht und unter Annahme einer vertretbaren Irrtumswahrscheinlichkeit wird entschieden, ob die Merkmale im Rahmen des Lernens zur Verbesserung des Algorithmus beitragen. Während irrelevante Merkmale keine Anwendung im Rahmen des Lernprozesses finden, werden die relevanten Merkmale zum Trainieren der KI herangezogen, da davon ausgegangen wird, dass sie zur Beantwortung des Problems beitragen können.

Während dieses Vorgangs werden Datenmuster im Trainingsdatensatz gesucht, welche möglichst fehlerfrei auf den Testdatensatz übertragbar sein sollen. Werden zum Lernen einer KI zu wenig signifikante Einflussvariablen verwendet, führt dies dazu, dass nicht alle relevanten Faktoren abgebildet werden und die Fehlerhäufigkeit relativ hoch ist (sog. Underfitting). Die zusätzliche Aufnahme von weiteren bedeutsamen Merkmalen führt zu einer Erhöhung der Modellkomplexität, welche in der Regel zunächst auch eine allgemeine Verbesserung der Modellgüte mit sich zieht. Lernt eine KI hingegen zu viele Merkmale, hat dies zur Folge, dass das KI-Wissen nicht mehr auf andere Datenbestände übertragen werden kann, ohne zeitgleich eine Zunahme der Prognosefehler zu verursachen (sog. Overfitting).Footnote 12 Diese systematischen KI-Prognosefehler (Abweichungen zwischen dem wahren Wert und dem KI-Schätzwert) heißen im Kontext des Lernprozesses Bias. Der Begriff des Bias wird somit zur Beschreibung einer systematischen Verzerrung bzw. einer systematischen Abweichung zwischen der Modellierung und der Wirklichkeit genutzt.Footnote 13

Neben der direkten Bias-Wirkung (Disparate Impact) zwischen zwei Variablen können auch indirekte Beziehungen (Disparate Treatment) auftreten. Im Kontext des maschinellen Lernens ist die Differenzierung dieser Begriffsverständnisse von fundamentaler Bedeutung, da der Einsatz von KI-Algorithmen nicht zwangsläufig zu einer Vermeidung von Bias-Effekten führt, da die Verwendung der Algorithmen genau auf die zugrundeliegende Situation abgestimmt werden muss. Algorithmen, welche mithilfe von Daten trainiert werden, können trotz des Ausschlusses von sensitiven Attributen (z. B. Alter, Religion oder Geschlecht) unbeabsichtigte Diskriminierung mit unterschiedlichen Auswirkung hervorrufen.Footnote 14 Dabei können diese diskriminierenden Muster nicht nur über Variablen wie Alter oder Geschlecht, sondern auch über andere Variablen wie Wohnort, Einkommen und Bildungsniveau erfasst werden, sodass das reine Ausschließen sensitiver Merkmale (z. B. Alter, Religion oder Geschlecht) nicht ausreicht. Zur Vermeidung von Bias-Effekten bei der datengetriebenen Beantwortung einer unbekannten Zielgröße sind daher weitere Schritte notwendig,Footnote 15 welche nachfolgend erneut aufgegriffen werden (siehe Abschn. 4.).

Die Suche nach der optimalen Datenrepräsentation und -auswahl gestaltet sich somit stets als Balanceakt, bei dem es gilt, zwischen Modellgenauigkeit (wenig Prognosefehler) und Modellkomplexität (viele Modellparameter) abzuwägen. Und eben diese Suche nach dem optimalen Grad des Lernens, um einerseits die vorliegende Datenbasis exakt zu beschreiben und andererseits zukünftige Ereignisse präzise vorhersagen zu können, ist von je her im Versicherungswesen verwurzelt, da Risiken innerhalb der Versicherungsgemeinschaft proportional auf die entsprechenden Gruppen umgelegt werden sollen.

Der Umgang mit Bias ist alles andere als eine Trivialität, da dem Lernerfolg häufig eine große Vielzahl von möglichen Einflussfaktoren zugrunde liegt und mit dem Lernen daher ein hohes Maß an Komplexität verbunden ist. In der Literatur werden zahlreiche Ursachen für Bias angeführt, welche auf unterschiedlichste Weisen strukturiert werden. Vor diesem Hintergrund folgt diese Arbeit dem in Pessach und Shmueli dargestellten Ansatz,Footnote 16 um einen Einblick über potenzielle Bias-Quellen zu geben:

  • Bias-Effekte, welche bereits in den Trainingsdatensatz enthalten sind und auf verzerrten Messungen, verzerrten menschlichen bzw. kognitiven Entscheidungen, fehlerhaften Berichten oder ähnlichem basieren.

  • Bias-Effekte, welche durch das Fehlen von Daten hervorgerufen werden und dadurch für die Zielpopulation nicht repräsentativ sind. Beispiele hierfür sind Stichprobenverzerrungen, Auswahlverzerrungen oder fehlende Werte.

  • Bias-Effekte, welche sich aus unpassenden algorithmischen Zielsetzungen ergeben, wie etwa eine stark aggregierte Vorhersage, da in der Regel die Mehrheitsgruppen die Minderheiten im Rahmen der meisten KI-Verfahren dominieren werden.

  • Bias-Effekte, welche durch „Proxy“-Attribute hervorgerufen werden. Proxy-Attribute sind nicht-sensitive Attribute, die einen Rückschluss auf sensitive Attribute (z. B. Alter, Religion oder Geschlecht) erlauben.Footnote 17

Es gibt folglich nicht „den einen Bias“, sondern eine Vielzahl, und durch die menschliche Interaktion mit digitalen Systemen werden Datenbestände erzeugt, die diese Verzerrungen reflektieren und durch die immanente Systematik dieser Verzerrungen auf Algorithmen übertragen. In diesem Beitrag beschreibt Bias eine signifikante systematische Abweichung des Outputs eines Algorithmus von der Realität.Footnote 18

Insbesondere im Bereich der KI wird Bias oft als Problem angesehen, da Bias das algorithmische Verhalten stark beeinflussen kann und teils dazu führt, dass Individuen oder Personengruppen ungleiche, unfaire oder gar diskriminierende KI-Entscheidungsausgänge erfahren (Abschn. 2.2). Ob und in welchem Ausmaß die KI-Entscheidungsausgänge von einem Bias betroffen sind, beruht dabei auf der Beurteilung der KI-Fehlerhäufigkeiten in Bezug auf die jeweiligen Individuen oder Personengruppen.

Die Gefahr eines Bias

Schon heute zeigt KI in vielen Bereichen ihre Leistungsfähigkeit. Sie arbeitet rund um die Uhr, erreicht zumeist gewünschte Ergebnisse innerhalb kürzester Zeit und ist dabei dem Menschen häufig sogar hinsichtlich qualitativer Aspekte überlegen. Sie kann aber auch manchmal ziemlich danebenliegen. So forderte etwa Googles Bilderkennung asiatisch aussehende Menschen dazu auf, die Augen zu öffnen.Footnote 19 Ein Algorithmus, der Amazon bei der Bewerberauswahl unterstützen sollte, schlug vor allem Männer vor,Footnote 20 die zum Beispiel „Jared“ hießen und Lacrosse spielten.Footnote 21 Und YouTube assoziierte den Großbrand von Notre-Dame mit dem 9/11-Terroranschlag.Footnote 22 Zwar ermöglichen es Verfahren des maschinellen Lernens, sämtliche eingehende Informationen in ihrer Diversität zu verarbeiten, aber offensichtlich war in diesen Fällen die KI nicht in der Lage, relevante Merkmale optimal zu erkennen. Die obigen Fauxpas der IT-Riesen unterstreichen die Komplexität, die mit diesem für den Lernerfolg so kritischen Schritt einhergeht und lassen vermuten, dass KI einem Bias unterliegen kann.

Besonders schwerwiegend sind diese systematischen Fehler, wenn sie in KI-Systemen auftreten, welche mit weitreichenden Lebensentscheidungen verbunden sind. Das COMPAS-System von ProPublica ist ein vorprozessuales Risikomodell, das von zahlreichen US-Gerichten verwendet wird, um die Wahrscheinlichkeit für den Rückfall einer (inhaftierten) Person zu bestimmen. Auf Grundlage dieser Wahrscheinlichkeit wird entschieden, ob diese Person auf Kaution freigelassen wird oder nicht. Dieses intensiv diskutierte System basiert auf Trainingsdaten, die die Rückfallraten von schwarzen Angeklagten aufgrund unzähliger Unterdrückungsformen, wie etwa übermäßige Polizeikontrollen in Schwarzen-Vierteln, überschätzen.Footnote 23 Das COMPAS-System weist somit eine signifikant höhere Fehlerhäufigkeiten in Abhängigkeit der ethnischen Gruppenzugehörigkeit auf und unterliegt demnach einem Bias. Neben dieser algorithmischen Voreingenommenheit zeigen Dressel und Farid auf, dass das COMPAS-System bei der Entscheidungsfindung keine besseren Ergebnisse erzielt als ein einfaches logistisches Regressionsmodell.Footnote 24 Dies bedeutet, dass der Einsatz von komplexen KI-Verfahren nicht zwangsläufig mit einem Informationsnutzen behaftet ist und stets hinterfragt werden sollte, ob die zusätzliche Modellkomplexität gerechtfertigt ist.

Ein weiteres aktuelles Anwendungsbeispiel von Algorithmen, die kognitive Verzerrungen lernen, ist Predictive Policing, das darauf abzielt, Kriminalität zu stoppen, bevor sie passiert.Footnote 25 Was zunächst nach einem dystopischen Szenario klingt, wird in einigen US-Staaten bereits praktiziert und zeigt in der Praxis auf, dass die KI-Algorithmen anstelle der kognitiven Vorurteile von Richtern (siehe COMPAS-Beispiel) die unterschwellige Voreingenommenheit von Polizisten erkennen, lernen und replizieren.Footnote 26

Das Problem von KI-Bias lässt sich nicht auf eine bestimmte Anwendungsdomäne beschränken. Vor diesem Hintergrund haben sich in den letzten Jahren zahlreiche Institutionen, wie die Datenethikkommission der Bundesregierung, die Initiative European Network of Human-Centered AI (humane-ai.eu) oder „Data, Responsibly“ (dataresponsibly.github.io), etabliert, die sich mit moralischen KI-Aspekten auseinandersetzen. An der TU München gibt es hierzu bereits ein eigenes Institut (ieai.mcts.tum.de).

Die Wahrscheinlichkeit für einen Irrtum, sprich die Wahrscheinlichkeit für die Abbildung eines Bias, steigt, je mehr Entscheidungen getroffen werden. Dieser Bias-Effekt kann zu einer ungleichen bzw. unfairen Behandlung von Individuen oder Gruppen führen und sich unterschiedlich stark auswirken (sowohl positiv als auch negativ). Eine systematische Bevorzugung von Auszubildenden, Senioren oder Menschen mit Handicap etwa durch eine Tarifvergünstigung stößt eher auf gesellschaftliche Akzeptanz, während eine systematische Benachteiligung einer ethnischen Gruppe abgelehnt wird.

Eine (schwache) KI lernt, ohne die von ihr identifizierten Muster selbstständig zu hinterfragen. Werden diese Muster nicht weiter überprüft, kann es passieren, dass, wenn man eine KI bei der Arbeit beobachtet und die Entscheidungen, die diese trifft, analysiert, zu dem Ergebnis kommt, dass die KI die Entscheidungen nicht in der gewünschten Weise trifft. Kritisch ist dies vor allem, wenn festgestellt wird, dass die KI nicht gewollte beziehungsweise nicht zulässige Differenzierungen zwischen Versicherungsnehmern, potenziellen Kunden oder Dritten trifft, die KI also zum Beispiel Ergebnisse zeigt, die gegen das Verbot der Diskriminierung aufgrund der Rasse oder des Geschlechts verstoßen (s. hierzu Abschn. 3.1).

An diesem Beispiel und den anderen obigen Beispielen wird deutlich, dass ein Bias massiven Einfluss auf die algorithmische (Un‑)Gerechtigkeit bzw. algorithmische Fairness, haben kann. Der Prozess des Lernens ist jedoch stets mit einem Bias behaftet. Vor diesem Hintergrund wird das Verständnis für algorithmische Fairness im weiteren Verlauf zunächst genauer betrachtet.

Algorithmische (Un‑)Fairness (?)

Zur Quantifizierung algorithmischer Fairness wurden bereits umfangreiche Arbeiten durchgeführt. Es existiert eine Reihe konkurrierender algorithmischer Fairness-Ansätze, welche im Rahmen der KI-Entwicklung eingesetzt werden kann. Jeder dieser algorithmischen Fairness-Ansätze repräsentiert dabei eine andere konzeptionelle Vorstellung von Fairness und entscheidet darüber, wie diese umgesetzt werden muss. Dies führt dazu, dass dieselbe Situation auf verschiedene Weisen interpretierbar ist, ob ein fairer (unverzerrter) Zustand eines KI-Systems vorliegt oder nicht. Die zugrundeliegende Fairness-Definition entscheidet über das genaue Ausmaß des Bias, sollte eine Abweichung zum fairen Zustand vorliegen. Es konnte jedoch gezeigt werden, dass die Umsetzung der unterschiedlichen Fairness-Definitionen zu ähnliche Ergebnissen führt.Footnote 27 Vor diesem Hintergrund scheint es zunächst als wichtiger, dass eine geeignete Fairness-Metrik im Rahmen der KI-gestützten Entscheidungsfindung eingesetzt wird, als die Frage zu beantworten, welche spezifische Fairness-Metrik verwendet werden soll. Zudem richtet sich die für eine KI zu fordernde Fairness zu einem wesentlichen Teil nach den Vorgaben der Rechtsordnung. Eine umfassende Diskussion der jeweiligen Fairness-Vorstellungen wird daher zurückgestellt und an dieser Stelle lediglich anhand von zwei Arten algorithmischer Fairness durchgeführt.

Eine Art der Fairness bildet die Gruppenfairness, welche darauf zielt, das Gesamtergebnis eines Systems auf Chancengleichheit zu überprüfen. Hierzu werden verschiedene demografische, ethnische oder sonstige Gruppen verglichen und es wird entschieden, ob eine signifikante systematische Abweichung von dem Konzept der Gruppenfairness vorliegt.Footnote 28 Im Beispiel eines Bewerbungsverfahrens fordert die Gruppenfairness, dass z. B. Männer und Frauen dieselbe Chance auf ein Vorstellungsgespräch haben. Dabei steht jedoch die Gruppenzugehörigkeit im Vordergrund. Es wird nicht betrachtet, ob ein Individuum einem Bias-Effekt unterliegt. Diese Prüfung auf systematischen Bevorzugung bzw. Benachteiligung ist Gegenstand der individuellen Fairness, welche eine ähnliche Behandlung von ähnlichen Personen fordert.Footnote 29 Im Zuge des Bewerbungsverfahrens sorgt die individuelle Fairness dafür, dass gleich qualifizierte Bewerber eingeladen werden.

Eine weiterführende Herausforderung zeigt sich jedoch im Zuge der Anwendung dieser algorithmischen Fairness-Ansätze, da in der Finanzbranche viele sensitive Attribute nicht erhoben werden und in der Datengrundlage somit wenige oder gar keine Informationen vorliegen.Footnote 30 Im Beispiel der Versicherung wird vom Versicherungsmakler nicht erfasst, ob etwa ein Akzent oder eine andere Hautfarbe gegeben ist. Eine Überprüfung, ob eine Beeinflussung (Bias) vorliegt, gestaltet sich insbesondere vor dem Hintergrund der DSGVO als herausfordernd, weil sich hierdurch zusätzliche Anforderungen an die Speicherung personenbezogener Daten ergeben und eben diese zur Überprüfung von KI-Bias benötigt werden. Das Fehlen der Informationen verhindert jedoch einen Rückschluss der KI auf diese Information nicht zwangsläufig, da die „Wissenslücke“ über andere Merkmale erschlossen werden kann.Footnote 31 Chen, et al. schlossen etwa mithilfe Bayesischer Verfahren unter Nutzung der Wohnorte und Vornamen auf die Ethnie zurück und konnten über diesen Weg die Fairness von Algorithmen evaluieren.Footnote 32

Das Ausmaß von algorithmischen Bias-Effekten wird am Beispiel von Obermeyer et al. deutlich. Sie untersuchten einen Algorithmus zur Vergabe von Pflegeprogrammen, mit dem in den USA jährlich ca. 200 Mio. Menschen in Berührung kommen, und zeigten auf, dass ein starkes Ungleichgewicht bei Pflegeprogrammvergabe zwischen Weißen und Schwarzen bei gleichem Erkrankungsgrad besteht.Footnote 33 Anhand dieser Größenordnung wird nicht nur das verheerende Potenzial deutlich, sondern auch, dass menschliche Interventionen zur Problemlösung eher ungeeignet sind.

Diskriminierungsverbote und ihre zivilrechtlichen Folgen

Technisch gesehen besteht, wie oben ausgeführt, die Gefahr, dass eine KI Entscheidungen trifft, welche durch Bias belastet sind. Ein durch Bias belasteter Output kann unter verschiedenen Aspekten unerwünscht sein. Der vorliegende Beitrag behandelt Fälle, in denen der Bias zu einer Ungleichbehandlung von Versicherungsnehmern oder sonstigen Beteiligten führt. Einer solchen Ungleichbehandlung zieht das Gesetz gewisse Grenzen. Rechtlich gesehen ist zu fragen, ob KI-Entscheidungen, die diese Grenzen überschreiten, eine Rechtsverletzung des Versicherers gegenüber dem Versicherungsnehmer darstellen.

Wie oben (Abschn. 1.) dargestellt kann KI gegenüber dem potenziellen Kunden, dem Versicherungsnehmer und auch gegenüber sonstigen Begünstigten in verschiedenen Szenarien zum Einsatz kommen. Hier wird als Beispiel ein Fall zugrunde gelegt, in dem der Versicherer zur Erstellung von Angeboten auf Abschluss von Versicherungsverträgen eine KI einsetzt, die aufgrund der vom Versicherungsnehmer eingegebenen Daten ein Angebot errechnet. Diese KI ist im oben beschriebenen Sinne ein selbstlernender Algorithmus, der mithilfe von Daten konkrete Vertragsangebote nach sich immer wieder verändernden, für den Versicherer im Einzelnen nicht voraussehbaren, aber am Ziel der Gewinnmaximierung orientierten Regeln errechnet. Im Beispielsfall wird unterstellt, dass die KI nach dem Abschluss einiger tausend Verträge gelernt hat, dass Männer höhere Versicherungsprämien akzeptieren als Frauen. Sie bietet daraufhin die betreffenden Versicherungsprodukte systematisch Männern zu höheren Preisen an als Frauen, auch wenn die Risiken identisch sind.

Verstoß gegen des Allgemeine Gleichbehandlungsgesetz

Adressat des Diskriminierungsverbots und Anspruchsgegner

Bias kann zu Ungleichbehandlung führen. § 19 Abs. 1 Nr. 2 AGG verbietet eine Benachteiligung aus Gründen der Rasse oder wegen der ethnischen Herkunft, wegen des Geschlechts, der Religion, einer Behinderung, des Alters oder der sexuellen Identität bei der Begründung, Durchführung und Beendigung zivilrechtlicher Schuldverhältnisse, die eine privatrechtliche Versicherung zum Gegenstand haben. Gemäß § 20 Abs. 1 S. 1 AGG liegt eine Verletzung des Benachteiligungsverbots ausnahmsweise nicht vor, wenn für eine unterschiedliche Behandlung wegen der Religion, einer Behinderung, des Alters oder der sexuellen Identität ein sachlicher Grund vorliegt.Footnote 34

In Bezug auf den hier diskutierten Einsatz von KI im direkten Kundenkontakt stellt sich zuerst die Frage, wer Adressat des Diskriminierungsverbots und damit Anspruchsgegner ist. Ist der KI selbst die Diskriminierung verboten? Oder richtet sich das Verbot an den die KI einsetzenden Versicherer? Auch derjenige, welcher die KI ursprünglich entwickelt hat, kommt als Adressat des Verbots in Betracht.

Grundsätzlich ist Adressat, wer das Schuldverhältnis begründet, durchgeführt oder beendet hat (sog. Anbieter).Footnote 35 Nach bisheriger Rechtsauffassung kann dies nur ein Rechtssubjekt sein. Unter dem Stichwort der E‑Person wird aktuell diskutiert, ob eine KI mit einer Rechtspersönlichkeit versehen werden soll.Footnote 36 Solange dies jedoch aussteht, kann eine KI mangels Rechtspersönlichkeit nicht Adressat des Diskriminierungsverbots sein. Der KI-Entwickler scheidet als Adressat ebenfalls aus, da er mit den Kunden des Versicherers in keinem Schuldverhältnis steht. Somit bleibt als Adressat nur der Versicherer, der die KI einsetzt.

Zu klären ist weiter, worin die Benachteiligung konkret besteht und wer benachteiligt. Benachteiligt werden Männer, die eine höhere Prämie angeboten bekommen als Frauen. Dieses Angebot ist als Willenserklärung dem Versicherer zurechenbar.Footnote 37 Die Erklärung stellt sich für den Rechtsverkehr als eine vom Handlungs‑, Erklärungs- und Geschäftswillen des Versicherers getragene Erklärung dar, weil der Versicherer und nicht die KI als bewusst Handelnder auftritt. Subjektiv muss die Erklärung von Handlungswillen und (mindestens potentiellem) Erklärungswillen gedeckt sein.Footnote 38 Ein Geschäftswille hinsichtlich des konkreten Geschäfts ist für eine wirksame Erklärung nicht erforderlich.Footnote 39 Auch diese subjektiven Voraussetzungen liegen vor. Zwar weiß der Versicherer bei Einsatz der sich stetig fortentwickelnden, selbstlernenden KI nicht konkret, nach welchen Kriterien die KI welche Angebote errechnet, mit welcher Prämie und für welche Kunden. Sein Wille umfasst aber jedenfalls das Handeln im rechtgeschäftlichen Bereich, was für eine wirksame Willenserklärung genügt. Auch wird sein Wille i. d. R. sämtliche von der KI hervorgebrachten Angebote decken, wenn er die Funktionsweise der KI einschließlich ihrer unvorhersehbaren Elemente kennt. Im Ergebnis ist daher der Versicherer derjenige, der i. S. d. AGG benachteiligt.

Eine eigene Willenserklärung der KI, welche dem Versicherer etwa nach Stellvertretungsrecht oder analog § 278 BGBFootnote 40 zugerechnet werden könnte, ist hingegen schon mangels Rechtspersönlichkeit der KI abzulehnen.Footnote 41

Kausalität und Erklärbarkeit

Dieses benachteiligende Verhalten des Versicherers muss zudem kausal an eines der in § 1 oder § 19 Abs. 1 AGG genannten Merkmale anknüpfen.Footnote 42 Hierbei wird das Problem der Erklärbarkeit von KI relevant. Kausalität liegt vor, wenn die KI das benachteiligende Angebot aufgrund der Anknüpfung an eines der verbotenen Merkmale berechnet hat. Um dies feststellen zu können, muss nachvollzogen werden, warum die KI das Ergebnis, also das Vertragsangebot, errechnet hat. Dies ist nach heutigem Stand der Technik, insbesondere bei sog. tiefen neuronalen Netzen, nicht mehr möglich.Footnote 43 Problematisch ist dies im AGG-Kontext für den Versicherer deshalb, weil er gemäß § 22 AGG die Beweislast für die Kausalität trägt, wenn der Betroffene Indizien beweisen kann;Footnote 44 dass auch für den Betroffenen der Beweis von Indizien schwierig sein kann, liegt auf der Hand.Footnote 45 Ohne eine erklärbare KI läuft der Versicherer Gefahr, sich mangels möglichen Beweises fehlender Kausalität nicht von dem Vorwurf eines Verstoßes gegen § 19 Abs. 1 Nr. 2 AGG befreien zu können.Footnote 46 Ähnlich gelagert taucht das Problem auch bei der Rechtfertigung nach § 20 AGG auf bzw. im Tatbestand einer mittelbaren Benachteiligung i. S. d. § 3 Abs. 2 AGG.Footnote 47 Hier muss der Versicherer belegen, dass die KI die Benachteiligungen, die gerechtfertigt werden können (d. h. wegen der Religion, einer Behinderung, des Alters oder der sexuellen Identität), aus einem sachlichen Grund vorgenommen hat (§ 20 Abs. 1 S. 1 AGG) bzw. ein rechtmäßiges Ziel mit angemessenen und erforderlichen Mitteln verfolgt hat (§ 3 Abs. 2 AGG).

Eine diskriminierende Absicht oder subjektive Motivation des Versicherers ist für das Vorliegen eines AGG-Verstoßes hingegen nicht erforderlich.Footnote 48 Daher kann der Versicherer auch nicht argumentieren, er habe die Funktionsweise der KI nicht verstanden und kein diskriminierendes Verhalten durch den Einsatz der KI beabsichtigt.Footnote 49

Insgesamt lässt sich festhalten, dass ein Versicherer durch einen algorithmischen Bias der von ihm eingesetzten KI gegen das AGG verstoßen kann oder mangels Erklärbarkeit der KI nicht beweisen kann, dass kein Verstoß vorliegt.

Die Folgen für den Versicherer als Anspruchsgegner sind Beseitigungs- und Unterlassungsansprüche (§ 21 Abs. 1 AGG) sowie bei Vorliegen von Verschulden (hierzu ausführlicher unter Abschn. 3.5) Schadensersatzansprüche gerichtet auf den Ersatz materieller und immaterieller Schäden (§ 21 Abs. 2 AGG). Hinzu kommen kann (mit unterschiedlicher Begründung in der Literatur) ein Kontrahierungszwang.Footnote 50 Zudem können das benachteiligende Rechtsgeschäft oder einzelne Klauseln (§ 21 Abs. 4 AGG) gemäß § 134 BGB unwirksam sein.Footnote 51

Verstoß gegen das Gendiagnostikgesetz

§ 18 Gendiagnostikgesetz (GenDG) soll eine Benachteiligung auf Grund genetischer Eigenschaften verhindern und die Menschenwürde sowie das Recht auf informationelle Selbstbestimmung schützen (§ 1 GenDG). Das kann v. a. bei Personenversicherungen, wie etwa Berufsunfähigkeits- oder Lebensversicherungen relevant werden. Dem Versicherer wird in § 18 Abs. 1 S. 1 GenDG verboten, vor oder nach dem Abschluss des Versicherungsvertrages die Vornahme genetischer Untersuchungen oder Analysen oder die Mitteilung von Ergebnissen oder Daten aus bereits vorgenommenen genetischen Untersuchen oder Analysen zu verlangen oder solche Ergebnisse oder Daten entgegenzunehmen oder zu verwenden. Es handelt sich somit weniger um ein Diskriminierungsverbot als vielmehr um ein früher ansetzendes Verbot, bestimmte Informationen zu erheben, zu verlangen, entgegenzunehmen oder zu verwenden.Footnote 52

Für die Nutzung von KI hat dieses Verbot vor allem zur Folge, dass sichergestellt werden muss, dass die KI weder direkt noch indirekt, also über andere Informationen, an die nach § 18 Abs. 1 S. 1 Nr. 2 GenDG mit einem Verwendungsverbot belegten Informationen gelangt und diese somit auch nicht verwenden kann.Footnote 53 In der Beratung durch eine KI ist zudem darauf zu achten, dass die KI keine nach § 18 Abs. 1 S. 1 GenDG unzulässigen Daten erhebt und den (potenziellen) Versicherungsnehmer nicht zu einer genetischen Untersuchung auffordert. Werden diese Sicherheitsvorkehrungen im Vorfeld getroffen, scheint es unwahrscheinlich, dass durch KI ein Verstoß gegen diese Vorgaben begangen wird. Hier ist somit weniger die Erklärbarkeit von KI relevant als vielmehr die im Vorfeld stattfindende Implementierung spezifischer rechtlicher Vorgaben in die KI, bevor diese vom Versicherer eingesetzt wird. Zudem ist zu überwachen, dass die KI nicht in Folge der stetigen Weiterentwicklung irgendwann von diesen Vorgaben abweicht.

Bei einem Verstoß gegen § 18 Abs. 1 S. 1 Nr. 2 GenDG drohen nach § 25 Abs. 1 Nr. 5 GenDG strafrechtliche Konsequenzen. Zivilrechtlich ist § 18 GenDG zudem als Verbotsgesetz i. S. d. § 134 BGB anzusehen, mit der Folge, dass Klauseln, die auf Verstößen gegen § 18 GenDG beruhen, nichtig sind.Footnote 54

Verstoß gegen Gleichbehandlungsgebote des Versicherungsrechts

Im Versicherungsrecht gilt zwar nach h.M. kein allgemeines Gebot der Gleichbehandlung der Versicherungsnehmer,Footnote 55 es finden sich aber sparten- oder rechtsformspezifische Gleichbehandlungsgebote.Footnote 56 Sie sind beim Einsatz von KI ebenso im Vorfeld zu implementieren, und ihre dauerhafte Einhaltung ist zu überwachen. Zudem ist zu fragen, wie der Versicherer gegenüber der Aufsichtsbehörde nachweisen kann, dass die eingesetzte KI diese versicherungsrechtlichen Vorgaben beachtet. Hierbei handelt es sich auch wieder um ein Erklärbarkeitsproblem.

Verstöße gegen diese Gebote haben vor allem aufsichtsrechtliche Konsequenzen (s. Abschn. 5.2). Zivilrechtliche Konsequenzen werden dagegen überwiegend abgelehnt.Footnote 57

Verstoß gegen Art. 3 GG

In den Grundrechten findet sich in Art. 3 Abs. 1 GG ein allgemeiner Gleichheitssatz beziehungsweise ein allgemeines Gleichbehandlungsgebot. Des Weiteren enthält Art. 3 Abs. 3 GG ein Diskriminierungsverbot in Bezug auf die Merkmale „Geschlecht“, „Abstammung“, „Rasse“, „Sprache“, „Heimat und Herkunft“, „Glauben“, „religiöse oder politische Anschauungen“ und „Behinderung“. Grundsätzlich gilt dieses Grundrecht auf Gleichbehandlung nur im Verhältnis des Staates zum Bürger. Eine Ausnahme ist unter dem Stichwort der sogenannten „mittelbaren Drittwirkung“ anerkannt, wonach unter anderem bei struktureller Überlegenheit des einen Vertragsteils das Diskriminierungsverbot des Art. 3 GG auch im Verhältnis Bürger-Bürger relevant werden kann und eine Ungleichbehandlung eines sachlichen Grundes bedarf.Footnote 58

Im Hinblick auf den Einsatz von KI durch einen Versicherer ist die Frage zu klären, ob und ab wann durch diesen Einsatz eine derartige strukturelle Überlegenheit des Versicherers gegenüber dem (potenziellen) Versicherungsnehmer angenommen werden kann, sodass Art. 3 GG zwischen Versicherer und Versicherungsnehmer anwendbar ist.Footnote 59 Angemerkt sei hierzu, dass diese mittelbare Drittwirkung des Gleichheitssatzes, welche im Ergebnis einer unmittelbaren Anwendung des Gleichheitssatzes zwischen Privaten gleichkommt,Footnote 60 aufgrund der darin liegenden Einschränkung der Privatautonomie restriktiv anzuwenden ist.Footnote 61 Kann dennoch die Anwendbarkeit des Gleichbehandlungsgebots bejaht werden, stellen sich ähnliche Fragen wie bei der AGG-Prüfung. Wieder ist zu klären, ob KI „wegen“ der genannten Merkmale eine Entscheidung trifft, auch auf sachliche Gründe zur Rechtfertigung kommt es an. Zuletzt ist zu fragen, ob aus der Anwendung des Art. 3 GG ein Kontrahierungszwang und/oder ein Unterlassungs‑/Beseitigungsanspruch folgt.Footnote 62

Verletzung vertraglicher Rücksichtnahmepflichten

Im Rahmen des KI-Einsatzes können zudem vertragliche Rücksichtnahmepflichten i. S. d. § 241 Abs. 2 BGB verletzt werdenFootnote 63 und gegen den Versicherer Schadensersatzansprüche gemäß § 280 Abs. 1 BGB, im vorvertraglichen Bereich i. V. m. § 311 Abs. 2 BGB, entstehen. Betrachtet man das vor Abschn. 3.1 beschriebene Beispiel, so ist die jeweilige Rücksichtnahmepflichtverletzung in dem AGG-widrigen, Männer aufgrund ihres Geschlechts benachteiligenden, Angebot zu sehen, welches wie dargestellt eine Willenserklärung des Versicherers selbst darstellt (Abschn. 3.1.1). Auch hier sind somit Zurechnungsfragen, wie etwa über die Figur des Erfüllungsgehilfen (§ 278 BGB analog) nicht relevant.

Eine Schadensersatzpflicht des Versicherers entsteht jedoch nur dann, wenn ihn bezüglich der Pflichtverletzung nach § 280 Abs. 1 S. 2 BGB auch Verschulden trifft, er also vorsätzlich oder fahrlässig i. S. d. § 276 BGB gehandelt hat.Footnote 64 Dass ein Versicherer vorsätzlich AGG-widrige, diskriminierende Angebote abgibt, erscheint realitätsfern. Es ist somit zu fragen, wann dem Versicherer Fahrlässigkeit vorzuwerfen ist, das heißt, wann er die im Verkehr erforderliche Sorgfalt außer Acht gelassen hat (§ 276 Abs. 2 BGB). Klärungsbedürftig ist dabei, ob die Pflichtverletzung, also die Diskriminierung, vorhersehbar und vermeidbar war.Footnote 65

Wie dargestellt gibt es heutzutage keine KI ohne Bias. Dies muss auch dem die KI einsetzenden Versicherer bewusst sein. Damit sind jedoch auch jedes diskriminierende Angebot oder sonstige diskriminierende Verhalten und dessen Folgen in ausreichendem Maße vorhersehbar – der Versicherer muss immer damit rechnen, dass eine KI, welche sich auch im Einsatz stetig weiterentwickelt, irgendwann an verbotene Merkmale anknüpft und entsprechend zu diskriminierenden Ergebnissen kommt.Footnote 66

Fraglich ist, ob eine Diskriminierung und deren Folgen für den Versicherer auch vermeidbar sind.Footnote 67 Mit Maßnahmen des Bias-Managements kann Bias einer selbstlernenden KI bis zu einem gewissen Grad, jedoch niemals vollständig unterbunden werden (näher unten Abschn. 4.). Soweit nach dem Stand der Technik bestimmte Maßnahmen des Bias-Managements geboten sind, handelt ein Versicherer, der sie nicht einsetzt, mindestens fahrlässig und damit schuldhaft. Da aber keine Maßnahme geeignet ist, Bias selbstlernender KI ganz zu verhindern, sind das diskriminierende Verhalten und seine Folgen nie vollständig vermeidbar.

Das bedeutet aber nicht, dass der Versicherer nicht fahrlässig handelt. Vermeiden kann er Diskriminierung durch selbstlernende KI, indem er ihren Einsatz im Verhältnis zum Kunden ganz unterlässt. Das bedeutet, dass ein Versicherer, der eine KI mit unvermeidbaren Diskriminierungsfolgen für Kunden einsetzt, stets fahrlässig handelt. Er ist dann verpflichtet, voraussehbare Schäden zu ersetzen. Dieses Ergebnis erscheint auf den ersten Blick innovationsfeindlich. Allerdings lässt sich die Nutzung von selbstlernender KI mit dem ihr imminenten Risiko der Diskriminierung keinesfalls als erlaubtes, sozialadäquates Risiko einordnen, das hinzunehmen ist,Footnote 68 und dessen Folgen der diskriminierte Versicherungsnehmer tragen muss. Inwieweit Gefahren durch KI zu akzeptieren sind und wer die Schäden trägt, ist eine der großen offenen Fragen unserer Zeit, die die öffentliche Diskussion und Gesetzgeber international beschäftigen. Von einem erlaubten Risiko kann nicht die Rede sein. Zudem drohen Versicherungsnehmern durch Diskriminierung durchaus existentielle Schäden, etwa durch Ablehnung von Versicherungsschutz. Dem Einwand der Innovationsfeindlichkeit ist zudem entgegenzuhalten, dass der Versicherer nicht daran gehindert wird, KI einzusetzen (zu den Vorgaben nach dem Kommissionsentwurf einer KI-VO s. unten Abschn. 6.). Er muss nur die Haftungsrisiken in seine geschäftliche Entscheidung einbeziehen und sie den Vorteilen, welche er durch den Einsatz von KI hat (Effizienzgewinne, Kostenvorteile, etc.) gegenüberstellen.

Hier wird somit in Zukunft sicherlich noch Diskussions- und ggf. auch gesetzgeberische Handlungsbedarf bestehen. Hingewiesen sei im diesem Kontext auf die aktuell diskutierte GefährdungshaftungFootnote 69 für KI sowie eine mögliche Versicherungslösung.Footnote 70

Verstöße gegen Deliktsrecht

Wurde der Versicherungsnehmer durch die KI diskriminiert, kommt auch ein Verstoß gegen das allgemeine Deliktsrecht, insbesondere eine Verletzung des Allgemeinen Persönlichkeitsrechts in Betracht.Footnote 71 Für die Frage nach dem Verschulden kann weitgehend auf die Ausführungen unter Abschn. 3.5. verwiesen werden. Ein wichtiger Unterschied liegt in der Beweislast – während bei § 280 BGB der Versicherer beweisen muss, nicht schuldhaft gehandelt zu haben (§ 280 Abs. 1 S. 2 BGB), ist es hier am Versicherungsnehmer zu beweisen, dass der Versicherer schuldhaft gehandelt hat. Im Übrigen wird diskutiert, ob der Versicherer auch für ein Verhalten der KI nach § 831 BGB haften muss. Hierfür müsste die KI jedoch Verrichtungsgehilfe sein, was wiederum vor dem Hintergrund fehlender Rechtspersönlichkeit zweifelhaft ist.Footnote 72 Des Weiteren kann eine Haftung aus § 823 Abs. 2 BGB i. V. m. § 19 AGGFootnote 73 oder § 18 GenDGFootnote 74 als Schutzgesetz relevant werden. Auch kommen Beseitigungs- oder Unterlassungsansprüche aus § 1004 Abs. 1 BGB analog in Betracht.

Verstöße gegen Datenschutzrecht

Das Datenschutzrecht schützt neben dem Datenverkehr natürliche Personen bei der Verarbeitung personenbezogener DatenFootnote 75 und soll sie in bestimmten Konstellationen vor Diskriminierung bewahren. Art. 22 Abs. 4 DSGVO, der es grundsätzlich verbietet, eine automatisierte Entscheidung nach bestimmten Kategorien personenbezogener Daten zu treffen, ist auch als Diskriminierungsverbot zu verstehen.Footnote 76 Soweit ausnahmsweise aufgrund einer Einwilligung automatisierte Entscheidungen auf Grundlage der genannten Datenkategorien getroffen werden dürfen (Art. 9 Abs. 2 lit. a DSGVO), müssen „angemessene Maßnahmen zum Schutz der Rechte und Freiheiten sowie der berechtigten Interessen der betroffenen Person“ (Art. 22 Abs. 4 DSGVO i. V. m. Erwägungsgrund 71) ergriffen werden. So muss der Betroffene die Möglichkeit haben, eine Entscheidung einer Person zu erwirken und dabei individuelle Aspekte einzubringen.Footnote 77 Auch muss er über die Tatsache und die Logik der automatisierten Entscheidung informiert werden. Diese Pflichten erweitern den Pflichtenkreis aus §§ 6, 61 VVG beim Vertrieb von KI-basierten Versicherungsprodukten.

Auch außerhalb von Art. 22 Abs. 4 DSGVO sind automatisierte Entscheidungen mit rechtlichen (oder ähnlich beeinträchtigenden) Wirkungen nach Art. 22 Abs. 1 DSGVO grundsätzlich unzulässig. Hiervon gibt es Ausnahmen, die für die Versicherer im Umgang mit ihren Versicherungsnehmern relevant werden könnenFootnote 78 oder sogar speziell für diesen Fall – konkret für die Leistungserbringung durch Versicherer – formuliert wurden (Art. 22 Abs. 2, 3 DSGVO, § 37 BDSGFootnote 79). Das grundsätzliche Verbot des Art. 22 Abs. 1 DSGVO zielt auch darauf ab, diskriminierende Wirkungen der Datenverarbeitung zu verhindern (s. Erwägungsgrund 71 S. 6 DSGVO).Footnote 80 Zudem stellen die Transparenzpflichten nach Art. 13 Abs. 2 lit. f, Art. 14 Abs. 2 lit. g DSGVO sowie der Auskunftsanspruch nach Art. 15 Abs. 1 lit. h DSGVO sicher, dass die Kriterien, aufgrund derer automatisiert entschieden wird, sowie die Tatsache der automatisierten Entscheidung für den Vertragspartner erkennbar sind. Eine Offenlegung des Algorithmus kann allerdings nicht verlangt werden (s. auch Erwägungsgrund 63).Footnote 81

Sofern für die Datenverarbeitung gem. Art. 6 Abs. 1 S. 1 lit. a DSGVO eine Einwilligung notwendig ist, muss der betroffene Versicherungsnehmer über die Zwecke der Verarbeitung der Daten so informiert werden, dass er wirksam einwilligen kann (Art. 4 Nr. 11, Art. 5 Abs. 1 lit. b). Bei selbstlernender KI kann es schwierig oder sogar unmöglich sein, den Betroffenen über die Zwecke der Verarbeitung der Daten durch die KI so zu informieren, dass er wirksam in die Datenverarbeitung einwilligen kann. Die KI muss über die Zwecke der Verarbeitung womöglich selbständige Entscheidungen treffen, sodass sich die Zwecke erst im Laufe der Datenverarbeitung herauskristallisieren.Footnote 82 KI in diesen Möglichkeiten zu beschränken, eben um eine wirksame Einwilligung zu ermöglichen, kann auch einen Bias verursachen, weil eine nicht repräsentative Datenbasis verwendet wird.Footnote 83

Versicherer haben zudem gem. Art. 35 Abs. 1 DGVO vorab, also bevor sie die KI als neue Technologie einsetzen, eine Datenschutzfolgeabschätzung vorzunehmen, wenn die Datenverarbeitung „ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge“ hat. Ein solches Risiko ist nach Erwägungsgrund 75 (s. auch 85) die Diskriminierung. Art. 35 Abs. 3 lit. a DSGVO erklärt eine solche Folgenabschätzung für erforderlich, wenn persönliche Aspekte natürlicher Personen systematisch und umfassend bewertet werden und Grundlage einer Entscheidung mit Rechtswirkung oder ähnlich beeinträchtigenden Folgen sind; hier ist insbesondere die automatisierte Entscheidung nach Art. 22 DSGVO erfasst.Footnote 84 Die in diesem Beitrag angesprochenen Einsätze von KI durch den Versicherer im Verhältnis zum Versicherungsnehmer werden nach dem Gesagten häufig eine Folgenabschätzung erfordern.Footnote 85

Verstößt ein Versicherer gegen diese Vorgaben, drohen neben Geldbußen nach Art. 83 Abs. 4 lit. a, Abs. 5 lit. b DSGVO und verwaltungsrechtlichem behördlichem Einschreiten auch zivilrechtliche Schadensersatzansprüche geschädigter Versicherungsnehmer nach Art. 82 DSGVO. Auch hier stellen sich Zurechnungsfragen, die im Zivilrecht parallel zu dem oben unter Abschn. 3.5 Gesagten zu beantworten sind.

Technische Möglichkeiten, einem Bias entgegenzuwirken (Bias-Management)

Algorithmische Bias-Effekte können nicht vollständig vermieden, aber durch den Einsatz technischer Möglichkeiten minimiert werden. Die stetig wachsende Ausbreitung der Digitalisierung, der vermehrte Einsatz von Künstlicher Intelligenz und die damit drastisch ansteigende Relevanz von Bias beflügeln die Entwicklung fairer KI-Verfahren, welche sich in drei Kategorien unterteilen lassen und nachfolgend vorgestellt werden.Footnote 86 Diese Dreiteilung bezieht sich auf den Zeitpunkt der Korrektur:

  • Wie muss ich die Daten ändern, damit kein Bias gelernt wird?

  • Wie muss ich meine Zielfunktion oder Nebenbedingungen anpassen, damit kein Bias gelernt wird?

  • Wie muss ich meine Ergebnisse anpassen, damit der bereits gelernte Bias entfernt wird?

Als erste Kategorie können vorbereitende Algorithmen genutzt werden. Grundidee dieser Vorgehensweise ist es, dass in der Datengrundlage zwischen einer Reihe von sensitiven Attributen (z. B. Religion, Alter oder Staatsangehörigkeit) und einem vorherzusagenden Wert ein Muster beobachtet werden kann (z. B. niedrigere Annahmequote bei einer Minderheit). Damit dieses unerwünschte Muster nicht von einem Algorithmus erkannt und repliziert wird, zielen die vorbereitenden Algorithmen darauf, ein Trainingsdatenset ohne dieses unerwünschte Muster zu erstellen.Footnote 87 Hierdurch soll eine Chancengleichheit gewährleistet und Bias-Effekten präventiv entgegengewirkt werden, da bereits vor dem Lernprozess eine unverzerrte bzw. faire Datenrepräsentation erzeugt wird.

Feldman, et al. greifen dieses Konzept auf und messen mithilfe einer balancierten Fehlerrate, ob innerhalb eines Datensets D=(X, Y, C) die Ausprägungen der sensitiven Attribute X unterschiedliche Auswirkungen auf das jeweilige KI-Ergebnis C haben. Sofern solch ein verzerrter mathematischer Zusammenhang festgestellt wird, kann ein vorbereitender Algorithmus als Reparaturmechanismus zum Neutralisieren dieser Bias-Effekte eingesetzt werden. Diese Korrektur erfolgt über Adjustieren der nicht-sensitiven Attribute Y. Die Stärke der Korrektur kann dabei über einen Faktor λ gesteuert werden, sodass neben dem vollständigen Entfernen (\(\lambda\)= 1) und dem Beibehalten der Daten (\(\lambda\)= 0) auch das Abschwächen von Bias-Effekten (0<\(\lambda\)< 1) möglich ist. Durch diese Maßnahme wird ein neues Trainingsset \(\overline{D}_{\lambda }=\) (X, \(\overline{Y}\), C) generiert, welches die verzerrten Muster nicht mehr oder in einer abgeschwächten Form beinhaltet und somit für eine KI im nachgelagerten Lernprozess aufbereitet ist.Footnote 88

Die Wirkungsweise des Reparaturmechanismus wird anhand eines Beispiels in der Abb. 2 verdeutlicht. In dem linken Teil wird die ursprüngliche Datenverteilung zweier Gruppen gezeigt. Verglichen werden eine privilegierte (orange) und eine benachteiligte Gruppe (blau), die unterschiedlich hohe Ausprägungen hinsichtlich einer algorithmischen Entscheidung ausweisen. Der rechte Teil der Abb. 2 zeigt hingegen einen reparierten Datensatz, in dem keine Gruppendifferenzierung anhand des Entscheidungsausgangs mehr beobachtet werden kann, da die beiden Verteilungen sich überschneiden. Der dargestellte Bias-Effekt wurde rechnerisch vollständig neutralisiert. In der Mitte wird ein Trade-off-Ansatz zwischen diesen Extremen dargestellt. Es ist zu erkennen, dass sich die Verteilungen der beiden Gruppen nicht vollständig überschneiden, sondern lediglich angenähert haben. Die Auswirkung des Bias-Effekts wurde somit abgeschwächt bzw. partiell entfernt.Footnote 89

Abb. 2
figure 2

Wirkungsweise des Reparaturmechanismus nach Feldman et al.; Quelle: In Anlehnung an Ronaghan (Fn. 89)

Als zweite Kategorie zur Vermeidung von Bias-Effekten können im Rahmen von algorithmischen Modifikationen geeignete Regularisierungsterme in das Lernverfahren eingearbeitet werden. Durch die Nutzung von zusätzlichen Nebenbedingungen oder durch die Einbindung von additiven Kostenfunktionen kann das Lernverfahren in eine faire Form gesteuert werden.Footnote 90 Eine solche Vorgehensweise wurde etwa von Kamishima et al. eingesetzt.Footnote 91 Die von ihnen eingesetzte algorithmische Regulierung erzwingt eine Unabhängigkeit von sensitiven Informationen. Anhand von verschiedenen Datensets zeigen sie, dass ihre Vorgehensweise zur einer Beseitigung von Vorurteilen in Daten beiträgt.Footnote 92

Als dritte Kategorie können nachbereitende Techniken genutzt werden, welche das Pendant zur ersten Variante darstellen, da diese Techniken nach der KI-Anwendung zum nachträglichen Adjustieren von ε-unfairen Outputs eingesetzt werden. Folglich werden hiermit Ergebnisse einer bestehenden KI-Lösung auf Bias-Effekte untersucht und nachträglich einen faire Fehlerverteilung sichergestellt.Footnote 93 Lohia et al. realisieren eine solche nachbereitende Technik, indem sie zuerst die individuelle Bias-Erkennung für ein bereits gelerntes KI-Modell durchführen und nachfolgend einen Nachbearbeitungsalgorithmus zur Bias-Minderung einsetzen. Hierzu nutzen sie das Konzept der Gruppenfairness und individuellen Fairness zur Ableitung eines Bias-Scores, welcher zur Bewertung der Klassifikationsergebnisse eingesetzt wird. Die anschließende Bias-Korrektur setzt eine einfache Abgleichlogik ein, welche die ursprüngliche Klassifikation der KI durch einen plausibleren Wert ersetzt, wenn der Score eine hohe Bias-Wahrscheinlichkeit suggeriert.Footnote 94

Jede dieser drei Kategorien weist Vor- und Nachteile auf. Vorbereitende Algorithmen können mit jeder Art von Klassifikationsalgorithmus verwendet werden. Gleichzeitig können sie jedoch die Erklärbarkeit der Ergebnisse beeinträchtigen, da sie die algorithmischen Eigenschaften in nachfolgenden Instanzen (etwa dem Lernen) nicht berücksichtigen und hierdurch die Auswirkungen auf die KI-Genauigkeit nicht abschätzbar ist. Auch nachbereitende Techniken sind mit jedem Klassifikationsalgorithmus verwendbar und kommen naturgemäß erst nach dem Lernen der KI zum Einsatz, wodurch typischerweise schlechtere Korrektur-Resultate als in den anderen Kategorien beobachtet werden. Allerdings bieten sie eine vergleichsweise einfache Möglichkeit, um spezielle Arten von Bias vollständig zu entfernen. Die Kategorie der algorithmischen Modifikationen bietet einen Trade-Off zwischen KI-Genauigkeit und der Fairness der Fehlerverteilung an, da sie direkt mit der Zielfunktion interagieren. Hierdurch entstehen im Lernprozess auch zusätzliche Abhängigkeiten, die einen Anstieg der algorithmischen Komplexität mit sich ziehen.Footnote 95

Die ausgewählten Beispiele des Bias-Managements bzw. der algorithmischen Fairness decken das breite Feld nicht in Gänze ab, da die zunehmende Relevanz der Thematik und der damit verbundene Anstieg des Forschungsinteresses zu vielen alternativen Umsetzungsmöglichkeiten in den jeweiligen Kategorien führt. Für eine tiefergehende Auseinandersetzung sei daher auf Forschungsplattformen und -communities verwiesen, die den Stand von Fairness-Algorithmen fortlaufend evaluieren und aggregieren. Solche Einrichtungen bieten häufig nicht nur zusätzliche Informationen, sondern auch qualitätsgesicherte Implementierungen dieser Algorithmen an und mindern hierdurch die Eintrittsbarrieren zur Nutzung. Das Alan Turing InstituteFootnote 96, das interdisziplinäre Leverhulme Centre for the Future of IntelligenceFootnote 97 der Cambridge Universität oder das fachbereichsübergreifende Berkman Klein Center for Internet & SocietyFootnote 98 an der Harvard Universität sind renommierte wissenschaftliche Beispiele. Es gibt jedoch auch eine Reihe an privatwirtschaftlichen Forschungsstellen, die ihre Ergebnisse frei im Internet anbieten. IBM Research betreibt etwa das Open Source-Toolkit Fairness 360 zur Erkennung und Vermeidung von Bias-Effekten wie Diskriminierung entlang des gesamten KI-Lebenszyklusses.Footnote 99 Pymetrics hat eine Open-Source-Applikation zur Überprüfung von Bias im Rahmen von maschinellem Lernen entwickelt und auf GitHub öffentlich zugänglich gemacht.Footnote 100 Microsoft bietet das Open Source-Toolkit Fairlearn an.Footnote 101 Google finanziert eine ForschungsgruppeFootnote 102, deren Arbeiten regelmäßig auf führenden Konferenzen, wie der ACM FAccT ConferenceFootnote 103, erscheinen und ebenfalls freizugänglich anbietet.

Als Resümee kann festgehalten werden, dass der Stand des Bias-Managements soweit ausgereift ist, dass er die Nutzung der attraktiven KI-Vorteile unter zeitgleicher Bias-Minimierung ermöglicht. Bias im Rahmen von KI kann jedoch niemals gänzlich ausgeschlossen werden, da die einzelnen Verfahren des Bias-Managements Korrekturentscheidungen unter der Berücksichtigung von Wahrscheinlichkeiten treffen und zum Erreichen der bestmöglichsten Resultate an das jeweilige Analyseszenario adaptiert werden. Es gibt nicht „den einen Bias“, welcher durch die Anwendung eines festen Schemas vermieden werden kann, sondern eine Vielzahl unterschiedlicher Bias-Formen, die durch den gezielten Einsatz von geeigneten Verfahren reduziert werden sollten. In diesem Kontext lassen sich Analogien zum Risiko-Management ziehen, da ebenso hier das unternehmerische Risiko nie vollkommen eliminiert werden kann, sondern durch geeignete Maßnahmen erkannt, gesteuert und überwacht werden soll. Folglich gilt es ein geeignetes Konzept im Umgang mit KI-Bias zu finden und hierdurch einen fahrlässigen Einsatz von KI auszuschließen.

Das Versicherungsaufsichtsrecht als Schutz vor Bias

Nach der Betrachtung der technischen Möglichkeiten der Versicherungsunternehmen, einem Bias entgegenzuwirken, ist zuletzt die Frage zu stellen, welche Vorgaben das Versicherungsaufsichtsrecht für die Verhinderung von Diskriminierung und damit, bezogen auf KI, für das Bias-Management macht.

Das Versicherungsaufsichtsrecht unterwirft Versicherungsunternehmen einer strengen Regulierung, um die Versicherungsnehmer und die Begünstigten von Versicherungsleistungen zu schützen (§ 294 Abs. 1 VAG). Es verlangt von den Versicherungsunternehmen eine wirksame, angemessene und ordnungsgemäße Geschäftsorganisation (Governance, § 23 Abs. 1 VAG). Sie ist eine der zentralen Vorgaben, die das Versicherungsaufsichtsrecht den Versicherungsunternehmen macht. Soll eine Technologie wie die KI genutzt werden, ist die in der Generalklausel des § 23 Abs. 1 VAG verlangte Governance für diesen speziellen Fall zu konkretisieren. So betont auch die BaFin, dass die Nutzung von KI in die Governance eingebettet sein muss.Footnote 104 Was das im Einzelnen bedeutet, wie also die Governance bezüglich KI gestaltet sein muss, wird z. T. durch weitere gesetzliche Vorgaben, z. T. durch aufsichtsbehördliche Leitlinien sowie (selten) durch die Rechtsprechung konkretisiert. So muss das Geschäft z. B. so organisiert sein, dass die technische Robustheit und Sicherheit von KI-Systemen gewährleistet ist, und es muss insbesondere auch die Rechtmäßigkeit der KI sichergestellt sein.Footnote 105 Letzteres umfasst die Aufgabe, zu verhindern, dass ein Bias der KI Verstöße gegen die oben genannten Diskriminierungsverbote herbeiführt.Footnote 106 Welche Anforderungen das Versicherungsaufsichtsrecht unter diesem Aspekt stellt, wird zunächst untersucht (Abschn. 5.1). Im Anschluss wird erörtert, wie die Versicherungsaufsichtsbehörden Verstöße des Versicherungsunternehmens gegen die oben (Abschn. 3.) genannten Normen sowie gegen die KI-spezifischen Governancevorgaben verhindern und sanktionieren können (Abschn. 5.2).

Vorgaben für die Geschäftsorganisation

Allgemeine Governance-Vorgaben

§ 23 Abs. 1 S. 1 VAG bildet als „große“ Generalklausel den normativen Ausgangspunkt der Anforderungen an die Geschäftsorganisation. Letztere muss wirksam, ordnungsgemäß und für die Art, den Umfang und die Komplexität der Unternehmenstätigkeit angemessen sein. Ziel der Geschäftsorganisation ist es nach § 23 Abs. 1 S. 2 VAG unter anderem, sicherzustellen, dass die Unternehmen die einschlägigen Gesetze, Verordnungen mit aufsichtsbehördlichen Anforderungen einhalten. Dazu gehören nach zutreffender Ansicht nicht nur die für den Betrieb des Versicherungsgeschäfts geltenden Normen (anders aber bei § 298 Abs. 1 S. 1 und 2 i. V. m. § 294 Abs. 2 S. 2 Fall 1 VAG, s. unten Abschn. 5.2.1), sondern all diejenigen, deren Nichteinhaltung die Belange der Versicherten gefährden kann.Footnote 107 Die oben genannten Diskriminierungsverbote und Datenschutzvorschriften zu respektieren, fällt also unter das Ziel der Geschäftsorganisation.

Innerhalb der Geschäftsorganisation ist eine Compliance-Funktion einzurichten, die die Einhaltung der einschlägigen Normen sicherstellen muss (§ 29 Abs. 2 VAG). Konkrete Vorgaben für den Umgang mit dem Diskriminierungsrisiko, das einer KI innewohnt, finden sich hier nicht; auch in Art. 258, 270 VO (EU) 2015/35 (Solvabilität II-VO) wird dieser Punkt nicht näher ausgeführt, ebenso wenig in den entsprechenden Leitlinien der EIOPAFootnote 108 oder in den Mindestanforderungen für die Geschäftsorganisation (MaGO) der BaFin.Footnote 109

Auch die Versicherungsaufsichtlichen Anforderungen an die IT (VAIT)Footnote 110 der BaFin verhalten sich zu diesem Punkt nicht direkt. Sie verlangen aber eine IT-Strategie. In ihren jüngeren „Prinzipien für den Einsatz von Algorithmen in Entscheidungsprozessen“ hat die BaFin die aufsichtsrechtlichen Mindestanforderungen für den Einsatz von KI vorläufig konkretisiert und auch die Verhinderung von Diskriminierung vorgegeben.Footnote 111 Da KI ein Fall von IT im Sinne der VAIT ist,Footnote 112 ist auch für diese eine „konsistente“ Strategie festzulegen (VAIT II. 1. 1), die sich nicht nur auf die eigene IT, sondern auch auf Ausgliederungen, Dienstleistungsbeziehungen und den Bezug von IT (Hard- und Software) erstreckt. Diese Strategie ist der Aufsichtsbehörde zur Kenntnis zu geben (VAIT II. 1. 4). Auch eine IT-Governance und ein IT-Risikomanagement sind zu implementieren (VAIT II. 2., 3.). Davon ist insbesondere die technische Seite der Verhinderung von Bias erfasst.Footnote 113 Bei der Konzeption der Strategie, der Governance und des Risikomanagements müssen für den kundenbezogenen KI-Einsatz die oben beispielhaft dargestellten Bias-Gefahren (durch fehlerhafte oder fehlende Trainingsdaten, unpassende algorithmische Zielsetzungen oder durch Proxy-Attribute) jeweils gezielt adressiert werden. Speziell in der Phase der Entwicklung einer KI ist auf die Reproduzierbarkeit der Ergebnisse, Dokumentation und Validierung zu achten.Footnote 114

Aus den Governancevorgaben kann auch die Pflicht der Unternehmensleiter und der Inhaber von Schlüsselfunktionen folgen, ihrerseits KI einzusetzen. Zu der letztgenannten Gruppe gehört auch der für die Beachtung der Diskriminierungsverbote zuständige Compliance-Beauftragte. Ist etwa eine vom Unternehmen verwendete KI im Hinblick auf mögliche Diskriminierung zu kontrollieren, wird sich im Massengeschäft der Versicherung häufig nur mithilfe von KI prüfen lassen, ob ein Bias vorliegt, der zu einer verbotenen Diskriminierung führt. Die Funktionsweise der KI kann allein mit „natürlicher“ Intelligenz u. U. nicht überprüft werden.Footnote 115 Eine angemessene Governance setzt dann voraus, dass sie sich der KI zur Unterstützung bedient. Hiervon ist nicht nur der Einsatz von nicht-diskriminierender KI betroffen. Auch andere Vorgänge im Unternehmen lassen sich nur mithilfe bestimmter IT-Anwendungen, darunter auch KI, überprüfen, sodass dann eine Pflicht zum Einsatz dieser IT besteht;Footnote 116 hierfür ist der Begriff der „Corporate Technology (CorpTech)“ geprägt worden.Footnote 117

Adressat der aufsichtsrechtlichen Governancepflichten ist das Versicherungsunternehmen. Entwickelt eine selbstlernende KI einen Bias, der im Einzelnen nicht, generell aber voraussehbar ist, und verstößt das Ergebnis gegen aufsichtsrechtliche Pflichten des Versicherungsunternehmens, stellen sich ebenfalls Zurechnungsfragen. Unmittelbar leuchtet ein, wenn die BaFin betont, dass die Verantwortung für automatisierte, auf Big Data und KI gestützte Prozesse bei der Geschäftsleitung bleibe;Footnote 118 die KI selbst kann de lege lata nicht selbst verantwortlich sein. Diese Verantwortung bringt es mit sich, dass ein Unternehmen sich nicht darauf berufen kann, die Entscheidungsfindung durch eine KI sei nicht nachvollziehbar. In den Worten der BaFin: „Blackbox-Ausreden sind unzulässig“.Footnote 119 Wie im Zivilrecht (Abschn. 3.5) wird man einem Versicherer, der KI nutzt, das Bias-Risiko auch aufsichtsrechtlich zurechnen können. Es ist für ihn voraussehbar und – durch Verzicht auf KI – vermeidbar.

Art. 32 DSGVO macht im Übrigen ebenfalls Vorgaben für das Risikomanagement im Hinblick auf die datenschutzrechtlichen Gefahren, zu denen, wie dargelegt, auch die Diskriminierung bei automatisierten Entscheidungen gehört. Hier überschneiden sich die beiden Schutzregime des VAG und der DSGVO und damit auch die Behördenzuständigkeiten.

Vorgaben für die Produktgovernance

§ 23 Abs. 1a bis 1c VAG normieren spezifische Govenancepflichten des Versicherers für die Produktfreigabe, -überprüfung und die Information über Produkte im Vertrieb (zusammenfassend hier als Produktgovernance bezeichnet). Diese Pflichten sind keine zivilrechtlichen Pflichten gegenüber den Versicherungsnehmern, sondern aufsichtsrechtliche Vorgaben.Footnote 120

Das Produktfreigabeverfahren nach Abs. 1a muss alle Risiken des Produktes bewerten. Dazu gehören bei Produkten, die mithilfe von KI vertrieben werden oder in der Nutzung KI einsetzen, wie möglicherweise Pay-as-you-live-Produkte, die spezifischen KI-Risiken, also auch das Risiko der Diskriminierung. Sind Produkte zum Vertrieb freigegeben, müssen sie weiterhin auf diese Risiken regelmäßig überprüft werden, Abs. 1b. Schließlich verlangt Abs. 1c, dass alle Vertreiber des Produkts über sämtliche sachgerechten Informationen über das Produkt verfügen. Dazu gehören z. B. die Informationen, die dem Versicherungsnehmer nach der DSGVO über die Funktionsweise einer automatisierten Entscheidung weiterzugeben sind (s. oben Abschn. 3.7).

Anforderungen an die Geschäftsleiter und Inhaber von Schlüsselfunktionen

§ 24 Abs. 1, 2 VAG verlangt bei Geschäftsleitern und sonstigen tatsächlichen Leitern u. a. die auf die konkrete Aufgabe bezogene (s. Art. 273 Abs. 3 Solvabilität II-VO) fachliche Eignung. Sie umfasst nach dem Merkblatt der BaFin zwar nicht ausdrücklich Qualifikationen, Kenntnisse und Erfahrungen im Bereich der IT, speziell der KI.Footnote 121 IT-Kenntnisse theoretischer und praktischer Art werden aber von demjenigen erwartet, der für einen Versicherer im Vorstand das IT-Ressort leitet.Footnote 122 Zudem müssen alle Mitarbeiter über die ihren Aufgaben entsprechenden IT-Kenntnisse verfügen.Footnote 123 Wenn ein Unternehmen Produkte entwickelt und vertreibt, die im Verhältnis zum Kunden KI einsetzen, setzt die von der BaFin ausdrücklich verlangte Kenntnis des Geschäftsmodells voraus, dass man mit den Diskriminierungsrisiken KI-basierter Produkte vertraut ist. Entsprechende IT-Kenntnisse sind allerdings nicht unbedingt zu verlangen. Immerhin aber erleichtert es die BaFin solchen Personen, die über IT-Kenntnisse verfügen, für Versicherungsunternehmen als Geschäftsleiter tätig zu werden, indem sie die Anforderungen an die Erfahrungen in Versicherungsgeschäften gesenkt hat.Footnote 124

Ausgliederung

Versicherungsunternehmen, die KI einsetzen, gliedern bestimmte Aufgaben in diesem Zusammenhang nicht selten auf andere Unternehmen, oftmals Tochtergesellschaften, aus. Sie müssen dann sicherstellen, dass die aufsichtsrechtlichen Vorgaben für das Bias-Management auch bei dem Unternehmen, auf das die Aufgabe übertragen wurde, gewahrt werden.

Eine solche Ausgliederung kann praktische, also z. B. betriebswirtschaftliche oder organisatorische, Gründe haben. Aber auch rechtliche Vorgaben können dazu führen, dass KI-Anwendungen ausgegliedert werden. Ein Beispiel dafür sind die Pay-as-you-Drive-Tarife in der KFZ-Versicherung. Würde der Versicherer selbst die Fahrdaten verarbeiten, könnte er sie mit den Personendaten des Versicherungsnehmers verknüpfen und so ein Bewegungsprofil des Versicherungsnehmers erstellen. Die Empfehlung des Datenschutzbeauftragten NRW lautet daher, die Datenkreise nicht zusammenzuführen.Footnote 125 Datenschutzrechtlich ist nach alldem erforderlich, die Verarbeitung der Fahrdaten auf eine unabhängige Einheit, i. d. R. eine Tochtergesellschaft, auszugliedern. So werden zwei getrennte Datenkreise geschaffen.

Nach § 47 Nr. 8 VAG muss der Versicherer solche Ausgliederungen anzeigen. Weitere Details der Ausgliederung regeln Art. 274 VO (EU) 2015/35 und die einschlägigen Leitlinien der BaFinFootnote 126 und der EIOPA.Footnote 127 Nach § 32 Abs. 1 VAG bleibt der Versicherer auch bei der Ausgliederung von Funktionen für die Erfüllung aller aufsichtsrechtlicher Vorschriften und Anforderungen, wie sie oben beschrieben wurden, verantwortlich. Das bedeutet zweierlei: Das Versicherungsunternehmen muss dafür sorgen, dass die Anforderungen eingehalten werden, und es kann bei Nichtbeachtung durch die Aufsicht in Anspruch genommen werden. Alle Anforderungen, die es beim Bias-Management zu erfüllen hat, muss es also, um seine Pflichten zu erfüllen, an den KI-Anbieter „weiterreichen“.Footnote 128 Ferner muss es den aufsichtsbehördlichen Zugriff auf das eingeschaltete Unternehmen vertraglich sicherstellen.

Das Datenschutzrecht stellt zudem spezifische Anforderungen an das Outsourcing, die an dieser Stelle nicht vertieft werden können.Footnote 129 Auch hier kommt es also zu sich überschneidenden Behördenzuständigkeiten.

Aufsichtsbehördliche Maßnahmen

Gesetze für den Betrieb des Versicherungsgeschäfts

Nach § 298 Abs. 1 S. 1 und 2 i. V. m. § 294 Abs. 2 S. 2 Fall 1 VAG kann die Aufsichtsbehörde alle Maßnahmen ergreifen, die geeignet und erforderlich sind, um Missstände in Gestalt von Gesetzesverstößen zu vermeiden.Footnote 130 Dabei überwacht die Aufsicht allerdings nicht die Einhaltung der gesamten Rechtsordnung durch die Versicherungsunternehmen, sondern nur die Gesetze, die für den Betrieb des Versicherungsgeschäfts gelten. Dazu gehören eindeutig die besonderen Diskriminierungsverbote aus dem AGG (Abschn. 3.1), dem GenDG (Abschn. 3.2) und dem VAG (Abschn. 3.3), denn sie beziehen sich ausdrücklich auf Versicherungsnehmer. Auch die vertraglichen Rücksichtnahmepflichten (Abschn. 3.5) sind spezifisch im Versicherungsvertrag begründet, auch wenn sie aus allgemeinem bürgerlichem Recht hergeleitet werden. § 37 BDSG i. V. m. Art. 22 Abs. 1 DSGVO (Abschn. 3.7) spricht ebenfalls speziell die Leistungserbringung nach dem Versicherungsvertrag an, sodass die Norm der Aufsicht der BaFin unterfällt.

Hinzu kommen aber auch solche Vorschriften, die objektiv dazu dienen, Versicherungsnehmer und sonstige Begünstigte zu schützen.Footnote 131 Die allgemeinen Diskriminierungsverbote aus Art. 3 GG (Abschn. 3.4) i. V. m. anderen Normen des Zivilrechts und aus dem Allgemeinen Persönlichkeitsrecht (Abschn. 3.6) betreffen in ihrer Anwendung auf Versicherungsnehmer deren Verhältnis zum Versicherungsunternehmen. Damit ist ein hinreichender Bezug zum Betrieb von Versicherungsgeschäften gegeben.Footnote 132

Ob und inwieweit beim Datenschutzrecht eine parallele Zuständigkeit der Versicherungsaufsicht neben derjenigen der Datenschutzbehörden gegeben ist, ist im Einzelnen nicht geklärt. Tatsächlich wird überwiegend angenommen, dass die Versicherungsaufsicht keine Normen überwacht, deren Durchsetzung anderen Behörden obliegt, es sei denn, das sei ausdrücklich vorgesehen.Footnote 133 Dann stünden die im Folgenden zu behandelnden versicherungsaufsichtsrechtlichen Maßnahmen zur Durchsetzung des Datenschutzrechts nicht zur Verfügung. Allerdings nennt die BaFin das BDSG – nicht aber die DSGVO – als ein Gesetz, dessen Einhaltung sie im Allgemeininteresse überwacht.Footnote 134 Für die Auffassung der BaFin lässt sich anführen, dass das Datenschutzrecht mit dem VVG und dem VAG eng verflochten ist, also seinerseits diesen Rechtsrahmen berücksichtigen muss.Footnote 135 Insbesondere kennt es spezielle Regelungen für Versicherer (s. oben Abschn. 3.7), und auch das VVG enthält datenschutzrechtliche Normen (§ 213 VVG). Hinzu kommt, dass der Versicherungssektor ein besonders datenintensiver Sektor ist,Footnote 136 da Daten über Risiken Grundlage des Geschäftsmodells der Versicherer sind. Datenschutzverstöße gehen im Übrigen in aller Regel zulasten der Versicherungsnehmer, deren Schutz das Hauptziel der Versicherungsaufsicht ist. Der BaFin hier Eingriffsmöglichkeiten abzusprechen und sich auf die unspezifischen und teils auch schwächeren Kompetenzen der Datenschutzbeauftragten zu verlassen, würde die Rechtsdurchsetzung schwächen. Zudem hat die BaFin die Fachkenntnisse, um versicherungsspezifische Diskriminierung, die zuweilen recht versteckt stattfinden kann, zu identifizieren. Daher ist die Wahrung der datenschutzrechtlichen Grenzen für Diskriminierung auch von der BaFin zu überwachen, soweit das Datenschutzrecht auf den Schutz der Versicherungsnehmer zielt. Das führt zu parallelen Zuständigkeiten, nicht zur Verdrängung der Versicherungsaufsicht.

Eingriffsschwelle

Des Weiteren ist zu klären, unter welchen Voraussetzungen die Aufsichtsbehörde bei Verstößen der oben genannten Art eingreifen kann. Im Grundsatz kann die Aufsichtsbehörde eingreifen, wenn das Versicherungsunternehmen gegen Gesetze verstößt. Sie ist beim „Ob“ und „Wie“ des Eingreifens an den Verhältnismäßigkeitsgrundsatz gebunden. Bei einmaligen, folgenlosen Gesetzesverstößen kann das etwa bedeuten, dass sich die Aufsicht mit einem Hinweis begnügt.Footnote 137 Bei den hier in Rede stehenden, KI-basierten Diskriminierungen wird ein Eingreifen jedoch schon deshalb geboten sein, weil ein Bias als systematische Abweichung zwischen der Modellierung und der Wirklichkeit eine Vielzahl von Fällen betreffen kann.

Auch eine innovationsspezifische Ausnahme ist nicht zu machen. Für den Bereich der neuen Finanztechnologien wird zwar seit langem, u. a. nach britischem Modell, diskutiert, ob Aufsichtsanforderungen abgesenkt werden müssen, um Innovation zu fördern (sog. regulatory sandbox).Footnote 138 Das europäisch harmonisierte Versicherungsaufsichtsrecht kennt zwar keine solche Innovationsklausel, lässt aber über den Verhältnismäßigkeitsgrundsatz Differenzierungen in der Aufsichtsintensität zu. Diskutiert wird insbesondere, ob man Versicherungsunternehmen, die ihr Geschäftsmodell auf innovative Technologien stützen (sog. InsurTechs), im Rahmen der Erlaubnisverfahrens entgegenkommt, indem man ihnen bei der Finanzausstattung mehr Spielraum lässt.Footnote 139 Die BaFin hat das bisher abgelehnt („Same business, same risks, same rules“)Footnote 140 und jüngst betont, eine volle Ausfinanzierung von InsurTechs schon bei Zulassung zu fordern.Footnote 141 aber ein Bündel interner Maßnahmen ergriffen, um den neuen Fragestellungen gerecht zu werden.Footnote 142 Ein großzügigerer Umgang mit Verstößen gegen Gesetze, die das Verhältnis zu den Versicherungsnehmern regeln, zählt allerdings zu Recht ohnehin nicht zu den für eine Sandbox diskutierten Erleichterungen. Der noch zu besprechende Entwurf der EU-Kommission für einen Artificial Intelligence Act sieht gewisse aufsichtsbehördliche Erleichterungen für die KI-Aufsicht vor; zu diesen und ihrer Bedeutung für die Versicherungsaufsicht s. unten Abschn. 6.

Eingriffsmittel

Klassische Eingriffsmittel der Aufsichtsbehörden sind zunächst, zur Aufklärung des Sachverhalts, das Auskunftsverlangen (§ 43 VAG i. V. m. § 305 VAG) und das Betreten und Durchsuchen von Räumen (§ 306 VAG). Nach Aufklärung und Würdigung des Sachverhalts sowie Anhörung der Betroffenen kann die BaFin alle verhältnismäßigen Maßnahmen ergreifen, um Verstöße abzustellen. Die Einführung von KI verändert die Prämissen der Versicherungsaufsicht schon bei der Erfassung des Sachverhalts grundlegend.Footnote 143 Die Aufsicht muss digital „aufrüsten“, um ihrerseits den Einsatz von KI durch das Versicherungsunternehmen überprüfen zu können.Footnote 144 Das entsprechende Stichwort lautet „Regulatory Technology“ (RegTech). Insbesondere im Vereinigten Königreich scheinen entsprechende Überlegungen, die technologische Kompetenz zu erhöhen, vorangetrieben zu werden. Befreit von den Fesseln der EU diskutiert man gar die – konsequente – Perspektive, aufsichtsrechtliche Normen in Computersprache zu fassen.Footnote 145 Fest steht, dass nicht nur die Versicherungsaufsicht, sondern jegliche staatliche Aufsicht über Unternehmen darauf hinwirken muss, den Unternehmen technologisch gewachsen zu sein. Wie schwierig das angesichts der unterschiedlichen finanziellen Basis ist, zeigt die globale Diskussion um die Regulierung der BigTechs wie Google, Amazon und Facebook. Ob und inwieweit angesichts der technischen Anforderungen bei der Aufsicht über KI eine – auch technische – Aufgabenteilung mit der nach EU-Recht zu schaffenden KI-Aufsicht (dazu sogleich) geboten ist, hängt von den Aufgaben dieser spezifischen KI-Aufsicht ab.

Kommissions-Entwurf eines Artificial Intelligence Act

Die EU-Kommission hat jüngst eine Verordnung vorgeschlagen, die das Inverkehrbringen, die Inbetriebnahme und die Nutzung von KI-Systemen regelt.Footnote 146 Auch bei diesen Vorschriften geht es zum Teil darum, Diskriminierung zu verhindernFootnote 147 und Transparenz zu schaffen, die ihrerseits sachlich nicht gerechtfertigte Ungleichbehandlungen aufzudecken hilft. Nach der Legaldefinition der Verordnung ist ein KI-System eine Software, die mit einer oder mehreren bestimmten Techniken entwickelt wurde und für eine gegebene Menge von durch den Menschen definierten Zielen Ausgaben wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann, die die Umgebungen beeinflussen, mit denen sie interagieren (Art. 3 Abs. 1 KI-VO-E).

Die einschlägigen Techniken sind in Annex I der KI-VO‑E aufgelistet, und zu ihnen gehören auch die oben (Abschn. 1 und 2) beschriebenen selbstlernenden Algorithmen. Auch die weiteren Voraussetzungen der Definition sind erfüllt. Setzen Versicherer im Verhältnis zum Kunden Algorithmen ein, definieren sie Ziele, wie etwa den Abschluss eines Vertrages, die Einschätzung eines Risikos oder die Bewertung eines Schadens. Diese Ziele sind von Menschen gesetzt, auch wenn Versicherer juristische Personen sind. Ihnen sind die Ziele, die ihre Organe und Erfüllungsgehilfen setzen, im Verhältnis zum Versicherungsnehmer zuzurechnen. Die KI kann Ausgaben im beschriebenen Sinne erzeugen, und diese beeinflussen die Umgebungen, mit denen das KI-System interagiert. Umgebung in diesem Sinne ist weit zu verstehen, wie Erwägungsgrund 6 des KI-VO‑E zeigt. Dort wird hervorgehoben, dass Einflüsse physischer und digitaler Dimension erfasst sein sollen.

Fallen demnach die hier angesprochenen KI-Anwendungen der Versicherungswirtschaft unter die geplante Verordnung, werden insbesondere die harmonisierten Transparenzregeln des Art. 52 KI-VO‑E anzuwenden sein, da sie für KI-Systeme gelten sollen, die mit natürlichen Personen interagieren. Ob dazu auch eine Interaktion mit natürlichen Personen zählt, die als Organe oder Erfüllungsgehilfen einer juristischen Person handeln, sagt die KI-VO‑E nicht ausdrücklich. Sinn und Zweck der Transparenzregeln der Verordnung ist es, eine Täuschung natürlicher Personen zu verhindern (s. Erwägungsgrund 70 KI-VO-E). Dieser Zweck ist zum einen nicht auf den rechtsgeschäftlichen Verkehr und zum anderen nicht darauf beschränkt, dass diese natürlichen Personen für sich selbst handeln. Daher dürften die Transparenzregeln der Verordnung für Versicherer unabhängig davon eingreifen, ob diese mit Privatpersonen oder Unternehmen interagieren. Nach Art. 52 Abs. 1 KI-VO‑E müssen Versicherer daher darauf hinweisen, wenn sie mittels einer KI mit ihren Verhandlungs- oder Vertragspartnern in einen Austausch treten.Footnote 148

Sollten sie biometrische Kategorisierungssysteme verwenden (Art. 3 Abs. 35 KI-VO-E), also solche, die natürliche Personen anhand ihrer biometrischen DatenFootnote 149 bestimmten Kategorien wie Geschlecht, Alter, Haarfarbe, Augenfarbe, Tätowierungen, ethnischer Herkunft oder sexueller oder politischer Ausrichtung zuordnen, muss auch das transparent gemacht werden. Denkbar ist das u. U., wenn bei Personenversicherungen anhand von erfassten Verhaltensdaten auf den Gesundheitszustand oder anhand der Fahrweise auf das Unfallrisiko geschlossen wird. Der genannte Katalog der Kategorien dürfte nicht abschließend, sondern beispielhaft gemeint sein.

Strengere Regeln gelten für hoch-riskante KI-Anwendungen (Art. 6 ff. KI-VO-E)Footnote 150; das Management der damit verbundenen Risiken – auch Bias-Risiken, s. Art. 10 Abs. 2 lit. f, 5 KI-VO‑E –, die Daten-Governance, die technische Dokumentation, Mechanismen zur Nachverfolgbarkeit und menschliche Aufsicht sind hier detailliert vorgegeben. Die Regeln finden auf Versicherungsprodukte Anwendung, wenn biometrische Kategorisierungssysteme zur biometrischen Fernidentifizierung natürlicher Personen in Echtzeit oder nachträglich eingesetzt werden (Art. 6 Abs. 2 KI-VO‑E i. V. m. Annex III), wie es etwa bei „Pay-as-you-live“-Versicherungen der Fall sein könnte, etwa dann, wenn eine Lebensversicherung verfolgen würde, ob der Versicherungsnehmer raucht, aber auch wenn eine Reisgepäckversicherung automatisch durch Verlassen des Hauses mit Gepäck aktiviert wird.

Die Transparenzregeln in Art. 52 KI-VO‑E dienen zumindest auch dazu, Versicherungsnehmer zu schützen. Die Regeln für hoch-riskante KI sollen voreingenommene und diskriminierende Ergebnisse vermeiden (Erwägungsgrund 33 KI-VO-E) und so auch Versicherungsnehmer schützen. Sämtliche der genannten Regeln können daher grds. von der Versicherungsaufsicht überwacht werden. Allerdings wird hier zugleich eine Zuständigkeit einer nach Art. 59 KI-VO‑E zu schaffenden nationalen, branchenübergreifenden KI-Aufsichtsbehörde gegeben sein. Die spezifische Aufsicht über die Technologie wird dann sinnvollerweise ausschließlich in der Hand dieser Behörde liegen, da diese das umfassende Know-how auch zum Bias-Management haben wird.Footnote 151 Trifft sie Feststellungen und Maßnahmen im Rahmen der Technologieaufsicht, kann die BaFin dann u. U. im Rahmen der Legalitätsaufsicht nach §§ 298, 294 VAG auch versicherungsaufsichtsrechtliche Konsequenzen ziehen. Die Zusammenarbeit der Behörden muss entsprechend geregelt werden.

Für die KI-Aufsicht nach dem KI-VO‑E sieht die Kommission bislang einen regulatorischen Sandkasten vor (Art. 53 KI-VO-E), um Innovationen nicht durch Überregulierung zu bremsen. Er bringt allerdings keine Absenkung der KI-aufsichtsrechtlichen Standards mit sich,Footnote 152 sondern ermöglicht es, KI-Systeme vor ihrem Inverkehrbringen oder der Inbetriebnahme unter Aufsicht zu testen. Die Mitgliedstaaten werden in Erwägungsgrund 71 KI-VO‑E ermutigt, allerdings nicht verpflichtet, ihn einzurichten. Tun sie das, sind die entsprechenden Vorgaben des KI-VO‑E zu beachten, d. h. die Sandboxes sind in gewissem Maße harmonisiert. Die deutsche Versicherungsaufsicht bietet bisher keine solche Erleichterung für innovative Geschäftsmodelle. Art. 53 Abs. 3 KI-VO‑E legt ausdrücklich fest, dass ein regulatorischer Sandkasten für das KI-System Aufsichts- und Eingriffskompetenzen anderer zuständiger Behörden nicht berührt. Allerdings ist die BaFin hinzuzuziehen, wenn für versicherungsrelevante KI-Systeme andere Behörden einen solchen privilegierter Aufsichtsbereich einrichten (Art. 53 Abs. 2 KI-VO-E).

Ergebnisse und Fazit

Setzen Versicherungsunternehmen im Verhältnis zu ihren Kunden, Versicherungsnehmern und den Begünstigten von Versicherungsleistungen KI in Gestalt selbstlernender Algorithmen ein, die mithilfe von Daten Lösungen für wiederkehrende Entscheidungsprobleme finden können, kann die KI eine systematische Abweichung zwischen der Modellierung und der Wirklichkeit entwickeln, einen Bias. Die Ursachen von Bias sind vielfältig und können in der Datengrundlage, in der Zielsetzung und den Schlussfolgerungen der KI liegen. Beim Einsatz von KI ist ein Bias niemals ganz vermeidbar, man kann ihn durch verschiedene Maßnahmen in verschiedenen Phasen der Entwicklung und Nutzung der KI aber möglichst geringhalten, also minimieren.

KI wird typischerweise eingesetzt, wenn eine Vielzahl gleichartiger Entscheidungen zu treffen sind, etwa die Entscheidung über den Vertragsabschluss, die Berechnung des Tarifs oder die Regulierung des Schadens. Ein Bias wird daher regelmäßig große Breitenwirkung haben, sich also auf eine Vielzahl von Entscheidungen auswirken. Da ein Bias juristisch gesprochen zu einer verbotenen Diskriminierung führen kann, drohen damit massenhafte Rechtsverstöße.

Zivilrechtlich knüpfen sich an die Verstöße gegen die verschiedenen Diskriminierungsverbote Ansprüche des Versicherungsnehmers gegen den Versicherer auf Unterlassung, Beseitigung und Schadensersatz.

Erstens ist eine zentrale Weichenstellung hierbei die Frage, ob die Erklärung, welche dem Versicherungsnehmer zugeht, nach dem Empfängerhorizont als Willenserklärung des Versicherers anzusehen ist. Ist dies der Fall, entfallen die vielfach diskutierten Zurechnungsprobleme im Rahmen von Willenserklärungen und KI sowie Pflichtverletzungen und KI.

Zweitens spielt die Erklärbarkeit von KI vor allem für den Versicherer selbst eine zentrale Rolle.Footnote 153 Die Erklärbarkeit kann sich im Rahmen von Kausalitäts- und Beweisfragen entscheidend darauf auswirken, ob eine rechtswidrige Diskriminierung vorliegt und ob die Datenverarbeitung aufgrund einer Einwilligung zulässig ist. Erklärbarkeit erhöht daher auch die Rechtssicherheit für die Versicherer.

Drittens ergibt sich, dass der Versicherer stets sicherzustellen hat, dass die KI nur zulässige Informationen im Sinne des GenDG erhebt sowie versicherungsaufsichtsrechtliche und datenschutzrechtliche Vorgaben gewahrt werden. Dabei ist insbesondere auch zu verhindern, dass die KI durch ihr selbstlernendes Verhalten diese Verbote und Vorgaben nicht umgeht.

Viertens ist für das Verschulden und damit die Haftung des Versicherers für die Auswirkungen bias-belasteter Entscheidungen entscheidend, ob und inwieweit Bias vermeidbar ist. Die Unvermeidbarkeit von Bias hat zur Folge, dass jeder Versicherer, der KI in der hier diskutierten Weise gegenüber Kunden, Versicherungsnehmern und den Begünstigten von Versicherungsleistungen einsetzt, vorhersehen kann, dass Diskriminierungen geschehen können; welche Diskriminierungen im Einzelnen drohen, ist für ihn nicht voraussehbar. Er kann diese Gefahr minimieren, indem er Bias-Management betreibt. Vermeiden kann er sie nach heutigem Stand der Technik nur, indem er auf die Nutzung von selbstlernender KI im direkten Umgang mit dem Kunden, also etwa beim Vertragsabschluss oder bei der Schadenregulierung, verzichtet. Daher sind Diskriminierungen durch eine KI dem Versicherer zurechenbar: Sie sind vorhersehbar und – durch Nichtnutzung von KI – vermeidbar.

Das Versicherungsaufsichtsrecht stellt über die Govenancevorgaben sicher, dass die Diskriminierungsverbote eingehalten werden. Sonstige konkrete Vorgaben zur Vermeidung von Bias gibt es nicht, aber allgemeine Regeln, die eine konsistente IT-Strategie verlangen. Diese umfasst die IT-Governance und das IT-Risikomanagement und ist der Aufsichtsbehörde mitzuteilen. Bei KI-basierten Versicherungsprodukten sind Diskriminierungsrisiken zudem im Rahmen der Produktgovernance zu bewerten, zu beobachten und zu minimieren. Werden aus praktischen oder rechtlichen Gründen Aufgaben im Zusammenhang mit KI-basierten Maßnahmen ausgegliedert, sind die allgemeinen Vorgaben für Ausgliederungen zu beachten. Verstoßen Versicherer gegen diese aufsichtsrechtlichen Vorgaben oder gegen die verschiedenen Diskriminierungsverbote, können die Aufsichtsbehörden eingreifen. Angesichts der potenziellen Breitenwirkung von Bias sind behördliche Eingriffe auch regelmäßig geboten.

Neben dem Versicherungsaufsichtsrecht setzt das Datenschutzrecht der KI-Nutzung durch Versicherer im Verhältnis zu den genannten Personenkreisen Schranken durch Diskriminierungsverbote, aber auch durch Governancevorgaben (Folgenabschätzung, Risikomanagement), die hier nur angedeutet wurden. Sie begründen neben Schadensersatzansprüchen Durchsetzungskompetenzen der Datenschutzbehörden.

Mit dem Vorschlag der EU-Kommission für einen Artificial Intelligence Act konkretisieren sich Überlegungen einer behördlichen Aufsicht über KI. Diese spezifische KI-Aufsicht wird auch Versicherungsunternehmen erfassen, die KI nutzen. Sie wird auch das hier erörterte Problem des Bias angehen. Es erscheint sachgerecht, eine technologiespezifische Aufsicht neben die Versicherungsaufsicht – und sonstige Arten der Wirtschaftsaufsicht – zu stellen. Die Möglichkeiten der einzelnen Zweige der Wirtschaftsaufsicht und damit auch der Versicherungsaufsicht, technologisch „aufzurüsten“ (Stichwort: RegTech) und KI wirksam zu kontrollieren, sind begrenzt.

Aus unserer Sicht ergibt sich aus dem Gesagten eine Reihe von Fragestellungen, die gelöst werden müssen. Dabei muss es das Ziel sein, dem Einsatz von KI in der Versicherung einen rechtsicheren Rahmen zu geben. Denn die Rechtsunsicherheit wird von den Versicherern als einer der Haupthinderungsgründe in Bezug auf den Einsatz von KI genannt, neben technischen Herausforderungen und Akzeptanzfragen.Footnote 154

Die Haftungsfrage speziell im Hinblick auf Bias als eines unvermeidbaren Risikos muss geklärt werden; hier wurde für eine umfassende Zurechnung möglicher Diskriminierungen zum Versicherungsunternehmen plädiert. Auch über eine Anpassung des Diskriminierungsrechts an die technische Entwicklung ist nachzudenken.Footnote 155 Zu klären ist zudem, ob Erkenntnisse der Informatik zur (Un‑)Fairness von KI auch für die rechtliche Bewertung von Bedeutung sein können und möglicherweise die rechtlichen Grenzen der Diskriminierung verschieben. Ebenfalls im Zusammenhang mit der Haftung steht die Erklärbarkeit von KI, die für die Feststellung von Kausalzusammenhängen eine Rolle spielen kann. Hier sind technische Möglichkeiten zu entwickeln, die ihrerseits auf die juristischen Anforderungen rückwirken können. Andererseits stellt sich aber auch die Frage, ob durch eine erklärbare KI die oben aufgeworfenen Beweisprobleme zufriedenstellend gelöst werden und welche neuen rechtlichen Herausforderungen sich bei einer erklärbaren KI stellen.

Zu klären ist von Seiten der Informatik auch, was Bias-Vermeidung im Sinne eines angemessenen Bias-Managements im Detail erfordert. Davon ausgehend stellt sich die juristische Frage, welche Maßnahmen davon mit welcher Detailliertheit durch welche aufsichtsrechtlichen Instrumente vorgegeben werden sollen. Verwaltungsorganisatorisch ist zu fragen, in die Hand welcher Aufsichtsbehörden die Überwachung der Maßnahmen gelegt wird. Hier muss ein stimmiges Zusammenwirken von Technologieaufsicht, Datenschutzaufsicht und Fachaufsicht erreicht werden.

Der Umgang mit Bias-Risiken beim Einsatz von KI in der Versicherung ist nach alldem eine nur interdisziplinär von der Informatik und der Rechtswissenschaft zu lösende Fragestellung.