KI & Recht

Zusammenfassung

In diesem Kapitel werden die rechtlichen Rahmenbedingungen rund um den Einsatz von KI-Systemen aufgeführt. Zunächst werden erste Regulierungsansätze vorgestellt (12.2). Anschließend werden die grundsätzlichen Prinzipien der Datenschutz-Grundverordnung beschrieben (12.3). Mittels einer kleinen Übung wird das Bewusstsein zur Kategorisierung personenbezogener Daten geschärft (12.4). Es folgt eine Diskussion über die Vereinbarkeit von KI-Systemen und Datenschutz am Beispiel des Einsatzes von Chatbots (12.5). Schließlich wird der rechtlich anspruchsvolle Anwendungsfall des vollständig automatisierten Verwaltungsakts analysiert (12.7). Das angeeignete Wissen kann in der Übung reflektiert (12.7) und im eigenen Anwendungsfall eingesetzt werden (12.8).

12.1 Einleitung

KI-basierte Systeme werden in absehbarer Zukunft auch im öffentlichen Sektor eine immer größere Rolle spielen. Allerdings muss sich insbesondere die öffentliche Verwaltung beim Einsatz neuer Technologien immer eine Frage stellen: Dürfen wir das auch? Technische Innovationen haben immer einen begrenzenden Faktor: das Gesetz. Denn jedes Verwaltungshandeln basiert auf Recht und Gesetz oder ist zumindest gesetzlich umrahmt. Weder das Grundgesetz noch das Verwaltungsverfahrensgesetz macht der Verwaltung zwar eine generelle Vorgabe hinsichtlich der zur Aufgabenerfüllung zu nutzenden Instrumente. Doch unsere Rechtsordnung ist anthropozentrisch aufgebaut, das heißt der Mensch steht im Mittelpunkt des Regelungsansatzes, und auch die Anwendung des Rechts ist Aufgabe des Menschen (Hähnchen et al., 2020). Zudem gilt für alle Formen des Verwaltungshandelns die Gesetzesbindung an Art. 20 Abs. 3 GG:

Die Gesetzgebung ist an die verfassungsmäßige Ordnung, die vollziehende Gewalt und die Rechtsprechung sind an Gesetz und Recht gebunden.

In diesem Kapitel geht es um Regulierungsansätze für Künstliche Intelligenz in Europa und Deutschland. Außerdem wird analysiert, wie sich die Beziehung zwischen Datenschutz und dem Einsatz von KI-Systemen gestaltet und was unter personenbezogenen Daten zu verstehen ist. Schließlich wird noch vertieft das Thema des vollständig automatisierten Verwaltungsakts erörtert.

12.2 Erste Regulierungsansätze

Bislang gibt es auf nationaler Ebene nahezu keine Regelung, die explizit auf KI-Systeme ausgerichtet ist. Wie zuvor geschildert, greift die DSGVO, sobald personenbezogene Daten verwendet werden – ein darüberhinausgehender Regulierungsrahmen existiert hingegen nicht. Gleiches gilt, wenn man die europäische Ebene anschaut. Auch in der Europäischen Union wurde bislang noch keine Verordnung für KI-Systeme implementiert. Der Einsatz von KI wird daher aktuell lediglich durch einige nationale Gesetze und die DSGVO reguliert. Im April 2021 hat die EU-Kommission allerdings einen Entwurf für eine entsprechende Verordnung veröffentlicht, dieser wird seither intensiv diskutiert. Grundlage für den Entwurf war ein zuvor von der EU-Kommission publiziertes Weißbuch (Europäische Kommission, 2020).

Der Verordnungsentwurf der EU-Kommission vom 21. April 2021

Der Entwurf ist als ein Rechtsrahmen für KI anzusehen, der sich insbesondere mit den Risiken von KI befasst. Zweck der Verordnung ist es, durch die Etablierung eines einheitlichen Rechtsrahmens die Entwicklung, Vermarktung und Nutzung von KI im gemeinsamen Binnenmarkt zu verbessern. Außerdem soll der Schutz der Gesundheit, Sicherheit und Grundrechte im Kontext von grenzüberschreitendem Verkehr von KI-basierten Waren und Dienstleistungen sichergestellt werden. In Artikel 5 beschreibt der Entwurf Praktiken, die aufgrund eines nicht zu akzeptierenden Risikos verboten sind. Dazu gehören unter anderem:

• Systeme, die mithilfe unterschwelliger Techniken eine Person wesentlich beeinflussen oder physischen oder psychischen Schaden zufügen können;

• Systeme zur Bewertung der Vertrauenswürdigkeit eines Menschen auf Grundlage des Sozialverhaltens, sofern diese Systeme von Behörden genutzt oder in deren Auftrag in Betrieb genommen wurden;

• Echtzeit-Fernerkennungssysteme, die zur biometrischen Identifizierung einer Person im öffentlichen Raum zwecks Strafverfolgung verwendet werden.

Im Hinblick auf Echtzeit-Fernerkennungssysteme sieht der Entwurf aber Ausnahmen vor, in denen der Einsatz eines solchen Systems doch möglich ist. Eine solche Ausnahme ist etwa die gezielte Suche nach bestimmten potenziellen Opfern von Straftaten oder nach vermissten Kindern. Wenn eine konkrete, erhebliche und unmittelbare Gefahr für das Leben oder die körperliche Unversehrtheit einer natürlichen Person besteht oder ein Terroranschlag vorliegt, kann es ebenfalls zu Ausnahmen kommen. Ferner können KI-Systeme genutzt werden, um Täter oder Verdächtige im Sinne des Artikel 2 Absatz 2 des Rahmenbeschlusses 2002/584/JI des Rates zu erkennen, aufzuspüren oder zu verfolgen. Nach dem Beschluss handelt es sich hierbei um Personen, gegen die in dem betreffenden Mitgliedstaat nach dessen Recht eine Freiheitsstrafe oder eine freiheitsentziehende Maßregel der Sicherung von mindestens drei Jahren angesetzt ist.

Der Entwurf der EU-Kommission unterscheidet KI-Systeme, mit deren Nutzung ein hohes Risiko einhergeht von denen, die ein niedriges Risiko darstellen. Es wird von einem hohen Risiko ausgegangen, wenn ein KI-System in den folgenden Bereichen eingesetzt wird:

• Kritische Infrastrukturen (z. B. der Energiesektor oder das Gesundheitswesen);

• Schul- oder Berufsausbildung, wenn der Zugang einer Person zur Bildung oder zum Berufsleben dadurch beeinträchtigt werden kann (z. B. Bewertung von Prüfungen);

• Sicherheitskomponenten von Produkten (z. B. eine Roboterassistenz im Bereich der Chirurgie);

• Beschäftigung, Personalmanagement und Zugang zu selbstständiger Tätigkeit (z. B. Software zur Auswertung von Lebensläufen während eines Einstellungsverfahrens);

• Bestimmte private und öffentliche Dienstleistungen (z. B. die Bewertung der Kreditwürdigkeit);

• Strafverfolgung (z. B. Bewertung der Verlässlichkeit von Beweismitteln);

• Migration, Asyl und Grenzkontrollen (z. B. Überprüfung der Echtheit von Reisedokumenten);

• Rechtspflege und demokratische Prozesse (z. B. Systeme, die Justizbehörden dabei helfen sollen, Sachverhalte und Rechtsvorschriften zu ermitteln und auszulegen).

Dem letzten Punkt ist hinzuzufügen, dass ein KI-System, welches für rein begleitende Verwaltungstätigkeiten eingesetzt wird und die tatsächliche Rechtspflege nicht beeinträchtigt – wie etwa die Anonymisierung gerichtlicher Urteile –, nicht mit einem hohen Risiko assoziiert wird. KI-Systeme, deren Einsatz mit einem hohen Risiko verbunden wird, sollen vor der Marktzulassung strenge Anforderungen erfüllen:

• angemessene Risikobewertungs- und Risikominderungssysteme (Art. 9);

• hohe Qualität derjenigen Daten, mit denen das KI-System betrieben wird, insbesondere um Diskriminierungen zu vermeiden (Art. 10);

• technische Dokumentation des KI-Systems und seines Zwecks (Art. 11);

• Dokumentation sowie Protokollierung der Vorgänge, insbesondere um die Rückverfolgbarkeit von KI-Ergebnissen zu ermöglichen (Art. 12);

• klare und angemessene Informationen für die Nutzerinnen und Nutzer (Art. 13);

• angemessene menschliche Aufsicht zur Minimierung der Risiken (Art. 14);

• hohes Maß an Robustheit, Sicherheit und Genauigkeit (Art. 15).

Mit geringeren Risiken wird etwa ein Chatbot verbunden, der unter Umständen manipuliert werden könnte. Bei einem solchen System müssen lediglich Transparenzpflichten erfüllt werden, sodass das Verhalten des Chatbots gegebenenfalls nachvollzogen werden kann. Die große Mehrheit der KI-Systeme stellt jedoch nur ein minimales oder gar kein Risiko für die Rechte oder Sicherheit der Bürger dar (z. B. KI-gestützte Videospiele oder Spamfilter). Diese Systeme sind von dem Entwurf der EU-Kommission nicht erfasst und sollen – unter Einhaltung des allgemein geltenden Rechts – weiterhin entwickelt und verwendet werden können.

Digitalisierungsgesetz in Schleswig–Holstein

In Schleswig-Holstein ist seit Frühjahr 2022 das Gesetz über die Möglichkeit des Einsatzes von datengetriebenen Informationstechnologien bei öffentlich-rechtlicher Verwaltungstätigkeit in Kraft. Damit hat Schleswig-Holstein als erstes Bundesland eine explizite Regelung für den Einsatz von KI-Systemen geschaffen. Es werden Anforderungen, darunter Transparenz, Beherrschbarkeit, Robustheit und Sicherheit, sowie Grenzen aufgezeigt. Sogenannte datengetriebene Informationstechnologien sind in bestimmten Anwendungsbereichen nicht zulässig, zum Beispiel zum Zweck der Beurteilungen der Persönlichkeit oder Arbeitsleistung von Menschen und zur Erstellung von Prognosen über die Straffälligkeit von Personen. Auch bei Ermessen und Beurteilungsspielraum beim Erlass eines Verwaltungsaktes dürfen keine datengetriebenen Informationstechnologien verwendet werden. Das Gesetz unterscheidet zwischen den drei Automationsstufen Assistenzsystem, Delegation und autonome Entscheidung. Eine Zuordnung ist verpflichtend und für die Beurteilung von Risiken sowie geeigneten technischen und organisatorischen Maßnahmen relevant. Weiter sind auch Regelungen zu Transparenz, Menschlicher Aufsicht, Vorrang menschlicher Entscheidungen, der Datengrundlage, der Verarbeitung personenbezogener Daten, Beherrschbarkeit und Risiko, Sicherheit, Robustheit und Resilienz sowie Mindeststandards durch Verordnung enthalten. Darüber hinaus wird die sogenannte KI-Rüge geregelt. Adressaten können dabei innerhalb eines Monats ab Bekanntgabe einer KI-basierten Entscheidung verlangen, dass diese durch eine natürliche Person überprüft wird.

12.3 Die Datenschutz-Grundverordnung

Die Datenschutz-Grundverordnung (DSGVO) findet Anwendung, wenn KI mit personenbezogenen Daten trainiert wird oder diese verarbeitet. In dem Fall gelten die in Artikel 5 DSGVO normierten Grundsätze.

Artikel 5 DSGVO

• 1. Personenbezogene Daten müssen

  • a) auf rechtmäßige Weise, nach Treu und Glauben und in einer für die betroffene Person nachvollziehbaren Weise verarbeitet werden („Rechtmäßigkeit, Verarbeitung nach Treu und Glauben, Transparenz“);

  • b) für festgelegte, eindeutige und legitime Zwecke erhoben werden und dürfen nicht in einer mit diesen Zwecken nicht zu vereinbarenden Weise weiterverarbeitet werden; eine Weiterverarbeitung für im öffentlichen Interesse liegende Archivzwecke, für wissenschaftliche oder historische Forschungszwecke oder für statistische Zwecke gilt gemäß Artikel 89 Absatz 1 nicht als unvereinbar mit den ursprünglichen Zwecken („Zweckbindung“);

  • c) dem Zweck angemessen und erheblich sowie auf das für die Zwecke der Verarbeitung notwendige Maß beschränkt sein („Datenminimierung“);

  • d) sachlich richtig und erforderlichenfalls auf dem neuesten Stand sein; es sind alle angemessenen Maßnahmen zu treffen, damit personenbezogene Daten, die im Hinblick auf die Zwecke ihrer Verarbeitung unrichtig sind, unverzüglich gelöscht oder berichtigt werden („Richtigkeit“);

  • e) in einer Form gespeichert werden, die die Identifizierung der betroffenen Personen nur so lange ermöglicht, wie es für die Zwecke, für die sie verarbeitet werden, erforderlich ist; personenbezogene Daten dürfen länger gespeichert werden, soweit die personenbezogenen Daten vorbehaltlich der Durchführung geeigneter technischer und organisatorischer Maßnahmen, die von dieser Verordnung zum Schutz der Rechte und Freiheiten der betroffenen Person gefordert werden, ausschließlich für im öffentlichen Interesse liegende Archivzwecke oder für wissenschaftliche und historische Forschungszwecke oder für statistische Zwecke gemäß Artikel 89 Absatz 1 verarbeitet werden („Speicherbegrenzung“);

  • f) in einer Weise verarbeitet werden, die eine angemessene Sicherheit der personenbezogenen Daten gewährleistet, einschließlich Schutz vor unbefugter oder unrechtmäßiger Verarbeitung und vor unbeabsichtigtem Verlust, unbeabsichtigter Zerstörung oder unbeabsichtigter Schädigung durch geeignete technische und organisatorische Maßnahmen („Integrität und Vertraulichkeit“);

• 2. Der Verantwortliche ist für die Einhaltung des Absatzes 1 verantwortlich und muss dessen Einhaltung nachweisen können („Rechenschaftspflicht“).

Die DSGVO enthält keine spezifischen Pflichten für KI-Systeme, zur Einhaltung der Verordnung und deren Grundsätze ist die öffentliche Verwaltung insgesamt verpflichtet, unabhängig von der Nutzung künstlicher Intelligenz. Verstöße gegen die Grundsätze des Artikel 5 können ein Bußgeld nach sich ziehen (Art. 83 Abs. 5 lit. A DSGVO). Bei automatisierten Entscheidungen sieht die DSGVO weitreichendere Maßnahmen zur Wahrung der Rechte, Freiheiten und Interessen der Betroffenen vor. Diese müssen darüber informiert werden, dass eine automatisierte Einzelentscheidung getroffen wurde und welche involvierte Logik hinter der Entscheidung steckt. Die Informationen sind in präziser, transparenter, verständlicher und leicht zugänglicher Form in einer klaren und einfachen Sprache der betroffenen Person kostenfrei zur Verfügung zu stellen.

In Artikel 4, Nr. 1 definiert die DSGVO personenbezogene Daten als

„alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person (im Folgenden „betroffene Person“) beziehen; als identifizierbar wird eine natürliche Person angesehen, die direkt oder indirekt, insbesondere mittels Zuordnung zu einer Kennung wie einem Namen, zu einer Kennnummer, zu Standortdaten, zu einer Online-Kennung oder zu einem oder mehreren besonderen Merkmalen, die Ausdruck der physischen, physiologischen, genetischen, psychischen, wirtschaftlichen, kulturellen oder sozialen Identität dieser natürlichen Person sind, identifiziert werden kann“.

Als personenbezogene Daten sind unter anderem anerkannt: Namen und Vornamen natürlicher Personen sowie deren Einkommen, deren Geburtsdatum, Geschlecht, ethnische Zugehörigkeit, Religion und Sprache, deren Staatsangehörigkeit, Melde- und Aufenthaltsstatus sowie Passangaben, Aufzeichnungen über die Arbeitszeit oder Fingerabdrücke. Um personenbezogene Daten zu anonymisieren, muss der Personenbezug derart aufgehoben werden, dass eine erneute Re-Identifizierung nicht oder nur mit einem unverhältnismäßig hohen Aufwand wieder hergestellt werden kann (Brink & Wolff, 2021, Rn. 15a).

Vorselektierung von Beweismaterial

Seit Anfang des letzten Jahres setzt die Polizei in Niedersachsen eine Software auf Basis von Künstlicher Intelligenz ein, die durch IT-Experten des LKA Niedersachsen entwickelt und darauf trainiert wurde, relevante von irrelevanten Daten zu trennen (Landeskriminalamt Niedersachsen, 2020). Die Software „Niki“ unterstützt damit Polizeibeamte im Kampf gegen Kinderpornographie, indem sie dabei hilft, Beweismaterial auszuwerten. Sie kommt damit erst dann zum Einsatz, wenn Bild- und Videomaterial bei einem Tatverdächtigen sichergestellt oder beschlagnahmt wurde. Im Rahmen der Ermittlungsarbeit werden Polizeibeamte oft mit Datenmengen konfrontiert, die gerade in den letzten Jahren ein kaum mehr handhabbares Niveau erreicht haben. Die polizeiliche Erfahrung zeigt, dass in der Regel bis zu 75 % der sichergestellten Bilder nicht relevant sind. Ein Viertel des Bildmaterials ist aber regelmäßig strafrechtlich relevant und wenn man diese Bilder zeitnah identifizieren kann, können die Ermittlungen erfolgreicher und schneller werden (Strünkelnberg & Michel, 2020). Dadurch ist es möglich, noch andauernden Missbrauch schnell zu beenden. Sobald das Programm eine Vorauswahl getroffen hat, müssen Polizeibeamte die Detailauswertung übernehmen. Die ersten Rückmeldungen aus den Flächenbehörden in Niedersachsen sind positiv. Nach Angaben der Behörden wird die Software den Erwartungen gerecht und „nicht relevantes“ Bildmaterial wird erfolgreich vorselektiert. Die Software wurde im Rahmen des Programms „Polizei 2020“ inzwischen auch anderen Polizeibehörden aus Bund und Ländern zur Verfügung gestellt.

Bei der Vorselektierung von Bildern zur Identifizierung von kinderpornographischem Inhalt werden zwar personenbezogene Daten gesichtet, da die Dateien auf einem zugehörigen Rechner einer Person abgespeichert sind, eine Sichtung durch die Polizeibehörde ist dennoch erlaubt, da diese Ermittlungstätigkeit nicht in den sachlichen Anwendungsbereich der DSGVO fällt. Gemäß Artikel 2 Absatz 2d findet die Verordnung keine Anwendung auf die Verarbeitung personenbezogener Daten, soweit die zuständige Behörde zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten tätig wird.

12.4 Übung zur Datenschutz-Grundverordnung

Manchmal ist es auf den ersten Blick gar nicht eindeutig erkennbar, dass es sich um personenbezogene Daten handelt. Handelt es sich bei diesen Beispielen um personenbezogene Daten oder nicht (vgl. Brink & Wolff, 2021)?

• Tags bei Graffitis

• Die Email-Adresse auf der Website eines Unternehmens in der Form info@unternehmen.de

• GPS-Daten zur Standortermittlung von Firmenfahrzeugen

• Die durchschnittliche Anzahl der Besucher eines Wochenmarktes

• Dynamische IP-Adressen

12.5 Die Vereinbarkeit von KI und Datenschutz am Beispiel eines Chatbots

Bei der Implementierung und dem Betrieb von KI-Systemen fehlen bisher noch weitgehend einheitliche Leitlinien, weshalb es häufig zu extremen Positionen rund um den Einsatz von KI kommt. Während einige diesen technischen Fortschritt mit „zu gefährlich“ abtun, sehen andere KI als „Lösung aller Probleme“. Wichtig ist es, zu einer realistischen Einschätzung von Risiken zu gelangen und dann entsprechende Gegenmaßnahmen zu ergreifen. Hierfür ist ein Wissen über die rechtlichen Vorgaben zum Einsatz von KI notwendig. Beim unterstützenden Einsatz von KI, wenn es also nicht um fachliche Entscheidungen geht – wie etwa im Rahmen der Bürgerkommunikation bei einfachen Anfragen mittels eines Chatbots –, beschränken sich die Risiken weitgehend auf die allgemeinen Risiken, die grundsätzlich mit dem Einsatz von IT einhergehen.

Die wichtigste Rechtsvorschrift in diesem Bereich ist daher die Datenschutz-Grundverordnung (DSGVO). Die DSGVO ist unmittelbar geltendes Recht und hat Vorrang vor nationalen Regelungen. Das Bundesdatenschutzgesetz ergänzt daher die DSGVO nur um die Bereiche, in denen die EU-Verordnung den Mitgliedstaaten Gestaltungsspielräume belässt. Die DSGVO enthält keine KI-spezifischen Regelungen. Sie findet jedoch immer dann Anwendung, wenn KI-Systeme personenbezogene Daten verwenden. Chatbots bewegen sich fast immer im Anwendungsbereich der DSGVO, da Gesprächsdaten und Kommunikationsdaten (wie etwa die IP-Adresse des Computers) personenbezogene Daten im Sinne der DSGVO sind. Daher gelten auch beim Einsatz von Chatbots die in Artikel 5 DSGVO normierten Grundsätze für die Verarbeitung personenbezogener Daten. Der Begriff Grundsätze ist insoweit etwas unglücklich gewählt. Es handelt sich nämlich keineswegs nur um grobe Leitlinien, sondern um verbindliche Regelungen. Es ist daher treffender, von Grundpflichten zu sprechen, deren Verwirklichung verpflichtend ist und nicht nur bestmöglich angestrebt werden muss.

Zu den wichtigsten Grundpflichten gehört, dass personenbezogene Daten nur auf rechtmäßige Weise verarbeitet werden dürfen. Das bedeutet, dass vor der Nutzung des Chatbots die Einwilligung der betroffenen Person zur Erhebung und Nutzung seiner oder ihrer personenbezogenen Daten eingeholt werden muss. Die Daten dürfen zudem nur für den festgelegten Zweck verarbeitet werden. Eine Verarbeitung zu noch unbekannten Zwecken scheidet daher aus. Außerdem ist der Grundsatz der Datenminimierung einzuhalten. Angaben, die für die jeweilige Funktion des Chatbots nicht erforderlich sind, dürfen auch nicht erhoben werden. Die namentliche Ansprache kann zwar ein Gefühl des persönlichen Gesprächs vermitteln, doch eine Ansprache mit dem Namen der Nutzerinnen und Nutzer ist gerade bei einfachen Anfragen, z. B. nach Öffnungszeiten, häufig nicht notwendig. Daneben müssen die Daten richtig sein, also die Realität zutreffend abbilden. Dieser Aspekt ist weniger wichtig, wenn es allein um die reine Kommunikation via Chatbot geht. Sie ist aber umso wichtiger, wenn es um die Informationsgewinnung für eine anschließende Entscheidung geht. Die betroffene Person darf durch die Verwendung fehlerhafter Daten keine Nachteile erleiden. Des Weiteren muss eine „Datensparsamkeit“ auch in zeitlicher Hinsicht gewährleistet sein. Das bedeutet, dass die Daten nach Zweckerreichung wieder gelöscht werden müssen. Personenbezogene Daten sind zudem so zu verarbeiten, dass eine angemessene Sicherheit dieser Daten gewährleistet ist. Hierzu hat die verantwortliche Person geeignete technische und organisatorische Maßnahmen zu ergreifen, um den Schutz vor unbefugter oder unrechtmäßiger Verarbeitung und vor unbeabsichtigtem Verlust zu gewährleisten.

Wie bei jedem datenschutzrechtlich relevanten Vorgang, müssen auch im Rahmen der Chatbot-Nutzung die Informationspflichten aus Artikel 13 und 14 DSGVO eingehalten werden. Es müssen daher geeignete Maßnahmen getroffen werden, um der betroffenen Person die gesetzlichen Pflichtangaben in präziser und leicht zugänglicher Form in klarer und einfacher Sprache zu übermitteln. Dazu gehört grundsätzlich auch die Vermittlung der groben Funktionsweise des eingesetzten KI-Systems. Da die Datenschutzerklärung jederzeit erreichbar eingebunden werden muss, drohen die Vorteile einer unkomplizierten und damit schnellen Kommunikation abhanden zu kommen. Um das zu verhindern, empfiehlt es sich nur Kurzinformationen in den Chatbot einzubinden und im Übrigen auf ergänzende Hinweise zu verlinken.

Die DSGVO versucht durch datenschutzrechtliche Rahmenbedingungen die Interessen der Nutzerinnen und Nutzer miteinander in Einklang zu bringen. Entwicklung und Einsatz von KI geraten jedoch mit nahezu allen in der DSGVO niedergelegten Grundsätzen der Datenverarbeitung in Konflikt. Daher bleibt abzuwarten, ob der von der EU-Kommission geplante europäische Rechtsrahmen für KI auch eine Änderung der Datenschutz-Grundverordnung beinhalten wird. Bis dahin müssen aber alle datenschutzrechtlichen Maßnahmen im Vorfeld strikt umgesetzt werden, auch wenn dies zunächst zu Mehrarbeit führt. Nur so können eine erhöhte Sicherheit gewährleistet und die datenschutzrechtlichen Sanktionen vermieden werden.

12.6 Der vollständig automatisierte Verwaltungsakt

Der unterstützende, „entscheidungsferne“ Einsatz von KI-Systemen in der Verwaltung – etwa die Bürgerkommunikation oder das Übertragen von Daten in Papierform in ein digitales Format – sind rechtlich weniger bedenklich, weil die finale Entscheidung beim Menschen bleibt. Die Risiken beschränken sich hierbei weitgehend auf die allgemeinen Risiken, die mit einem Einsatz von IT-Systemen verbunden werden.

Anders verhält es sich allerdings bei einem Einsatz, der mit nach außen wirksamen Entscheidungen verbunden ist. In diesem Fall ist die rechtliche Bewertung komplexer, weil der Einsatz mit umfangreichen Risiken verbunden ist. Außerdem ist eine Ermächtigungsgrundlage erforderlich. Eine besondere Dimension wird erreicht, wenn es sich darüber hinaus um einen vollständig automatisierten Verwaltungsakt (VA) handelt. Voraussetzung hierfür ist das Fehlen einer personellen Bearbeitung bei allen Verfahrensschritten innerhalb der Verwaltung. Von einem vollständig automatisierten Erlass geht das Gesetz also nur dann aus, wenn die Entscheidung wirklich vollständig in die Hände des KI-Systems gelegt wird. Der Erlass eines Ermessensverwaltungsaktes mithilfe automatischer Einrichtungen ist daher möglich und auch gewünscht. Mit § 35a Verwaltungsverfahrensgesetz (VwVfG) hat der Gesetzgeber den vollautomatisierten Erlass eines Verwaltungsakts ermöglicht – allerdings nur unter der Bedingung, dass dies durch Rechtsvorschrift zugelassen ist und weder ein Ermessen noch ein Beurteilungsspielraum besteht (vgl. Schoch & Schneider, 2020).

§ 35a Vollständig automatisierter Erlass eines Verwaltungsaktes

Ein Verwaltungsakt kann vollständig durch automatische Einrichtungen erlassen werden, sofern dies durch Rechtsvorschrift zugelassen ist und weder ein Ermessen noch ein Beurteilungsspielraum besteht.

Der Gesetzgeber versucht mit dieser Regelung den technischen Fortschritt und die das Verwaltungsrecht prägenden Prinzipien in Einklang zu bringen. Die Vorschrift zeigt, dass der Gesetzgeber die Verwendung moderner Informationstechnik in Verwaltungsverfahren grundsätzlich begrüßt und daher erleichtern möchte – aber nur in den genannten Grenzen. Und diese Grenze ist der vollständig automatisierte Erlass eines Verwaltungsaktes mit Ermessens- oder Beurteilungsspielraum. Das bedeutet, dass unabhängig von den technischen Möglichkeiten ein vollautomatisierter Erlass eines Verwaltungsaktes mit Ermessens- oder Beurteilungsspielraum nicht möglich sein wird. Auf Gebieten wie dem Polizeirecht, dessen Ermächtigungsgrundlagen den Behörden fast durchgängig Ermessen einräumen, scheidet eine Vollautomatisierung damit auch in Zukunft aus.

Ein vollständig automatisierter Erlass eines Verwaltungsaktes kommt folglich nur bei gebundenen Entscheidungen infrage (vgl. Martini & Nink, 2017). Nur bei diesen ist ein vollständiger Verzicht auf eine personelle Bearbeitung vertretbar, weil eine eindeutige Zuordnung von Rechtsfolgen zu dem festgestellten Sachverhalt möglich ist. Sowohl die Ausübung eines Ermessens als auch die Ausfüllung eines Beurteilungsspielraums erfordern dagegen eine individuelle Abwägung und Willensbetätigung, die ein KI-System – zumindest derzeit – nicht leisten kann.

Was sich dem Gesetzeswortlaut nicht eindeutig entnehmen lässt, ist die Frage, was unter dem Begriff „automatische Einrichtung“ genau zu verstehen ist. Einigkeit besteht insoweit, dass der Begriff technikoffen so formuliert ist, dass letztlich die Verwendung jeglicher technischer Einrichtungen umfasst ist, die nach vorher festgesetzten Parametern ohne weiteres menschliches Einwirken funktionieren. Eine eindeutige Beschränkung auf regelbasierte Expertensysteme lässt sich weder der Norm selbst noch der Gesetzesbegründung entnehmen. Es ist daher davon auszugehen, dass auch selbstlernende Algorithmen unter diesen Begriff fallen. Entgegenstehende Rechtsprechung gibt es bislang nicht.

§ 24 Untersuchungsgrundsatz (1) […] Setzt die Behörde automatische Einrichtungen zum Erlass von Verwaltungsakten ein, muss sie für den Einzelfall bedeutsame tatsächliche Angaben des Beteiligten berücksichtigen, die im automatischen Verfahren nicht ermittelt würden.

Das Gesetz verlangt an dieser Stelle, dass bedeutende tatsächliche Angaben der Beteiligten „händisch“ berücksichtigt werden müssen, wenn eine Ermittlung im automatischen Verfahren nicht möglich ist. Mit der Automatisierung geht zwangsläufig eine Schematisierung einher. Die jeweiligen individuellen Komponenten einer Fallkonstellation können daher bei einer automatisierten Entscheidung nur einbezogen werden, wenn sie zuvor ermittelt und bei der Ausgestaltung der automatischen Einrichtung berücksichtigt werden (vgl. auch Guckelberger, 2021). In der Praxis bedeutet dies, dass der vollständig automatisch generierte Verwaltungsakt bei Bedarf nachträglich abgeändert werden kann, oder eine weitere Bearbeitung außerhalb des automatisierten Verfahrens möglich sein muss. Eine Bearbeitung außerhalb des automatisierten Verfahrens ist aber nur dann erforderlich, wenn die Angaben für den Einzelfall tatsächlich von Bedeutung sind.

Für eine effektive Ausübung des Rechts auf Anhörung gilt auch bei vollautomatisierten Verwaltungsverfahren das Recht der Akteneinsicht gemäß § 29 VwVfG. Dies ist zugegebenermaßen nicht leicht zu verwirklichen. Bereits bei der Konzipierung der automatischen Einrichtungen muss dafür gesorgt werden, dass die wesentlichen Abläufe dokumentiert werden, die zur getroffenen Entscheidung geführt haben. Besondere Schwierigkeiten ergeben sich bei selbstlernenden Algorithmen, bei denen der Weg der Entscheidungsfindung zum Teil nur schwer nachvollzogen werden kann. Hier zeichnet sich in Zukunft für den Fachgesetzgeber erheblicher Regelungsbedarf im Zusammenhang mit der Einführung solcher Systeme ab. Denkbar sind zum Beispiel fachrechtliche Vorgaben für stichprobenartige, zu protokollierende Kontrollen oder die Verpflichtung zur Offenlegung der maßgeblichen Programmcodes sowie der genutzten Daten.

§ 35a VwVfG gilt nicht nur für den Erlass von Verwaltungsakten im Ausgangsverfahren, sondern grundsätzlich auch für Änderung, Rücknahme und Widerruf. Wird ein vollautomatisiertes Verwaltungsverfahren unter Nichtbeachtung des Rechtsvorschriftenvorbehalts und sonstiger Grenzen eingeführt, sind die so erlassenen Verwaltungsakte allein deshalb rechtswidrig und mithin vom Bürger angreifbar.

12.7 Übung zum vollständig automatisierten Verwaltungsakt

• 1. Sie möchten einen vollständig automatisierten Verwaltungsakt für einen bestimmten Verwaltungsprozess implementieren. Worauf müssen Sie achten?

  • a) § 35a VwVfG stellt eine Ermächtigungsgrundlage für den Erlass vollautomatisierter Verwaltungsakte dar, deshalb muss rechtlich nichts weiter beachtet werden.

  • b) Automatisierte Verwaltungsakte sind nur für ein Ausgangsverfahren möglich, nicht aber für Änderung, Rücknahme oder Widerruf.

  • c) Automatisierte Verfahren müssen zuvor durch „Rechtsvorschrift“ (formelle Gesetze, Rechtsverordnungen oder Satzungen) zugelassen werden.

  • d) Beim Umgang mit personenbezogenen Daten muss immer die DS-GVO berücksichtigt werden.

• 2. Artikel 5 DS-GVO enthält spezifische Vorschriften für KI-Systeme.

  • a) Diese Aussage ist korrekt.

  • b) Diese Aussage ist falsch.

• 3. Welche Aussage zum Datenschutz ist zutreffend?

  • a) Datenschutz ist für den Einsatz von KI-Systemen nicht relevant.

  • b) Verstöße gegen die Grundsätze des Artikel 5 können ein Bußgeld nach sich ziehen (Art. 83 Abs. 5 lit. A DS-GVO).

  • c) Wenn personenbezogene Daten verwendet werden, gelten die Informationspflichten aus Artikel 13 und 14 DS -GVO.

  • d) Chatbots bewegen sich fast immer im Anwendungsbereich der DS-GVO, da Gesprächsdaten und Kommunikationsdaten (wie etwa die IP-Adresse des Computers) personenbezogene Daten im Sinne der DS -GVO sind.

• 4. Welche Aussagen über den Verordnungsentwurf der EU-Kommission sind zutreffend?

  • a) Der Entwurf hat als Grundlage ein zuvor von der Kommission erstelltes Weißbuch genutzt.

  • b) Im Entwurf wird unterschieden, ob mit der Nutzung eines KI-Systems ein hohes, geringes oder minimales Risiko verbunden ist.

  • c) Im Entwurf werden Szenarien beschrieben, für die ein KI-Einsatz verboten wird.

  • d) Der Entwurf ist niedergeschriebenes Völkergewohnheitsrecht.

• 5. Herr Müller arbeitet seit kurzer Zeit in der Steuerverwaltung. Er weiß, dass die Steuerverwaltung häufig als Vorreiter innerhalb der deutschen Verwaltung im Kontext von Digitalisierung und Automatisierung bezeichnet wird und das Steuerangelegenheiten regelmäßig vollständig elektronisch abgewickelt werden. Herr Müller ist sich aber ganz sicher, dass er damals gelernt hat, dass das Verwaltungsverfahrensgesetz – und damit § 35a – nicht für die Abgabenordnung gilt. Aber wie kann es dann sein, dass die Steuerverwaltung vollständig automatisierte Entscheidungen treffen kann?

  • a) Herr Müller erinnert sich richtig, da gibt es diese Vorschrift im VwVfG die besagt, dass dieses Gesetz keine Anwendung auf die Abgabenordnung findet. Allerdings hat der Gesetzgeber zusammen mit § 35a VwVfG auch den § 155 Abs. 4 AO (Abgabenordnung) eingeführt. Der ist zwar ein bisschen anders formuliert, ermöglicht aber auch den Erlass eines vollständig automatisierten Verwaltungsakts.

  • b) Herr Müller täuscht sich, dass Verwaltungsverfahrensgesetz findet auch auf die Abgabenordnung Anwendung. Schließlich ist das ja auch öffentliches Recht…

12.8 Aufgaben zum eigenen Anwendungsfall

• Wie stellen Sie sicher, dass die von Ihnen genutzten Daten konform sind mit der Datenschutz-Grundverordnung?

• Der Entwurf der EU-Kommission zur Reglementierung von KI-Systemen unterteilt diese in unterschiedliche Risikogruppen. In welche Risikogruppe fällt Ihr System? Erläutern Sie Ihre Einschätzung.