1 Einleitung

Die Governance und Regulierung von Plattformen ist zu einem zentralen Thema öffentlicher und politischer Debatten geworden: Wie sollen Anbieter von sozialen Medien mit problematischen Inhalten wie Misinformation und Hassreden umgehen? Können und sollen sie selbst Unterscheidungen treffen und durchsetzen zwischen wahren und unwahren Behauptungen, zwischen legitimen Äußerungen und grenzüberschreitender Hassrede? Gleichzeitig wird im politischen Feld intensiv diskutiert, wie Plattformen selbst reguliert werden sollten, um mögliche negative Auswirkungen auf Demokratie und gesellschaftlichen Zusammenhalt zu reduzieren. Sollten sie etwa für Inhalte haftbar gemacht werden oder zum Einsatz von Upload-Filtern gedrängt werden? Während sich inzwischen ein gesellschaftlicher Konsens etabliert hat, dass Plattformen stärker als bislang Verantwortung für ihre Inhalte übernehmen müssen, besteht wenig Einigkeit und Klarheit darüber, in welcher Form dieser Konsens praktisch umgesetzt werden sollte.

In der Praxis des täglichen Betriebs der größeren Plattformen hat sich eine (teil‑)automatische Bearbeitung dieser Fragen längst etabliert: Der flächendeckende Einsatz von algorithmischen Systemen der Inhalteklassifikation und -filterung ist inzwischen Standard (Gorwa et al. 2020). Mit Blick auf urheberrechtliche Fragen setzen YouTube und andere Musik- und Videoplattformen schon seit mehr als einer Dekade automatisierte Systeme zur Erkennung und Regulierung von Inhalten ein. In den vergangenen Jahren werden solche Verfahren zunehmend auch zur Adressierung von Hassrede, Misinformation, terroristischen und anderen gewaltvollen Inhalten eingesetzt. Wenn Nutzerinnen und Nutzer Inhalte hochladen, werden sie schon beim Upload mit industrieweiten Datenbanken wie etwa PhotoDNA abgeglichen, die bereits identifizierte Inhalte mit Abbildungen von Kindesmissbrauch gespeichert haben. Zur Reduktion von Hassrede setzen die meisten Plattformen inzwischen Verfahren ein, die Texte anhand ihrer vermeintlichen „toxicity“ bewerten und ab einem bestimmten Niveau sperren.

Dieser „algorithmic turn“ in der Governance und Regulierung von Plattformen lässt sich aber nicht allein durch technische Entwicklungen und Fortschritte erklären. Er ist vielmehr Resultat einer Verknüpfung von politischen, diskursiven und technischen Bewegungen, die sich wechselseitig verstärken – so die Leitthese des vorliegenden Beitrags. Fraglos profitieren solche Systeme von technischen Fortschritten in der Erkennung und Klassifikation von Inhalten. Gleichzeitig werden Plattformen aber zunehmend stärker in die auch rechtliche Verantwortung für ihre Inhalte genommen und zum Monitoring problematischer Inhalte verpflichtet. Zudem fügt sich die Positionierung von automatisierten Systemen als adäquate Lösung für strittige Fragen wie Hassrede und Misinformation in die lange Tradition des „technological fix“ ein – der Positionierung von Technik als vermeintlicher Lösung für komplexe, gesellschaftliche Fragen.

Vor diesem Hintergrund rekonstruiert der vorliegende Beitrag den „algorithmic turn“ in der Governance von und durch Plattformen. Dafür wird auf techniksoziologische und institutionentheoretische Konzepte zurückgegriffen, die in den ersten beiden Abschnitten eingeführt werden: den „technological fix“ als wiederkehrendes Motiv im Verhältnis von Technik und Gesellschaft sowie eine institutionentheoretische Perspektive auf Governance und Algorithmen. Dann werden sukzessive diskursive, politisch-regulatorische und technische Entwicklungen rekonstruiert, die gemeinsam einen „algorithmic turn“ ermöglichen und so Algorithmen und künstliche Intelligenz (KI) als adäquate Antworten auf komplexe Herausforderungen in der Moderation und Regulierung positionieren. Im Schlussabschnitt werden die breiteren Entwicklungslinien einer zunehmenden Institutionalisierung und „Infrastrukturisierung“ von algorithmischen Systemen reflektiert. Der Beitrag identifiziert unter anderem die Gefahr, dass mit der Verlagerung von Entscheidungen über umstrittene Inhalte in Technik und Infrastruktur diese inhärent politischen Fragen der öffentlichen Debatte entzogen und der Entscheidungshoheit der Plattformen überlassen werden.

2 Das Motiv des „Technological fix“

Im Kontext der intensiven Debatte um Facebooks Rolle in der US-Wahl 2016 und in tiefgreifende Eingriffe in die Privatsphäre und den Datenschutz von Millionen von Nutzern (Cambridge Analytica) wurde Facebook CEO Marc Zuckerberg im April 2018 zu einer gemeinsamen Anhörung des Rechts- und des Wirtschaftsausschusses des US-Senats geladen. Dabei befragten die Senatorinnen und Senatoren Zuckerberg nicht nur zu den Geschehnissen der Vorjahre, sondern auch nach den Plänen des Konzerns, zukünftig adäquat und verantwortungsvoll auf die Herausforderungen durch Desinformationskampagnen zu reagieren, aber auch auf die Verbreitung von Hassrede, terroristischen und anderen problematischen Inhalten. Zuckerbergs Antworten auf diese vielfältigen Fragen lassen sich recht einfach in einem kurzen Ausdruck zusammenfassen: „AI will fix this!“ (Katzenbach 2019). In unterschiedlichen Formulierungen verwies Zuckerberg immer wieder auf die Entwicklung und den zunehmenden Einsatz von KI-gestützten Systemen zur Erkennung von Hassrede, Terrorismus und Misinformation: „In the future, we’re going to have tools that are going to be able to identify more types of bad content.“Footnote 1 Auch die oft schwierige kontextabhängige und nuancenreiche Einordnung von Sprache werde zukünftig durch automatisierte Systeme zu bewältigen sein: „over a 5 to 10-year period, we will have A.I. tools that can get into some of the nuances – the linguistic nuances of different types of content to be more accurate in flagging things for our systems. But, today, we’re just not there on that.“ Egal welche Herausforderung, Zuckerberg positionierte neue Technik als Antwort auf komplexe soziale Herausforderungen.

Mit dieser Reaktion griff Zuckerberg auf ein regelmäßiges Motiv im Verhältnis von Technik und Gesellschaft zurück, das vor allem Akteure aus Wirtschaft und Technikentwicklung immer wieder aufs Neue machtvoll in Diskurse einbringen: den „technological fix“, die Positionierung von Technik als notwendige und funktionale Lösung sozialer Probleme und Herausforderungen. Rudi Volti hat in den 1990er-Jahren auf die Allgegenwart dieses Motivs hingewiesen:

The list of technologies that have been or could be applied to the alleviation of social problems is an extensive one, and examples could be supplied almost indefinitely. What they have in common is that they are “technological fixes”, for they seek to use the power of technology in order to solve problems that are nontechnical in nature (Volti 2014, S. 30).

Ein blindes Vertrauen auf die Wirkung der Technik sei dabei in der Regel mit einer Ignoranz gegenüber der Gründe und Dynamik der bestehenden sozialen Probleme verbunden: „In dieser Sichtweise bewältigen Verkehrsleitsysteme das steigende Pkw-Aufkommen in den Städten (und der Autoverkehr wird nicht reduziert), Nahrungsmittelimporte bewahren die Ärmsten vor dem Verhungern (und die Ursachen werden nicht bekämpft), Rinder werden gekeult (und nicht die industrielle Massentierhaltung verabschiedet)“ (Degele 2002, S. 25).

Im Kontext der Digitalisierung ist Zuckerberg keinesfalls der Einzige, der diese Erzählung weiterträgt – es ist vielmehr ein zentrales Motiv der narrativen Grundzüge der US-dominierten Digitalbranche (Daub 2020). Evgeny Morozov etwa beschreibt eindrücklich, wie Silicon-Valley-Unternehmen soziale Probleme oder komplexe Zusammenhänge wie Gesundheit und Mobilität als eindeutig funktional lösbare Probleme behandeln. Durch die Bereitstellung immer neuer Dienste und Apps versprechen sie eine Optimierung der Prozesse. Was bei Volti „technological fix“ heißt, nennt Morozow „solutionism“: „Recasting all complex social situations either as neat problems with definite, computable solutions or as transparent and self-evident processes that can be easily optimized – if only the right algorithms are in place!“ (Morozov 2013, S. 5).

Die gegenwärtige Hinwendung zur Adressierung komplexer Fragen der Gestaltung und Ordnung öffentlicher Kommunikation durch Algorithmen und künstliche Intelligenz ist also keineswegs einzigartig, sondern reiht sich ein in ein langwährendes Motiv im Verhältnis von Gesellschaft und Technik. Für die Einordnung des aktuellen „algorithmic turn“ ist dieser Befund wichtig, da er schon darauf hinweist, dass sich diese Hinwendung nicht allein durch etwaigen technischen Fortschritt erklären lässt. Es ist vielmehr ein immer wiederkehrendes Motiv, das je nach gesellschaftlicher Problemlage an Bedeutung gewinnt oder verliert. Der Aufwind für die prominente Positionierung eines „technological fix“ als machtvolles Deutungs- und Erklärungsmuster kann durch technische Impulse angestoßen werden, keinesfalls aber allein getragen werden.

3 Institutionentheoretische Perspektive auf Governance und Algorithmen

Um der Frage nachzugehen, wie der gegenwärtige „algorithmic turn“ an Bedeutungskraft gewonnen hat im Zusammenspiel verschiedener Kräfte und Dimensionen, nutzt der vorliegende Beitrag eine institutionentheoretische Perspektive auf Governance und Algorithmen, die Schwerpunkte legt auf (a) den Prozess der Formation institutioneller Zusammenhänge und (b) auf das Wechselverhältnis verschiedener Dimensionen institutioneller Zusammenhänge.

In den vergangenen Jahren sind Algorithmen, aber auch allgemeiner Medien und Governance vermehrt unter institutionentheoretischen Perspektiven beschrieben worden. Napoli (2013) und Katzenbach (2012) haben früh Algorithmen und allgemein Medientechnologien als Institutionen beschrieben. Gerade im Kontext des aktuellen, tiefgreifenden Medienwandels greifen Kommunikations- und Medienwissenschaftler vermehrt auf Institutionentheorien zurück (Jarren 2019; Sandhu 2018; Katzenbach 2017; Künzler et al. 2013). Dabei wird der Institutionenbegriff mal stärker mit Bezug auf Traditionslinien des Historischen Institutionalismus und des ökonomischen Neoinstitutionalismus als Organisationen, Gesetze und andere formale Regelwerke verstanden; zunehmend werden aber Bezüge auf soziologische Varianten des Neoinstitutionalismus genutzt, die auch Erwartungen und Diskurse in den Institutionenbegriff hineinholen (vgl. Hall und Taylor 1996; DiMaggio 1998; als Überblick Katzenbach 2017, S. 88–96).

Im Anschluss an die soziologischen Institutionentheorien werden im vorliegenden Beitrag Institutionen allgemein als Regelungs- und Erwartungsstrukturen verstanden, die legitimes Handeln und Entscheiden begründen (Hasse und Krücken 2005, S. 7). Dadurch lassen sich komplexe Fragen sowohl der Plattform-Governance als auch der Rolle von Algorithmen adäquat als ein vielschichtiges Phänomen beschreiben, in dem verschiedene Faktoren und Dimensionen zusammenwirken. Für dessen Strukturierung hat es sich als hilfreich erwiesen, an Scotts Dimensionierung von Institutionen anzuknüpfen (Scott 2008) und so die durch Institutionen geleistete Orientierungs- und Ordnungsfunktion analytisch auf drei Ebenen zu betrachten (Donges 2006; Puppis 2010; Katzenbach 2017):

  • auf der regulativen Ebene der Etablierung und Durchsetzung formaler Regeln;

  • auf der diskursiven Ebene, der Konstruktion, Deutung und Wahrnehmung von sozialer Wirklichkeit und damit verbundenen Handlungsoptionen; sowie

  • einer technologischen Ebene, auf der soziale Erwartungen und Regeln in technisch-materiellen Artefakten und Strukturen verkörpert, übersetzt und weiterentwickelt werden.

Eine solche integrierte Perspektive macht deutlich, dass sich Ordnungs- und Wandlungsprozesse, etwa zu Regeln und Strukturen der medialen Kommunikation, wie im Bereich Plattform-Governance, über ganz unterschiedliche Mechanismen und an verschiedenen Orten realisieren. Es sind nicht allein Technologien, die Wandel anstoßen, oder allein formale Regeln, die soziale Zusammenhänge ordnen – auch Diskurse, entstehende Sichtweisen und Deutungsmuster erzeugen Wandel und stellen kollektive Verbindlichkeit her.

Auf dieser institutionentheoretischen Basis lässt sich nun strukturiert herausarbeiten, dass Algorithmen und KI sich nicht einfach als funktionale Lösung eines sozialen Problems – z. B. Hassrede auf Plattformen – durchsetzen, sondern vielmehr in einem mehrschichtigen Institutionalisierungsprozess als adäquat erscheinende Lösung für die komplexen Herausforderungen im Bereich Plattform-Governance erfolgreich positioniert werden. Dazu werden nun im Folgenden die Entwicklungen in den drei institutionentheoretisch begründeten Dimensionen rekonstruiert.

4 Die Diskursive Wende: Vom „Responsibility turn“ zum „Technological fix“

Auf der diskursiven Ebene lässt sich mit Blick auf Plattform-Governance eine Wechselbewegung identifizieren: Öffentlichkeit und Politik fordern von Plattformen in zunehmendem Maße die Übernahme von Verantwortung für die Inhalte und Kommunikationsdynamiken auf ihren Diensten („responsibility turn“); Plattform-Betreiber reagieren wiederum auf diesen wachsenden Druck mit dem Versprechen einer technischen Lösung.

Plattformunternehmen, wie Facebook, Twitter und Google, aber auch Uber und Airbnb, waren lange sehr erfolgreich darin, sich selbst als neutrale Vermittler zu positionieren (Gillespie 2010). Die absolute Ermöglichung freier Meinungsäußerung und das „Information-wants-to-be-free“-Mantra waren lange Zeit zentrale Leitbilder der Silicon-Valley-Unternehmen (Vaidhyanathan 2012). Ob Suchergebnisse, Newsfeed oder einfach die Bereitstellung der Möglichkeit, sich öffentlich zu äußern: Bis weit in die 2010er-Jahre hinein haben Plattformunternehmen ihre Dienste als wertfreie Angebote und sich selbst als IT-Unternehmen und nicht als Medienorganisationen dargestellt (Napoli und Caplan 2017). Die eingesetzten Algorithmen zur Sortierung und Priorisierung von Inhalten würden objektive und damit neutrale Resultate liefern (Ames 2018). Diese „spiritual deferral to algorithmic neutrality“ (Morozov 2011, o. S.) drückte sich etwa in Googles systematischer Weigerung aus, für Suchergebnislisten Verantwortung zu übernehmen und sie manuell zu ändern, auch wenn sie rassistische oder diskriminierende Inhalte auf den ersten Plätzen zeigten (Gillespie 2014, S. 180–181; Noble 2018). Twitter machte bis 2015 gleich in den ersten Worten seiner „Twitter Rules“, gleichzeitig Selbstdarstellung und Regelwerk, deutlich, dass die Nutzer für ihre Inhalte selbst verantwortlich sind und Twitter als Anbieter neutral bleibe: „We respect the ownership of the content that users share and each user is responsible for the content he or she provides. Because of these principles, we do not actively monitor and will not censor user content.“Footnote 2 Diese Positionierung als neutrale Vermittler war für die Plattformanbieter hochgradig attraktiv, da sie sich so als selbstverständliches und bald scheinbar unverzichtbares Element alltäglicher Kommunikation etablieren konnten, gleichzeitig aber weder sozial verantwortlich noch rechtlich haftbar für die Inhalte zu machen waren. „They do so strategically, to position themselves both to pursue current and future profits, to strike a regulatory sweet spot between legislative protections that benefit them and obligations that do not, and to lay out a cultural imaginary within which their service makes sense“ (Gillespie 2010, S. 348). Diese Positionierung begünstigte ganz wesentlich das rasante Wachstum der Plattformen zu zentralen Institutionen gesellschaftlicher Kommunikation (Eisenegger 2021).

Doch spätestens seit den US-Wahlen 2016 und den zunehmenden politischen und gesellschaftlichen Konflikten in Migrationsfragen seit 2015 lässt sich ein „responsibility turn“ in der Debatte um Plattformen beobachten. In diesen Jahren haben die Kontroversen um die Rolle und die adäquate Regulierung von Plattformen deutlich zugenommen (Katzenbach 2021). Besonders die intensiven Debatten um Misinformation oder Fake News (Righetti 2021) und Hatespeech (Tworek 2021) haben Fragen der Macht und der Verantwortung von Plattformen weit oben auf die öffentlichen und politischen Agenden platziert. Die Anbieter werden im Diskurs nun zuvorderst als aktive Akteure wahrgenommen, die ihre eigenen Dienste auf spezifische Weisen organisieren und dabei sowohl eigene Interessen verfolgen (quantitative Optimierung auf Interaktionen, Monetarisierung durch Werbung) als auch externe Effekte (Verstärkung von Dynamiken der Misinformation, Hasskommentare) erzeugen. An diesen „responsibility turn“ haben sich Plattformanbieter inzwischen merklich angepasst, indem sie Fehler eingestehen, Verantwortung annehmen und – etwa Facebook – in der Außenkommunikation ihre Mission der Vernetzung alle Menschen stärker qualitativ als quantitativ ausdeuten (Lischka 2019; Haupt 2021). Seit 2018 beginnt etwa Twitter seine Regeln mit den Worten: „Twitter’s purpose is to serve the public conversation. Violence, harassment and other similar types of behavior discourage people from expressing themselves, and ultimately diminish the value of global public conversation. Our rules are to ensure all people can participate in the public conversation freely and safely.“ Im starken Gegensatz zur ursprünglichen Formulierung zeigt sich hier deutlich der „responsibility turn“: Twitter übernimmt Verantwortung für die Inhalte auf seinem Dienst und begründet Einschränkungen der Meinungsfreiheit.

Während also inzwischen weitgehend ein Konsens darüber herrscht, dass Plattformen Verantwortung für die Inhalte und Kommunikationsdynamiken auf ihren Diensten innehaben, ist die Ausgestaltung dieser Verantwortung keineswegs geklärt. Dabei stellt sich nicht nur die schon komplexe Frage, wie und entlang welcher Kriterien Plattformen kontroverse und problematische Inhalte beurteilen und gegebenenfalls sperren sollten. Sondern es besteht eine besondere Herausforderung darin, diese oft schwierigen Abwägungen zwischen Informations- und Meinungsfreiheit einerseits und etwa Persönlichkeitsrechten andererseits „at scale“ durchzuführen, d. h. in der massenhaften Anzahl von Inhalten auf Plattformen.

In dieser Situation, massenhaft potenziell problematische Inhalte einerseits und wachsende Zuschreibung von Verantwortung von Plattformen andererseits, erscheint nun für viele der „technological fix“ als der einzige Ausweg. Anbieter und Regulierungsakteure haben sich in den vergangenen Jahren wechselseitig darin bestärkt, dass Technologie, insbesondere „künstliche Intelligenz“ (KI), die Probleme sozialer Medien lösen können: „AI will fix this!“, verspricht Facebooks CEO Zuckerberg regelmäßig in Anhörungen in Nordamerika und Europa (Katzenbach 2019; Lischka 2019; Russell 2019). Yann LeCun, weltweit führender KI-Forscher in Diensten Facebooks, sieht Fake News oder Misinformation als technisch lösbar an (Seetharaman 2016) und Journalisten folgen ihm regelmäßig in dieser Sichtweise (vgl. z. B. Elgan 2017). In der neuen EU-Urheberrechtslinie und wie im EuGH-Urteil zu Facebooks Löschpflichten werden funktionierende automatische Filtersysteme offenbar vorausgesetzt, ohne ihre Beschränkungen und ihre Nebeneffekte auf Meinungsfreiheit substanziell zu diskutieren (vgl. Abschn. 6).

Damit knüpft die öffentliche Debatte zur Governance von und durch Plattformen an das allgemeine Motiv des „technological fix“ an. Gleichzeitig ist die Debatte eingebunden in die breitere aktuelle Positionierung von KI als Problemlöser. Etwa zeitgleich mit dem „responsibility turn“ ist die Aufmerksamkeit für KI in der öffentlichen und politischen Debatte massiv gestiegen. Während zwar zunehmend auch gesellschaftliche Probleme und Herausforderungen thematisiert werden, so dominieren doch Produkte und vermeintliche Innovationen die Berichterstattung deutlich (Brennen et al. 2018; Puschmann und Fischer 2021). Gerade im Fall von KI und den oft kaum rekonstruierbaren Entscheidungsgrundlagen werden Technologien magische Eigenschaften zugeschrieben (Bory 2019, Cave und Dihal 2019). Dieser „enchanted determinism“ (Campolo und Crawford 2020) sorgt hier für eine besonders starke Ausprägung des „Technological-fix“-Motivs. Die jüngere Debatte um den „technological fix“ für die komplexen Herausforderung in der Moderation und Regulierung von Social-Media-Inhalten kann hier anknüpfen. Dieser diskursive Resonanzboden erlaubt es Plattformen erst, auf vermeintlich überzeugende Weise, technische Lösungen als adäquate Reaktion auf die wachsende Verantwortung für Inhalte in Position zu bringen.

5 Die politisch-regulative Wende: Vom Haftungsprivileg zu proaktiven Maßnahmen

Auf der politisch-regulatorischen Ebene hat besonders im Europäischen Kontext, aber auch in den USA, eine Suchbewegung eingesetzt, wie sich dieser „responsibility turn“ konkret in Recht übersetzen lässt. Im Ergebnis werden die Plattformanbieter in Gerichtsurteilen höchster Instanz sowie in zahlreichen regulatorischen Maßnahmen zunehmend stärker in die Pflicht und teilweise auch in die Haftung genommen.

Aus rechtlicher Sicht sind Plattformen und Anbieter sozialer Medien zunächst natürlich Gegenstand allgemeiner Gesetze sowie zahlreicher sektorspezifischer Regelungen. Prägend für die Regulierung von Plattformen der vergangenen Jahrzehnte ist das sogenannte Haftungsprivileg oder das „Notice-and-Takedown“-Verfahren: Erst wenn Anbieter Kenntnis von illegitimen Inhalten oder rechtswidrigen Haltungen auf ihren Diensten haben, müssen sie tätig werden, indem sie Inhalte filtern oder den Zugang von Nutzern sperren. Dieses Paradigma ist sowohl in Europa mit der E‑Commerce-Richtlinie der EU 2001 (Kuczerawy und Ausloos 2015) als auch in den USA im US Digital Millennium Copyright Act (DMCA) und mit noch weitergehenden Freiheiten in Sektion 230 des US Communication Decency Act (CDA) seit etwa der Jahrtausendwende festgeschrieben (Citron und Wittes 2017; Gasser und Schulz 2015; Holland et al. 2016).

In Deutschland hat sich diese nachgelagerte Verantwortung von Anbietern sozialer Medien etwa im Telemediengesetz (TMG) ausgedrückt. Anbieter von Telemedien, darunter Plattformen, sind für bereitgestellte „eigene Informationen“ rechtlich verantwortlich (§ 7). Da die Funktion von sozialen Medien in der Rechtsprechung in der Regel so verstanden wird, dass sie – in den Worten des TMG – nur „fremde“ Informationen „übermitteln oder … den Zugang zur Nutzung vermitteln“, fallen die strittigen Inhalte nicht unter § 7. Für die vermittelten Inhalte aber sind sie nach § 8 TMG nicht verantwortlich und auch nicht haftbar zu machen. Erst wenn sie Kenntnis über den illegalen Inhalt erhalten, müssen sie eingreifen (§ 10).

Seit knapp 10 Jahren zeigt sich allerdings eine Entwicklung hin zu einer deutlich engeren Auslegung dieses Haftungsprivilegs bis hin zur Abkehr von diesem Paradigma. Diese „road to responsibilities“ (Síthigh 2020) drückt sich sowohl in Gerichtsurteilen als auch in regulatorischen Initiativen aus. In Deutschland hatte etwa der Bundesgerichtshof (BGH) in einem zentralen Urteil 2012 noch das Haftungsprivileg von Anbietern betont.Footnote 3 Im Jahr 2013 reformulierte der BGH in einem Urteil zum File Hoster Rapidshare das Haftungsprivileg dann schon deutlich voraussetzungsvoller, indem er dem Anbieter eine „Marktbeobachtungspflicht“ auferlegte, die verpflichtet, „mit geeignet formulierten Suchanfragen und … unter Einsatz von Webcrawlern zu ermitteln, ob sich hinsichtlich der konkret zu überprüfenden Werke Hinweise auf weitere rechtsverletzende Links auf ihrem Dienst finden.“Footnote 4 In der Gesetzgebung in Deutschland kulminierte die Entwicklung der immer stärkeren Mithaftung von Anbietern im Netzwerkdurchsetzungsgesetz (NetzDG), das vor allem als Reaktion auf verstärkte Hasskommentare und Misinformation in sozialen Medien die großen Plattformen verpflichtet, in kurzen Zeitfenstern (24 Stunden bei „offensichtlich rechtswidrigen“ Inhalten, 7 Tage bei allen weiteren) auf Beschwerden von Nutzern zu reagieren und Inhalte gegebenenfalls zu löschen (Schulz 2018).

Der Ende 2019 von den Bundesländern neu geschlossene Staatsvertrag zur Modernisierung der Medienordnung in Deutschland („Medienstaatsvertrag“) geht ebenfalls in diese Richtung: Anbieter sozialer Medien werden nach Verabschiedung dieses Staatsvertrags durch die Länderparlamente als „Medienintermediäre“ (im neuen § 2 Abs. 2 Nr. 16) in das bundesdeutsche System der Rundfunkmedienregulierung integriert. In der Folge werden sie die „zentralen Kriterien einer Aggregation, Selektion und Präsentation von Inhalten und ihre Gewichtung“ (§ 93 Transparenz) offenlegen müssen. Zudem müssen sie sicherstellen, dass einzelne Inhalteanbieter nicht „diskriminiert“ werden, d. h. die deklarierten Kriterien müssen unterschiedslos für alle Inhalte angewandt werden (§ 94 Diskrimierungsfreiheit). Die Auswirkungen dieser neuen Regulierungsformen müssen sich allerdings noch zeigen. Während die Diskriminierungsfreiheit eine regulatorische Novität darstellt, sind die Transparenzgebote und die verstärkte Mithaftung keine deutsche Besonderheit. In anderen Ländern, wie Frankreich und England, gehen Gesetzgeber und Regulierung ebenfalls in diese Richtung.

Auch Institutionen auf europäischer Ebene haben sich in Gerichtsurteilen höchster Instanz und Gesetzgebungsinitiativen vom Paradigma des Haftungsprivilegs schrittweise abgewendet und stärkere Anforderungen und Haftungsregeln eingeführt. Der Europäische Gerichtshof (EuGH) hat in Urteilen wie dem zum „Recht auf Vergessen“ die Verantwortung der Plattformen für die von ihnen bereitgestellten Inhalte deutlich erhöht (Kuczerawy und Ausloos 2015) und verpflichtet zudem – etwa im Urteil Glawischnig-Piesczek vs. Facebook (EuGH, C‑18/8) – Anbieter zum Einsatz automatisierter Verfahren, um – sind bestimmte Inhalte einmal als rechtswidrig notifiziert – die Veröffentlichung aller inhaltsgleichen Aussagen zu verhindern. EU-Kommission und Europäisches Parlament erhöhen durch die Einführung von Selbstverpflichtungen der Anbieter zur umgehenden Löschung und Blockierung von terror- und gewaltverherrlichenden Inhalten, durch die Verabschiedung der neuen Urheberrechtslinie mit deutlich weitergehenden Haftungsbestimmungen (Richtlinie EU 2019/790) die juristische Mitverantwortung der Anbieter sozialer Medien deutlich.

Der sich derzeit in der finalen Abstimmung der EU-Institutionen befindliche „Digital Services Act“ (DSA)Footnote 5 setzt ebenfalls am Anspruch an, Plattformbetreiber deutlich mehr als bislang in die Verantwortung zu nehmen. Diese geplante Regulierung priorisiert allerdings deutlich stärker Maßnahmen der Rechenschafts- und Transparenzpflichten als Haftungsfragen. Das Haftungsprivileg soll im Grundsatz explizit nicht verändert werden, die Anforderungen werden aber entsprechend der o. g. Gerichtsurteile eng gefasst (DSA-Entwurf, Abschn. 2). Das zentrale Anliegen des DSA ist es aber, systematisch die von besonders großen Plattformen (mit mehr als 45 Mio. Nutzern monatlich, gemäß Art. 24) ausgehenden gesellschaftlichen Risiken (Misinformation, Hassrede, illegale Inhalte) zu adressieren. Dazu sollen diese Plattformen über (a) Transparenzregeln verpflichtet werden, ihre Funktionsweisen und Abwägungen in der Kuration von Inhalten „leicht verständlich“ öffentlich zu erklären (Art. 29, 1) sowie Nutzern die Option zur Änderung und Auswahl von Relevanzkriterien anzubieten, insbesondere die Möglichkeit, den Dienst ohne Profiling zu nutzen (Art. 29, 1–2). Gleichzeitig werden Plattformen bei Umsetzung des DSA (b) in vielfacher Weise stärker rechenschaftspflichtig: die Regulierung verlangt eine jährliche interne Risikobewertung (Art. 26), denen verpflichtend systematische Maßnahmen der Minderung von Risiken folgen müssen (Art. 27); zusätzlich werden diese Plattformen sich auf eigene Kosten einer externen Prüfung ihrer Pflichten und Verhaltenszusagen unterziehen (Art. 28) und Daten zur Evaluierung der Einhaltung dieser Regeln an eine nationale Regulierungsbehörde sowie der von ihnen ausgehenden Risiken an Forscher zur Verfügung stellen müssen (Art. 29).

Diese verschiedenen Maßnahmen auf der politisch-regulativen Ebene lassen sich zusammenfassen als eine Suchbewegung, die darauf zielt, die konsensuelle Forderung nach mehr Verantwortung der Plattformen in adäquate regulatorische Maßnahmen zu übersetzen. Deutlich zu beobachten ist eine sukzessive Abkehr vom Paradigma des Haftungsprivilegs. Der Zielpunkt ist derzeit noch nicht abzusehen; ein Wandel zum absoluten Gegenpol, der Haftung von Plattformen für alle Inhalte, die sie vermitteln, erscheint weder erstrebenswert noch realistisch – auch schlägt die EU mit dem DSA einen anderen Weg ein. Die Eingriffe in Meinungs- und Informationsfreiheit und der Verlust an vielfältigen Öffentlichkeiten wären ohnehin zu gravierend (Schulz 2019). Deutlich abzusehen ist aber bereits die merklich engere und voraussetzungsreichere Ausgestaltung von Haftungsausschlüssen, die mindestens proaktive Maßnahmen von Anbietern verlangen, um bereits bekannte illegale oder rechtsverletzende Inhalte zu blocken. Hinzu kommen die zunehmenden Ansprüche, auch schwierig zu klassifizierende Fragen wie Urheberrechtsverletzungen, Hassrede oder Misinformation effektiv zu erkennen und zu bekämpfen (Bloch-Wehba 2020).

Diese wachsenden politisch-regulativen Anforderungen an Plattformen begünstigen die hier dargestellte algorithmische Wende massiv. Denn wie lässt sich die Kategorisierung und gegebenenfalls Filterung von Inhalten „at scale“, d. h. in massenhafter Form, bewerkstelligen? Angesichts der Masse an Inhalten und der Größe der Probleme scheinen allein automatisierte Verfahren helfen zu können. Auf diese Weise forciert die gegenwärtige politisch-regulative Entwicklung den „algorithmic turn“ in der Governance von Plattformen.

6 Die Technische Wende: Von schwarzen Listen zu Klassifikationen

Diese diskursive und politisch-regulatorische Entwicklung ist natürlich nicht völlig unabhängig von der technischen Entwicklung. Auch wenn es ein Anliegen dieses Beitrags ist, darzustellen, dass der „algorithmic turn“ nicht allein durch technischen Fortschritt zu erklären ist, so tragen technische Entwicklungen durchaus zu seiner Erklärung bei. In den vergangenen 10 Jahren gab es fraglos nicht nur einen KI-Hype, sondern auch massive Fortschritte in der automatisierten Erkennung von Mustern; im Aufbau von riesigen Datensets, um Prozesse des maschinellen Lernens durchzuführen und zu optimieren und in der Anwendung dieser informationstechnischen Innovationen in zahlreichen Sektoren und Lebensbereichen (Sejnowski 2018).

Für den „algorithmic turn“ in der Governance von Plattformen sind vor allem Fortschritte in der automatisierten Objekt- und Mustererkennung in Bildern, Videos und Audioinhalten relevant sowie die automatisierte Klassifikation von Texteinheiten. Dabei lassen sich grob zwei unterschiedliche Vorgehensweisen unterscheiden: Matching und Klassifikation (Gorwa et al. 2020, S. 3–5).

Matching beschreibt Verfahren, die darauf zielen, neue Inhalte gegen eine bekannte Menge von Inhalten abzugleichen, etwa um das illegale Posten von urheberrechtlich geschützten Musikstücken oder von bereits identifizierten terroristischen Inhalten zu verhindern. Diese Verfahren basieren in der Regel auf der Umwandlung eines bekannten Inhalts in einen „Hash“, d. h. eine Zeichenfolge, die den zugrunde liegenden Inhalt eindeutig identifizieren soll. Hashes sind nützlich, weil sie einfach zu berechnen sind und in der Regel deutlich weniger Datenvolumen benötigen als der zugrundeliegende Inhalt. Das macht die Speicherung und den Vergleich deutlich effizienter. Im Unterschied zu klassischen, etwa kryptografischen Hashes zielen neuere Hash-Funktionen für die Moderation von Inhalten darauf, auch den Vergleich von leicht geänderten Inhalten zu ermöglichen (Engstrom und Feamster 2017). Ansonsten könnten diese automatisierten Systeme leicht durch kleine Änderungen oder Störungen (wie das Ändern von wenigen Pixeln, Hinzufügen von Wasserzeichen, Beschneiden der Ränder) umgangen werden. Diese neueren Verfahren berechnen also keine exakten Übereinstimmungen, sondern eher Homologien, also Ähnlichkeiten zwischen zwei Eingaben (Datar et al. 2004). Besonders relevant ist das sogenannte „perceptual hashing“ (p-hash; Niu und Jiao 2008). Beim perzeptuellen Hashing werden bestimmte wahrnehmbare Merkmale von Inhalten, wie z. B. Ecken in Bildern oder Frequenzen in Audiodateien, erkannt und als charakteristischer „Fingerabdruck“ des Inhalts identifiziert. „[E]ach note in a song could be represented by the presence or absence of specific frequency values; the volume of a particular note … by some amplitude at the frequency corresponding to that musical note“ (Duarte et al. 2017, S. 14). Indem diese semantischen Merkmale anstelle der in kryptografischen Hashes verwendeten Bitfolgen erfasst werden, ist dieses Fingerprinting robuster gegenüber Änderungen, die für die menschliche Wahrnehmung des Inhalts irrelevant sind. Gleichzeitig ist es besser geeignet, neue Variationen und Interpretationen eines Inhalts zu erkennen.

Im Unterschied zu diesen Varianten des Matching zielt das zweite Verfahren, die Klassifikation, auf die Charakterisierung und Kategorisierung von bislang unbekannten Inhalten. Diese Verfahren basieren in der Regel auf neueren Formen maschinellen Lernens, d. h. der automatischen Erkennung von statistischen Mustern aus idealerweise großen Mengen an Daten. Etwa mit Blick auf Hassrede versuchen Anbieter mithilfe dieser Systeme, gewaltvolle Sprache nicht mehr anhand von Blacklists (also einer endlichen Liste von idenfizierten Schlüsselwörtern) zu erkennen, sondern durch die Identifikation komplexerer Muster von Wort- und Satzzusammenhängen auf Basis von Natural Language Processing (NLP) (Schmidt und Wiegand 2017). Aktuelle NLP-Verfahren nutzen meist „supervised learning“, also überwachtes Lernen, bei dem algorithmische Modelle durch Menschen trainiert werden (vgl. zur folgenden Darstellung Duarte et al. 2017, S. 8–10). Zunächst wird ein Trainingsdatensatz aufgebaut, in dem Inhalte entlang der interessierenden Merkmale bereits klassifiziert sind, also z. B. Hassrede/konflikthaft/keine Merkmale. Dieser Datensatz wird dann genutzt, um anhand von Verfahren der Erkennung von Textähnlichkeiten wie N‑grams und Word-Embedding ein abstraktes Modell zu entwickeln (Mikolov et al. 2013), das die interessierenden Merkmale mit Textausschnitten in Verbindung setzt. Auf dieser Basis wird das Modell dann „trainiert“, indem es nun iterativ neue Inhalte nach diesem Modell klassifiziert und dabei von Menschen überwacht wird, die die Entscheidungen des Systems als richtig oder falsch markieren. Dadurch wird das System immer weiter angepasst und auf eine möglichst niedrige Fehlerquote entlang der vordefinierten Kategorien und des vorhandenen Datensatzes optimiert.

Diese Matching- und Klassifikationsverfahren wurden in den vergangenen 10 Jahren stark weiterentwickelt und begründen die heutigen Verfahren der automatisierten Inhaltemoderation. Das Urheberrecht war historisch vermutlich der erste Bereich, in dem – vor allem aufgrund starker wirtschaftlicher Interessen – Technologien zum automatisierten Abgleich und zur Klassifizierung von Online-Inhalten eingesetzt wurden. Als Ergebnis der Filesharing-Kontroversen in den frühen 2000er-Jahren hat sich in diesem Bereich auch der „responsibility turn“ und die engere Ausgestaltung des Haftungsprivilegs sehr viel früher gezeigt (Katzenbach 2017). So hat YouTube schon 2006 begonnen, mit Systemen zur Erkennung von urheberrechtlich Inhalten zu experimentieren (Holland et al. 2016). Diese Bemühungen entwickelten sich im Laufe der Zeit zu dem Content-ID-System, das YouTube nun schon seit mehr als einem Jahrzehnt betreibt und kontinuierlich weiterentwickelt. Auch wenn YouTube die spezifische technologische Implementierung seines proprietären Systems geheim hält, lassen sich Grundzüge des Systems darstellen. Es ermöglicht Inhabern von Urheberrechten, ihr Material in eine Datenbank hochzuladen, das (a) mit bestehenden Inhalten auf YouTube abgeglichen wird und (b) einer Hash-Datenbank hinzugefügt wird, um neue Uploads dieser Inhalte zu erkennen. Im Zusammenhang mit dem Urheberrecht besteht das Ziel des Einsatzes automatischer Systeme nicht nur darin, identische Dateien zu finden, sondern auch verschiedene Instanzen und Aufführungen kultureller Werke zu identifizieren, die möglicherweise urheberrechtlich geschützt sind. Durch die aktuellen Fingerprinting-Verfahren sind diese Systeme nicht nur in der Lage, mehrfache Uploads eines Musikvideos zu finden, sondern auch von Aufnahmen von Live-Aufführungen dieses Songs.

Längst entwickeln, testen und betreiben Plattformen aber automatisierte Systeme auch, um Hassrede zu identifizieren, terroristische Inhalte zu blocken und Desinformationskampagnen zu kennzeichnen (vgl. Tab. 1, sowie Gillespie 2018; Duarte et al. 2017). Das Global Internet Forum to Counter Terrorism (GIFCT), eine gemeinsame Initiative von Facebook, Google, Twitter und Microsoft zur Bekämpfung der Verbreitung terroristischer Inhalte im Internet, betreibt etwa eine gemeinsame, aber geheime Datenbank mit identifizierten terroristischen Bildern, Videos, Audios und Texten. Hier werden also hauptsächlich Verfahren des Matching eingesetzt. Es wurde in frühen Pressemitteilungen betont, dass „übereinstimmende Inhalte nicht automatisch entfernt werden“ (Facebook Newsroom 2016). Die Reaktionen der Plattformen auf Vorfälle wie die Schießerei im neuseeländischen Christchurch und auf Propaganda großer Terrororganisationen wie ISIS und Al-Qaida scheinen allerdings darauf hinzudeuten, dass Treffer der GIFCT-Datenbank inzwischen durchaus automatisch blockiert werden, ohne dass menschliche Moderatoren involviert sind.

Tab. 1 Übersicht über eingesetzte automatisierte Verfahren nach Plattformen. (Gorwa et al. 2020, S. 6)
Full size table

7 Probleme und Herausforderungen im Einsatz algorithmischer Systeme in der Governance von Plattformen

Die algorithmische Wende in der Governance von Plattformen ist also vielschichtig. Fraglos vorhandene technische Fortschritte in der Identifikation und Klassifikation von Inhalten sind durch die Verbindung mit allgemeinen Technikutopien, dem Motiv des „technological fix“ und wachsendem politisch-regulativem Druck erfolgreich als vielversprechende Lösungen für komplexe Herausforderungen positioniert worden. Plattformanbieter, aber auch politische Institutionen, versprechen sich auf diese Weise Fortschritte in der Bekämpfung von Terrorismus und Kindesmissbrauch im Netz, von Misinformation und Hassrede. Der flächendeckende Einsatz automatisierter Systeme zur Adressierung dieser komplexen Herausforderungen birgt aber zahlreiche praktische und grundsätzliche Herausforderungen und Probleme.

Eine erste Gruppe von Problemen betrifft den Umstand, dass diese Systeme weit davon entfernt sind, perfekt zu funktionieren. Mit anderen Worten: In der Praxis ist die fehlerhafte Klassifikation von Inhalten kein seltener Fall. So werden Inhalte fälschlicherweise als problematisch oder illegal markiert und gegebenenfalls blockiert („false positives“); oder andersherum tatsächliche illegale Inhalte wiederum nicht erkannt („false negatives“). Plattformen berichten in ihren Transparenzberichten zwar regelmäßig hohe und steigende Trefferquoten für terroristische Inhalte und Hassrede. Im „Community Guidelines Enforcement Report“ berichtet Facebook etwa für das erste Quartal 2021, dass knapp 97 % der auf der Plattform identifizierten Hassrede proaktiv durch das Unternehmen erkannt wurde, fast ausschließlich durch automatisierte Verfahren. Zwei Jahre zuvor waren das nur 67 %. Das spricht für einen deutlich wachsenden Einsatz dieser Technologien, sagt aber wenig über deren Präzision aus. Wie viele „false positives“ sind hier mit enthalten (Overblocking), wie viele „false negatives“ fehlen in dieser Liste (Underblocking)?

Unabhängige empirische Forschung zu diesen Fragen gibt es wenig, vor allem weil es kaum reliable Daten gibt. Für den Urheberrechtsbereich weisen die wenigen vorhandenen Studien auf deutliches Overblocking hin. Auch wenn Content ID und andere Systeme aus technischer Sicht inzwischen sehr elaborierte Fingerabdrücke für Inhalte erstellen, bedeutet dies nicht zwangsläufig, dass sie bei der Bewertung tatsächlicher Urheberrechtsverletzungen sehr viel besser geworden sind. Denn das Urheberrecht erlaubt es Dritten durchaus, Auszüge aus geschützten Werken im Rahmen der Schrankenregeln oder „Fair-use“-Klauseln zu verwenden. Empirische Studien zur automatisierten Durchsetzung von Urheberrechten kommen so vielleicht nicht überraschend zum Befund des Overblockings: Inhalte werden systematisch zu häufig ausgefiltert, obwohl sie aus urheberrechtlicher Sicht eigentlich veröffentlicht werden dürften (Bar-Ziv und Elkin-Koren 2018; Erickson und Kretschmer 2018; Urban et al. 2017). Burk und Cohen (2001) haben schon früh argumentiert, dass die zahlreichen kontextuellen Faktoren, die für die Bewertung von „Fair-use“-Standards und Schrankenregeln erforderlich sind, grundsätzlich nicht in automatisierte Systeme einprogrammiert werden können. Diese hohe Kontextabhängigkeit in der Einordnung und Bewertung von Inhalten ist ein Faktor, der nicht nur für urheberrechtliche Fragen gilt, sondern auch bei Hassrede und Misinformation in hohem Maße relevant ist. Ein identischer Satz kann je nach Umfeld als Hassrede verstanden werden (und gedacht sein!) oder nicht. So veranschaulichen Duarte et al. (2017, S. 19): „Often, context and minor semantic differences seperate hate speech from benign speech. For example, the term ‘slant’ is a slur often used to insult the appearance of people of Asian descent, but ‘The Slants’ is an Asian-American band whose members chose the name in part to undercut slurs about Asian-Americans that band members heard in childhood.“ Und der Wahrheitsgehalt einer Information hängt ohnehin vom Kontext ab. Automatisierte Verfahren können aber solche Kontextfaktoren nicht mitberücksichtigen, sondern operieren in der Regel allein auf Basis des fraglichen Inhalts.

Aber selbst, wenn man sich vorstellt, automatisierte Systeme würden perfekt entlang der Vorgaben und Kriterien verfahren und Inhalte klassifizieren, bleiben grundsätzliche Probleme und Herausforderungen bestehen, die nicht durch technische Optimierung gelöst werden können. Mit Blick auf allgemeine Probleme des Einsatzes von KI und Automatisierung wird bereits intensiv über systematische Diskriminierung und Benachteiligung von ohnehin marginalisierten Gruppen diskutiert. Zahlreiche Studien zur Automatisierung von Prozessen in Bereichen wie Kreditvergabe, Einstellungsverfahren und Gerichts- und Polizeiarbeit zeigen, dass algorithmische Systeme routinemäßig Menschen und Kollektive begünstigen, die bereits privilegiert sind, während marginalisierte Menschen systematisch diskriminiert und benachteiligt werden (Barocas und Selbst 2016; Berk et al. 2018; Noble 2018). Dies gilt auch für die Moderation von Social-Media-Inhalten: Klassifikationssysteme für Empfehlungen, Rankings oder Sperrungen auf Plattformen verfestigen Formen der Ungleichheit und begünstigen Mehrheitsgruppen. So werden beispielsweise Klassifikatoren für Hassrede, die darauf ausgelegt sind, Verstöße gegen die Richtlinien einer Plattform zu erkennen, Sprache, die von einer bestimmten sozialen Gruppe verwendet wird, unverhältnismäßig stark markieren, sodass die Äußerungen dieser Gruppe mit größerer Wahrscheinlichkeit entfernt werden (Binns 2018; Blodgett et al. 2016; Ekstrand et al. 2018). Bei diesen Fragen geht es allerdings zuletzt nicht einfach um „algorithmic fairness“, die wiederum technisch optimiert werden könnte (Binns et al. 2017). Sondern dahinter liegen grundlegende soziale Ungleichheiten, die nicht erst durch Plattformen und ihre Algorithmen begründet wurden – gegenwärtig von diesen aber massiv verstärkt werden (Hoffmann 2019; Dencik et al. 2019).

Ein weiteres grundlegendes Problem der algorithmischen Wende in der Governance von Plattformen ist mangelnde Transparenz der Entscheidungskriterien und -verfahren. Während die notorisch intransparenten Moderationsregeln und -verfahren der Plattformen durch intensive empirische Forschung (Roberts 2019) und die dank massiven öffentlichen Drucks angestoßenen Aktivitäten aufseiten der Anbieter – Transparenzberichte, Veröffentlichung von Moderationsregeln, Aufsichtsmechanismen wie Facebooks Oversight Board (Suzor et al. 2019; Klonick 2020) – langsam besser beobachtbar werden, führen automatisierte Systeme nun eine erneute Erhöhung von Komplexität und Intransparenz ein. Die Dynamik von Sperrungen ist deutlich schwieriger von außen zu rekonstruieren, wenn Inhalte automatisiert als problematisch oder illegal markiert werden, vielleicht gar nicht erst veröffentlicht werden. Wie Llanso (2019) beschreibt, scheint es auch eine schleichende Ausweitung bestimmter algorithmischer Moderationssysteme zu geben, bei denen Unternehmen mit dem Hinzufügen neuer Funktionalitäten experimentieren – wie etwa die Ankündigung der GIFCT-Unternehmen, dass sie mit der gemeinsamen Nutzung von URL-Blockierlisten experimentieren – und zwar in der Regel ohne Aufsicht und Transparenz. Dabei geht es hier um fundamentale Fragen von Meinungs- und Informationsfreiheit: Welche Regeln und Verfahren entscheiden darüber, was öffentlich geäußert werden kann und wo die Grenzen liegen?

Vor diesem Hintergrund wird eine mittelfristige Herausforderung darin bestehen, diese grundlegenden politischen Fragen nicht in den vielleicht zukünftig scheinbar reibungslos operierenden KI-Systemen verschwinden zu lassen. Auch wenn wir derzeit recht intensiv über Fragen der Inhaltemoderation und der Governance durch Plattformen diskutieren, so muss das keineswegs immer so bleiben. Der gegenwärtige Institutionalisierungsprozess von Plattformen und ihrer Governance (Katzenbach 2021) kann sich durchaus mittelfristig auch stabilisieren und auf Basis von dann etablierten KI-Systemen der Inhalte-Klassifikation zu einer umfassenden De-Politisierung der grundlegenden Fragen von Meinungsfreiheit und Informationsvielfalt führen. Ist der „technological fix“ erstmal geglückt (d. h. als selbstverständlich etabliert, unabhängig von seinen tatsächlichen Effekten), verschwinden diese Fragen tendenziell aus dem Raum der Auseinandersetzung und werden zu unhinterfragten Infrastrukturen der öffentlichen Kommunikation. Mittelfristig wird die algorithmische Moderation und Regulierung immer nahtloser in unsere persönlichen und gesellschaftlichen Kommunikationsroutinen integriert sein. Vor diesem Hintergrund wird es eine Herausforderung für Beobachter, Forscherinnen und Aktivisten sein, einer solchen Normalisierung von automatisierten Entscheidungen über öffentliche Kommunikation entgegen zu wirken und Fragen der Inhaltemoderation auf der öffentlichen und politischen Agenda zu halten.

8 Fazit

Dieser Beitrag ist von der Beobachtung ausgegangen, dass automatisierte Systeme in Form von Algorithmen und KI-gestützten Verfahren zunehmend zur Moderation von Inhalten auf Plattform eingesetzt werden. Dabei werden sie regelmäßig sowohl von Plattformbetreibern wie auch von politischen Akteuren als zentrale Lösung für die systematischen Probleme von Plattformen mit Blick auf Hassrede, Misinformation und andere schadvolle Inhalte positioniert. Der Beitrag hat gezeigt, dass dieser „algorithmic turn“ in der Regulierung und Moderation von Online-Inhalten nicht allein eine technische Entwicklung ist, sondern stark von diskursiven und politischen Entwicklungen gestützt und getrieben wird. Mit anderen Worten: Algorithmen und KI erscheinen nicht deshalb als adäquate Lösung, weil die technologische Entwicklung so weit fortgeschritten sei, sondern weil der öffentliche und politische Druck auf Plattform so gewachsen ist, dass sie eine Lösung präsentieren müssen – und gleichzeitig das bewährte Motiv des „technological fix“ für eine solche Positionierung eine gute diskursive Grundlage bietet.

Tatsächlich ist diese algorithmische Wende aber mit eigenen, teils ganz grundsätzlichen Problemen verbunden, wie der Beitrag gezeigt hat: weiterhin hohe technische Fehlerraten; grundsätzliche Grenzen in der notwendigen Berücksichtigung von Kontext in der Bewertung von Inhalten; Verstärkung der systematischen Benachteiligung von marginalisierten Gruppen; mangelnde Transparenz; sowie die De-Politisierung von gesellschaftlich konstitutiven Fragen wie nach der Abwägung von Meinungsfreiheit und Persönlichkeitsrechten. Zuckerbergs „AI will fix this“ ist also ganz sicher nicht die Antwort auf die Probleme von Plattformen und die damit verbundenen gesellschaftlichen Herausforderungen.

Tatsächlich scheint sich hier so etwas wie ein Plattformparadox entwickelt zu haben: Einerseits hat sich ein breiter gesellschaftlicher Konsens darüber entwickelt, dass die großen Plattformen mehr Verantwortung übernehmen müssen und ihre Macht zu begrenzen ist. Andererseits scheinen die vorhandenen Regulierungsversuche letztlich eher die Meinungsfreiheit zu begrenzen und den großen Plattformen im Gegenzug noch immer mehr Macht zuzuweisen. Allein die Zuweisung von wachsenden Haftungsansprüchen an Plattformen wie im deutschen NetzDG und der Europäischen Urheberrechtsrichtlinie inzentiviert die Plattformen, Inhalte vorsorglich zu sperren und so potenziell Meinungsfreiheiten für Nutzer zu reduzieren. Letztlich wächst damit sogar die Macht der großen Plattformen, da sie gedrängt werden, noch mehr Verfügungsgewalt über Inhalte auszuüben.

Ein Ausweg aus diesem Plattformparadox ist noch nicht etabliert. Zwei Richtungen für einen gemeinwohlorientierten und erfolgversprechenden gesellschaftlichen und regulatorischen Umgang mit Plattformen lassen sich aber schon erkennen: Es scheint, dass (1) der Anspruch an die Übernahme von Verantwortung für Inhalte sich sinnvoller über durchsetzungsstarke Rechenschafts- und Transparenzrichtlinien gegenüber Plattform umsetzen lässt als durch enge Haftungsregeln. Die im Kontext des DSA auf EU-Ebene diskutierten Maßnahmen schlagen hier mit verpflichtenden Audits und daran obligatorisch anknüpfende Reaktionen der Plattformbetreiber den richtigen Weg ein. Auf nationaler Ebene in Deutschland weisen auch der neue § 5a des NetzDG und § 19 (3) des neuen Urheberrechts-Diensteanbieter-Gesetzes in eine gute Richtung: Diese Klauseln verpflichten Plattformen, Forschern Zugriff auf interne Daten zur Verfügung zu stellen, um die Auswirkungen der Inhaltemoderation von Plattform systematisch und unabhängig untersuchen zu können.

In der kritischen Beobachtung dieser Entwicklungen müssen wir als Forscher uns aber auch fragen, ob wir (2) nicht schon mit dieser Rahmung der Herausforderungen zu sehr den Narrativen der großen Plattformen folgen. Es scheint selbstverständlich, dass die unvorstellbaren Mengen an Inhalten nur (fast) vollautomatisiert zu handhaben sind. Tarleton Gillespie (2020, S. 4) erinnert uns aber ganz richtig: „Still, every time we try to ‘solve’ this problem [of content moderation at scale], we pass up the opportunity to ask a much more profound question. … Perhaps, if moderation is so overwhelming at this scale, it should be understood as a limiting factor on the ‘growth at all costs’ mentality.“ Denn tatsächlich: Die rasante Skalierung ist eine der zentralen Erfolgsgeschichten der US-Tech-Szene. Nutzen und Erträge können in digital vernetzen Märkten (und besonders bei Plattformen) exponentiell wachsen, so heißt es, ohne dass die Kosten und Aufwände für das Unternehmen substanziell steigen. Ob wachsende Nutzerzahlen auf Facebook oder Millionen neue Fahrer für Uber – Serverfarmen, Algorithmen und Datenstrukturen nutzen das Wachstum zur Verbesserung der Dienste und erzeugen kaum neue Kosten (vgl. zu diesen Effekten u. a. Dogruel und Katzenbach 2018). Mit der immer stärker werdenden Erwartung an die Plattformen, Verantwortung für ihre Dienste und Angebote zu übernehmen, geht hier aber eine Veränderung einher. Genau betrachtet lässt es sich schwerlich vorstellen, wie Plattformen konsequent und gleichzeitig kontextsensibel wirklich Verantwortung für die (Vermittlung von) Kommunikation von Milliarden von Menschen übernehmen können. Hier könnten sich also die Skalierungsvorteile zumindest in einer Hinsicht ins Gegenteil verkehren – und damit könnte das scheinbar grenzenlose Wachstum der Plattformen auch für die Anbieter selbst zum Problem werden. Verantwortung und die kontextsensible Moderation von Inhalten skalieren nämlich überhaupt nicht gut. Die Regulierung der EU in den Entwürfen zum DSA setzen mit der asymmetrischen Regelsetzung und deutlichen strengeren Vorgaben an „sehr große Plattformen“ ebenfalls an dieser Dimension an.

Damit sind aber keineswegs alle Fragen beantwortet. Wir befinden uns derzeit in einer Phase tiefgreifender Veränderungsprozesse und damit verbunden einer politischen und gesellschaftlichen Suchbewegung, wie Plattformen zu regulieren und gemeinwohlorientiert zu gestalten sind. Und das ist auch nicht verwunderlich, denn Plattformen befinden sich derzeit selbst noch in einem Formationsprozess. Es ist keinesfalls klar, als welche Art von gesellschaftlicher Institution sie sich schließlich etablieren werden (Jarren 2019; Katzenbach 2021). Als neuer Typ von Vermittlungsinstitution lassen sie sich nicht einfach in bestehende Regulierungs- und Erwartungsstrukturen einfügen. Herauszuarbeiten, in welcher Form sich Plattformen gesellschaftlich gestalten und nachhaltig nutzen lassen, wird im Bereich von Medien und Kommunikation die zentrale Aufgabe der 2020er-Jahre sein.