Unter Social Machines werden heute soziotechnische Systeme verstanden, die unter Verwendung von Web- und Plattformlösungen das Potenzial digitaler Technologien mit der Eigenlogik sozialer Interaktion, Organisation und Strukturbildung auf neue Weise zusammenführen. Entsprechende Experimente reichen von der globalen Volksenzyklopädie Wikipedia über neue Tools der politischen Willensbildung wie Liquid Democracy bis zu Crowdfunding-Plattformen. Es handelt sich um ein Paradigma gegenwärtiger soziotechnischer Gestaltung, das sich in einer Reihe von IT-Projekten niederschlägt. Geprägt wurde der Begriff von Tim Berners-Lee, dem Erfinder des World Wide Web: „Real life is and must be full of all kinds of social constraint – the very processes from which ‚society‘ arises. Computers can help if we use them to create abstract social machines on the Web: processes in which the people do the creative work and the machine does the administration“ [2, S. 172]. Allerdings zeigt die Praxis, dass sich Kreativität und Administration nicht so einfach auf Mensch und Maschine aufteilen lassen. Auch in aktuellen Projekten (etwa [14] und SOCIAMFootnote 1 [36]) kommt das Paradigmatische dieser Form digitaler Gesellschaftsgestaltung nicht klar zum Ausdruck; die Autoren verwenden stattdessen eine (nichtabschließende) Liste von Beispielen zur Begriffsabgrenzung.

Im Folgenden diskutieren wir das Paradigma der Social Machine aus den Perspektiven der Informatik, der Wirtschaftsinformatik, der Soziologie und des Rechts, um Orientierungspunkte für seine Gestaltung zu identifizieren. Hierzu stellen wir die folgende Definition zur Diskussion:

Social Machines sind soziotechnische Systeme, in denen die Prozesse sozialer Interaktion hybrid zwischen menschlichen und maschinellen Akteuren ablaufen und teilweise algorithmisiert sind.

Hierbei verstehen wir unter einem soziotechnischen System ein komplexes Gefüge, welches Menschen, Hard- und Software, organisationale und soziale Prozesse für gegebene Aufgaben oder Ziele miteinander interagieren lässt [22]. Prozesse sozialer Interaktion sind sich dynamisch ändernde Abfolgen sozialer Aktionen zwischen Individuen und/oder Gruppen. Unter ihrer Hybridität schließlich verstehen wir, dass an diesen Prozessen inhärent sowohl maschinelle als auch menschliche Akteure wesentlich beteiligt sind.

Die jüngeren Entwicklungen von Social Machines weisen insbesondere in drei Richtungen: (1) Durch das Mobilwerden der Webtechnologie, aber auch durch lernende Bots und Fortschritte im Bereich der künstlichen Intelligenz verschmelzen Sozialität und Maschine zunehmend [10]. Die menschlichen und nichtmenschlichen Komponenten der Social Machine sind folglich immer schwerer voneinander zu unterscheiden und zu trennen, was als paradigmatischer Trend zur fortschreitenden Hybridisierung der Social Machine bezeichnet werden kann. (2) Eine starke Ausweitung erfährt die Algorithmisierung gesellschaftlicher Prozesse und letztlich der Sozialität selbst [35], indem bspw. Entscheidungen und Empfehlungen in immer mehr Lebensbereichen (vom Onlineshopping bis zum autonomen Fahren) an Algorithmen delegiert oder durch diese unterstützt werden, die ihrerseits über Rückkopplungsschleifen mit dem sozialen Leben verbunden sind. Das wirft die Frage auf, ob das Paradigma der Social Machine zukünftig bloß begrenzte soziale Bereiche algorithmisch unterstützt oder das gesellschaftliche Leben im Ganzen algorithmisiert [1] und damit überformt. (3) Schließlich wird die Social Machine der Zukunft noch stärker durch die Vermessung von Nutzeraktivitäten getrieben sein. Daten werden damit mehr und mehr zum Grundstoff des sozialen Zusammenhalts [19, 29] und ersetzen andere Quellen gesellschaftlicher Bindung und Organisation (z. B. Predictive Policing im Unterschied zur klassischen Strafverfolgung).

(1) Die Hybridisierung der Social Machine

Hybride Intelligenz ist die Fähigkeit, komplexe Ziele durch die Kombination menschlicher und maschineller Intelligenz zu erreichen, mit besseren Ergebnissen als sie separat möglich gewesen wären, und unter kontinuierlicher Verbesserung durch gegenseitiges Voneinanderlernen [7]. Im Fokus stehen hierbei dynamische Umgebungen und Probleme, deren Lösung domänenspezifisches Wissen bedürfen und die keine spezifische Grundwahrheit (Ground Truth) besitzen. So kann einerseits das System den Menschen trainieren (AI in the Loop) und andererseits der Mensch das System trainieren (Human in the Loop). Es können Probleme gelöst werden, deren Lösungen bisher typischerweise dem menschlichen Intellekt vorbehalten waren und beispielsweise strategische oder politische Entscheidungen betreffen [7, 39].

Zur Realisierung von hybrider Intelligenz müssen zukünftige soziotechnische Systeme wie Social Machines so gestaltet werden, dass ihre technischen Systeme über 3 Haupteigenschaften verfügen, die sich zusammengefasst als kollaborativ-interaktiv lernend (engl. Collaborative Interactive Learning, CIL) bezeichnen lassen [3, 37]: CIL-Systeme müssen über ihren gesamten Lebenszyklus lernen. Das bedeutet, dass sie ihre eigene Wissensbasis in einer selbstorganisierten Weise sowie ihren Lernprozess kontinuierlich verbessern. Darüber hinaus müssen sie andere Entitäten (Mensch/Maschine) in ihren Lern‑/Arbeitsprozess einbeziehen und mit dieser heterogenen, zeitveränderlichen Menge an Entitäten kollaborieren, um ihre und gemeinsame Ziele zu erreichen.

Wissenschaftliche Analysen, normative Bewertungen und rechtliche Regulierung müssen der Hybridität der Social Machine Rechnung tragen. Hier wird bisher zum Teil der zweite Schritt vor dem ersten gemacht und über Herausforderungen KI-basierter Entscheidungsfindungen diskutiert, in denen die menschlichen Beiträge völlig in den Hintergrund treten. Stattdessen werden beispielsweise Regulierer und Rechtspraxis auf absehbare Zeit gerade die Probleme lösen müssen, die sich aus dem hybriden Charakter, also aus der Interaktion und Vermischung menschlicher und maschineller Intelligenz ergeben.

Die Neuverteilung der Arbeitsteilung von menschlicher Intelligenz und maschinellen Verfahren im Zuge der Social Machine stellt einen Perspektivwechsel dar, der die Mensch-Computer-Interaktion (MCI) vor Herausforderungen stellt. So fordert das Verständnis einer hybriden Intelligenz als soziotechnisches Ensemble die MCI heraus, die Trennung zwischen Mensch und Maschine grundlegend zu überdenken und neue Konzepte zu entwickeln. Für verteilte, hybride intelligente Systeme werden Frameworks entwickelt, die menschliche ebenso wie nichtmenschliche Akteure und erweiterte Kontexte in den Blick nehmen – hierzu werden Ansätze aus den Science & Technology Studies und dem Posthumanismus integriert [5, 8]. Auch Agency (Handlungsfähigkeit) muss in Vernetzung und hybride gedacht werden [21]. Für die Nutzenden von Social Machines wirft die Hybridisierung Fragen der Nachvollziehbarkeit vermischter Informations- und Wissensaustauschprozesse sowie der aktiven Teilhabe Nutzender (oder auch Betroffener) an der Gestaltung der Social Machines auf. Unter Explainable Artifical Intelligence (xAI) werden Forschungsansätze gefasst, die auf Nachvollziehbarkeit maschineller Entscheidungsprozesse setzen [6, 33] und Transparenz, Vertrauen, Fairness oder Accountability von intelligenten Systemen gewährleisten wollen [30]. Angelehnt an die User-Experience-Forschung (UX) stellt die Algorithmic-Experience-Forschung (AX) das Nutzererlebnis in realweltlichen Kontexten in den Mittelpunkt. Studien zeigen, dass einem Großteil der Endanwender die Verwendung von KI entweder überhaupt nicht bewusst ist, oder dass ein Verständnis von Funktionsweisen und Technikfolgen nicht oder nur unzureichend vorliegt [11, 16, 28].

Eine weitere Perspektive auf „soziale Maschine(n)“ bietet die Soziologie. Hiernach gilt es, in einem offenen Suchprozess zunächst die Ausprägungen und Transformationen medial-kommunikativer Infrastrukturen zu untersuchen sowie ihre gesellschaftlichen Bedingungen und Folgen zu reflektieren. Unter dem Begriff der sozialen Maschine im Singular werden die paradigmatischen Verschiebungen in den Blick genommen die sich mit der Ausbreitung des ganzen Spektrums hybrider, Menschen und Maschinen in digitalen Infrastrukturen in Kooperation bringender Anwendungen für das gesellschaftliche Handeln und Zusammenleben ergeben.

(2) Algorithmisierung sozialer Prozesse

Menschliche Entscheidungen und Handlungen werden zunehmend algorithmisch unterstützt oder von Algorithmen ganz übernommen. In einer gesellschaftstheoretischen Perspektive lässt sich dieser Trend auf die langfristigen Wandlungen beziehen, die das Maschinelle als infrastrukturelles Moment in der Gesellschaft erfährt, etwa auf Bedeutungsschübe sozialphysikalischen Denkens und Gestaltens, die mit der Industrialisierung ansetzen [18, 27, 32] und durch den Möglichkeitsraum digitaler Technik heute neu belebt werden [26], aber auch kritisch zu untersuchen sind [41]. In diesem Zusammenhang stellt sich die Frage, inwiefern Social Machines das Paradigma kybernetischer Feedbackschleifen verallgemeinern und vertiefen [24] oder aber eine Dynamik der rekursiven Anpassung, Angleichung und Abschließung von sozialen Prozessmustern zu vermeiden helfen.

Wenn in immer mehr sozialen Bereichen gesellschaftliche Prozesse durch algorithmisierte Rückkopplungen geprägt sind, so muss diese Verschleifung bei der Analyse hybrider Lernprozesse, der Entwicklung angemessener rechtlicher Regulierungsvorschläge und der Achtsamkeit für neue gesellschaftliche Ungleichheiten Berücksichtigung finden.

Für die Algorithmisierung sozialer Prozesse gemäß des CIL-Ansatzes werden aus Sicht der Informatik geeignete Mechanismen der KI, insbesondere des Maschinellen Lernens (ML) benötigt. Insbesondere haben dabei die Gebiete Human-in-the-Loop ML [23], Human-Centered AI und Interactive ML [15, 38] eine hohe Bedeutung. Während in anderen Bereichen (z. B. Autonomous Learning) untersucht wird, wie technische Systeme hochgradig automatisiert oder völlig autonom lernen, geht es hier darum, Menschen effizient und effektiv (aus Sicht der KI) in den maschinellen Lernprozess einzubeziehen. Eine Schlüsselrolle kommt dabei dem Aktiven Lernen (AL) [34] zu, das beispielsweise versucht, ausgehend von einer Menge nichtannotierter Daten die für ein überwachtes Lernen erforderlichen Annotationen von menschlichen Experten so zu erhalten, dass mit möglichst wenig Fragen (und damit Annotationen) die Performanz eines ML-Modells maximiert wird. Dieses konventionelle aktive Lernen trifft jedoch häufig Annahmen (Annotatoren sind immer verfügbar, liefern immer eine korrekte Antwort, beantworten immer denselben Typ von Fragen usw.), die für Anwendungen in Social Machines auf der Basis von CIL nicht realistisch sind. Somit stellen sich im Bereich des Aktiven Lernens mit unsicheren (möglicherweise fehlerhaften) Annotatoren, unterschiedlichen Fragetypen und mehr oder wenigen komplexen Kostenschemen für die Auswahl von zu bewertenden Daten, Fragen und Annotatoren viele algorithmische Herausforderungen. Diese zu lösen, ist umso schwieriger, wenn die ML-Modelle aus dem Bereich des Deep Learnings kommen, das typischerweise auf großen Datenmengen basiert (z. B. im Bereich der Objekterkennung in Bildern). Außerdem beschäftigt sich Aktives Lernen bisher nicht mit dem Aspekt einer Kooperation oder gar Kollaboration von Menschen in diesem Lernprozess. Collaborative Interactive Learning wird Aktives Lernen aber auch mit weiteren Lernparadigmen kombinieren müssen, beispielsweise Transferlernen, um auf früheres Wissen zurückzugreifen, Kollaboratives Lernen, um in einem verteilten System das Wissen anderer zu nutzen oder Verstärkendes Lernen, um neues Wissen explorativ zu generieren und Lernmechanismen selbst zu wählen und geeignet anzustoßen. Daher müssen lernende Systeme ihren eigenen Zustand (unter Berücksichtigung von Unsicherheiten) geeignet bewerten können, eine Art technische „Self-Awareness“.

Zur vorausschauenden Adressierung rechtlicher Konflikte bei der Übertragung sozialer Prozesse an Algorithmen wird man um Vorgaben für die Protokollierung menschlicher und maschineller Verantwortungsbeiträge nicht herumkommen. Aber die klare Trennung dieser Sphären, wie sie z. B. der Regelung in § 63a StVG für hoch- oder vollautomatisierte Fahrfunktionen zugrunde liegt, wird sich perspektivisch nicht durchhalten lassen. Ähnliche Herausforderungen stellen sich für rechtliche Transparenzregeln. Diese können Transparenz in beide Richtungen verlangen: Hinsichtlich des Verantwortungsbeitrags automatisierter Systeme, aber auch desjenigen menschlicher Akteure, weil es je nach Konstellation ein legitimes Interesse geben kann, auch letzteres zu erfahren. Allerdings wird auch hier Transparenz mutmaßlich an umso stärkere Grenzen stoßen, je größer der Grad der Hybridität ausfällt. Ob und – wenn ja – welche Grenzen das Recht für (ggf. dem Grad nach intransparente) rechtserhebliche Entscheidungen einer hybriden Social Machine stellen sollte, ist bislang kaum diskutiert, weil sich die rechtliche Regelung „roter Linien“ wie in Art. 22 DSGVO oder § 35a VwVfG auf vollständig automatisierte Entscheidungen beschränkt.

Soziale Ungleichheitsforschung macht sichtbar, dass verschiedene Menschen und Personengruppen unterschiedlich durch algorithmische Automationsprozesse betroffen sind [13, 25]. Avancierte Algorithmen, die auf einer Einbindung von Menschen und Echtzeitfeedbacks beruhen, bergen zudem die Gefahr, subtile Formen der Beeinflussung oder des „Hypernudgings“ [40] zu befördern, die die autonome Bewertungs- und Entscheidungskompetenz alleine schon durch die Verringerung produktiver Diskrepanzerfahrungen aushöhlen [17]. Wenn wir von einer Algorithmisierung gesellschaftlicher Prozesse sprechen, muss berücksichtigt werden, wie zukünftige Social Machines soziale und ökonomische Spaltung und gesellschaftliche Ungleichgewichte nicht verstärken, sondern integrierend wirken.

(3) Daten als Grundstoff sozialen Zusammenhalts

Der spezifische, hybride Charakter von Social Machines führt dazu, dass schon bei ihrer Erforschung und Implementierung, noch mehr aber im späteren Einsatz umfassende Daten über Eigenschaften und Verhalten anfallen. Weder menschliches noch Maschinelles Lernen ist ohne Daten denkbar, und die auf Basis des Erlernten gefällten Entscheidungen und sozialen Handlungen produzieren unweigerlich neue Daten. Social Machines stehen damit inmitten aktueller Diskussionen um den Schutz personenbezogener Daten, Datensouveränität und Data Governance, in denen Persönlichkeitsrechte, wirtschaftliche Verwertungsinteressen und staatliche Gestaltungsansprüche immer neu aufeinandertreffen.

Die Herausforderung liegt in der Entwicklung angemessener Regulierungsstrategien, die auf Hybridisierung und Algorithmisierung reagieren und die mit ihnen verbundenen sozialen Konflikte adressieren. Dabei könnte sich der bisherige datenschutzrechtliche Rahmen für den Umgang mit Trainingsdaten als zu enges Korsett erweisen, wenn der system- oder sogar betreiberübergreifende Austausch zum Lernen seltener, schadensträchtiger Ereignisse erforderlich ist. Hier werden sich übergeordnete, gesellschaftliche Interessen ergeben, die für eine Datennutzung sprechen – in aller Regel allerdings nicht in personenbezogener Form. Außerdem bieten die datenschutzrechtlichen Betroffenenrechte, die Möglichkeiten kollektiven Rechtsschutzes und die Instrumente zur Risikoadressierung (Datenschutzfolgenabschätzung, Datenschutzbeauftragte, technische und organisatorische Maßnahmen der Risikominimierung) wichtige Partizipations- und Gestaltungsansätze.

Verfahren Maschinellen Lernens, die (notwendigerweise) Datensammlungen der Vergangenheit nutzen, übernehmen auch deren Wertsetzungen und Einordnungen. Werden hieraus Vorhersagen für die Zukunft abgeleitet kann das problematisch sein. Es scheint, dass algorithmische Vorhersagen inhärent konservativ/konservierend wirken und nicht geeignet sind, um sozialen Wandel zu modellieren oder Innovationen anzustoßen. Bias bzw. die Verfestigung von Ungleichheiten kann z. B. daher stammen, dass diskriminierende oder rassistische Klassifizierungen (unreflektiert oder unwissentlich) übernommen werden oder auch, dass bestimmte Menschen (oder auch Wissensobjekte, Kategorisierungen, Merkmale) im Datensatz nicht vorkommen [20]. In der Nutzung von Social Machines treten solche Setzungen dann zumeist als technologische Eigengesetzlichkeiten auf (Code is Law) bzw. sind für die Nutzenden nicht verständlich oder sichtbar [9]. Diesem muss durch entsprechende Gestaltungsverfahren entgegengewirkt werden.

Verfahren Maschinellen Lernens können jedoch auch dazu dienen, gesellschaftliche Ungleichheit und ungleiche Teilhabe überhaupt erst sichtbar zu machen [4]. Die datenförmige Erfassung des gesamten Lebensalltags wird zudem unter dem Stichwort der „Big Data“ häufig mit dem Versprechen verbunden, „Muster“ im sozialen Zusammenleben zu erkennen [24] und darüber Stellschrauben zur effektiven Gesellschaftssteuerung zu identifizieren [26]. Aus soziologischer Sicht gilt es zu untersuchen, welche gesellschaftlichen Effekte sich aus dieser zunehmenden Verdatung des Lebens ergeben [12, 31].

Gestaltung von Social Machines als interdisziplinäre Herausforderung

Für eine teilhabeorientierte, demokratischen Werten folgende Gestaltung von Social Machines müssen Perspektiven der Nutzungsakzeptanz, der gesellschaftlichen Akzeptabilität und der nachhaltigen Wirtschaftlichkeit adressiert und umgesetzt werden. Um Gestaltungskriterien zu entwickeln, die gesellschaftlich wünschenswert, technisch umsetzbar und wirtschaftlich sinnvoll sind, müssen die skizzierten Herausforderungen der Hybridisierung, der Algorithmisierung von Gesellschaft und der Daten in ihrer Verschränkung interdisziplinär angegangen werden. Vor diesem Hintergrund stellt der Begriff der Social Machine einen grundlagen- und gesellschaftstheoretischen sowie wirtschaftlichen Reflexionshorizont für die zukünftige Konfiguration von Sozialität und Digitalität bereit, an den gestaltungsorientierte Forschungsansätze anschließen können.