Skip to main content
SpringerLink
Log in

„Computer sagt nein“ – Gesellschaftliche Teilhabe und strukturelle Diskriminierung im Zeitalter Künstlicher Intelligenz

  • Chapter
  • First Online:
Die Digitalisierung des Politischen

Part of the book series: Sozialwissenschaften und Berufspraxis ((SUB))

  • 4138 Accesses

Zusammenfassung

Künstliche Intelligenz ist auf allen Ebenen unserer Gesellschaft längst allgegenwärtig. KI-basierte Algorithmen werden zunehmend mit der Aufgabe betraut, über die Verteilung von Ressourcen und den Zugang zu gesellschaftlicher Teilhabe zu entscheiden. Die Erfahrungen der letzten Jahre zeigen eine hohe Zahl an Fällen, in denen Menschen durch den Einsatz algorithmischer Entscheidungssysteme systematische Diskriminierung erfahren. Der vorliegende Beitrag greift diese Beobachtung auf und widmet sich der Frage, welche Bedeutung sozialwissenschaftliche Konzepte von Teilhabe und Diskriminierung im Kontext von Algorithmen haben, welche Ursachen und Lösungsansätze für algorithmische Diskriminierung diskutiert werden und welche Konsequenzen sich aus technologischen Transformationsprozessen im Zeitalter Künstlicher Intelligenz für den sozialwissenschaftlichen Diskurs um gesellschaftliche Teilhabe und soziale Gerechtigkeit ergeben.

Abstract

Artificial intelligence has long been ubiquitous at all levels of our society. AI-based algorithms get more and more entrusted with the task of deciding on the allocation of resources and access to social participation. Recent experience shows a high number of cases in which people experience systematic discrimination due to AI-based decision-making systems. This article takes up this observation and addresses questions about the significance of social science concepts of participation and discrimination in the context of algorithms, about the causes of and proposed solutions to algorithmic discrimination, and about the consequences of technological transformation processes in the age of artificial intelligence for social science discourses on social participation and justice.

This is a preview of subscription content, log in via an institution to check access.

Access this chapter

Log in via an institution
Chapter
USD 29.95
Price excludes VAT (USA)
  • Available as PDF
  • Read on any device
  • Instant download
  • Own it forever
eBook
USD 59.99
Price excludes VAT (USA)
  • Available as EPUB and PDF
  • Read on any device
  • Instant download
  • Own it forever
Softcover Book
USD 74.99
Price excludes VAT (USA)
  • Compact, lightweight edition
  • Dispatched in 3 to 5 business days
  • Free shipping worldwide - see info

Tax calculation will be finalised at checkout

Purchases are for personal use only

Institutional subscriptions

Notes

  1. 1.

    Für alle Formen von Diskriminierung gilt dabei: Die Beschränkung der Zugänge zu politischen, ökonomischen, kulturellen und sozialen Ressourcen hängt nicht von den tatsächlichen Merkmalen einer Person oder Gruppe von Personen ab, sondern von stigmatisierenden Zuschreibungen wie sie in rassistischen, sexistischen, antisemitischen, klassistischen, ableistischen und anderen Diskriminierungsformen verankert sind (Hormel & Scherr, 2010).

Literatur

  • Angwin, J., Larson, J., Mattu, S., & Kirchner, L. (2016). Machine bias. ProPublica. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing. Zugegriffen: 15. März 2022.

  • Anslinger, J. (2021). Faire KI – (wie) geht das? Interdisziplinäres Forschungszentrum für Technik, Arbeit und Kultur. https://www.ifz.at/sites/default/files/2021-12/Electronic%20Working%20Paper_Anslinger_FaireKI-wie%20geht%20das.pdf. Zugegriffen: 14. März 2022.

  • Barocas, S., Hardt, M., & Narayanan, A. (2021). Fairness and machine learning. Limitations and opportunities. Fairmlbook.org. https://fairmlbook.org/. Zugegriffen: 14. März 2022.

  • Barr, A., & Feigenbaum, E. A. (2014). The handbook of artificial intelligence. Butterworth-Heinemann.

    Google Scholar 

  • Bartelheimer, P., Behrisch, B., Daßler, H., Dobslaw, G., Henke, J., & Schäfers, M. (2020). Teilhabe – Eine Begriffsbestimmung. Springer VS.

    Book  Google Scholar 

  • Bartlett, R., Morse, A., Stanton, R., & Wallace, N. (2019). Consumer-lending discrimination in the FinTech Era. National Bureau of Economic Research.

    Book  Google Scholar 

  • Beck, S., Grunwald, A., Jacob, K., & Matzner, T. (2019). Künstliche Intelligenz und Diskriminierung. Herausforderungen und Lösungsansätze. Plattform Lernende Systeme. https://bit.ly/3mYofNN. Zugegriffen: 15. März 2022.

  • Behrendt, H. (2017). Was ist soziale Teilhabe? Plädoyer für einen dreidimensionalen Inklusionsbegriff. In C. Misselhorn & H. Behrendt (Hrsg.), Arbeit, Gerechtigkeit und Inklusion (S. 50–76). J.B. Metzler.

    Chapter  Google Scholar 

  • Besand, A. (2020). Die Krise als Lerngelegenheit. Oder: Kollaterales politisches Lernen im Kontext von COVID-19. TU Dresden. https://tu-dresden.de/gsw/phil/powi/dpb/studium/lehrveranstaltungen/die-krise-als-lerngelegenheit. Zugegriffen: 14. März 2022.

  • Besand, A., Hölzel, T., & Jugel, D. (2019). Interview mit Anja Besand, Tina Hölzel und David Jugel zur wissenschaftlichen Begleitung von Lernort Stadion. Transferstelle politische Bildung. https://transfer-politische-bildung.de/. Zugegriffen: 14. März 2022.

  • Beschorner, T., & Krause, F. (13. August 2021). Algorithmen entscheiden nichts. Philosophie Magazin. https://www.philomag.de/artikel/algorithmen-entscheiden-nichts. Zugegriffen: 15. März 2022.

  • Bird, S., Kenthapadi, K., Kiciman, E., & Mitchell, M. (2019). Fairness-aware machine learning. In Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining. ACM.

    Google Scholar 

  • Boeser-Schnebel, C., & Jachertz, R. (2018). Wir brauchen mehr Streit. Argumentationstraining gegen Politikverdrossenheit. Forum Erwachsenenbildung, 51(4), 14–17.

    Google Scholar 

  • Bundesministerium für Bildung und Forschung (BMBF). (2021). Digitalisierung und Künstliche Intelligenz. DLR Gesundheitsforschung. https://www.gesundheitsforschung-bmbf.de/de/digitalisierung-und-kunstliche-intelligenz-9461.php. Zugegriffen: 14. März 2022.

  • Burrell, J., & Fourcade, M. (2021). The society of algorithms. Annual Review of Sociology, 47(1), 213–237.

    Article  Google Scholar 

  • Calders, T. (2019). Machine-learning discrimination: Bias in, bias out. In 2019 Ninth International Conference on Intelligent Computing and Information Systems (ICICIS). IEEE.

    Google Scholar 

  • Carton, S., Helsby, J., Joseph, K., Mahmud, A., Park, Y., & Walsh, J., et al. (2016). Identifying police officers at risk of adverse events. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM.

    Google Scholar 

  • Cinelli, M., De Francisci Morales, G., Galeazzi, A., Quattrociocchi, W., & Starnini, M. (2021). The echo chamber effect on social media. Proceedings of the National Academy of Sciences, 118(9).

    Google Scholar 

  • Cho, J., Ahmed, S., Hilbert, M., Liu, B., & Luu, J. (2020). Do search algorithms endanger democracy? An experimental investigation of algorithm effects on political polarization. Journal of Broadcasting & Electronic Media, 64(2), 150–172.

    Article  Google Scholar 

  • Courtland, R. (2018). Bias detectives: The researchers striving to make algorithms fair. Nature, 558(7710), 357–360.

    Article  Google Scholar 

  • Crawford, K. (25. June 2016). Artificial intelligence’s white guy problem. The New York Times. https://www.nytimes.com/2016/06/26/opinion/sunday/artificial-intelligences-white-guy-problem. Zugegriffen: 14. März 2022.

  • Dastin, J. (10. October 2018). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G. Zugegriffen: 15. März 2022.

  • Dunkelau, J., & Leuschel, M. (2019). Fairness-aware machine learning. An extensive overview. Universität Düsseldorf.

    Google Scholar 

  • Europäische Kommission. (2019). Ethikleitlinien für eine vertrauenswürdige KI. Publications Office. https://data.europa.eu/doi/10.2759/856513. Zugegriffen: 15. März 2022.

  • Fazelpour, S., & Danks, D. (2021). Algorithmic bias: Senses, sources, solutions. Philosophy Compass, 16(8), e12760.

    Google Scholar 

  • Fereidooni, K. (2011). Schule – Migration – Diskriminierung: Ursachen der Benachteiligung von Kindern mit Migrationshintergrund im deutschen Schulwesen. VS Verlag.

    Book  Google Scholar 

  • Feuerriegel, S., Dolata, M., & Schwabe, G. (2020). Fair AI. Business & Information Systems Engineering, 62(4), 379–384.

    Article  Google Scholar 

  • Foitzik, A. (2019). Einführung in theoretische Grundlagen: Diskriminierung und Diskriminierungskritik. In A. Foitzik, & L. Hezel, L. (Hrsg.), Diskriminierungskritische Schule: Einführung in theoretische Grundlagen (S. 12–39). Beltz.

    Google Scholar 

  • Fry, H. (2019). Hello World: Was Algorithmen können und wie sie unser Leben verändern. Beck.

    Google Scholar 

  • Garcia, M. (2016). Racist in the machine. World Policy Journal, 33(4), 111–117.

    Article  Google Scholar 

  • Gomolla, M. (2017). Direkte und indirekte, institutionelle und strukturelle Diskriminierung. In A. Scherr, A. El-Mafaalani, & G. Yüksel (Hrsg.), Handbuch Diskriminierung (S. 133–155). Springer Fachmedien Wiesbaden.

    Chapter  Google Scholar 

  • Grgic-Hlaca, N., Redmiles, E. M., Gummadi, K. P., & Weller, A. (2018). Human perceptions of fairness in algorithmic decision making. In Proceedings of the 2018 World Wide Web Conference on World Wide Web – WWW ’18. ACM Press.

    Google Scholar 

  • Gsenger, R., & Strle, T. (2021). Trust, automation bias and aversion: Algorithmic decision-making in the context of credit scoring. Interdisciplinary Description of Complex Systems, 19(4), 542–560.

    Article  Google Scholar 

  • Hagen, L. M., Wieland, M., & In der Au, A.-M. (2017). Algorithmischer Strukturwandel der Öffentlichkeit. MedienJournal, 41(2), 127–143.

    Article  Google Scholar 

  • Hamilton, M. (2019). The sexist algorithm. Behavioral Sciences & the Law, 37(2), 145–157.

    Article  Google Scholar 

  • Heinemann, A. M. B., & Mecheril, P. (2017). Erziehungswissenschaftliche Diskriminierungsforschung. In A. Scherr, A. El-Mafaalani, & G. Yüksel (Hrsg.), Handbuch Diskriminierung (S. 1–15). Springer Fachmedien Wiesbaden.

    Google Scholar 

  • Hormel, U., & Scherr, A. (2010). Diskriminierung: Grundlagen und Forschungsergebnisse. Springer.

    Book  Google Scholar 

  • Jobin, A., Ienca, M., & Vayena, E. (2019). The global landscape of AI ethics guidelines. Nature Machine Intelligence 1(9), 389–399.

    Article  Google Scholar 

  • Joyce, K., Smith-Doerr, L., Alegria, S., Bell, S., Cruz, T., & Hoffman, S. G., et al. (2021). Toward a sociology of artificial intelligence: A call for research on inequalities and structural change. Socius: Sociological Research for a Dynamic World, 7, 1–11.

    Google Scholar 

  • Katzenbach, C., & Ulbricht, L. (2019). Algorithmic governance. Internet Policy Review, 8(4), 1–18.

    Google Scholar 

  • Kersting, N. (2008). Politische Beteiligung: Einführung in dialogorientierte Instrumente politischer und gesellschaftlicher Partizipation. Springer VS.

    Book  Google Scholar 

  • Kolleck, A., & Orwat, C. (2020). Mögliche Diskriminierung durch algorithmische Entscheidungssysteme und maschinelles Lernen: Ein Überblick. Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag. https://www.tab-beim-bundestag.de/de/pdf/publikationen/berichte/TAB-Hintergrundpapierhp024.pdf. Zugegriffen: 14. März 2022.

  • Kreutzer, R. T., & Sirrenberg, M. (2019). Künstliche Intelligenz verstehen: Grundlagen – Use-Cases – unternehmenseigene KI-Journey. Springer.

    Book  Google Scholar 

  • Krönke, C. (2019). Artificial intelligence and social media. In T. Wischmeyer & T. Rademacher (Hrsg.), Regulating artificial intelligence (S. 145–173). Springer.

    Google Scholar 

  • Kusner, M. J., & Loftus, J. R. (2020). The long road to fairer algorithms. Nature, 578(7793), 34–36.

    Article  Google Scholar 

  • Ledford. (2019). Millions of black people affected by racial bias in health-care algorithms (24.10.2019). Nature. https://www.nature.com/articles/d41586-019-03228-6. Zugegriffen: 15. März.

  • Logg, J. M., Minson, J. A., & Moore, D. A. (2019). Algorithm appreciation: People prefer algorithmic to human judgment. Organizational Behavior and Human Decision Processes, 151, 90–103.

    Google Scholar 

  • Mayer, R. (2017). Teilhabe und Teilung. In I. Miethe, A. Tervooren, & N. Ricken (Hrsg.), Bildung und Teilhabe (S. 65–85). Springer Fachmedien Wiesbaden.

    Chapter  Google Scholar 

  • Mühlhoff, R. (2020). Automatisierte Ungleichheit. Deutsche Zeitschrift für Philosophie, 68(6), 867–890.

    Article  Google Scholar 

  • Müller-Mall, S. (2020). Freiheit und Kalkül. Die Politik der Algorithmen: [Was bedeutet das alles?]. Reclam.

    Google Scholar 

  • Müller, F., Schüßler, M., & Kirchner, E. (2020). Die Regulierung Künstlicher Intelligenz. Neuer Rechtsrahmen für Algorithmische Entscheidungssysteme? https://www.ssoar.info/ssoar/handle/document/70225. Zugegriffen: 14. März 2022.

  • Noble, S. U. (2018). Algorithms of oppression: How search engines reinforce racism. NYU Press.

    Book  Google Scholar 

  • O’Neil, C. (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Crown Publishers.

    Google Scholar 

  • Orwat, C. (2020). Diskriminierungsrisiken durch Verwendung von Algorithmen. Antidiskriminierungsstelle des Bundes. Nomos.

    Google Scholar 

  • Owens, K., & Walker, A. (2020). Those designing healthcare algorithms must become actively anti-racist. Nature Medicine, 26(9), 1327–1328.

    Article  Google Scholar 

  • Prates, M. O. R., Avelar, P. H., & Lamb, L. C. (2019). Assessing gender bias in machine translation: A case study with Google Translate. Neural Computing and Applications, 32(10), 6363–6381.

    Article  Google Scholar 

  • Rau, J. P., & Stier, S. (2019). Die Echokammer-Hypothese: Fragmentierung der Öffentlichkeit und politische Polarisierung durch digitale Medien? Zeitschrift für Vergleichende Politikwissenschaft, 13(3), 399–417.

    Article  Google Scholar 

  • Ruf, B., & Detyniecki, M. (2020). Active Fairness Instead of Unawareness. arXiv preprint. https://arxiv.org/abs/2009.06251. Zugegriffen: 15. März 2022.

  • Scherr, A., El-Mafaalani, A., & Yüksel, E. G. (2017). Handbuch Diskriminierung. Springer VS.

    Book  Google Scholar 

  • Schiebinger, L. (2014). Scientific research must take gender into account. Nature, 507(7490), 9–9.

    Article  Google Scholar 

  • Schmidt, N., & Stephens, B. (2019). An introduction to artificial intelligence and solutions to the problems of algorithmic discrimination. arXiv preprint. https://arxiv.org/abs/1911.05755. Zugegriffen: 15. März 2022.

  • Spatscheck, C., & Wagenblass, S. (2013). Bildung, Teilhabe und Gerechtigkeit: Gesellschaftliche Herausforderungen und Zugänge Sozialer Arbeit. Beltz Juventa.

    Google Scholar 

  • Thiel, V. (2020). Algorithmen sind keine Neutren. In B. Miemitz (Hrsg.), Digitalisierung, Medizin, Geschlecht (S. 47–58). Budrich.

    Chapter  Google Scholar 

  • Trewin, S. (2018). AI fairness for people with disabilities: Point of view. arXiv preprint. https://arxiv.org/abs/1811.10670. Zugegriffen: 15. März 2022.

  • Turner Lee, N., Resnick, P., & Barton, G. (2019). Algorithmic bias detection and mitigation: Best practices and policies to reduce consumer harms. Brookings. https://www.brookings.edu/research/algorithmic-bias-detection-and-mitigation-best-practices-and-policies-to-reduce-consumer-harms/. Zugegriffen: 14. März 2022.

  • Vennemeyer, K. (2019). Inklusion im Politikunterricht. In T. Hölzel & D. Jahr (Hrsg.), Konturen einer inklusiven politischen Bildung (S. 35–49). Springer Fachmedien Wiesbaden.

    Chapter  Google Scholar 

  • West, S. M., Whittaker, M., & Crawford, K. (2019). Discriminating systems. Gender, race and power in AI. AI Now Institute. https://ainowinstitute.org/discriminatingsystems.pdf. Zugegriffen: 14. März 2022.

  • Willems, C. (2021). Künstliche Intelligenz im politischen Diskurs. Tectum Wissenschaftsverlag.

    Book  Google Scholar 

  • Wisser, L. (2019). Pandora’s algorithmic black box: The challenges of using algorithmic risk assessment in sentencing. American Criminal Law Review, 56(4). https://www.law.georgetown.edu/american-criminal-law-review/wp-content/uploads/sites/15/2019/06/56-4-Pandoras-Algorithmic-Black-Box-The-Challenges-of-Using-Algorithmic-Risk-Assessments-in-Sentencing.pdf. Zugegriffen: 14. März 2022.

  • Wu, Y., Schuster, M., Chen, Z., Le, Q. V., Norouzi, M., & Macherey, W., et al. (2016). Google’s neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint. https://arxiv.org/abs/1609.08144. Zugegriffen: 14. März 2022.

  • Zajko, M. (2022). Artificial intelligence, algorithms, and social inequality: Sociological contributions to contemporary debates. Sociology Compass, 16(3), e12962.

    Google Scholar 

  • Zick, A. (2017). Sozialpsychologische Diskriminierungsforschung. In A. Scherr, A. El-Mafaalani, & G. Yüksel (Hrsg.), Handbuch Diskriminierung (S. 1–22). Springer Fachmedien Wiesbaden.

    Google Scholar 

  • Zliobaite, I. (2017). Fairness-aware machine learning: A perspective. arXiv preprint. https://arxiv.org/abs/1708.00754. Zugegriffen: 14. März 2022.

  • Zuiderveen Borgesius, F. J. (2020). Strengthening legal protection against discrimination by algorithms and artificial intelligence. The International Journal of Human Rights, 24(10), 1572–1593.

    Article  Google Scholar 

  • Zweig, K. A. (2018). Wo Maschinen irren können. Fehlerquellen und Verantwortlichkeiten in Prozessen algorithmischer Entscheidungsfindung. Arbeitspapier. Impuls Algorithmenethik, Bd. 4. Bertelsmann Stiftung.

    Google Scholar 

  • Zweig, K. A. (2019). Algorithmische Entscheidungen. Transparenz und Kontrolle. Konrad-Adenauer-Stiftung.

    Google Scholar 

Download references

Author information

Authors and Affiliations

  1. Professur für Didaktik der politischen Bildung, TU Dresden, Dresden, Deutschland

    Susanne Rentsch

Authors
  1. Susanne Rentsch
    View author publications

    You can also search for this author in PubMed Google Scholar

Corresponding author

Correspondence to Susanne Rentsch .

Editor information

Editors and Affiliations

  1. Wirtschaftswissenschaftliche Fakultät, Hof University, Hof, Deutschland

    Andreas Wagener

  2. Wirtschaftswissenschaftliche Fakultät, Hof University, Hof, Deutschland

    Carsten Stark

Rights and permissions

Reprints and permissions

Copyright information

© 2023 Der/die Autor(en), exklusiv lizenziert an Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature

About this chapter

Check for updates. Verify currency and authenticity via CrossMark

Cite this chapter

Rentsch, S. (2023). „Computer sagt nein“ – Gesellschaftliche Teilhabe und strukturelle Diskriminierung im Zeitalter Künstlicher Intelligenz. In: Wagener, A., Stark, C. (eds) Die Digitalisierung des Politischen. Sozialwissenschaften und Berufspraxis . Springer VS, Wiesbaden. https://doi.org/10.1007/978-3-658-38268-1_2

Download citation

  • DOI: https://doi.org/10.1007/978-3-658-38268-1_2

  • Published:

  • Publisher Name: Springer VS, Wiesbaden

  • Print ISBN: 978-3-658-38267-4

  • Online ISBN: 978-3-658-38268-1

  • eBook Packages: Social Science and Law (German Language)

Publish with us

Policies and ethics

Search

Navigation