Skip to main content
SpringerLink
Log in

Fairness von KI-Algorithmen

  • Living reference work entry
  • First Online:
Philosophisches Handbuch Künstliche Intelligenz

Part of the book series: Springer Reference Geisteswissenschaften ((SPREFGEIST))

  • 1475 Accesses

Zusammenfassung

An der Schnittstelle von Informatik, Sozialwissenschaften und Rechtswissenschaften formt sich aktuell ein neues Forschungsfeld zur Fairness von Algorithmen. Untersucht wird, durch welche Mechanismen und in welchem Umfang durch Algorithmen getroffene Entscheidungen systematische Verzerrungen (engl. Biases) aufweisen können, besonders im Kontext maschinellen Lernens und künstlicher Intelligenz. Die Dringlichkeit dieses hoch interdisziplinären Forschungsgebietes wird unterstrichen von dem explosiven Anstieg der Verwendungen künstlicher Intelligenz und auf Algorithmen basierender Entscheidungen in allen Bereichen gesellschaftlicher Organisation. Hier umreißen wir kurz den aktuellen Stand dieses Forschungsgebietes und zeigen auf, wie sich daraus eine Notwendigkeit zum institutionellen Kalibrieren und Zertifizieren von Algorithmen argumentieren lässt und wie sich solche Vorgaben in den Rechtsrahmen für KI-Algorithmen einfügen.

This is a preview of subscription content, log in via an institution to check access.

Access this chapter

Log in via an institution

Institutional subscriptions

Notes

  1. 1.

    Mit der Kurzform ‚neuronales Netz‘ bezeichnen wir hier die über maschinelles Lernen trainierten künstlichen neuronalen Netze, die uns als Repräsentant für die große Klasse von durch maschinelles Lernen trainierten Klassifikationsalgorithmen (Entscheidungsbäume, Bayes’sche Netze, genetische Algorithmen, Support Vector Machines (SVMs), Random Forests, etc.) dienen. Für die gesamte Klasse verwenden wir im Folgenden oft den Begriff ML-Systeme.

  2. 2.

    In anderen Anwendungen maschinellen Lernens würde man jedoch gerade vermeiden wollen, das Geschlecht oder andere Kategorien direkt oder indirekt dem Datensatz hinzuzufügen; dies wird durch die im folgenden Abschnitt zusammengetragenen Beispiele eindrücklich illustriert.

  3. 3.

    Der Begriff ,tief‘ bezieht sich hier – wie stets in neuronalen Netzen – auf eine hohe Zahl von Ebenen in der Netzwerkarchitektur.

  4. 4.

    Eine Sammlung eindrucksvoller Beispiele von nicht offensichtlichen (und nicht intendierten) durch neuronale Netze gelernten Features findet sich in Lapuschkin et al. (2019).

Literatur

  • Arulkumaran, K., M. P. Deisenroth, M. Brundage, und A. A. Bharath. 2017. A brief survey of deep reinforcement learning. arXiv preprint arXiv:170805866.

    Google Scholar 

  • Asudehy, A., H. Jagadishy, J. Stoyanovichz, und G. Das. 2017. Designing fair ranking schemes. arXiv preprint arXiv:171209752.

    Google Scholar 

  • Bak, P. 2013. How Nature works: The science of self-organized criticality. New York: Springer Science & Business Media.

    Google Scholar 

  • Bak, P., C. Tang, und K. Wiesenfeld. 1987. Self-organized criticality: An explanation of the 1/f noise. Physical Review Letters 59(4): 381.

    Article  Google Scholar 

  • Beck, W. 2019. Legal Tech und künstliche Intelligenz. Die Öffentliche Verwaltung 72(16): 648–653.

    Google Scholar 

  • Ben-David, S., P. Hrubeš, S. Moran, A. Shpilka, und A. Yehudayoff. 2019. Learnability can be undecidable. Nature Machine Intelligence 1(1): 44.

    Article  Google Scholar 

  • Benjamin, R. 2019. Assessing risk, automating racism. Science 366(6464): 421–422.

    Article  Google Scholar 

  • Berendt, B., und S. Preibusch. 2017. Toward accountable discrimination-aware data mining: The importance of keeping the human in the loop – and under the looking glass. Big Data 5(2): 135–152.

    Google Scholar 

  • Berk, R., H. Heidari, S. Jabbari, M. Kearns, und A. Roth. 2018. Fairness in criminal justice risk assessments: The state of the art. Sociological Methods & Research. https://doi.org/10.1177/0049124118782533.

  • Bernhardt, L. 2019. Algorithmen, Künstliche Intelligenz und Wettbewerb. Neue Zeitschrift für Kartellrecht 7:314–317.

    Google Scholar 

  • Borges, G. 2018. Rechtliche Rahmenbedingungen für autonome Systeme. Neue Juristische Wochenschrift 71(14): 977–982.

    Google Scholar 

  • Bornholdt, S. 2005. Less is more in modeling large genetic networks. Science 310(5747): 449–451.

    Article  Google Scholar 

  • Breidenbach, S., und F. Glatz, Hrsg. 2020. Rechtshandbuch Legal Tech, 2. Aufl. München: Beck.

    Google Scholar 

  • Buchanan, M. 2012. It’s a (stylized) fact! Nature Physics 8(1): 3–3.

    Article  Google Scholar 

  • Bull, H. P. 2019. Über die rechtliche Einbindung der Technik. Der Staat 55:57–100.

    Article  Google Scholar 

  • Burrell, J. 2016. How the machine ‚thinks‘: Understanding opacity in machine learning algorithms. Big Data & Society 3(1). https://doi.org/10.1177/2053951715622512.

  • Busch, C. 2018. Algorithmic accountability. Technical report, ABIDA-Gutachten. www.abida.de/sites/default/files/ABIDA%20Gutachten%20Algorithmic%20Accountability.pdf. Zugegriffen am 04.04.2020.

  • Celis, L. E., L. Huang, V. Keswani, und N. K. Vishnoi. 2019. Classification with fairness constraints: A meta-algorithm with provable guarantees. In Proceedings of the Conference on Fairness, Accountability, and Transparency(Atlanta GA USA), S. 319–328.

    Google Scholar 

  • Chakraborti, T., A. Patra, und A. Noble. 2019. Contrastive algorithmic fairness: Part 1 (theory). arXiv preprint arXiv:190507360.

    Google Scholar 

  • Christin, A., A. Rosenblat, und D. Boyd. 2015. Courts and predictive algorithms. Data & Civil Right.

    Google Scholar 

  • Corbett-Davies, S., E. Pierson, A. Feller, S. Goel, und A. Huq. 2017. Algorithmic decision making and the cost of fairness. In Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining(Halifax NS Canada), ACM, S. 797–806.

    Google Scholar 

  • Coveney, P. V., E. R. Dougherty, und R. R. Highfield. 2016. Big data need big theory too. Philosophical Transactions of the Royal Society A 374(2080): 20160,153.

    Article  Google Scholar 

  • Daten-Ethikkommission. 2019. Gutachten der Daten-Ethikkommission. https://www.bmi.bund.de/SharedDocs/downloads/DE/publikationen/themen/it-digitalpolitik/gutachten-datenethikkommission.html. Zugegriffen am 04.04.2020.

  • Diakopoulos, N. 2014. Algorithmic accountability reporting: On the investigation of black boxes. Columbia University: Tow Center for Digital Journalism.

    Google Scholar 

  • Ernst, C. 2017. Algorithmische Entscheidungsfindung und personenbezogene Daten. Juristen-Zeitung 72(21): 1026–1036.

    Article  Google Scholar 

  • Europäische Kommission, Mitteilung, COM. (2019) 168 endg. Europäische Kommission, Mitteilung, COM (2019) 168 endg. Zugegriffen am 04.04.2020.

    Google Scholar 

  • Ezrachi, A., und M. Stucke. 2016. Virtual competition: The promise and perils of the algorithm-driven economy. Harvard: Harvard University Press.

    Book  Google Scholar 

  • Farmelo, G. 2002. It must be beautiful: Great equations of modern science. London: Granta.

    Google Scholar 

  • Feldle, J. 2018. Notstandsalgorithmen. Baden-Baden: Nomos.

    Book  Google Scholar 

  • Friedler, S. A., C. Scheidegger, S. Venkatasubramanian, S. Choudhary, E. P. Hamilton, und D. Roth. 2019. A comparative study of fairness-enhancing interventions in machine learning. In Proceedings of the Conference on Fairness, Accountability, and Transparency(Barcelona Spain), S. 329–338.

    Google Scholar 

  • Frost, Y. 2019. Künstliche Intelligenz in Medizinprodukten und damit verbundene medizinprodukte- und datenschutzrechtliche Herausforderungen. Zeitschrift für das gesamte Medizinprodukterecht 19(4): 117–124.

    Google Scholar 

  • G20. 2019. G20 AI Principles. https://www.g20-insights.org/wp-content/uploads/2019/07/G20-Japan-AI-Principles.pdf. Zugegriffen am 04.04.2020.

  • Gaede, K. 2019. Künstliche Intelligenz – Rechte und Strafen für Roboter? Baden-Baden: Nomos.

    Google Scholar 

  • Gajane, P. 2017. On formalizing fairness in prediction with machine learning. arXiv preprint arXiv:171003184.

    Google Scholar 

  • Gesellschaft für Informatik, Fachgruppe Rechtsinformatik. 2018. Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren. Studien und Gutachten im Auftrag des Sachverständigenrats für Verbraucherfragen. Berlin: Sachverständigenrat für Verbraucherfragen.

    Google Scholar 

  • Goodfellow, I., J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, und Y. Bengio. 2014. Generative adversarial nets. In Advances in Neural Information Processing Systems, S. 2672–2680.

    Google Scholar 

  • Greene, D., A. L. Hoffmann, und L. Stark. 2019. Better, nicer, clearer, fairer: A critical assessment of the movement for ethical artificial intelligence and machine learning. In Proceedings of the 52nd Hawaii International Conference on System Sciences.

    Google Scholar 

  • Hilgendorf, E., Hrsg. 2017. Autonome Systeme und neue Mobilität. Baden-Baden: Nomos.

    Google Scholar 

  • Hoch, V. R. S. 2019. Anwendung künstlicher Intelligenz zur Beurteilung von Rechtsfragen im unternehmerischen Bereich. Archiv für civilistische Praxis 219(5): 646–702.

    Article  Google Scholar 

  • Hoffmann-Riem, W. 2017. Verhaltenssteuerung durch Algorithmen – Eine Herausforderung für das Recht. Archiv für öffentliches Recht 142(1): 1 ff.

    Article  Google Scholar 

  • Ising, E. 1925. Beitrag zur Theorie des Ferromagnetismus. Zeitschrift für Physik A 31(1): 253–258.

    Article  Google Scholar 

  • Jensen, H. J. 1998. Self-organized criticality: Emergent complex behavior in physical and biological systems, Bd. 10. Cambridge: Cambridge University Press.

    Book  Google Scholar 

  • Jones, M. L. 2017. The right to a human in the loop: Political constructions of computer automation and personhood. Social Studies of Science 47(2): 216–239.

    Article  Google Scholar 

  • Kauffman, S. A. 1969. Metabolic stability and epigenesis in randomly constructed genetic nets. Journal of Theoretical Biology 22(3): 437–467.

    Article  Google Scholar 

  • Kim, P. 2017. Auditing algorithms for discrimination. Legal Studies Research Paper Series (17-12-03).

    Google Scholar 

  • Krafft, T. D., und K. A. Zweig. 2018. Wie Gesellschaft algorithmischen Entscheidungen auf den Zahn fühlen kann. In (Un)berechenbar? Algorithmen und Automatisierung in Staat und Gesellschaft. Berlin: Kompetenzzentrum Öffentliche IT.

    Google Scholar 

  • Kullmann, M. 2018. Working in the platform economy – The implications on labour law. Medien und Recht International 15(2): 79–81.

    Google Scholar 

  • Küstner, M. 2019. Preissetzung durch Algorithmen als Herausforderung des Kartellrechts. Gewerblicher Rechtsschutz und Urheberrecht 121(1): 36–42.

    Google Scholar 

  • Lapuschkin, S., S. Wäldchen, A. Binder, G. Montavon, W. Samek, und K. R. Müller. 2019. Unmasking clever Hans predictors and assessing what machines really learn. Nature Communications 10(1): 1–8.

    Article  Google Scholar 

  • Lehr, D., und P. Ohm. 2017. Playing with the data: What legal scholars should learn about machine learning. UCDL Rev 51:653.

    Google Scholar 

  • Lessig, L. 2000. Code is law. Harvard Magazine 102:37–39.

    Google Scholar 

  • Martin, K. 2019. Designing ethical algorithms. MIS Quarterly Executive 18(2): 129–142.

    Google Scholar 

  • Martini, M. 2017. Algorithmen als Herausforderung für die Rechtsordnung. Juristen-Zeitung 72(21): 1017–1025.

    Article  Google Scholar 

  • Martini, M. 2019. Blackbox Algorithmus – Grundfragen einer Regulierung Künstlicher Intelligenz. Berlin: Springer.

    Book  Google Scholar 

  • May, R. M. 2004. Uses and abuses of mathematics in biology. Science 303(5659): 790–793.

    Article  Google Scholar 

  • Mehrabi, N., F. Morstatter, N. Saxena, K. Lerman, und A. Galstyan. 2019. A survey on bias and fairness in machine learning. arXiv preprint arXiv:190809635.

    Google Scholar 

  • Mnih, V., K. Kavukcuoglu, D. Silver, A. A. Rusu, J. Veness, M. G. Bellemare, A. Graves, M. Riedmiller, A. K. Fidjeland, G. Ostrovski, et al. 2015. Human-level control through deep reinforcement learning. Nature 518(7540): 529–533.

    Article  Google Scholar 

  • Müller, K. 2017. Algorithmen transparent gestalten. Rede zur vzbv Fachveranstaltung am 07.12.2017. www.vzbv.de/dokument/rede-algorithmen-transparent-gestalten-forderungen-die-politik. Zugegriffen am 04.04.2020.

  • Obermeyer, Z., B. Powers, C. Vogeli, und S. Mullainathan. 2019. Dissecting racial bias in an algorithm used to manage the health of populations. Science 366(6464): 447–453.

    Article  Google Scholar 

  • OECD. 2019. Recommendation of the Council on Artificial Intelligence, 22.05.2019, OECD/LEGAL/0449. https://legalinstruments.oecd.org/-api/print?ids=648&lang=en. Zugegriffen am 04.04.2020.

  • Peierls, R. 1936. On Ising’s model of ferromagnetism. In Mathematical Proceedings of the Cambridge Philosophical Society, Cambridge University Press, Bd. 32, S. 477–481.

    Google Scholar 

  • Quezada, K. 2019. The Algorithmic Accountability Act: Is the US about to apply EU standards to algorithmic governance? https://www.law.kuleuven.be/citip/blog/the-algorithmic-accountability-act-is-the-us-about-to-apply-eu-standards-to-algorithmic-governance. Zugegriffen am 04.04.2020.

  • Radford, A., L. Metz, und S. Chintala. 2015. Unsupervised representation learning with deep convolutional generative adversarial networks. arXiv preprint ar-Xiv:151106434.

    Google Scholar 

  • Rajkomar, A., J. Dean, und I. Kohane. 2019. Machine learning in medicine. New England Journal of Medicine 380(14): 1347–1358.

    Article  Google Scholar 

  • Reutlinger, A., D. Hangleiter, und S. Hartmann. 2018. Understanding (with) toy models. The British Journal for the Philosophy of Science 69(4): 1069–1099.

    Article  Google Scholar 

  • Rodrigues, F. A., T. K. D. Peron, P. Ji, und J. Kurths. 2016. The Kuramoto model in complex networks. Physics Reports 610:1–98.

    Article  Google Scholar 

  • Sandvig, C., K. Hamilton, K. Karahalios, und C. Langbort. 2014. Auditing algorithms: Research methods for detecting discrimination on internet platforms. In Data and discrimination: Converting critical concerns into productive inquiry. Seattle: 64th Annual Meeting of the International Communication Association.

    Google Scholar 

  • Schubert, C., und M. T. Hütt. 2019. Economy-on-demand and the fairness of algorithms. European Labour Law Journal 10(1): 3–16.

    Article  Google Scholar 

  • Schweighofer, E., et al. 2018. Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren. https://gi.de/fileadmin/GI/Allgemein/PDF/-GI_Studie_Algorithmenregulierung.pdf. Zugegriffen am 04.04.2020.

  • Shilo, S., H. Rossman, und E. Segal. 2020. Axes of a revolution: Challenges and promises of big data in healthcare. Nature Medicine 26(1): 29–38.

    Article  Google Scholar 

  • Silver, D., J. Schrittwieser, K. Simonyan, I. Antonoglou, A. Huang, A. Guez, T. Hübert, L. Baker, M. Lai, A. Bolton, et al. 2017. Mastering the game of Go without human knowledge. Nature 550(7676): 354–359.

    Article  Google Scholar 

  • Söbbing, T. 2019. Der algorithmisch gesteuerte Wertpapierhandel und die gesetzlichen Schranken für künstliche Intelligenz im digitalen Banking. Zeitschrift für Wirtschaftsrecht 40(34): 1603–1609.

    Google Scholar 

  • Sober, E. 2015. Ockham’s Razors: A user’s manual. Cambridge: Cambridge University Press.

    Book  Google Scholar 

  • Spiecker gen. Döhmann, I. 2017. 30 Thesen: Der Mensch, der Netzburger, die Algorithmen, das Internet und das Recht. Kommunikation und Recht Beilage 1 zu 23(7/8): 4–6.

    Google Scholar 

  • Stauffer, D. 2013. A biased review of sociophysics. Journal of Statistical Physics 151(1–2): 9–20.

    Article  Google Scholar 

  • Strogatz, S. H. 2000. From Kuramoto to Crawford: Exploring the onset of synchronization in populations of coupled oscillators. Physica D 143(1–4): 1–20.

    Article  Google Scholar 

  • Succi, S., und P. V. Coveney. 2019. Big data: The end of the scientific method? Philosophical Transactions of the Royal Society A 377(2142): 20180,145.

    Article  Google Scholar 

  • Voit, E. O. 2019. Perspective: Dimensions of the scientific method. PLoS Computational Biology 15(9): e1007279.

    Article  Google Scholar 

  • Wagner, G. 2017. Produkthaftung für autonome Systeme. Archiv für die civilistische Praxis 217(6): 707–765.

    Article  Google Scholar 

  • Wagner, G. 2019. Robot, Inc.: Personhood for autonomous systems? Fordham Law Review 88:519–612.

    Google Scholar 

  • Wagner, G. 2020. Verantwortlichkeit im Zeichen digitaler Technik – Herausforderungen für das Haftungsrecht. Versicherungsrecht71(12). S. 717–741. 

    Google Scholar 

  • Wiens, J., W. N. Price, und M. W. Sjoding. 2020. Diagnosing bias in data-driven algorithms for healthcare. Nature Medicine 26(1): 25–26.

    Article  Google Scholar 

  • Williams, B. A., C. F. Brooks, und Y. Shmargad. 2018. How algorithms discriminate based on data they lack: Challenges, solutions, and policy implications. Journal of Information Policy 8:78–115.

    Article  Google Scholar 

  • Wischmeyer, T. 2018. Regulierung intelligenter Systeme. Archiv für öffentliches Recht 143:1–66.

    Article  Google Scholar 

  • Zheng, A., und A. Casari. 2018. Feature engineering for machine learning: Principles and techniques for data scientists. Boston: O’Reilly Media, Inc.

    Google Scholar 

  • Zhou, W. X., und D. Sornette. 2007. Self-organizing Ising model of financial markets. The European Physical Journal B 55(2): 175–181.

    Article  Google Scholar 

  • Zhu, Y., R. Mottaghi, E. Kolve, J. J. Lim, A. Gupta, L. Fei-Fei, und A. Farhadi. 2017. Target-driven visual navigation in indoor scenes using deep reinforcement learning. In IEEE international Conference on Robotics and Automation (ICRA)(Singapore), IEEE, S. 3357–3364.

    Google Scholar 

  • Zliobaite, I. 2017. Fairness-aware machine learning: A perspective. arXiv preprint arXiv:170800754.

    Google Scholar 

  • Zweig, K. 2019. Ein Algorithmus hat kein Taktgefühl: Warum Künstliche Intelligenz oft irrt, weshalb uns das betrifft und was wir dagegen tun können. München: Heyne.

    Google Scholar 

Download references

Author information

Authors and Affiliations

  1. Jacobs University Bremen, Bremen, Deutschland

    Marc-Thorsten Hütt

  2. Fakultät für Rechtswissenschaft, Universität Hamburg, Hamburg, Deutschland

    Claudia Schubert

Authors
  1. Marc-Thorsten Hütt
    View author publications

    You can also search for this author in PubMed Google Scholar

  2. Claudia Schubert
    View author publications

    You can also search for this author in PubMed Google Scholar

Corresponding author

Correspondence to Marc-Thorsten Hütt .

Editor information

Editors and Affiliations

  1. Technische Universität München (TUM), München, Germany

    Klaus Mainzer

Rights and permissions

Reprints and permissions

Copyright information

© 2020 Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature

About this entry

Check for updates. Verify currency and authenticity via CrossMark

Cite this entry

Hütt, MT., Schubert, C. (2020). Fairness von KI-Algorithmen. In: Mainzer, K. (eds) Philosophisches Handbuch Künstliche Intelligenz. Springer Reference Geisteswissenschaften. Springer VS, Wiesbaden. https://doi.org/10.1007/978-3-658-23715-8_39-1

Download citation

  • DOI: https://doi.org/10.1007/978-3-658-23715-8_39-1

  • Received:

  • Accepted:

  • Published:

  • Publisher Name: Springer VS, Wiesbaden

  • Print ISBN: 978-3-658-23715-8

  • Online ISBN: 978-3-658-23715-8

  • eBook Packages: Springer Referenz Sozialwissenschaften und Recht

Publish with us

Policies and ethics

Search

Navigation