Eine vermessene Gesellschaft braucht Transparenz

Abstract

Ende Oktober 2018 hat der Sachverständigenrat für Verbraucherfragen das Gutachten „Verbrauchergerechtes Scoring“ vorgelegt. Es geht dabei um die sich ausbreitende Praxis, immer mehr Aspekte des Verhaltens der Bürger durch „Scores“ vorherzusagen oder zu steuern. Scoring ist durch eine Reihe von Kernproblemen gekennzeichnet: mangelnde Transparenz und Qualitätskontrolle für Daten und Algorithmen, ungenügende personelle sowie technische Ausstattung der Aufsicht und die zukünftige Gefahr eines kommerziellen Super- Scores ähnlich dem Sozialkredit-System in China. Anbieter von sensitiven Scores sollten verpflichtet werden, den Betroffenen alle Merkmale und deren Gewichtung offenzulegen. Grundsätzlich sind nicht Scoring-Algorithmen, sondern eine nicht hinreichend leistungsstarke Aufsicht das Problem.

Abstract

Scores are numerical ratings used to predict or steer people’s behaviour. Traditionally, people have not only received scores on their educational achievements (grades) but also on their creditworthiness. The current spread of digital technologies is broadening the possibilities for assessing and rating individuals. This entails both novel risks and opportunities for scored individuals. These opportunities, however, can only be fully realized when society’s various legitimate expectations are met. It is then that consumers will accept and benefit from scoring systems. These expectations will include simple and effective ways for individuals to appeal their score. Protected characteristics (such as gender) may not be used as a basis for unwarranted discrimination, be it directly or indirectly. When scores are calculated for the purpose of making predictions, the quality of the criteria applied and the reliability of the predictions must be demonstrated. Predictions need to adhere to the objective of the scoring system concerned, and scores should not be applied to different objectives. Above all, scoring systems must be comprehensible to those who are scored.