Skip to main content

Heikle Fragen und Vertrauen: Erklärungen des Antwortverhaltens in Randomized Response Surveys

  • Chapter
  • First Online:
Devianz und Subkulturen

Part of the book series: Kriminalität und Gesellschaft ((KRIMI))

  • 4643 Accesses

Zusammenfassung

Die „Randomized Response Technik“ (RRT) ist eine indirekte Befragungsmethode, die mithilfe eines Zufallsmechanismus Anonymität bei der Beantwortung heikler Fragen in Surveys herstellt. Frühere Studien nahmen häufig implizit an, dass die Befragten der RRT vertrauen, den Instruktionen folgen und entsprechend geneigt sind, ehrliche Antworten zu geben. Allerdings zeigen Validierungsstudien, dass der Einsatz der RRT nicht immer zu ehrlicheren Antworten führt, sondern teils sogar schlechtere Ergebnisse liefert, als die direkte Befragung. Dieser Artikel untersucht deshalb auf einer theoretischen Ebene die Bedingungen, unter denen diese impliziten Annahmen mit dem rationalen Verhalten der Befragten konsistent sind: Erstens, da P (A | Ja) > P (A | Nein) ist, haben beide Typen von Befragten A (mit heiklem Merkmal) und Nicht-A (ohne heikles Merkmal) einen Anreiz die RRT-Instruktionen zu missachten. Im Gegensatz dazu haben Befragte vom Typ Nicht-A in einer direkten Befragung keinen Anreiz, unehrliche Antworten zu geben. In einer RRT-Befragung ist entsprechend das Ausmaß der Verzerrung durch Effekte sozialer Erwünschtheit theoretisch höher, als in direkten Befragungen. Zweitens, ein einfacher spieltheoretischer Ansatz modelliert die Interviewsituation als soziale Interaktion zwischen Befragten und Interviewern in einem Kontext von Normen und wechselseitigen Erwartungen. Es wird argumentiert, dass die Entscheidung des Befragten ehrlich zu antworten abhängt von: 1) der subjektiven Wahrscheinlichkeit, dass der Interviewer Vertrauen honoriert und 2) der Relation des Nutzens aus der Befolgung einer „Ehrlichkeitsnorm“ und den potenziellen Kosten einer ehrlichen Antwort. Schließlich zeigen wir unter Berücksichtigung bisheriger empirischer Evidenz unter welchen Bedingungen ein Erfolg bzw. Scheitern der RRT zu erwarten ist.

This is a preview of subscription content, log in via an institution to check access.

Access this chapter

Chapter
USD 29.95
Price excludes VAT (USA)
  • Available as PDF
  • Read on any device
  • Instant download
  • Own it forever
eBook
USD 49.99
Price excludes VAT (USA)
  • Available as EPUB and PDF
  • Read on any device
  • Instant download
  • Own it forever
Softcover Book
USD 64.99
Price excludes VAT (USA)
  • Compact, lightweight edition
  • Dispatched in 3 to 5 business days
  • Free shipping worldwide - see info

Tax calculation will be finalised at checkout

Purchases are for personal use only

Institutional subscriptions

Notes

  1. 1.

    Neben dem Vertrauensproblem, sind auch andere Erklärungsfaktoren sozial erwünschten Antwortverhaltens denkbar, wie z. B. Selbsttäuschung, Rationalisierung oder auch die Tatsache, dass das Erinnern und Berichten unangenehmer Sachverhalte häufig inhärente subjektive Kosten für Befragte haben kann (siehe Tourangeau und Yan 2007; Krumpal und Näher 2012). Der Fokus dieses Beitrags liegt aber auf dem Vertrauensproblem.

  2. 2.

    Es wurden statistische Modelle entwickelt, die einem solchen ausweichenden Antwortverhalten Rechnung tragen (Cruyff et al. 2007).

  3. 3.

    John et al. (2018) geben einen nützlichen Überblick über bisherige Validierungsstudien zur RRT. Diese deuten auf gemischte Evidenzen bezüglich der Güte der RRT im Vergleich zu direkten Befragungen hin. Basierend auf Erkenntnissen der Kognitionspsychologie und experimentellen Evidenzen, vermuten die Autoren, dass die RRT häufig scheitert, weil die Befragten eine Fehlinterpretation ihrer Antworten befürchten. Besonders „unschuldige“ Befragte hätten Zweifel den RRT-Anweisungen zu folgen (z. B. mit „Ja“ zu antworten), da dies fälschlicherweise als Hinweis auf die Zugehörigkeit zur Gruppe mit dem heiklen Merkmal A interpretiert werden könnte. Wir argumentieren, dass selbst perfekt-rationale und eigennützige Akteure (rationale) Bedenken bezüglich einer solchen Falschinterpretation hätten.

  4. 4.

    Eine Einführung in elementare spieltheoretische Konzepte findet sich bei Dixit et al. (2009). So kann ein Nash Gleichgewicht definiert werden als „a set of strategies such that each player has correct beliefs about the others’ strategies and strategies are best for each player given beliefs about the other’s strategies“ (Dixit et al. 2009, S. 120). Zudem reduziert die Eigenschaft der Teilspielperfektheit die Anzahl potentieller Gleichgewichte, indem das Kriterium der Glaubwürdigkeit eingeführt wird und somit Spieler auffordert „to use strategies that constiute a Nash equilibrium in every subgame of the larger game“ (Dixit et al. 2009, S. 198).

  5. 5.

    „Soziale Erwünschtheit“ ist ein Urteil darüber, wie ein bestimmtes Merkmal von der Gesellschaft bewertet wird (Groves 1989). Einige Verhaltensweisen werden positiv (z. B. Blutspenden), andere dagegen negativ bewertet (z. B. illegaler Drogenkonsum). Soziale Normen sind dabei die Basis von normativen Bewertungen bzw. Erwünschtheitswahrnehmungen (der sog. „Trait Desirability“; für eine Diskussion siehe Stocké 2007b; Krumpal und Näher 2012). In Umfragen sind Befragte häufig nicht bereit, solche Merkmale offenzulegen, von denen sie glauben, dass diese als sozial unerwünscht bewerten werden, weil sie gegen soziale Normen verstoßen. Im Folgenden verwenden wir den Begriff „Norm sozialer Erwünschtheit“ um soziale Normen zu bezeichnen, die spezifizieren welche Merkmale in der Gesellschaft als erwünscht gelten.

Literatur

  • Andreoni, J. (1990). Impure altruism and donations to public goods. The Economic Journal, 100, 447–464.

    Article  Google Scholar 

  • Blair, G., Imai, K., & Zhou, Y.-Y. (2015). Design and analysis of the randomized response technique. Journal of the American Statistical Association, 110, 1304–1319.

    Article  Google Scholar 

  • Boruch, R. F. (1971). Assuring confidentiality of responses in social research. A systematic analysis. The American Psychologist, 26, 413–430.

    Article  Google Scholar 

  • Buskens, V., & Raub, W. (2002). Embedded trust. Control and learning. In E. J. Lawler & S. R. Thye (Hrsg.), Advances in Group Processes (S. 167–202). Bingley: Emerald Group Publishing Limited.

    Chapter  Google Scholar 

  • Camerer, C. F. (2003). Behavioral game theory. Experiments in strategic interaction. New York: Russell Sage Foundation.

    Google Scholar 

  • Coleman, J. S. (1990). Foundations of social theory. Cambridge: The Belknap Press of Harvard University Press.

    Google Scholar 

  • Couper, M. P., Singer, E., Conrad, F., & Groves, R. (2008). Risk of disclosure, perceptions of risk, and concerns about privacy and confidentiality as factors in survey participation. Journal of Official Statistics, 24, 255–275.

    Google Scholar 

  • Coutts, E., & Jann, B. (2011). Sensitive questions in online surveys. Experimental results for the randomized response technique (rrt) and the unmatched count technique (UCT). Sociological Methods and Research, 40, 169–193.

    Article  Google Scholar 

  • Coutts, E., Jann, B., Krumpal, I., & Näher, A. F. (2011). Plagiarism in student papers. Prevalence estimates using special techniques for sensitive questions. Jahrbücher für Nationalökonomie und Statistik, 231, 749–760.

    Article  Google Scholar 

  • Cryuff, M., van den Hout, A., van der Heijden, P. G., & Böckenholt, U. (2007). Log-linear randomized-response models taking self-protective response behavior into account. Sociological Methods and Research, 36, 266–282.

    Article  Google Scholar 

  • Diekmann, A. (2004). The power of reciprocity. The Journal of Conflict Resolution, 48, 487–505.

    Article  Google Scholar 

  • Dixit, A., Skeath, S., & Reiley, D., Jr. (2009). Games of strategy (3. Aufl.). New York: W.W. Norton & Company.

    Google Scholar 

  • Esser, H. (1986). Können Befragte lügen? Zum Konzept des „wahren Wertes“ im Rahmen der handlungstheoretischen Erklärung von Situationseinflüssen bei der Befragung. Kölner Zeitschrift für Soziologie und Sozialpsychologie, 38, 314–336.

    Google Scholar 

  • Esser, H. (1990). „Habits“, „Frames“ und „Rational Choice“. Die Reichweite von Theorien der rationalen Wahl (am Beispiel der Erklärung des Befragtenverhaltens). Zeitschrift für Soziologie, 19, 231–247.

    Article  Google Scholar 

  • Fehr, E., & Gächter, S. (2000). Fairness and retaliation. Journal of Economic Perspectives, 14, 159–181.

    Article  Google Scholar 

  • Fox, J. A., & Tracy, P. E. (1986). Randomized response. A method for sensitive surveys. Beverly Hills: Sage.

    Book  Google Scholar 

  • Gouldner, A. W. (1960). The norm of reciprocity. A Preliminary Statement. American Sociological Review, 25, 161–178.

    Article  Google Scholar 

  • Groves, R. M. (1989). Survey errors and survey costs. New York: Wiley.

    Book  Google Scholar 

  • Groves, R. M., Singer, E., & Corning, A. (2000). Leverage-saliency theory of survey participation. Description and an illustration. Public Opinion Quarterly, 64, 299–308.

    Article  Google Scholar 

  • Höglinger, M., & Jann, B. (2018). More is not always better. An experimental individual-level validation of the randomized response technique and the crosswise model. PLoS ONE, 13, 1–22.

    Article  Google Scholar 

  • Höglinger, M., Jann, B., & Diekmann, A. (2016). Sensitive questions in online surveys: An experimental evaluation of different implementations of the randomized response technique and the crosswise model. Survey Research Methods, 10, 171–187.

    Google Scholar 

  • Holbrook, A. L., & Krosnick, J. A. (2010). Measuring voter turnout by using the randomized response technique. Evidence calling into question the method’s validity. Public Opinion Quarterly, 74, 161–178.

    Google Scholar 

  • Jann, B., Krumpal, I., & Wolter, F. (Hrsg.). (2019). Social desirability bias in surveys. Collecting and analyzing sensitive data. Special issue of methods, data, analyses (MDA). Mannheim: GESIS.

    Google Scholar 

  • John, L. K., Loewenstein, G. F., Acquisti, A., & Vosgerau, J. (2018). When and why randomized response techniques (fail to) elicit the truth. Organizational Behavior and Human Decision Processes, 148, 101–123.

    Article  Google Scholar 

  • Kirchner, A. (2015). Validating sensitive questions. A comparison of survey and register data. Journal of Official Statistics, 31, 31–59.

    Article  Google Scholar 

  • Krumpal, I. (2010). Sensitive questions and measurement error. Using the randomized response technique to reduce social desirability bias in CATI surveys. Dissertation: Universität Leipzig.

    Google Scholar 

  • Krumpal, I. (2012). Estimating the prevalence of xenophobia and anti-semitism in Germany. Social Science Research, 41, 1387–1403.

    Article  Google Scholar 

  • Krumpal, I. (2013). Determinants of social desirability bias in sensitive surveys. Quality & Quantity, 47, 2025–2047.

    Article  Google Scholar 

  • Krumpal, I., & Näher, A.-F. (2012). Entstehungsbedingungen sozial erwünschten Antwortverhaltens. Eine experimentelle Studie zum Einfluss des Wordings und des Kontexts bei unangenehmen Fragen. Soziale Welt, 63, 65–89.

    Article  Google Scholar 

  • Krumpal, I., Jann, B., Auspurg, K., & von Hermanni, H. (2015). Asking sensitive questions. A critical account of the randomized response technique and related methods. In U. Engel, B. Jann, P. Lynn, A. Scherpenzeel, & P. J. Sturgis (Hrsg.), Improving survey methods (S. 122–136). New York: Routledge, Taylor & Francis Group.

    Google Scholar 

  • Landsheer, J. A., van der Heijden, P. G. M., & van Gils, G. (1999). Trust and understanding, two psychological aspects of randomized response. Quality & Quantity, 33, 1–12.

    Article  Google Scholar 

  • Lensvelt-Mulders, G. J., Hox, J. J., & van der Heijden, P. G. M. (2005a). How to improve the efficiency of randomized response designs. Quality & Quantity, 39, 253–265.

    Article  Google Scholar 

  • Lensvelt-Mulders, G. J., Hox, J. J., van der Heijden, P. G. M., & Mass, C. J. (2005b). Meta-analysis of randomized response research. Thirty-five years of validation. Sociological Methods and Research, 33, 319–348.

    Article  Google Scholar 

  • Ljungqvist, L. (1993). A unified approach to measures of privacy in randomized response models. A utilitarian perspective. Journal of the American Statistical Association, 88, 97–103.

    Google Scholar 

  • Ostapczuk, M., Musch, J., & Moshagen, M. (2009). A randomized-response investigation of the education effect in attitudes towards foreigners. European Journal of Social Psychology, 39, 920–931.

    Article  Google Scholar 

  • Rasinski, K. A., Willis, G. B., Baldwin, A. K., Yeh, W. C., & Lee, L. (1999). Methods of data collection, perceptions of risks and losses, and motivation to give truthful answers to sensitive survey questions. Applied Cognitive Psychology, 13, 465–484.

    Article  Google Scholar 

  • Singer, E. (2011). Toward a benefit-cost theory of survey participation. Evidence, further tests, and implications. Journal of Official Statistics, 27, 379–392.

    Google Scholar 

  • Stem, D. E., & Steinhorst, R. K. (1984). Telephone interview and mail questionnaire applications of the randomized response model. Journal of the American Statistical Association, 79, 555–564.

    Article  Google Scholar 

  • Stocké, V. (2007a). The interdependence of determinants for the strength and direction of social desirability bias in racial attitude surveys. Journal of Official Statistics, 23, 493–514.

    Google Scholar 

  • Stocké, V. (2007b). Determinants and consequences of survey respondents’ social desirability beliefs about racial attitudes. Methodology, 3, 125–138.

    Article  Google Scholar 

  • Tourangeau, R., & Yan, T. (2007). Sensitive questions in surveys. Psychological Bulletin, 133, 859–883.

    Article  Google Scholar 

  • Tutic, A., & Voss, T. (2020). Trust and game theory. Mimeo. In Simon, J. (Hrsg.), The routledge handbook on the philosophy of trust. New York: Taylor and Francis.

    Google Scholar 

  • Voss, T. (1998). Vertrauen in modernen Gesellschaften. Eine spieltheoretische Analyse. In R. Metze & K. Mühler (Hrsg.), Der Transformationsprozess (S. 91–129). Leipzig: Universitätsverlag.

    Google Scholar 

  • Warner, S. L. (1965). Randomized response. A survey technique for eliminating evasive answer bias. Journal of the American Statistical Association, 60, 63–66.

    Article  Google Scholar 

  • Weissman, A. N., Steer, R. A., & Lipton, D. S. (1986). Estimating illicit drug use through telephone interviews and the randomized response technique. Drug and Alcohol Dependence, 18, 225–233.

    Article  Google Scholar 

  • Wolter, F., & Preisendörfer, P. (2013). Asking sensitive questions. An evaluation of the randomized response technique versus direct questioning using individual validation data. Sociological Methods and Research, 42, 321–353.

    Article  Google Scholar 

Download references

Danksagung

Die Autorenreihenfolge ist alphabetisch. Wir danken Roger Berger und Max Otto für hilfreiche Hinweise und Vorschläge.

Author information

Authors and Affiliations

Authors

Corresponding author

Correspondence to Ivar Krumpal .

Editor information

Editors and Affiliations

Anhang: Beweis, dass P(A|Ja) > P(A|Nein)

Anhang: Beweis, dass P(A|Ja) > P(A|Nein)

Es gibt zwei Typen von Befragten A (mit heiklem Merkmal) und Nicht-A (ohne heikles Merkmal). Der Einfachheit halber werden nur dichotome Items mit den Antwortmöglichkeiten „Ja“ oder „Nein“ berücksichtigt. Zunächst werden die Bedingungen identifiziert, unter denen \( P(A|Ja) > P(A|Nein) \) bzw. \( P(NichtA|Nein) > P(NichtA|Ja) \) gilt. Aus dem RRT-Design ergeben sich die folgenden Design–Wahrscheinlichkeiten:

$$ P\left( {Ja |A} \right) = 1 - P(Nein|A) $$

und

$$ P\left( {Ja |NichtA} \right) = 1 - P(Nein|NichtA) $$

Unter der Annahme, dass alle Befragten den RRT-Regeln folgen, lassen sich mit dem Bayes-Theorem die bedingten Wahrscheinlichkeiten bestimmen, dass gegeben eine bestimmte Antwort, ein Befragter Mitglied der stigmatisierten Gruppe A ist:

$$ P(A|Antwort) = \frac{P(A) \cdot P(Antwort|A)}{P(A) \cdot P(Antwort|A) + P(NichtA) \cdot P(Antwort|NichtA)} $$

Hierbei ist \( P(A) \) gleich dem unbekannten Populationsanteil \( \pi_{A} \) mit dem heiklen Merkmal A. Setzt man nun eine spezifische Antwort ein, dann ergibt sich:

$$ P(A|Ja) = \frac{P(A) \cdot P(Ja|A)}{P(A) \cdot P(Ja|A) + P(NichtA) \cdot P(Ja|NichtA)} $$

und

$$ P(A|Nein) = \frac{P(A) \cdot P(Nein|A)}{P(A) \cdot P(Nein|A) + P(NichtA) \cdot P(Nein|NichtA)} $$

Nun muss die Bedingung gefunden werden, unter der \( \frac{P(A|Ja)}{P(A|Nein)}\mathop > \limits^{!} 1 \) ist: \( \frac{{P\left( {A |Ja} \right)}}{{P\left( {A |Nein} \right)}} = \)\( = \frac{{P\left( A \right) \cdot P\left( {Ja |A} \right)}}{{P\left( A \right) \cdot P\left( {Ja |A} \right) + P\left( {NichtA} \right) \cdot P\left( {Ja |NichtA} \right)}} \cdot \frac{{P\left( A \right) \cdot P\left( {Nein |A} \right) + P\left( {NichtA} \right) \cdot P\left( {Nein |NichtA} \right)}}{{P\left( A \right) \cdot P\left( {Nein |A} \right)}} \) \( = \frac{{P\left( A \right) \cdot P\left( {Ja |A} \right) \cdot P\left( {Nein |A} \right) + P(NichtA) \cdot P\left( {Ja |A} \right) \cdot P(Nein|NichtA)}}{P(A) \cdot P(Ja|A) \cdot P(Nein|A) + P(NichtA) \cdot P(Ja|NichtA) \cdot P(Nein|A)}\mathop > \limits^{!} 1 \Leftrightarrow \) \( \frac{{a + P(NichtA) \cdot P\left( {Ja |A} \right) \cdot P(Nein|NichtA)}}{a + P(NichtA) \cdot P(Ja|NichtA) \cdot P(Nein|A)}\mathop > \limits^{!} 1 \Leftrightarrow \) \( P\left( {NichtA} \right) \cdot P\left( {Ja |A} \right) \cdot P\left( {Nein |NichtA} \right) > P\left( {NichtA} \right) \cdot P\left( {Ja |NichtA} \right) \cdot P\left( {Nein |A} \right) \Leftrightarrow \) \( P\left( {Ja |A} \right) \cdot P\left( {Nein |NichtA} \right) > P\left( {Ja |NichtA} \right) \cdot P\left( {Nein |A} \right) \)

Aus \( P\left( {Nein |NichtA} \right) = 1 - P(Ja|NichtA) \) folgt:

$$ P\left( {Ja |A} \right) \cdot \left( {1 - P(Ja|NichtA)} \right) > P\left( {Ja |NichtA} \right) \cdot P\left( {Nein |A} \right) \Leftrightarrow $$
$$ P\left( {Ja |A} \right) - P\left( {Ja |A} \right) \cdot P(Ja|NichtA) > P\left( {Ja |NichtA} \right) \cdot P\left( {Nein |A} \right) \Leftrightarrow $$
$$ P\left( {Ja |A} \right) > P\left( {Ja |NichtA} \right) \cdot P\left( {Nein |A} \right) + P\left( {Ja |A} \right) \cdot P(Ja|NichtA) \Leftrightarrow $$

\( P\left( {Ja |A} \right) > P\left( {Ja |NichtA} \right) \cdot \left( {P\left( {Nein |A} \right) + P(Ja|A)} \right) \)

Weil \( P\left( {Nein |A} \right) + P\left( {Ja |A} \right) = 1 \) ist, ist die folgende Bedingung für \( P\left( {A |Ja} \right) > P\left( {A |Nein} \right) \) bzw. \( P\left( {NichtA |Nein} \right) > P\left( {NichtA |Ja} \right) \) wahr:

$$ P\left( {Ja |A} \right) > P\left( {Ja |NichtA} \right) $$

und \( P\left( {Nein |NichtA} \right) > P\left( {Nein |A} \right) \)

Im RRT-Design enthalten automatische „Ja“- oder „Nein“-Antworten keine Informationen über den Befragten und sind unabhängig von dessen wahren Status bezüglich des heiklen Merkmals.

Sei eine ehrliche Antwort auf eine heikle Frage als \( Q \) und eine automatische Antwort als \( Q' \) bezeichnet. Zudem nehmen wir an, dass alle Befragten die RRT-Regeln befolgen. Für den Fall, dass das Zufallsexperiment eine automatische Antwort festlegt (mit Wahrscheinlichkeit \( 1 - p \)), ergibt sich:

$$ P(Ja|A\mathop \cap \nolimits Q') = P(Ja|NichtA\mathop \cap \nolimits Q') $$

und \( P(Nein|NichtA\mathop \cap \nolimits Q') = P(Nein|A\mathop \cap \nolimits Q') \).

Im Gegensatz dazu, erhalten wir für den Fall, dass das Zufallsexperiment als Ergebnis eine ehrliche Antwort erfordert (mit Wahrscheinlichkeit \( p \)):

$$ P(Ja|A\mathop \cap \nolimits Q) = P(Nein|NichtA\mathop \cap \nolimits Q) = 1 $$

und \( P(Nein|A\mathop \cap \nolimits Q) = P(Ja|NichtA\mathop \cap \nolimits Q) = 0 \).

Somit ist es offensichtlich, dass für jede Auswahlwahrscheinlichkeit \( p > 0 \) die Bedingungen \( P(Ja|A) > P(Ja|NichtA) \) und \( P(Nein|NichtA) > P(Nein|A) \) wahr sind.

Folglich sind auch die vorgeschlagenen bayesschen Ungleichungen \( P\left( {A |Ja} \right) > P\left( {A |Nein} \right) \) und \( P\left( {NichtA |Nein} \right) > P\left( {NichtA |Ja} \right) \) für jede Auswahlwahrscheinlichkeit der heiklen Frage von \( p > 0 \) (und \( 0 < P\left( A \right) = \pi_{A} < 1 \)) wahr. Im RRT-Design lässt sich die Differenz \( P(A|Ja) - P(A|Nein) \) als „Grad des Datenschutzes“ der RRT interpretieren. Hierbei kann der Grad des Datenschutzes maximiert werden, indem \( P(A|Ja) \) und \( P(A|Nein) \) möglichst nah beieinander liegend konzipiert werden (siehe auch Ljungqvist 1993 für ähnliche Vorschläge).

Rights and permissions

Reprints and permissions

Copyright information

© 2020 Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature

About this chapter

Check for updates. Verify currency and authenticity via CrossMark

Cite this chapter

Krumpal, I., Voss, T. (2020). Heikle Fragen und Vertrauen: Erklärungen des Antwortverhaltens in Randomized Response Surveys. In: Krumpal, I., Berger, R. (eds) Devianz und Subkulturen. Kriminalität und Gesellschaft. Springer VS, Wiesbaden. https://doi.org/10.1007/978-3-658-27228-9_4

Download citation

  • DOI: https://doi.org/10.1007/978-3-658-27228-9_4

  • Published:

  • Publisher Name: Springer VS, Wiesbaden

  • Print ISBN: 978-3-658-27227-2

  • Online ISBN: 978-3-658-27228-9

  • eBook Packages: Social Science and Law (German Language)

Publish with us

Policies and ethics