Skip to main content
Log in

Ausmaß und Risikofaktoren des Publication Bias in der deutschen Soziologie

Prevalence and Risk-Factors of Publication Bias in German Sociology

  • Abhandlungen
  • Published:
KZfSS Kölner Zeitschrift für Soziologie und Sozialpsychologie Aims and scope Submit manuscript

Zusammenfassung

Die statistische Signifikanz von Forschungsergebnissen wird oft fälschlicherweise als ein Indikator für deren Relevanz und Aussagekraft gehalten. Signifikante Ergebnisse werden eher veröffentlicht, obwohl nicht-signifikante Ergebnisse gleichermaßen für den Erkenntnisfortschritt bedeutsam sind. Die Folgen sind eine Überschätzung von Effektstärken und eine zu optimistische Beurteilung von Theorien. Im vorliegenden Beitrag wird dem Problem des Publication Bias (PB) in der deutschen Soziologie anhand von elf Jahrgängen der zwei wichtigsten deutschsprachigen Soziologie-Zeitschriften (Kölner Zeitschrift für Soziologie und Sozialpsychologie, Zeitschrift für Soziologie) mithilfe des Caliper-Tests nachgegangen. Lassen sich ebenso wie in US-amerikanischen Soziologie-Zeitschriften Hinweise auf einen PB finden, und wenn ja, unter welchen Bedingungen ist dieser besonders stark ausgeprägt? Im Mittelpunkt der Ursachenanalyse stehen Möglichkeiten der Datenmanipulation sowie der sozialen Kontrolle durch Forschende. Im Ergebnis finden sich auch für die deutsche Soziologie Hinweise auf einen PB, wenngleich in schwächerem Umfang als in US-amerikanischen Zeitschriften. Einfache Maßnahmen wie Herausgebervorgaben, wonach Daten für Replikationen zur Verfügung zu stellen sind, zeigen keine durchschlagende Wirkung. Es lässt sich lediglich eine leichte Tendenz feststellen, dass komplexe Arbeiten mit mehreren parallel zu testenden Hypothesen das PB-Risiko abmildern.

Abstract

Statistical significance of research results is often misleadingly regarded as an indicator of relevance and explanatory power. Significant results have better chances of getting published than non-significant results, although both are equally important for scientific progress. Such a selection of significant results is accompanied by overestimated effect sizes and too optimistically (biased) evaluations of theories. In this article, the problem of publication bias (PB) is examined using the caliper test based on data from eleven volumes of the two leading German sociology journals (Kölner Zeitschrift für Soziologie und Sozialpsychologie and Zeitschrift für Soziologie). Is there any evidence for PB in these journals as it was detected for sociology journals in the US? Which conditions trigger the occurrence of PB? The analyses focus on the possibilities of data manipulation and social control by researchers. The results indicate that German sociology is indeed affected by PB though to a lesser extent than US journals. Editorial policies (e.g. policies that data have to be provided for replications) have not been effective so far. Only a slight tendency of a reduced PB-risk is found in case of more complex analyses, i.e. when multiple hypotheses are tested.

This is a preview of subscription content, log in via an institution to check access.

Access this article

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Instant access to the full article PDF.

Abb. 1
Abb. 2
Abb. 3

Notes

  1. In den Sozialwissenschaften werden neben dem 5 %-Niveau das konservativere 1 %-Niveau und das bei kleinen Fallzahlen verbreitete 10 %-Signifikanzniveau verwendet (Labovitz 1968; Skipper et al. 1967).

  2. Besonders eindrücklich lassen sich die Folgen in der Medizin veranschaulichen, in der die Unterdrückung nicht-signifikanter Studienergebnisse dazu führen kann, dass völlig wirkungslose Medikamente eingesetzt werden. Ein aktuelles Beispiel ist das Grippe-Mittel Tamiflu. Jefferson et al. (2013, S. 5) konnten in der Forschung zur Wirksamkeit einen klaren PB feststellen. Folgen sind u. a. sehr hohe Anschaffungskosten eines in der Wirkung überschätzten Präparats (über 70 Mio. € allein auf Bundesebene; Deutscher Bundestag 2013).

  3. Als verwandte Strategien lassen sich zudem das nachträgliche Zuschneiden der Hypothese auf die Ergebnisse (sogenanntes HARKING: hypotheses after the results are known; Kerr 1998) sowie die nachträgliche Anpassung von Signifikanzniveaus anführen.

  4. Meta-Analysen fassen mehrere Untersuchungen zu einem Effekt zusammen und bieten dank ihrer insgesamt höheren Fallzahlen der aggregierten Einzelstudien einen genaueren Aufschluss über den „wahren“ Effekt.

  5. http://www.asanet.org/journals/previous_editors_reports.cfm (Zugegriffen: 21.03.2014).

  6. Ein aufgedeckter Betrugsfall kann den Ausschluss aus der wissenschaftlichen Gemeinschaft nach sich ziehen, wie die vielen Retractions im Falle von Diederik Stapel oder der Verlust des Doktortitels im Falle von Hendrik Schön belegen (Stroebe et al. 2012). Ein PB ist dagegen nahezu sanktionslos, da es weitaus schwieriger bis unmöglich ist, ein vorsätzliches Fehlverhalten nachzuweisen.

  7. Daten aus den Editorials der ZfS 2002–2011, sowie aus dem Autorenmerkblatt zum Entscheidungsverfahren der KZfSS (Daten zu den Jahren 2000–2006; http://www.uni-koeln.de/kzfss/konventionen/ksents.htm (Zugegriffen: 21.03.2014).

  8. Eine alternative Interpretation wäre, dass bereits wenige signifikante Ergebnisse die Publikationschancen hinreichend erhöhen, sodass es weniger wichtig ist, ob weitere Effekte ebenfalls signifikant sind. Ein solcher „Grenznutzen“ der Anzahl signifikanter Ergebnisse für Publikationschancen ist bislang allerdings rein spekulativ, es gibt hierfür u. W. kein zwingendes theoretisches Argument (auch wenn dieses gelegentlich angeführt wird, siehe etwa Auspurg und Hinz 2011a).

  9. Zudem kann mit der Zahl der Autoren der Druck steigen, eine erfolgreiche Arbeit zu produzieren, da zumindest einer der Forschenden dringend auf eine erfolgreiche Publikation (beispielsweise für einen Ruf auf eine Professur) angewiesen ist. Allerdings kann man hier auch umgekehrt argumentieren, dass mit der Größe des Teams die Wahrscheinlichkeit steigt, dass zumindest ein hochreputierter Autor beteiligt ist, der aufgrund seines anerkannten Status nicht mehr auf signifikante Ergebnisse für Publikationszusagen angewiesen ist.

  10. Die Begriffe „Teststatistiken“ und „Testwerte“ und Testwerte werden im Folgenden synonym verwendet, gemeint sind beispielsweise p-, t-, oder z-Werte.

  11. Auch Brodeur et al. (2013) finden in ihrer grafischen Analyse deutlich mehr knapp signifikante als nichtsignifikante z-Werte.

  12. Diese ist nur empirisch abgeleitet, jedoch nicht theoretisch begründet.

  13. Ursprünglich geht der CT auf eine Idee von Edward Tufte zurück, der die Methodik in dem unveröffentlichten (und inzwischen leider auch verschollenen Manuskript) „Evidence Selection in Statistical Studies of Political Economy: The Distribution of Published Statistics“ anwendet (Gerber und Malhotra 2008b, S. 315). Wie auch Gerber und Malhotra anmerken, ist es angesichts des Forschungsthemas fast eine Ironie, dass dieses aus dem Jahr 1985 stammende Manuskript nie veröffentlicht wurde (oder werden konnte?).

  14. Siehe http://www.uni-koeln.de/kzfss/materialien/KS-66-4-Auspurg.pdf

  15. Im Gegensatz zu den anderen berichteten Studien verwenden Auspurg und Hinz (2011a) die genaueren t- statt z-Werte, was allerdings nur bei wenigen Artikeln mit sehr kleinen Fallzahlen zu unterschiedlichen Ergebnissen führt.

  16. Die Autoren kommen jedoch in ihrer Schlussfolgerung trotz signifikant überrepräsentierter Testwerte im OC des 3 %-Caliper zu dem Ergebnis, dass kein PB vorliegt.

  17. Auch Weiß und Berning (2013) können den Effekt der Mehrfachautorenschaft replizieren. Die Autoren analysieren überdies den Effekt des Status von Autoren, allerdings sind die Berechnungen und Ergebnisse aufgrund der knappen, überwiegend grafischen Darstellung in Form einer Posterpräsentation schwer zu deuten.

  18. Vgl. ein Impact Factor der ZfS von 0,604 und 0,481 bei der KZfSS (Journal Citation Report 2012).

  19. Die Darstellung des Kodierprozesses orientiert sich an den Empfehlungen der PRISMA Guidelines (Moher et al. 2009, S. 3).

  20. Zwei Studien fallen weg, da kein t-Wert berechenbar war (p = 0 für alle getesteten Koeffizienten) oder umgekehrte Hypothesen (Nullhypothese sollte nicht verworfen werden) aufgestellt wurden.

  21. Siehe die Autorenhinweise: http://www.zfs-online.org/index.php/zfs/information/authors (Zugegriffen: 21.03.2014).

  22. Die verbleibenden 58 % der 108 in den Analysen berücksichtigten Artikel sind in der ZfS 2000 bzw. 2001 sowie in der KZfSS erschienen.

  23. Siehe http://www.uni-koeln.de/kzfss/materialien/KS-66-4-Auspurg.pdf

  24. Die Freiheitsgrade der Modelle wurden in den Studien oft nicht berichtet. Es wird daher die Fallzahl als Proxy verwendet.

  25. Nur 1 % der Koeffizienten werden anhand des 1 %-Signifikanzniveaus diskutiert. Das verwendete Signifikanzniveau wird selten explizit ausgewiesen, die Kodierung stützt sich daher primär auf die Legenden unter Ergebnistabellen. In gut 6 % der Fälle konnte keinerlei Signifikanzniveau ermittelt werden.

  26. In Analogie zu Gerber und Malhotra (2006, S. 316 f.) werden die p-Werte des einseitigen Binomialtests berichtet.

  27. Ergebnisse von Zwei-Stichproben z-Tests. Zur besseren Vergleichbarkeit mit den Ergebnissen von Gerber und Malhotra (2008a) wurden die Ergebnisse mit z-Werten berechnet.

  28. Multikollinearitätsprobleme sind jedoch nicht zu befürchten (r < 0,45).

  29. Die vorhergesagten Werte von beiden Modellen (Logit und LPM) korrelieren hoch (r > 0,99), es ist von unverzerrten Schätzern der Maximum-Likelihood basierten logistischen Regression auszugehen.

  30. Darüber hinaus könnten auch die deutlich strengeren Standards in den US-amerikanischen Zeitschriften ihren Beitrag leisten: So sind dort die zu verwendenden Signifikanzniveaus stärker normiert. Im Falle des Fehlens solcher Standards erscheint es hingegen für Autoren sehr einfach, nur das Signifikanzniveau anzuheben und so „signifikante“ Ergebnisse zu erreichen, ohne noch Ergebnisse im Sinne des hier untersuchten PB hintrimmen zu müssen.

  31. Der Abdruck von lediglich Signifikanzsternchen ist nicht nur in Bezug auf den CT ein Informationsverlust; aufgrund der willkürlichen Signifikanzschwellen wäre es per se weitaus informativer, (zusätzlich) die genauen Signifikanzwerte (oder damit assoziierte Testwerte, wie t-Statistiken oder Standardfehler) zu berichten.

  32. Diekmann vergleicht diese Strategie sehr anschaulich mit Kontrolleuren im ÖPNV, deren Kontrollen das Risiko von Schwarzfahrern deutlich reduzieren (2005, S. 27). Die diesem Artikel zugrunde liegenden Daten und Analysefiles stehen auf folgender Webseite zur Verfügung: Siehe http://www.uni-koeln.de/kzfss/materialien/KS-66-4-Auspurg.zip

Literatur

  • Arrow, Kenneth. 1973. The theory of discrimination. In Discrimination in labor markets, Hrsg. Orley Ashenfelter und Albert Rees, 193–216. Princeton: Princeton UP.

    Google Scholar 

  • Auspurg, Katrin, und Thomas Hinz. 2011a. What fuels publication bias? Theoretical and empirical analyses of risk factors using the Caliper Test. Jahrbücher für Nationalökonomie und Statistik 231:636–660.

    Google Scholar 

  • Auspurg, Katrin, und Thomas Hinz. 2011b. Gruppenvergleiche bei Regressionen mit binären abhängigen Variablen – Probleme und Fehleinschätzungen am Beispiel von Bildungschancen im Kohortenverlauf. Zeitschrift für Soziologie 40:62–73.

    Google Scholar 

  • Baerlocher, Mark O., Jeremy O’Brien, Marshall Newton, Tina Gautam und Jason Noble. 2010. Data integrity, reliability and fraud in medical research. European Journal of Internal Medicine 21:40–45.

    Article  Google Scholar 

  • Becker, Gary S. 1968. Crime and punishment: An economic approach. Journal of Political Economy 76:169–217.

    Article  Google Scholar 

  • Begg, Colon B. 1994. Publication Bias. In The handbook of research synthesis, Hrsg. Harris Cooper und Larry V. Hedges, 399–409. New York: Russell Sage Foundations.

    Google Scholar 

  • Brodeur, Abel, Mathias Lé, Marc Sangnier und Yanos Zylberberg. 2013. Star wars: The empirics strike back. IZA Discussion Paper Series Nr. 7268. Institute for the Study of Labor. Bonn.

  • Brüderl, Josef. 2004. Meta-Analyse in der Soziologie: Bilanz der deutschen Scheidungsforschung oder „statistischer Fruchtsalat“? Zeitschrift für Soziologie 33:84–86.

    Google Scholar 

  • Brüderl, Josef. 2013. Sind die Sozialwissenschaften wissenschaftlich? Ergebnisse eines Replikationsexperiments. Vortrag im Rahmen der Tagung Rational-Choice Sociology. VIU Venedig. Venedig.

  • Cohen, Jacob. 1994. The earth is round (p < 0,05). American Psychologist 49:997–1003.

    Article  Google Scholar 

  • Dawes, Robyn M. 1980. Social dilemmas. Annual Review of Psychology 31:169–193.

    Article  Google Scholar 

  • Deutscher Bundestag. 2013. Bundesregierung hält an Grippemittel Tamiflu fest. Heute im Bundestag – Gesundheit/Antwort 08.05.2013. Berlin. Deutscher Bundestag.

  • Dickersin, Kay. 2005. Publication bias: Recognizing the problem, understanding its origins and scope, and preventing harm. In Publication Bias in Meta-Analysis: Prevention, assessment and adjustments, Hrsg. Hannah R. Rothstein, Alexander J. Sutton und Michael Borenstein, 11–33. Oxford: Blackwell Science.

    Google Scholar 

  • Dickersin, Kay, Yan-I Min und Curtis L. Meinert. 1992. Factors influencing publication of research results. Follow-up of applications submitted to two institutional review boards. JAMA 267:374–378.

    Article  Google Scholar 

  • Diekmann, Andreas. 2005. Betrug und Täuschung in der Wissenschaft. Datenfälschung, Diagnoseverfahren, Konsequenzen. Schweizerische Zeitschrift für Soziologie 31:7–30.

    Google Scholar 

  • Diekmann, Andreas. 2011. Are most published research findings false? Jahrbücher für Nationalökonomie und Statistik 231:628–636.

    Google Scholar 

  • Diekmann, Andreas, Bettina Heintz, Richard Münch, Ilona Ostner und Hartmann Tyrell. 2002. Editorial. Zeitschrift für Soziologie 31:1–3.

    Google Scholar 

  • Easterbrook, Philippa J., Jesse A. Berlin, Ramana Gopalan und David R. Matthews. 1991. Publication Bias in Clinical Research. Lancet 337:867–872.

    Article  Google Scholar 

  • Egger, Matthias, und George D. Smith. 1998. Meta-analysis bias in location and selection of studies. British Medical Journal 316:61–66.

    Article  Google Scholar 

  • Fanelli, Daniele. 2009. How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data. PLoS ONE 4:e5738.

    Article  Google Scholar 

  • Fanelli, Daniele. 2012. Negative results are disappearing from most disciplines and countries. Scientometrics 90:891–904.

    Article  Google Scholar 

  • Feigenbaum, Susan, und David M. Levy. 1993. The market for (ir)reproducible econometrics. Accountability in Research 3:25–43.

    Article  Google Scholar 

  • Feigenbaum, Susan, und David M. Levy. 1996. The technological obsolescence of scientific fraud. Rationality and Society 8:261–276.

    Article  Google Scholar 

  • Ferguson, Christopher J., und Michael T. Brannick. 2012. Publication Bias in psychological science: Prevalence, methods for identifying and controlling, and implications for the use of meta-analyses. Psychological Methods 17:120–128.

    Article  Google Scholar 

  • Fisher, Ronald A. 1973. Statistical methods for research workers. New York: Hafner.

    Google Scholar 

  • Gerber, Alan S., und Neil Malhotra. 2006. Can political science literatures be believed? A study of Publication Bias in the APSR and the AJPS. Vortrag im Rahmen des Annual Meeting of the Midwest Political Science Association. Chicago.

  • Gerber, Alan S., und Neil Malhotra. 2008a. Publication Bias in empirical sociological research. Sociological Methods & Research 37:3–30.

    Article  Google Scholar 

  • Gerber, Alan S., und Neil Malhotra. 2008b. Do statistical reporting standards affect what is published? Publication Bias in two leading political science journals. Quarterly Journal of Political Science 3:313–326.

    Article  Google Scholar 

  • Gerber, Alan S., Neil Malhotra, Conor M. Dowling und David Doherty. 2010. Publication Bias in two political behavior literatures. American Politics Research 38:591–613.

    Article  Google Scholar 

  • Greene, William H. 2012. Econometric analysis. Boston: Prentice Hall.

    Google Scholar 

  • Hart, Robert A., und David H. Clark. 1999. Does size matter? Exploring the small sample properties of maximum likelihood estimation. Annual Meeting of the Midwest Political Science Association.

  • Hirschi, Travis. 1969. Causes of delinquency. Berkeley: University of California Press.

    Google Scholar 

  • Holm, Sture. 1979. A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics 6:65–70.

    Google Scholar 

  • Jefferson, Tom, Mark A. Jones, Peter Doshi, Chris B. Del Mar, Carl J. Heneghan, Rokuro Hama und Matthew J. Thompson. 2013. Neuraminidase inhibitors for preventing and treating influenza in healthy adults. Cochrane Database of Systematic Reviews.

  • Kerr, Norbert L. 1998. HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review 2:196–217.

    Article  Google Scholar 

  • Kollock, Peter. 1998. Social dilemmas: The anatomy of cooperation. Annual Review of Sociology 24:183–214.

    Article  Google Scholar 

  • Labovitz, Sanford. 1968. Criteria for selecting a significance level: A note on the sacredness of.05. The American Sociologist 3:220–222.

    Google Scholar 

  • Leggett, Nathan C., Nicole A. Thomas, Tobias Loetscher und Michael E. R. Nicholls. 2013. The life of p: „Just significant“ results are on the rise. Quarterly Journal of Experimental Psychology 66:2303–2309.

    Article  Google Scholar 

  • Mahoney, Michael J. 1977. Publication prejudices: An experimental study of confirmatory bias in the peer review system. Cognitive Therapy and Research 1:161–175.

    Article  Google Scholar 

  • Masicampo, E. J., und D. R. Lalande. 2012. A peculiar prevalence of p values just below.05. Quarterly Journal of Experimental Psychology 65:2271–2279.

    Article  Google Scholar 

  • Merton, Robert K. 1957. Priorities in scientific discovery: A chapter in the sociology of science. American Sociological Review 22:635–659.

    Article  Google Scholar 

  • Merton, Robert K. 1961. Singletons and multiples in scientific discovery: A chapter in the sociology of science. Proceedings of the American Philosophical Society 105:470–486.

    Google Scholar 

  • Moher, David, Alessandro Liberati, Jennifer Tetzlaff, Douglas G. Altman und The Prisma Group. 2009. Preferred reporting items for systematic reviews and meta-analyses: The PRISMA statement. PLoS Med 6:e1000097.

    Article  Google Scholar 

  • Necker, Sarah. 2012. Wissenschaftliches Fehlverhalten – ein Problem in der deutschen Volkswirtschaftslehre? Perspektiven der Wirtschaftspolitik 13:267–285.

    Article  Google Scholar 

  • Nuzzo, Regina. 2014. Scientific method: Statistical errors. Nature 506:150–152.

    Article  Google Scholar 

  • Phelps, Edmund S. 1972. The statistical theory of racism and sexism. The American Economic Review 62:659–661.

    Google Scholar 

  • Rogers, William. 1994. Regression standard errors in clustered samples. Stata Technical Bulletin 3:19–23.

    Google Scholar 

  • Rosenthal, Robert. 1979. The file drawer problem and tolerance for null results. Psychological Bulletin 86:638–641.

    Article  Google Scholar 

  • Sahner, Heinz. 1979. Veröffentlichte empirische Sozialforschung – Eine Kumulation von Artefakten eine Analyse von Periodika. Zeitschrift für Soziologie 8:267–278.

    Google Scholar 

  • Simonsohn, Uri, Leif D. Nelson und Joseph P. Simmons. 2014. P-curve: A key to the file drawer. Journal of Experimental Psychology: General 143: 534–547.

    Article  Google Scholar 

  • Skipper, James K., Jr., Anthony L. Guenther und Gilbert Nass. 1967. The sacredness of.05: A note concerning the uses of statistical levels of significance in social science. The American Sociologist 2:16–18.

    Google Scholar 

  • Slote, Michael. 1985. Utilitarianism, moral dilemmas, and moral cost. American Philosophical Quarterly 22:161–168.

    Google Scholar 

  • Stephan, Paula E. 2010. The economics of science. In Handbook of the economics of innovation, Hrsg. Bronwyn H. Hall und Nathan Rosenberg, 1, 217–274. Amsterdam: North Holland.

    Chapter  Google Scholar 

  • Sterling, Theodore D. 1959. Publication decisions and their possible effects on inferences drawn from tests of significance – or vice versa. Journal of the American Statistical Association 54:30–34.

    Google Scholar 

  • Sterling, Theodore. D., Wilfred L. Rosenbaum und James J. Weinkam. 1995. Publication decisions revisited: The effect of the outcome of statistical tests on the decision to publish and vice versa. The American Statistician 49:108–112.

    Google Scholar 

  • Stern, Jerome M., und R. John Simes. 1997. Publication Bias: Evidence of delayed publication in a cohort study of clinical research projects. British Medical Journal 315:640–645.

    Article  Google Scholar 

  • Sterne, Jonathan A. C., David Gavaghan und Matthias Egger. 2000. Publication and related bias in meta-analysis: Power of statistical tests and prevalence in the literature. Journal of Clinical Epidemiology 53:1119–1129.

    Article  Google Scholar 

  • Stroebe, Wolfgang, Tom Postmes und Russell Spears. 2012. Scientific misconduct and the myth of self-correction in science. Perspectives on Psychological Science 7:670–688.

    Article  Google Scholar 

  • Sutton, Alexander J., und Therese D. Pigott. 2006. Bias in meta-analysis induced by incompletely reported studies. In Publication Bias in meta-analysis, Hrsg. Hannah Rothstein, Alexander J. Sutton und Michael Borenstein, 221–239. Chichester: John Wiley & Sons.

    Chapter  Google Scholar 

  • Weiß, Bernd, und Michael Wagner. 2008. Potentiale und Probleme von Meta-Analysen in der Soziologie. Sozialer Fortschritt 10/11:250–255.

    Article  Google Scholar 

  • Weiß, Bernd, und Carl Berning. 2013. Publication Bias in the German social sciences: An application of the caliper test for three high-ranking German social science journals. Poster präsentiert am Campell Colloquium. Chicago.

  • Wilson, Franklin D., Gale L. Smoke und J. David Martin. 1973. The replication problem in sociology: A report and a suggestion. Sociological Inquiry 43:141–149.

    Article  Google Scholar 

  • Zeitschrift für Soziologie. 2012. Editorial. Zeitschrift für Soziologie 41:2–4.

    Google Scholar 

Download references

Author information

Authors and Affiliations

Authors

Corresponding author

Correspondence to Katrin Auspurg.

Rights and permissions

Reprints and permissions

About this article

Check for updates. Verify currency and authenticity via CrossMark

Cite this article

Auspurg, K., Hinz, T. & Schneck, A. Ausmaß und Risikofaktoren des Publication Bias in der deutschen Soziologie. Köln Z Soziol 66, 549–573 (2014). https://doi.org/10.1007/s11577-014-0284-3

Download citation

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s11577-014-0284-3

Schlüsselwörter

Keywords

Navigation