Zusammenfassung
Sekundäranalysen, d. h. Analysen von Daten, die nicht zu diesem Zweck und/oder nicht von diesen Personen erhoben wurden, haben eine große Verbreitung, wurden aber methodologisch kaum beleuchtet. Die Vorteile der Sekundäranalyse sind enorm und begründen ihre weite Verbreitung. Mögliche Nachteile für die Wissensentwicklung in einem Fach wurden dagegen bisher sehr selten diskutiert. Deshalb widmet sich der Beitrag insbesondere möglichen Nachteilen von Sekundäranalysen. Basieren empirische Erkenntnisse in einem Feld auf wenigen Datensätzen, fließen in den veröffentlichten Wissensbestand erkannte und unerkannte systematische Fehler sowie Zufallsfehler mehrfach ein. Es kommt zu einer Fehlermultiplikation. Der Raum unerkannter Fehlerquellen nimmt bei Trennung von Analysierenden und Erhebenden zu. Zudem folgt aus der Beschränkung auf wenige Datensätze eine Pfadabhängigkeit der Wissensgewinnung, denn nur die verfügbaren Variablen können in die Untersuchungen eingehen. Folgen sind der Eigenwert von Primärerhebungen, ergänzende Vorteile nicht ganz einschlägiger Datenquellen, die Berücksichtigung von Datensätzen bei der Beurteilung des Forschungsstandes und die Nutzung indirekter Messungen oder ergänzender Makrovariablen zur Integration unkonventioneller Konzepte. Nutzerkonferenzen können die Wissenslücke zwischen Erhebenden und Analysierenden verringern.
Abstract
Secondary analyses, i.e. analyses of data which were not collected for this purpose and/or not by these people, are widely used due to their outstanding advantages. However, their methodological implications are seldom discussed. The widespread secondary use of few data sets has implications for the published knowledge base of the discipline. Known and unknown biases and random error in a particular data set are multiplied in published knowledge. The realm of undetected errors increases if data producer and data user are separated. Furthermore available data sets limit the possibility of introducing new concepts resulting in a path dependency of scientific progress. Consequently, primary data should be valued; using only partly appropriate data sets can improve and validate our knowledge; data sets have to be considered in literature reviews; and indirect measurement or additional macro variables may be used to integrate unconventional concepts. User conferences help closing the gap between data producers and users.
Notes
Prozessgenerierte Daten (z. B. Diekmann 2002, S. 540–542; Baur 2011) weisen in der Regel auch die beiden oben genannten Merkmale auf. Entsprechend treffen die hier vorgebrachten Argumente auch auf diesen Fall zu. Davon zu unterscheiden sind Inhaltsanalysen von Material, das erst kodiert wird (z. B. Merten 1995).
Vgl. auch Hyman (1972, S. 35 ff.).
Für Teilmodule der Befragung kann dies natürlich wieder anders sein.
Dies ist in der qualitativen Sozialforschung nicht so selbstverständlich. Die angezielte Kontextsensitivität der Erhebung bedeutet, dass die in der Datenerhebung gewonnenen Informationen gleich welcher Art in die Analyse eingehen können. Diese Informationen gehen bei einer Arbeitsteilung tendenziell verloren. Der Verlust von Kontextwissen ist entsprechend ein wesentlicher Diskussionspunkt bei der methodischen Debatte um Sekundäranalyse in der qualitativen Sozialforschung (Medjedovic 2008, S. 201 ff.).
Ein anderer wichtiger Einfluss auf die Passung ist die Qualität der Messung und wie kompetent dieser Einfluss auf die Erhebung ist. Auf diesen Aspekt werde ich in Abschn. 3 und 7 zurückkommen.
Glaser (1963), auf den dieses Argument zurückgeht, diskutiert unterschiedliche Arten des „independent researcher“ mit seinen Vor- und Nachteilen für die Wissenschaft.
Die geschätzte Anzahl von Studien betrug 1960, S. 9; 1970, S. 400; 1980, S. 1000; 1990, S. 2000; 2000, S. 4000 und 2010, S. 5700. Quelle: Persönliche Kommunikation mit Reiner Mauer, 11.04.2012.
Für eine Zusammenstellung siehe zum Beispiel: http://socsciresearch.com/r6.html (Zugegriffen: 30.4.2012).
In leicht abgeschwächter Form gilt dies bereits für etablierte Frageformulierungen, die in mehrere Studien übernommen werden. Für diese Art der Übernahme gibt es gute, zum Teil auch weniger gute Gründe. Die Multiplikation der Fehler der vereinheitlichten Messweise gilt aber auch hier. Undurchsichtiger wird dieses Problem zudem, weil es in der Disziplin unüblich ist, die Übernahme von Frageformulierungen zu dokumentieren. Während die Übernahme wissenschaftlicher Ideen im Literaturapparat angezeigt werden muss, ist dies bei Formulierungen im Erhebungsinstrument unüblich. (Diesen wichtigen Hinweis verdanke ich einem Gespräch mit Dieter Ohr.)
Hyman macht zusätzlich ein ähnliches Argument auf einer generelleren Ebene, wenn er argumentiert, dass eigene Erfahrung mit Datenerhebung die Wahrscheinlichkeit von Fehlern in der Dateninterpretation tendenziell reduziert (Hyman 1972, S. 10), wobei auch Erfahrungen aus anderen Projekten hilfreich sind.
Bei Ländervergleichen ist das Auswahlproblem besonders gravierend, weil wir es hier praktisch nie mit einer Zufallsauswahl zu tun haben.
Van Deth (2003, S. 303) argumentiert ähnlich in Bezug auf die Messung von Phänomenen, wobei es ihm allein darum geht, das Feld potenziell nutzbarer Datensätze für Vergleiche durch äquivalente, wenn auch nicht identische Messungen zu vergrößern. Entsprechend weist van Deth darauf hin, dass unterschiedliche Messungen nicht von Nachteil sein müssen. Das hier gemachte Argument geht mit Blick auf Validierungen weiter und versteht die nicht-identische Messung als Vorteil.
Literatur
Alker, Hayward R. 1969. A typology of ecological fallacies. In Quantitative ecological analysis in the social sciences, Hrsg. Mattei Dogan und S. Rokkon, 69–86. Cambridge: MIT Press.
Andreß, Hans-Jürgen. 2010. Sechzig Jahre Datenanalyse. Ein selektiver Rückblick aus verschiedenen Perspektiven. In Gesellschaftliche Entwicklungen im Spiegel der empirischen Sozialforschung, Hrsg. Frank Faulbaum und Christian Wolf, 199–226. Wiesbaden: VS Verlag für Sozialwissenschaften.
Baur, Nina. 2011. Mixing process-generated data in market sociology. Quality and Quantity 45:1233–1251.
Bergman, Max M., und Thomas S. Eberle. Hrsg. 2005. Qualitative Forschung, Archivierung, Sekundärnutzung. Eine Bestandsaufnahme. Forum Qualitative Sozialforschung 6.
Blossfeld, Hans-Peter, Jutta von Maurice und Thorsten Schneider. 2009. Das Nationale Bildungspanel: Eine neue Datenbasis für die empirische Bildungsforschung. Soziologie 38:331–338.
Committee on National Statistics. 1993. Issues and recommodations. In Sharing research data, Hrsg. Stephen E. Fienberg, Margaret E. Martin und Miron L. Straf, 3–36. Washington: National Academy Press.
Corti, Louise, Andreas Witzel und Libby Bishop, Hrsg. 2005. Sekundäranalyse qualitativer Daten. Forum Qualitative Sozialforschung 6.
Dale, Angela, Sara Arber und Michael Procter. 1988. Doing secondary analysis. London: Unwin Hyman.
de Leeuw, Edith, und Wim De Heer. 2002. Trends in household survey nonresponse: A longitudinal and international comparison. In Survey nonresponse, Hrsg. Robert M. Groves, Don A. Dillman, John L. Eltinge und Roderick J. A. Little, 41–54. New York: Wiley.
van Deth, Jan. 2003. Using published survey data. In Cross-cultural survey methods, Hrsg. Janet A. Harkness, Fons J. R. van de Vijver und Peter P. Mohler, 291–309. Chichester: Wiley Interscience.
Diekmann, Andreas. 2002. Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen. Reinbek bei Hamburg: Rowohlt.
Dillman, Don A. 2008. The logic and psychology of constructing questionnaires. In International handbook of survey methodology, Hrsg. Edith D. de Leeuw, Joop J. Hox und Don A. Dillman, 161–175. New York: Erlbaum.
Faulbaum, Frank, Peter Prüfer und Margrit Rexroth. 2009. Was ist eine gute Frage. Die systematische Evaluation der Fragenqualität. Wiesbaden: VS Verlag für Sozialwissenschaften.
German Data Forum (RatSWD). 2010. Recommendations. In Building on progress. Expanding the research infrastructure for the social, economic and behavioral sciences, Hrsg. German Data Forum (RatSWD), 17–40. Opladen: Barbara Budrich.
Glaser, Barney G. 1962. Secondary analysis. A strategy for the use of knowledge from research elsewhere. Social Problems 10:70–74.
Glaser, Barney G. 1963. Retreading research materials: The use of secondary analysis by the independent researcher. American Behavioral Scientist 10:11–14.
Gregory, Arofan, Pascal Heus und Jostein Ryssevik. 2010. Metadata. In Building on progress. Expanding the research infrastructure for the social, economic and behavioral sciences, Hrsg. German Data Forum (RatSWD), 487–508. Opladen: Barbara Budrich.
Hakim, Catherine. 1982. Secondary analysis in social research. A guide to data sources and methods with examples. London: George Allen & Unwin.
Huinink, Johannes, Bernhard Nauck, Josef Brüderl und Sabine Walper. 2011. Panel analysis of intimate relationships and family dynamics (pairfam). Conceptual framework and design. Zeitschrift für Familienforschung 23:77–101.
Hyman, Herbert H. 1972. Secondary analysis of sample surveys. Principles, prodecured, and potentialities. New York: Wiley.
Jensen, Uwe, Alexia Katsanidou und Wolfgang Zenk-Möltgen. 2011. Metadaten und Standards. In Handbuch Forschungsdatenmanagement, Hrsg. Stephan Büttner, Hans-Christoph Hobohm und Lars Müller, 83–100. Bad Honnef: Bock und Herchen.
Kiecolt, K. Jill, und Laura E. Nathan. 1985. Secondary analysis of survey data. Newbury Park: Sage.
King, Gary. 1995. Replication, replication. Political Science and Politics 28:444–452.
Kittel, Bernhard. 2006. A crazy methodology? On the limits of macro-quantitative social science research. International Sociology 21:647–677.
Klingemann, Hans Dieter, und Ekkehard Mochmann. 1975. Sekundäranalyse. In Techniken der empirischen Sozialforschung. Bd. 2: Untersuchungsformen, Hrsg. van Koolwijk Jürgen und Wieken-Mayser Maria, 178–194. München: Oldenbourg Verlag.
Kopp, Johannes, Juliana Schneider und Franziska Timmler. 2012. Zur Entwicklung soziologischer Forschung. Soziologie 41:293–310.
Kramer, Gerald. 1983. Ecological fallacy revisited. Aggregate vs. individual-level findings on economics and elections, and sociotropic voting. American Political Science Review 77:92–111.
Kuhn, Thomas S. 1967. Die Struktur wissenschaftlicher Revolutionen. Frankfurt a. M.: Suhrkamp.
Lipset, Seymour Martin, und Reinhard Bendix. 1959. Social mobility in industrial society. Berkeley: University of California Press.
Medjedovic, Irena. 2008. Sekundäranalyse qualitativer Interviewdaten. Problemkreise und offene Fragen einer neuen Forschungsstrategie. Historical Social Research 33:193–214.
Menold, Natalja, und Cornelia Züll. 2011. Standardisierte Erfassung von Verweigerungsgründen in Face-to-Face-Umfragen. Methoden Daten Analysen 5:91–108.
Merten, Klaus. 1995. Inhaltsanalyse. Opladen: Westdeutscher Verlag.
Merton, Robert K. 1958. Social theory and social structure. Glencoe: Free Press.
Mey, Günter, und Katja Mruck. Hrsg. 2008. Sekundäranalyse qualitativer Daten. Historical Social Research 8.
Mohler, Peter P., Beth-Ellen Pennell und Frost Hubbard. 2008. Survey documentation: Toward professional knowledge management in sample surveys. In International handbook of survey methodology, Hrsg. Edith D. de Leeuw, Joop J. Hox und Don A. Dillman, 403–420. New York: Erlbaum.
Mutz, Michael, und Sylvia Kämpfer. 2011. …und nun zum Wetter. Beeinflusst die Wetterlage die Einschätzung von politischen und wirtschaftlichen Sachverhalten? Zeitschrift für Soziologie 40:208–226.
Opp, Karl-Dieter. 2012. Die Produktion historischer ‚Tatsachen‘. Soziologie 41:143–157.
Reinecke, Jost. 1991. Interviewer- und Befragtenverhalten. Theoretische Ansätze und methodische Konzepte. Opladen: Westdeutscher Verlag.
Robinson, William S. 1950. Ecological correlation and the behavior of individuals. American Sociological Review 15:351–357.
Schmitt-Beck, Rüdiger, Hans Rattinger und Sigrid Roßteutscher. 2010. Die deutsche Wahlforschung und die German Longitudinal Election Study (GLES). In Gesellschaftliche Entwicklungen im Spiegel der empirischen Sozialforschung, Hrsg. Frank Faulbaum und Christof Wolf, 141–172. Wiesbaden: VS Verlag für Sozialwissenschaften.
Schnell, Rainer. 1997. Nonresponse in Bevölkerungsumfragen. Opladen: Westdeutscher Verlag.
Schupp, Jürgen. 2009. 25 Jahre Sozio-oekonomisches Panel. Zeitschrift für Soziologie 38:350–357.
Sieber, Joan E. 1991. Introduction. In Sharing social science data. Advantages and challenges, Hrsg. Joan E. Sieber, 1–18. Newbury Park: Sage.
Sommer, Rudolf, Gerhard Unholzer und Erich Wiegand. 1999. Standards zur Qualitätssicherung in der Markt- und Sozialforschung. Frankfurt a. M.: ADM.
Wagner, Michael, und Weiß Bernd. 2004. Meta-Analyse als Methode der Sozialforschung. In Methoden der Sozialforschung. Sonderheft 44 der Kölner Zeitschrift für Soziologie und Sozialpsychologie, Hrsg. Andreas Diekmann, 479–504. Wiesbaden: VS Verlag für Sozialwissenschaften.
Whewell, William. 1967. History of the inductive sciences. London: Frank Cass.
Wimmer, Andreas, und Nina Glick Schiller. 2002. Methodological nationalism and beyond. Nation-state building, migration and the social sciences. Global Networks. A Journal of Transnational Affairs 2:301–334.
Danksagung
Mein Dank gilt Dieter Ohr, Jürgen Gerhards, Silke Hans, David Glowsky, Lisa Bankowski, Uwe Ruß, Marta Koslowska, Sören Carlson, Lars Breuer, Anna Leidinger sowie den Herausgebern und anonymen Gutachtern für wertvolle Anmerkungen und Hinweise.
Author information
Authors and Affiliations
Corresponding author
Rights and permissions
About this article
Cite this article
Roose, J. Fehlermultiplikation und Pfadabhängigkeit. Köln Z Soziol 65, 697–714 (2013). https://doi.org/10.1007/s11577-013-0239-0
Published:
Issue Date:
DOI: https://doi.org/10.1007/s11577-013-0239-0