Advertisement

Zur Messung von Forschungsqualität

Eine kritische Analyse des Forschungsratings des Wissenschaftsrats
  • Patrick RiordanEmail author
  • Christian Ganser
  • Tobias Wolbring
Berichte und Diskussionen

Zusammenfassung

Im vorliegenden Beitrag wird das Forschungsrating des Wissenschaftsrats (RWR) im Fach Soziologie behandelt. Mit dieser Pilotstudie versuchte der Wissenschaftsrat ein Verfahren zu testen, welches eine differenzierte Bewertung der Forschungseinrichtungen in Deutschland ermöglicht. Zwei Thesen werden gegen das RWR vorgebracht und anschließend anhand empirischer Daten geprüft. Einerseits wird vermutet, dass die Ergebnisse aufgrund der impliziten Bewertungen durch Gutachter weder objektiv, reliabel noch valide sind. Andererseits wird gefragt, ob sich die Ergebnisse des RWR mit Hilfe eines kostengünstigeren, auf wenigen quantitativen Indikatoren basierenden Modells der Forschungsqualität reproduzieren lassen. Hierfür werden Daten des RWR und eine Befragung zur Reputation deutscher Forschungsstandorte ausgewertet. Darüber hinaus wurden mit Mitgliedern der Bewertungsgruppe Interviews durchgeführt. Im Ergebnis zeigt sich, dass Probleme hinsichtlich der Gütekriterien, insbesondere der Auswertungsobjektivität, nicht ausgeschlossen werden können. Das Fazit bezüglich der Reliabilität, beschränkt auf die innere Konsistenz der quantitativen Indikatoren, fällt insgesamt positiv aus. Eine Reproduktion der Ergebnisse mit ausschließlich quantitativen Daten gelingt nicht in befriedigender Art und Weise. Dies wird als Anzeichen eher geringer Validität interpretiert. Es wird gefolgert, dass hinsichtlich des Umfangs und der Qualität der erhobenen Daten sowie der Standardisierung der Auswertung Verbesserungsbedarf besteht.

Schlüsselwörter

Forschungsrating Forschungsqualität Wissenschaft Forschung Wissenschaftssoziologie Methodologie 

Measuring the quality of research

A critical analysis of the Forschungsrating of the German Wissenschaftsrat

Abstract

This paper deals with the Forschungsrating (RWR) by the German Wissenschaftsrat (WR) in sociology. The WR’s objective in conducting this pilot study was to test a practice which allows a sophisticated assessment of the research facilities in Germany. Basically, two theses are exhibited towards the RWR in this paper: First, it seems possible that the published results are neither objective, nor reliable or valid because of implicit assessment procedures by the reviewers. Second we ask, whether a simple model of scientific quality, composed of a few quantitative indicators, yields similar results compared with the RWR. To empirically address these aspects, data of the RWR and our own standardized survey on the reputation of German research facilities is analyzed. Furthermore we conducted interviews with members of the group of reviewers. The results show that problems concerning the objectivity of analysis cannot be excluded. Our general conclusion about the reliability of the measurement, limited to the inner consistency of the quantitative indicators, is positive. A satisfactory reproduction of the RWR’s results solely based on quantitative data cannot be achieved. This is interpreted as a sign of minor validity. It is concluded that the amount and quality of data collected in the RWR, as well as the standardization of the rating process need to be improved.

Keywords

Forschungsrating Research quality Science Research Sociology of science Methodology 

Notes

Danksagung

Wir danken Katrin Auspurg, Norman Braun, Jochen Groß und Thomas Hinz sowie den anonymen Gutachtern für ihre hilfreichen Anmerkungen.

Literatur

  1. Berghoff, Sonja, Gero Federkeil, Petra Giebisch, Cort-Denis Hachmeister, Mareike Hennings, und Detlef Müller-Böling. 2008. Das CHE-ForschungsRanking deutscher Universitäten 2007. Arbeitspapier Nr. 102. http://www.che.de/downloads/CHE_AP119_Methode_Hochschulranking_2009.pdf. Zugegriffen: 06. Jan. 2010.
  2. Behnke, Joachim. 2005. Lassen sich Signifikanztests auf Vollerhebungen anwenden? Einige essayistische Bemerkungen. Politische Vierteljahresschrift 46:O1–O15.CrossRefGoogle Scholar
  3. Bornmann, Lutz, und Hans-Dieter Daniel. 2003. Begutachtung durch Fachkollegen in der Wissenschaft. Stand der Forschung zu Reliabilität, Fairness und Validität des Peer-Review-Verfahrens. In Universität auf dem Prüfstand. Konzepte und Befunde der Hochschulforschung, Hrsg. Stefanie Schwarz und Ulrich Teichler, 207–225. Frankfurt a. M.: Campus.Google Scholar
  4. Bortz, Jürgen, und Nicola Döring. 2006. Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. 4. überarb. Aufl. Heidelberg: Springer.Google Scholar
  5. Bourdieu, Pierre. 1984. Homo academicus. Frankurt a. M.: Suhrkamp.Google Scholar
  6. Carmines, Edward G., und Richard A. Zeller. 1979. Reliability and validity assessment. In Quantitative applications in the social sciences, Bd. 17, Hrsg. John L. Sullivan, 9–71. Beverly Hills: Sage.Google Scholar
  7. Cronbach, Lee J. 1947. Test „Reliability“: Its meaning and determination. Psychometrika 12:1–16.CrossRefGoogle Scholar
  8. Cronbach, Lee J. 1951. Coefficient alpha and the internal structure of tests. Psychometrika 16:297–334.CrossRefGoogle Scholar
  9. Cronbach, Lee J., und Paul E. Meehl. 1955. Construct validity in psychological tests. Psychological Bulletin 52:281–302.CrossRefGoogle Scholar
  10. Daniel, Hans-Dieter, und Rudolf Fisch. Hrsg. 1988. Evaluation von Forschung. Methoden – Ergebnisse – Stellungnahmen. Konstanz: Universitätsverlag Konstanz.Google Scholar
  11. Daniel, Hans-Dieter. 2005. Publications as a measure of scientific advancement and of scientists’ productivity. Learned Publishing 18:143–148.Google Scholar
  12. Diekmann, Andreas. 2007. Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen. 18. vollst. überarb. Aufl. Hamburg: Rowohlt.Google Scholar
  13. Frey, Bruno S., und Katja Rost. 2008. Do rankings reflect research quality? Institute for Empirical Research in Economics, University of Zurich, working-paper Series 390.Google Scholar
  14. Hackett, Edward J., und Daryl E. Chubin. 2003. Peer review for the 21st century: Applications to education research. Prepared for a National Research Council Workshop. Washington, DC.Google Scholar
  15. Hirschauer, Stefan. 2004. Peer Review auf dem Prüfstand. Zum Soziologiedefizit der Wissenschaftsevaluation. Zeitschrift für Soziologie 33:62–83.Google Scholar
  16. Hoffmann, Dietrich, und Karl Neumann. Hrsg. 2003. Ökonomisierung der Wissenschaft. Forschen, Lehren und Lernen nach den Regeln des „Marktes“. Weinheim: Beltz.Google Scholar
  17. Hornbostel, Stefan. 1997. Wissenschaftsindikatoren. Bewertungen in der Wissenschaft. Opladen: Westdeutscher Verlag.Google Scholar
  18. Hornbostel, Stefan. 2007. Neue Evaluationsregime? Von der Inquisition zur Evaluation. In Wissenschaft unter Beobachtung. Effekte und Defekte von Evaluation, Hrsg. Hildegard Matthies und Dagmar Simon, 59–82. Wiesbaden: VS Verlag für Sozialwissenschaften.Google Scholar
  19. Hornbostel, Stefan, und Dagmar Simon. Hrsg. 2006. Wie viel (In-)Transparenz ist notwendig? – Peer Review Revisited. iFQ, Institut für Forschungsinformation und Qualitätssicherung-Working Paper 1. Google Scholar
  20. Jann, Ben. 2009. Diagnostik von Regressionsschätzungen bei kleinen Stichproben (mit einem Exkurs zu logistischer Regression). In Klein aber fein! Quantitative empirische Sozialforschung mit kleinen Fallzahlen, Hrsg. Peter Kriwy und Christiane Gross, 93–125. Wiesbaden: VS Verlag für Sozialwissenschaften.Google Scholar
  21. Kuhn, Thomas S. 1976. Die Struktur wissenschaftlicher Revolutionen. 2. Aufl. Frankfurt a. M.: Suhrkamp.Google Scholar
  22. Lakatos, Imre. 1974. Falsifikation und die Methodologie wissenschaftlicher Forschungsprogramme. In Kritik und Erkenntnisfortschritt, Hrsg. Imre Lakatos und Alan Musgrave, 89–189. Braunschweig: Vieweg.Google Scholar
  23. Langfeldt, Liv. 2001. The decision-making constraints and processes of grant peer review, and their effects on the review outcome. Social Studies of Science 31:820–841.CrossRefGoogle Scholar
  24. Lienert, Gustav A. 1969. Testaufbau und Testanalyse. 3. Aufl. Weinheim: Beltz.Google Scholar
  25. Matthies, Hildegard, und Dagmar Simon. Hrsg. 2008. Wissenschaft unter Beobachtung. Effekte und Defekte von Evaluation. Wiesbaden: VS Verlag für Sozialwissenschaften.CrossRefGoogle Scholar
  26. Merton, Robert K. 1973. The sociology of science. Chicago: The University of Chicago Press.Google Scholar
  27. Münch, Richard. 2007. Die akademische Elite. Zur sozialen Konstruktion wissenschaftlicher Exzellenz. Frankfurt a. M.: Suhrkamp.Google Scholar
  28. Münch, Richard. 2008. Stratifikation durch Evaluation: Mechanismen der Konstruktion von Statushierarchien in der Forschung. Zeitschrift für Soziologie 37:60–80.Google Scholar
  29. Münch, Richard. 2009a. Globale Eliten, lokale Autoritäten: Bildung und Wissenschaft unter dem Regime von PISA, McKinsey & Co. Frankfurt a. M.: Suhrkamp.Google Scholar
  30. Münch, Richard. 2009b. Die Konstruktion soziologischer Exzellenz durch Forschungsrating. Soziale Welt 60:63–89.Google Scholar
  31. Neidhardt, Friedhelm. 2008. Das Forschungsrating des Wissenschaftsrats. Einige Erfahrungen und Berichte. Soziologie 37:421–432.Google Scholar
  32. Neidhardt, Friedhelm. 2009. Über Nachteile von Vorteilen. Ein Kommentar zu Richard Münch: „Die Konstruktion soziologischer Exzellenz durch Forschungsrating“. Soziale Welt 60:327–334.Google Scholar
  33. Pirsig, Robert M. 1974. Zen and the art of motorcycle maintenance. An inquiry into values. New York: Morrow.Google Scholar
  34. Schmoch, Ulrich. 2009. Geeignete Ansätze zur Messung wissenschaftlicher Leistung. Beiträge zur Hochschulforschung 31:26–41.Google Scholar
  35. Schnell, Rainer, Paul Hill, und Elke Esser. 2008. Methoden der empirischen Sozialforschung. 8. unv. Aufl. München: Oldenbourg.Google Scholar
  36. Wissenschaftsrat (WR). 2004. Empfehlungen zu Rankings im Wissenschaftssystem. Teil I: Forschung. http://www.wissenschaftsrat.de/texte/6285-04.pdf. Zugegriffen: 11. Jan. 2010.
  37. Wissenschaftsrat (WR). 2005. Empfehlungen und Stellungnahmen 2004. Bd 1. Köln.Google Scholar
  38. Wissenschaftsrat (WR). 2008a. Pilotstudie Forschungsrating. Empfehlungen und Dokumentation. Köln.Google Scholar
  39. Wissenschaftsrat (WR). 2008b. Ergebnisse der Pilotstudie Forschungsrating im Fach Soziologie: Tabellarische Übersichten. Köln. http://www.wissenschaftsrat.de/texte/pilot_uebersicht_sozio.pdf. Zugegriffen: 03. Dez. 2009.
  40. Wissenschaftsrat (WR). 2008c. Erstes Forschungsrating des Wissenschaftsrates für die Soziologie: Leistungsträger über Standorte und Spezialisierungen breit verteilt. Pressemitteilung 07.2008 vom 18.4.2008. http://www.wissenschaftsrat.de/pilot_start.htm. Zugegriffen: 03. Dez. 2009.

Copyright information

© VS Verlag für Sozialwissenschaften 2010

Authors and Affiliations

  • Patrick Riordan
    • 1
    Email author
  • Christian Ganser
    • 1
  • Tobias Wolbring
    • 1
  1. 1.Institut für SoziologieLMU MünchenMünchenDeutschland

Personalised recommendations