Skip to main content
Log in

Drittmittel als Performanzindikator der Wissenschaftlichen Forschung

Zum Einfluss von Rahmenbedingungen auf Forschungsleistung

Third party research funding and performance in research. On the effects of institutional conditions on research performance of teams

  • II. Berichte und Diskussionen
  • Published:
KZfSS Kölner Zeitschrift für Soziologie und Sozialpsychologie Aims and scope Submit manuscript

Zusammenfassung

Ressourcen innerhalb und zwischen Universitäten und in der außeruniversitären Forschung werden angesichts der Finanzknappheit im Wissenschaftssystem zunehmend in Abhängigkeit von Forschungsleistungen verteilt. Hiermit bekommen Evaluationsverfahren und die Messung von Forschungsleistungen einen neuen Stellenwert. Drittmitteleinkommen als relativ einfach zu erhebender Performanzindikator spielt in allen neuen leistungsbasierten Verteilungsverfahren eine große Rolle. Ziel dieses Beitrags ist es, die Aussagekraft von Drittmitteln für die Bewertung von Forschungsleistungen zu untersuchen. Auf der Grundlage von quantitativen und qualitativen Daten zu Forschungsgruppen aus drei sehr unterschiedlichen Forschungsfeldern wird der Zusammenhang von Strukturindikatoren, Drittmitteleinkommen als weiterem Inputfaktor und dem Output der wissenschaftlichen Produktion betrachtet. Hierbei zeigt sich, dass der Einsatz von Drittmitteln als Performanzindikator nur unterhalb eines von disziplinspezifischen Produktionsbedingungen bestimmten Schwellenwertes sinnvoll ist. Ferner ergibt die weitergehende Analyse, dass Forschungsperformanz mehrdimensional ist, Publikationen also nicht der einzig sinnvolle Indikator für Performanz sein können. Schließlich zeigt sich, dass die Bedingungen wissenschaftlicher Produktion zwischen den Fachgebieten so unterschiedlich sind, dass Performanzvergleiche nur innerhalb homogener Forschungsfelder sinnvoll einsetzbar sind. Abschließend werden die forschungspolitischen Implikationen für Forschungsfinanzierung und Forschungsevaluation diskutiert sowie weiterer Forschungsbedarf aufgezeigt.

Abstract

Resources within and between higher education and research institutions are increasingly allocated according to scientific performance. Evaluation exercises and the measurement of research performance take on a new role in this context. Third party research income is a performance indicator which is rather easy to measure and is used in most of the new performance-based evaluation procedures. This paper sets out to scrutinize the meaning and validity of third party research income. We studied research teams from three different research fields with a mixed quantitative / qualitative approach. The focus is on the causal relations between institutional / input indicators, third party research income as another input indicator, and a variety of output indicators of scientific production. An important result is that third party money has a positive effect on performance only below a certain and discipline-specific threshold. Further analysis shows that output performance is to a great extent field-specific. The context conditions for scientific production differ greatly, so that comparative performance assessments are only valid within homogeneous research fields. Another important result is that output performance is multidimensional and cannot be measured by bibliometric indicators only. These findings have implications for the rationality of the evaluation assessment exercises as well as for the funding decisions of science foundations, ministries of science and — increasingly, the heads of universities and departments. These topics are discussed in the last chapter as well as the implications for further research.

This is a preview of subscription content, log in via an institution to check access.

Access this article

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Instant access to the full article PDF.

Literatur

  • Adams, James D., Grant C. Black, J. Roger Clemmons und Paula E. Stephan, 2005: Scientific Teams and Institutional Collaborations: Evidence from U.S. Universities, 1981–1999. Research Policy 34: 259–285.

    Article  Google Scholar 

  • Allmendinger, Jutta, 2002: Eine drei-Welten-Lehre wissenschaftlicher Reputation und ihre Messung. Soziologie 31: 56–58.

    Google Scholar 

  • Amabile, Teresa M., Regina Conti, Heather Coon, Jeffrey Lazenby und Michael Herron, 1994: The Context of Innovation. The Role of the Work Environment. Waltham, Mass.: Brandeis University.

    Google Scholar 

  • Arora, Ashish, Paul A. David und Alfonso Gambardella, 1998: Reputation and Competence in Publicly Funded Science: Estimating the Effects on Research Group Productivity. Annales D’Economie Et De Statistique 49–50: 163–198.

    Google Scholar 

  • Berghoff, Sonja, Gero Federkeil, Petra Giebisch, Cort-Denis Hachmeister, Detlef Müller-Böling und Meike Siekermann, 2005: Das CHE-Forschungsranking deutscher Universitäten 2004. Gütersloh: CHE-Arbeitspapier Nr. 62.

    Google Scholar 

  • Bland, Carole J., Bruce A. Center, Deborah A. Finstad, Kelly R. Risbey und Justin G. Staples, 2005: A Theoretical, Practical, Predictive Model of Faculty and Department Research Productivity. Academic Medicine 80: 225–237.

    Article  Google Scholar 

  • Bornmann, Lutz, und Hans-Dieter Daniel, 2003: Begutachtungen durch Fachkollegen in der Wissenschaft. Stand der Forschung zur Reliabilität, Fairness und Validität des Peer-Review-Verfahrens. S. 207–225 in: Stefanie Schwarz und Ulrich Teichler (Hg.), Universität auf dem Prüfstand. Konzepte und Befunde der Hochschulforschung. Frankfurt a.M./New York: Campus.

    Google Scholar 

  • Bundesministerium für Bildung und Forschung (BMBF), 2004: Bundesbericht Forschung. Berlin/Bonn: BMBF.

    Google Scholar 

  • Bundesministerium für Forschung und Technologie (BMFT), 1993: Bundesbericht Forschung 1993. Bonn: BMFT.

    Google Scholar 

  • Butler, Linda, 2004: What Happens when Funding is Linked to Publications Counts? S. 389–405 in: Henk F. Moed, Wolfgang Glänzel und Ulrich Schmoch (Hg.), Handbook of Quantitative Science and Technology Research. The Use of Publication and Patent Statistics in Studies of S&T Systems. Dordrecht/Boston/London: Kluwer Academic Publishers.

    Google Scholar 

  • Carayol, Nicolas, und Mireille Matt, 2004: Does Research Organization Influence Academic Production? Laboratory Level Evidence from a Large European University. Research Policy 33: 1081–1102.

    Article  Google Scholar 

  • Cave, Martin, Stephen Hanney und Maurice Kogan, 1991: The Use of Performance Indicators in Higher Education. A Critical Analysis of Developing Practice. 2nd edition, London: Kingsley.

    Google Scholar 

  • Cherchye, Laurens, und Piet Vanden Abeele, 2005: On Research Efficiency. A Micro-analysis of Dutch University Research in Economics and Business Management. Research Policy 34: 495–516.

    Google Scholar 

  • Cole, Gerald A., 1979: Classifying Research Units by Patterns of Performance and Influence: a Typology of the Round 1 data. S. 353–404 in: Frank M. Andrews (Hg.), Scientific Productivity. Cambridge: Cambridge University Press.

    Google Scholar 

  • Daniel, Hans-Dieter, 2001: Wissenschaftsevaluation. Center for Science and Technology Studies. Bern. CEST 2001/2.

  • Deutsche Forschungsgemeinschaft (DFG), 2003: Förder-Ranking 2003. Institutionen — Regionen — Netzwerke — DFG-Bewilligungen und weitere Basisdaten öffentlich geförderter Forschung. Bonn.

  • Deutsche Forschungsgemeinschaft (DFG), 2006: Förder-Ranking 2006. Institutionen, Regionen — Netzwerke. DFG-Bewilligungen und weitere Basisdaten öffentlich geförderter Forschung. Bonn.

  • Dewett, Todd, und Angelo S. Denisi, 2004: Exploring Scholarly Reputation: It’s More than just Productivity. Scientometrics 60: 249–272.

    Article  Google Scholar 

  • Dogan, Mattei, 1999: Marginality. Encyclopedia of Creativity 2: 179–184.

    Google Scholar 

  • Franke, Karola, Andreas Wald und Katinka Bartl, 2006: Die Wirkung von Reformen im deutschen Forschungssystem. Eine Studie in den Feldern Astrophysik, Nanotechnologie und Mikroökonomie. Speyerer Forschungsbericht Nr. 245, Speyer, im Erscheinen.

  • Garcia, Clara Eugenia, und Luis Sanz-Menéndez, 2005: Competition for Funding as an Indicator of Research Competitiveness. Scientometrics 64: 271–300.

    Article  Google Scholar 

  • Gerhards, Jürgen, 2002: Reputation in der deutschen Soziologie — zwei getrennte Welten. Soziologie 31: 19–33.

    Google Scholar 

  • Geuna, Aldo, 1997: Allocation of Funds and Research Output: The Case of UK Universities. Revue d’Economie Industrielle 79: 143–162.

    Article  Google Scholar 

  • Geuna, Aldo, 1999: The Economics of Knowledge Production. Funding and the Structure of University Research. New Horizons in the Economics of Innovation. Cheltenham, UK/Northampton, MA: Elgar.

    Google Scholar 

  • Glänzel, Wolfgang, und András Schubert, 2004: Analysing Scientific Networks through Co-author-ship. S. 257–276 in: Henk F. Moed, Wolfgang Glänzel und Ulrich Schmoch (Hg.), Handbook of Quantitative Science and Technology Research. The Use of Publication and Patent Statistics in Studies of S&T Systems. Dordrecht/Boston/London: Kluwer Academic Publishers.

    Google Scholar 

  • Glänzel, Wolfgang, Balázs Schlemmer und Bart Thijs, 2003: Better Late Than Never? On the Chance to Become Highly Cited only Beyond the Standard Bibliometric Time Horizon. Scientometrics 58: 571–586.

    Article  Google Scholar 

  • Göbelbecker, Jürgen, 2005: The Role of Publications in the New Programme Oriented Funding of the Hermann von Helmholtz Association of National Research Centres (HGF). Scientometrics 62: 173–181.

    Article  Google Scholar 

  • Gulbrandson, Magnus, 2004: Accord or Discord? Tensions and Creativity in Research. S. 31–57 in: Sven Hemlin, Ben Marti und Carl Martin Allwood (Hg.), Creative Knowledge Environments: the Influences on Creativity in Research and Innovation. Cheltenham: Edward Elgar.

    Google Scholar 

  • Hicks, Diana, 2004: The Four Literatures of Social Science. S. 473–496 in: Henk F. Moed, Wolfgang Glänzel und Ulrich Schmoch (Hg.), Handbook of Quantitative Science and Technology Research. The Use of Publication and Patent Statistics in Studies of S&T Systems. Dordrecht/Boston/London: Kluwer Academic Publishers.

    Google Scholar 

  • Hochschulrektorenkonferenz (HRK) (Hg.), 1996: Zur Finanzierung der Hochschulen. Dokumente zur Hochschulreform 110/1996. Bonn: Hochschulrektorenkonferenz.

    Google Scholar 

  • Hollingsworth, Roger, 2002: Research Organizations and Major Discoveries in Twentieth-Century-Science: A Case of Excellence in Biomedical Research. Berlin: WZB Discussion Paper P02-003.

    Google Scholar 

  • Hornbostel, Stefan, 1997: Wissenschaftsindikatoren. Bewertungen in der Wissenschaft. Opladen: Westdeutscher Verlag.

    Google Scholar 

  • Hornbostel, Stefan, 2001: Third Party Funding of German Universities. An Indicator of Research Activity? Scientometrics 50: 523–537.

    Article  Google Scholar 

  • Jaeger, Michael, 2005: Leistungsbezogene Mittelvergabe und Qualitätssicherung als Elemente der hochschulinternen Steuerung. Hochschul-Informations-System A12/2005, Hannover.

  • Jaeger, Michael, 2006: Leistungsbezogene Budgetierung an deutschen Universitäten. Wissenschaftsmanagement 3: 30–36.

    Google Scholar 

  • Jansen, Dorothea, 2006: Research Networks — Origins and Consequences: Preliminary Evidence from a Study of Astrophysics, Nanotechnology and Micro-economics in Germany. In: Max Albert (Hg.), Scientific Competition. Theory and Policy. Conferences on New Political Economy 24, im Erscheinen.

  • Kruytbosch, Carlos E., 1989: The Role and Effectiveness of Peer Review. S. 69–85 in: David Evered und Sara Harnett (Hg.), The Evaluation of Scientific Research. Chichester, UK: Wiley.

    Google Scholar 

  • Kuhlmann, Stefan, und Thomas Heinze, 2004a: Evaluation von Forschungsleistungen in Deutschland. Erzeuger und Bedarf. Teil I: Konzeptionelle Grundlage. Wissenschaftsrecht 37: 53–69.

    Google Scholar 

  • Kuhlmann, Stefan, und Thomas Heinze, 2004b: Evaluation von Forschungsleistungen in Deutschland. Erzeuger und Bedarf. Teil II: Produktion und Verwendung evaluativer Information sowie Möglichkeiten ihrer künftigen Organisation. Wissenschaftsrecht 37: 125–149.

    Google Scholar 

  • Larédo, Philippe, und Philippe Mustar, 2000: Laboratory Activity Profiles: An Exploratory Approach. Scientometrics 47: 515–539.

    Article  Google Scholar 

  • Larédo, Philippe, 2001: Benchmarking of RTD Policies in Europe: Research Collectives as an Entry Point for Renewed Comparative Analysis. Science and Public Policy 28: 285–294.

    Google Scholar 

  • Laudel, Grit, 2005: Is External Research Funding a Valid Indicator for Research Performance. Research Evaluation 14: 27–34.

    Google Scholar 

  • Leszczensky, Michael, und Dominic Orr, 2004: Staatliche Hochschulfinanzierung durch indikatorengestützte Mittelverteilung. — Dokumentation und Analyse der Verfahren in 11 Bundesländern. Kurzinformation Hochschul-Informations-System A2/2004. Hannover.

  • Liefner, Ingo, 2001: Leistungsorientierte Ressourcensteuerung in Hochschulsystemen. Ein internationaler Vergleich. Berlin: Duncker & Humblot.

    Google Scholar 

  • Makino, Junichiro, 1998: Productivity of Research Groups — Relation between Citation Analysis and Reputation within Research Communities. Scientometrics 43: 87–93.

    Article  Google Scholar 

  • Merton, Robert K., 1968: The Matthew Effect in Science. Science 57: 68–72.

    Google Scholar 

  • Meyer, Marshall W., 1994: Measuring Performance in Economic Organizations. S. 556–578 in: Neil J. Smelser und Richard Swedberg (Hg.), The Handbook of Economic Sociology. Princeton/N.J.: Princeton University Press.

    Google Scholar 

  • Minssen, Heiner, und Uwe Wilkesmann, 2003: Lassen sich Hochschulen steuern? Soziale Welt 54: 123–144.

    Google Scholar 

  • Moed, Henk F., 2005: Citation Analysis in Research Evaluation. Berlin u.a.: Springer.

    Google Scholar 

  • Moed, Henk F., Marc Luwel, Josee A. Houben, Eric Spruyt und Herman Van Den Berghe, 1998: The Effects of Changes in the Funding Structure of the Flemish Universities on their Research Capacity, Productivity and Impact during the 1980’s and early 1990’s. Scientometrics 43: 231–255.

    Article  Google Scholar 

  • Neidhardt, Friedhelm, 1988: Selbststeuerung in der Forschungsförderung. Das Gutachterwesen der DFG. Opladen: Westdeutscher Verlag.

    Google Scholar 

  • Nowotny, Helga, Peter Scott und Michael Gibbons, 2003: Mode-2 revisited. The New Production of Knowledge. Minverva 41: 179–194.

    Article  Google Scholar 

  • Raan van, Anthony F.J. (Hg.), 1988: Handbook of Quantitative Studies of Science and Technology. Amsterdam u.a.: North-Holland.

    Google Scholar 

  • Raan van, Anthony F.J., 2004: Measuring Science. Capita Selecta of Current Main Issues. S. 19–50 in: Henk F. Moed, Wolfgang Glänzel und Ulrich Schmoch (Hg.), Handbook of Quantitative Science and Technology Research. The Use of Publication and Patent Statistics in Studies of S&T Systems. Dordrecht/Boston/London: Kluwer Academic Publishers.

    Google Scholar 

  • Rammert, Werner, 2002: Die halbierte Reputation — eine grob fahrlässige und unfaire Rechnung! Soziologie 31: 53–55.

    Google Scholar 

  • Rinia, Ed J., Thed N. Van Leeuwen, Eppo E. W. Bruins, Hendrik G. Van Vuren und Anthony F. J. Van Raan, 2001: Citation Delay in Interdisciplinary Knowledge Exchange. Scientometrics 51: 293–309.

    Article  Google Scholar 

  • Schmoch, Ulrich, 2004: Leistungsfähigkeit und Strukturen der Wissenschaft im internationalen Vergleich 2004. Studien zum deutschen Innovationssystem Nr. 6-2005. Bundesministerium für Bildung und Forschung. Berlin.

    Google Scholar 

  • Stewart, Greg L., 2006: A Meta-Analytic Review of Relationships between Team Design Features and Team Performance. Journal of Management 32: 29–54.

    Article  Google Scholar 

  • Stichweh, Rudolf, 1994: Wissenschaft, Universität, Professionen: Soziologische Analysen. Frankfurt a.M.: Suhrkamp.

    Google Scholar 

  • Stock, Ruth, 2004: Drivers of Team Performance: What Do We Know and What have we Still to Learn? Schmalenbach Business Review 56: 274–306.

    Google Scholar 

  • Stokes, Terry D., und James A. Hartley, 1989: Coauthorship, Social Structure and Influence within Specialities. Social Studies of Science 19: 101–125.

    Article  Google Scholar 

  • Stolte-Heiskanen, Veronica, 1979: Externally Determined Resources and the Effectiveness of Research Units. S. 121–153 in: Frank M. Andrews (Hg.), Scientific Productivity. Cambridge: Cambridge University Press.

    Google Scholar 

  • Travis, G. David L., und Harry M. Collins, 1991: New Light on Old Boys: Cognitive and Institutional Particularism in the Peer Review System. Science, Technology, & Human Values 16: 322–342.

    Article  Google Scholar 

  • Wagner-Döbler, Roland, 2005: The System of Research and Development Indicators: Entry Points for Information Agents. Scientometrics 62: 145–153.

    Article  Google Scholar 

  • Wald, Andreas, 2005: Zur Messung von Input und Output wissenschaftlicher Produktion. Daten und Ergebnisse einer Untersuchung auf der Ebene von Forschungsgruppen. FÖV Discussion Papers 20, Speyer.

  • Wald, Andreas, Karola Franke und Dorothea Jansen, 2006: Governance Reforms and Scientific Production. Evidence from German Astrophysics. In: Dorothea Jansen (Hg.), New Forms of Governance in Research Organizations — From Disciplinary Theories towards Interfaces and Integration. Dordrecht: Springer (forthcoming).

    Google Scholar 

  • Weingart, Peter, 2005: Impact of Bibliometrics upon the Science System: Inadvertent Consequences? Scientometrics 62: 117–131.

    Article  Google Scholar 

  • Whitley, R., 2003: Competition and Pluralism in the Public Sciences: the Impact of Institutional Frameworks on the Organisation of Academic Science. Research Policy 32: 1015–1029.

    Article  Google Scholar 

  • Williams, Wendy M., und Lana T. Yang, 1999: Organizational Creativity. S. 373–391 in: Robert J. Sternberg (Hg.), Handbook of Creativity. Cambridge: Cambridge University Press.

    Google Scholar 

  • Wissenschaftsrat, 1993: Drittmittel der Hochschulen 1970 bis 1990. Köln: Geschäftsstelle des Wissenschaftsrates.

    Google Scholar 

  • Wissenschaftsrat, 2000: Thesen zur künftigen Entwicklung des Wissenschaftssystems in Deutschland. Köln.

  • Wissenschaftsrat, 2004: Empfehlungen zu Rankings im Wissenschaftssystem. Teil 1: Forschung. Hamburg.

    Google Scholar 

  • Wissenschaftsrat, 2005: Stellungnahme zu Leistungsfähigkeit, Ressourcen und Größe universitätsmedizinischer Einrichtungen. Bremen, S. 60.

  • Wooldridge, Jeffrey M., 1999: Econometric Analysis of Cross Section and Panel Data. Cambridge, Mass./London: The MIT Press.

    Google Scholar 

  • Wouters, Paul, 1997: Citation Cycles and Peer Review Cycles. Scientometrics 38: 39–55.

    Article  Google Scholar 

  • Zuckerman, Harriet, und Robert K. Merton, 1971: Patterns of Evaluation in Science. Institutionalisation, Structure and Functions of the Referee System. Minerva 9: 66–100.

    Article  Google Scholar 

Download references

Author information

Authors and Affiliations

Authors

Corresponding author

Correspondence to Dorothea Jansen.

Additional information

Die diesem Aufsatz zugrunde liegenden Forschungsarbeiten wurden im Rahmen der von der DFG geförderten Forschergruppe „Governance der Forschung“ (http://www.foev-speyer.de/governance) in den Teilprojekten „Netzwerkstrategie und Netzwerkfähigkeit von Forschungsgruppen“ (JA 548/4-2) und „Performanzindikatoren“ (SCHM 1719/1-2) durchgeführt.

Projekt „Netzwerkstrategie und Netzwerkfähigkeit von Forschungsgruppen“ am Forschungsinstitut für öffentliche Verwaltung Speyer.

Projekt „Performanzindikatoren für Forschungseinrichtungen, insbesondere Forschungsgruppen“ am Fraunhofer Institut für System- und Innovationsforschung Karlsruhe.

Rights and permissions

Reprints and permissions

About this article

Cite this article

Jansen, D., Wald, A., Franke, K. et al. Drittmittel als Performanzindikator der Wissenschaftlichen Forschung. Koelner Z.Soziol.u.Soz.Psychol 59, 125–149 (2007). https://doi.org/10.1007/s11577-007-0006-1

Download citation

  • Issue Date:

  • DOI: https://doi.org/10.1007/s11577-007-0006-1

Keywords

Stichworte

Navigation