Advertisement

Drittmittel als Performanzindikator der Wissenschaftlichen Forschung

Zum Einfluss von Rahmenbedingungen auf Forschungsleistung
  • Dorothea Jansen
  • Andreas Wald
  • Karola Franke
  • Ulrich Schmoch
  • Torben Schubert
II. Berichte und Diskussionen

Zusammenfassung

Ressourcen innerhalb und zwischen Universitäten und in der außeruniversitären Forschung werden angesichts der Finanzknappheit im Wissenschaftssystem zunehmend in Abhängigkeit von Forschungsleistungen verteilt. Hiermit bekommen Evaluationsverfahren und die Messung von Forschungsleistungen einen neuen Stellenwert. Drittmitteleinkommen als relativ einfach zu erhebender Performanzindikator spielt in allen neuen leistungsbasierten Verteilungsverfahren eine große Rolle. Ziel dieses Beitrags ist es, die Aussagekraft von Drittmitteln für die Bewertung von Forschungsleistungen zu untersuchen. Auf der Grundlage von quantitativen und qualitativen Daten zu Forschungsgruppen aus drei sehr unterschiedlichen Forschungsfeldern wird der Zusammenhang von Strukturindikatoren, Drittmitteleinkommen als weiterem Inputfaktor und dem Output der wissenschaftlichen Produktion betrachtet. Hierbei zeigt sich, dass der Einsatz von Drittmitteln als Performanzindikator nur unterhalb eines von disziplinspezifischen Produktionsbedingungen bestimmten Schwellenwertes sinnvoll ist. Ferner ergibt die weitergehende Analyse, dass Forschungsperformanz mehrdimensional ist, Publikationen also nicht der einzig sinnvolle Indikator für Performanz sein können. Schließlich zeigt sich, dass die Bedingungen wissenschaftlicher Produktion zwischen den Fachgebieten so unterschiedlich sind, dass Performanzvergleiche nur innerhalb homogener Forschungsfelder sinnvoll einsetzbar sind. Abschließend werden die forschungspolitischen Implikationen für Forschungsfinanzierung und Forschungsevaluation diskutiert sowie weiterer Forschungsbedarf aufgezeigt.

Stichworte

Forschung Evaluation Forschungsleistung Drittmittel Drittmittelförderung Forschungsförderung Wissenschaftspolitik 

Third party research funding and performance in research. On the effects of institutional conditions on research performance of teams

Abstract

Resources within and between higher education and research institutions are increasingly allocated according to scientific performance. Evaluation exercises and the measurement of research performance take on a new role in this context. Third party research income is a performance indicator which is rather easy to measure and is used in most of the new performance-based evaluation procedures. This paper sets out to scrutinize the meaning and validity of third party research income. We studied research teams from three different research fields with a mixed quantitative / qualitative approach. The focus is on the causal relations between institutional / input indicators, third party research income as another input indicator, and a variety of output indicators of scientific production. An important result is that third party money has a positive effect on performance only below a certain and discipline-specific threshold. Further analysis shows that output performance is to a great extent field-specific. The context conditions for scientific production differ greatly, so that comparative performance assessments are only valid within homogeneous research fields. Another important result is that output performance is multidimensional and cannot be measured by bibliometric indicators only. These findings have implications for the rationality of the evaluation assessment exercises as well as for the funding decisions of science foundations, ministries of science and — increasingly, the heads of universities and departments. These topics are discussed in the last chapter as well as the implications for further research.

Keywords

science indicators science policy third party funding evaluation peer review performance of research teams optimal size of research teams 

Preview

Unable to display preview. Download preview PDF.

Unable to display preview. Download preview PDF.

Literatur

  1. Adams, James D., Grant C. Black, J. Roger Clemmons und Paula E. Stephan, 2005: Scientific Teams and Institutional Collaborations: Evidence from U.S. Universities, 1981–1999. Research Policy 34: 259–285.CrossRefGoogle Scholar
  2. Allmendinger, Jutta, 2002: Eine drei-Welten-Lehre wissenschaftlicher Reputation und ihre Messung. Soziologie 31: 56–58.Google Scholar
  3. Amabile, Teresa M., Regina Conti, Heather Coon, Jeffrey Lazenby und Michael Herron, 1994: The Context of Innovation. The Role of the Work Environment. Waltham, Mass.: Brandeis University.Google Scholar
  4. Arora, Ashish, Paul A. David und Alfonso Gambardella, 1998: Reputation and Competence in Publicly Funded Science: Estimating the Effects on Research Group Productivity. Annales D’Economie Et De Statistique 49–50: 163–198.Google Scholar
  5. Berghoff, Sonja, Gero Federkeil, Petra Giebisch, Cort-Denis Hachmeister, Detlef Müller-Böling und Meike Siekermann, 2005: Das CHE-Forschungsranking deutscher Universitäten 2004. Gütersloh: CHE-Arbeitspapier Nr. 62.Google Scholar
  6. Bland, Carole J., Bruce A. Center, Deborah A. Finstad, Kelly R. Risbey und Justin G. Staples, 2005: A Theoretical, Practical, Predictive Model of Faculty and Department Research Productivity. Academic Medicine 80: 225–237.CrossRefGoogle Scholar
  7. Bornmann, Lutz, und Hans-Dieter Daniel, 2003: Begutachtungen durch Fachkollegen in der Wissenschaft. Stand der Forschung zur Reliabilität, Fairness und Validität des Peer-Review-Verfahrens. S. 207–225 in: Stefanie Schwarz und Ulrich Teichler (Hg.), Universität auf dem Prüfstand. Konzepte und Befunde der Hochschulforschung. Frankfurt a.M./New York: Campus.Google Scholar
  8. Bundesministerium für Bildung und Forschung (BMBF), 2004: Bundesbericht Forschung. Berlin/Bonn: BMBF.Google Scholar
  9. Bundesministerium für Forschung und Technologie (BMFT), 1993: Bundesbericht Forschung 1993. Bonn: BMFT.Google Scholar
  10. Butler, Linda, 2004: What Happens when Funding is Linked to Publications Counts? S. 389–405 in: Henk F. Moed, Wolfgang Glänzel und Ulrich Schmoch (Hg.), Handbook of Quantitative Science and Technology Research. The Use of Publication and Patent Statistics in Studies of S&T Systems. Dordrecht/Boston/London: Kluwer Academic Publishers.Google Scholar
  11. Carayol, Nicolas, und Mireille Matt, 2004: Does Research Organization Influence Academic Production? Laboratory Level Evidence from a Large European University. Research Policy 33: 1081–1102.CrossRefGoogle Scholar
  12. Cave, Martin, Stephen Hanney und Maurice Kogan, 1991: The Use of Performance Indicators in Higher Education. A Critical Analysis of Developing Practice. 2nd edition, London: Kingsley.Google Scholar
  13. Cherchye, Laurens, und Piet Vanden Abeele, 2005: On Research Efficiency. A Micro-analysis of Dutch University Research in Economics and Business Management. Research Policy 34: 495–516.Google Scholar
  14. Cole, Gerald A., 1979: Classifying Research Units by Patterns of Performance and Influence: a Typology of the Round 1 data. S. 353–404 in: Frank M. Andrews (Hg.), Scientific Productivity. Cambridge: Cambridge University Press.Google Scholar
  15. Daniel, Hans-Dieter, 2001: Wissenschaftsevaluation. Center for Science and Technology Studies. Bern. CEST 2001/2.Google Scholar
  16. Deutsche Forschungsgemeinschaft (DFG), 2003: Förder-Ranking 2003. Institutionen — Regionen — Netzwerke — DFG-Bewilligungen und weitere Basisdaten öffentlich geförderter Forschung. Bonn.Google Scholar
  17. Deutsche Forschungsgemeinschaft (DFG), 2006: Förder-Ranking 2006. Institutionen, Regionen — Netzwerke. DFG-Bewilligungen und weitere Basisdaten öffentlich geförderter Forschung. Bonn.Google Scholar
  18. Dewett, Todd, und Angelo S. Denisi, 2004: Exploring Scholarly Reputation: It’s More than just Productivity. Scientometrics 60: 249–272.CrossRefGoogle Scholar
  19. Dogan, Mattei, 1999: Marginality. Encyclopedia of Creativity 2: 179–184.Google Scholar
  20. Franke, Karola, Andreas Wald und Katinka Bartl, 2006: Die Wirkung von Reformen im deutschen Forschungssystem. Eine Studie in den Feldern Astrophysik, Nanotechnologie und Mikroökonomie. Speyerer Forschungsbericht Nr. 245, Speyer, im Erscheinen.Google Scholar
  21. Garcia, Clara Eugenia, und Luis Sanz-Menéndez, 2005: Competition for Funding as an Indicator of Research Competitiveness. Scientometrics 64: 271–300.CrossRefGoogle Scholar
  22. Gerhards, Jürgen, 2002: Reputation in der deutschen Soziologie — zwei getrennte Welten. Soziologie 31: 19–33.Google Scholar
  23. Geuna, Aldo, 1997: Allocation of Funds and Research Output: The Case of UK Universities. Revue d’Economie Industrielle 79: 143–162.CrossRefGoogle Scholar
  24. Geuna, Aldo, 1999: The Economics of Knowledge Production. Funding and the Structure of University Research. New Horizons in the Economics of Innovation. Cheltenham, UK/Northampton, MA: Elgar.Google Scholar
  25. Glänzel, Wolfgang, und András Schubert, 2004: Analysing Scientific Networks through Co-author-ship. S. 257–276 in: Henk F. Moed, Wolfgang Glänzel und Ulrich Schmoch (Hg.), Handbook of Quantitative Science and Technology Research. The Use of Publication and Patent Statistics in Studies of S&T Systems. Dordrecht/Boston/London: Kluwer Academic Publishers.Google Scholar
  26. Glänzel, Wolfgang, Balázs Schlemmer und Bart Thijs, 2003: Better Late Than Never? On the Chance to Become Highly Cited only Beyond the Standard Bibliometric Time Horizon. Scientometrics 58: 571–586.CrossRefGoogle Scholar
  27. Göbelbecker, Jürgen, 2005: The Role of Publications in the New Programme Oriented Funding of the Hermann von Helmholtz Association of National Research Centres (HGF). Scientometrics 62: 173–181.CrossRefGoogle Scholar
  28. Gulbrandson, Magnus, 2004: Accord or Discord? Tensions and Creativity in Research. S. 31–57 in: Sven Hemlin, Ben Marti und Carl Martin Allwood (Hg.), Creative Knowledge Environments: the Influences on Creativity in Research and Innovation. Cheltenham: Edward Elgar.Google Scholar
  29. Hicks, Diana, 2004: The Four Literatures of Social Science. S. 473–496 in: Henk F. Moed, Wolfgang Glänzel und Ulrich Schmoch (Hg.), Handbook of Quantitative Science and Technology Research. The Use of Publication and Patent Statistics in Studies of S&T Systems. Dordrecht/Boston/London: Kluwer Academic Publishers.Google Scholar
  30. Hochschulrektorenkonferenz (HRK) (Hg.), 1996: Zur Finanzierung der Hochschulen. Dokumente zur Hochschulreform 110/1996. Bonn: Hochschulrektorenkonferenz.Google Scholar
  31. Hollingsworth, Roger, 2002: Research Organizations and Major Discoveries in Twentieth-Century-Science: A Case of Excellence in Biomedical Research. Berlin: WZB Discussion Paper P02-003.Google Scholar
  32. Hornbostel, Stefan, 1997: Wissenschaftsindikatoren. Bewertungen in der Wissenschaft. Opladen: Westdeutscher Verlag.Google Scholar
  33. Hornbostel, Stefan, 2001: Third Party Funding of German Universities. An Indicator of Research Activity? Scientometrics 50: 523–537.CrossRefGoogle Scholar
  34. Jaeger, Michael, 2005: Leistungsbezogene Mittelvergabe und Qualitätssicherung als Elemente der hochschulinternen Steuerung. Hochschul-Informations-System A12/2005, Hannover.Google Scholar
  35. Jaeger, Michael, 2006: Leistungsbezogene Budgetierung an deutschen Universitäten. Wissenschaftsmanagement 3: 30–36.Google Scholar
  36. Jansen, Dorothea, 2006: Research Networks — Origins and Consequences: Preliminary Evidence from a Study of Astrophysics, Nanotechnology and Micro-economics in Germany. In: Max Albert (Hg.), Scientific Competition. Theory and Policy. Conferences on New Political Economy 24, im Erscheinen.Google Scholar
  37. Kruytbosch, Carlos E., 1989: The Role and Effectiveness of Peer Review. S. 69–85 in: David Evered und Sara Harnett (Hg.), The Evaluation of Scientific Research. Chichester, UK: Wiley.Google Scholar
  38. Kuhlmann, Stefan, und Thomas Heinze, 2004a: Evaluation von Forschungsleistungen in Deutschland. Erzeuger und Bedarf. Teil I: Konzeptionelle Grundlage. Wissenschaftsrecht 37: 53–69.Google Scholar
  39. Kuhlmann, Stefan, und Thomas Heinze, 2004b: Evaluation von Forschungsleistungen in Deutschland. Erzeuger und Bedarf. Teil II: Produktion und Verwendung evaluativer Information sowie Möglichkeiten ihrer künftigen Organisation. Wissenschaftsrecht 37: 125–149.Google Scholar
  40. Larédo, Philippe, und Philippe Mustar, 2000: Laboratory Activity Profiles: An Exploratory Approach. Scientometrics 47: 515–539.CrossRefGoogle Scholar
  41. Larédo, Philippe, 2001: Benchmarking of RTD Policies in Europe: Research Collectives as an Entry Point for Renewed Comparative Analysis. Science and Public Policy 28: 285–294.Google Scholar
  42. Laudel, Grit, 2005: Is External Research Funding a Valid Indicator for Research Performance. Research Evaluation 14: 27–34.Google Scholar
  43. Leszczensky, Michael, und Dominic Orr, 2004: Staatliche Hochschulfinanzierung durch indikatorengestützte Mittelverteilung. — Dokumentation und Analyse der Verfahren in 11 Bundesländern. Kurzinformation Hochschul-Informations-System A2/2004. Hannover.Google Scholar
  44. Liefner, Ingo, 2001: Leistungsorientierte Ressourcensteuerung in Hochschulsystemen. Ein internationaler Vergleich. Berlin: Duncker & Humblot.Google Scholar
  45. Makino, Junichiro, 1998: Productivity of Research Groups — Relation between Citation Analysis and Reputation within Research Communities. Scientometrics 43: 87–93.CrossRefGoogle Scholar
  46. Merton, Robert K., 1968: The Matthew Effect in Science. Science 57: 68–72.Google Scholar
  47. Meyer, Marshall W., 1994: Measuring Performance in Economic Organizations. S. 556–578 in: Neil J. Smelser und Richard Swedberg (Hg.), The Handbook of Economic Sociology. Princeton/N.J.: Princeton University Press.Google Scholar
  48. Minssen, Heiner, und Uwe Wilkesmann, 2003: Lassen sich Hochschulen steuern? Soziale Welt 54: 123–144.Google Scholar
  49. Moed, Henk F., 2005: Citation Analysis in Research Evaluation. Berlin u.a.: Springer.Google Scholar
  50. Moed, Henk F., Marc Luwel, Josee A. Houben, Eric Spruyt und Herman Van Den Berghe, 1998: The Effects of Changes in the Funding Structure of the Flemish Universities on their Research Capacity, Productivity and Impact during the 1980’s and early 1990’s. Scientometrics 43: 231–255.CrossRefGoogle Scholar
  51. Neidhardt, Friedhelm, 1988: Selbststeuerung in der Forschungsförderung. Das Gutachterwesen der DFG. Opladen: Westdeutscher Verlag.Google Scholar
  52. Nowotny, Helga, Peter Scott und Michael Gibbons, 2003: Mode-2 revisited. The New Production of Knowledge. Minverva 41: 179–194.CrossRefGoogle Scholar
  53. Raan van, Anthony F.J. (Hg.), 1988: Handbook of Quantitative Studies of Science and Technology. Amsterdam u.a.: North-Holland.Google Scholar
  54. Raan van, Anthony F.J., 2004: Measuring Science. Capita Selecta of Current Main Issues. S. 19–50 in: Henk F. Moed, Wolfgang Glänzel und Ulrich Schmoch (Hg.), Handbook of Quantitative Science and Technology Research. The Use of Publication and Patent Statistics in Studies of S&T Systems. Dordrecht/Boston/London: Kluwer Academic Publishers.Google Scholar
  55. Rammert, Werner, 2002: Die halbierte Reputation — eine grob fahrlässige und unfaire Rechnung! Soziologie 31: 53–55.Google Scholar
  56. Rinia, Ed J., Thed N. Van Leeuwen, Eppo E. W. Bruins, Hendrik G. Van Vuren und Anthony F. J. Van Raan, 2001: Citation Delay in Interdisciplinary Knowledge Exchange. Scientometrics 51: 293–309.CrossRefGoogle Scholar
  57. Schmoch, Ulrich, 2004: Leistungsfähigkeit und Strukturen der Wissenschaft im internationalen Vergleich 2004. Studien zum deutschen Innovationssystem Nr. 6-2005. Bundesministerium für Bildung und Forschung. Berlin.Google Scholar
  58. Stewart, Greg L., 2006: A Meta-Analytic Review of Relationships between Team Design Features and Team Performance. Journal of Management 32: 29–54.CrossRefGoogle Scholar
  59. Stichweh, Rudolf, 1994: Wissenschaft, Universität, Professionen: Soziologische Analysen. Frankfurt a.M.: Suhrkamp.Google Scholar
  60. Stock, Ruth, 2004: Drivers of Team Performance: What Do We Know and What have we Still to Learn? Schmalenbach Business Review 56: 274–306.Google Scholar
  61. Stokes, Terry D., und James A. Hartley, 1989: Coauthorship, Social Structure and Influence within Specialities. Social Studies of Science 19: 101–125.CrossRefGoogle Scholar
  62. Stolte-Heiskanen, Veronica, 1979: Externally Determined Resources and the Effectiveness of Research Units. S. 121–153 in: Frank M. Andrews (Hg.), Scientific Productivity. Cambridge: Cambridge University Press.Google Scholar
  63. Travis, G. David L., und Harry M. Collins, 1991: New Light on Old Boys: Cognitive and Institutional Particularism in the Peer Review System. Science, Technology, & Human Values 16: 322–342.CrossRefGoogle Scholar
  64. Wagner-Döbler, Roland, 2005: The System of Research and Development Indicators: Entry Points for Information Agents. Scientometrics 62: 145–153.CrossRefGoogle Scholar
  65. Wald, Andreas, 2005: Zur Messung von Input und Output wissenschaftlicher Produktion. Daten und Ergebnisse einer Untersuchung auf der Ebene von Forschungsgruppen. FÖV Discussion Papers 20, Speyer.Google Scholar
  66. Wald, Andreas, Karola Franke und Dorothea Jansen, 2006: Governance Reforms and Scientific Production. Evidence from German Astrophysics. In: Dorothea Jansen (Hg.), New Forms of Governance in Research Organizations — From Disciplinary Theories towards Interfaces and Integration. Dordrecht: Springer (forthcoming).Google Scholar
  67. Weingart, Peter, 2005: Impact of Bibliometrics upon the Science System: Inadvertent Consequences? Scientometrics 62: 117–131.CrossRefGoogle Scholar
  68. Whitley, R., 2003: Competition and Pluralism in the Public Sciences: the Impact of Institutional Frameworks on the Organisation of Academic Science. Research Policy 32: 1015–1029.CrossRefGoogle Scholar
  69. Williams, Wendy M., und Lana T. Yang, 1999: Organizational Creativity. S. 373–391 in: Robert J. Sternberg (Hg.), Handbook of Creativity. Cambridge: Cambridge University Press.Google Scholar
  70. Wissenschaftsrat, 1993: Drittmittel der Hochschulen 1970 bis 1990. Köln: Geschäftsstelle des Wissenschaftsrates.Google Scholar
  71. Wissenschaftsrat, 2000: Thesen zur künftigen Entwicklung des Wissenschaftssystems in Deutschland. Köln.Google Scholar
  72. Wissenschaftsrat, 2004: Empfehlungen zu Rankings im Wissenschaftssystem. Teil 1: Forschung. Hamburg.Google Scholar
  73. Wissenschaftsrat, 2005: Stellungnahme zu Leistungsfähigkeit, Ressourcen und Größe universitätsmedizinischer Einrichtungen. Bremen, S. 60.Google Scholar
  74. Wooldridge, Jeffrey M., 1999: Econometric Analysis of Cross Section and Panel Data. Cambridge, Mass./London: The MIT Press.Google Scholar
  75. Wouters, Paul, 1997: Citation Cycles and Peer Review Cycles. Scientometrics 38: 39–55.CrossRefGoogle Scholar
  76. Zuckerman, Harriet, und Robert K. Merton, 1971: Patterns of Evaluation in Science. Institutionalisation, Structure and Functions of the Referee System. Minerva 9: 66–100.CrossRefGoogle Scholar

Copyright information

© VS Verlag für Sozialwissenschaften/Wiesbaden 2007

Authors and Affiliations

  • Dorothea Jansen
    • 1
  • Andreas Wald
  • Karola Franke
  • Ulrich Schmoch
  • Torben Schubert
  1. 1.Deutsche Hochschule für Verwaltungswissenschaften SpeyerLehrstuhl für Soziologie der OrganisationSpeyerGermany

Personalised recommendations