Skip to main content

Ein Forschungsleistungsranking auf der Grundlage von Google Scholar

A research ranking based on google scholar

Zeitschrift für Betriebswirtschaft volume 82, pages 1089–1105 (2012)Cite this article

Zusammenfassung

Bei der Evaluation von Forschungsleistungen hat das gängige Verfahren, Publikationen anhand der Zeitschriften zu bewerten, in denen sie erschienen sind, ernstzunehmende Schwächen, da es Buchveröffentlichungen unberücksichtigt lässt und vom Ansehen einer Zeitschrift auf die Qualität jedes einzelnen Artikels in ihr schließt. Als Alternative wird ein von Harzing (The publish or perish book: your guide to effective and responsible citation analysis. Tarma Software Research, Melbourne, 2010) entwickeltes, direkt auf den Zitationen der einzelnen Veröffentlichung basierendes Verfahren vorgeschlagen, bei dem der Impact jedes Forschers individuell gemessen werden kann. Als Grundlage dient die Datenbank Google Scholar, da sie insbesondere in Hinblick auf die deutschsprachige Literatur die beste Abdeckung verspricht. Allerdings hat sie qualitative Schwächen, die eine sorgfältige Nachkontrolle und -korrektur der Ergebnisse erfordern.

Bei einer bibliometrischen Untersuchung der aktuellen Veröffentlichungen (2005–2009) sämtlicher Mitglieder des VHB (Stand 2007) zeigt sich, dass die Zitationen einer Pareto-Verteilung folgen, an deren Spitze wenige Forscher einen Großteil der gesamten Zitationen auf sich vereinen. Mit Blick auf die unterschiedlichen Kommissionen des VHB wird deutlich, dass sich die Publikations- und Zitationskulturen in den einzelnen Teilfächern z. T. deutlich voneinander unterscheiden. Dies ist bei der Interpretation des Gesamtrankings zu berücksichtigen.

Abstract

Regarding the evaluation of academic research performance, the currently predominant method of judging an individual paper according to the academic journal it was published in implies a few drawbacks: Monographs and edited volumes cannot be assessed, and estimating the quality of an individual article by looking at the journal it was published in is problematic. Based on the work of Harzing (The publish or perish book: your guide to effective and responsible citation analysis. Tarma Software Research, Melbourne, 2010), this article applies a different approach by measuring the individual impact of each researcher. As a data source we use Google Scholar because it offers the best coverage available in the field of German academic literature in business administration. However, Google Scholar implies qualitative shortcomings that deserve a careful inspection and revision.

We analyse all recent publications (2005–2009) of all members of the German Academic Association for Business Research (VHB). Among the researchers, the citations are distributed highly unequal and follow Pareto’s Law: Few scholars gather a large part of all citations.

Between the different subfields of business administration there exist large differences regarding their publication and citation cultures. This should be considered carefully when interpreting the results of the ranking.

This is a preview of subscription content, access via your institution.

Access options

Buy single article

Instant access to the full article PDF.

USD 39.95

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Abb. 1

Notes

  1. Aus Gründen der besseren Lesbarkeit wird im Folgenden auf die Nennung der weiblichen Form verzichtet. Frauen sind jedoch ausdrücklich miteinbezogen.

  2. Selbst innerhalb des Datensatzes gibt es zwei namensgleiche deutsche Betriebswirte.

  3. Kostenloser Download unter www.harzing.com/pop.html.

  4. Die Existenz solcher Suchergebnisse ist ein Indiz dafür, dass die Kategorisierung von Google Scholar noch verbesserungsbedürftig ist. Sollte ein VHB-Mitglied tatsächlich auch zu solchen Themen veröffentlichen, würde das eine interessante Zweitbegabung zeigen, jedoch kaum die betriebswirtschaftliche Reputation dieses Mitglieds steigern.

  5. An dieser Stelle wäre zu überlegen, ob die Zitationen nicht generell gemäß ihrer Herkunft gewichtet werden sollten. So könnten Zitationen aus wissenschaftlichen Zeitschriften ggf. höher gewichtet werden als solche aus der Praktikerliteratur oder aus publizierten Studienabschlussarbeiten. Gegenwärtig scheitern Überlegungen dieser Art an ihrer technischen Umsetzbarkeit. Weder in Google Scholar noch mit Hilfe der Software Publish or Perish können die Zitationen selektiert und gewichtet oder mit den nötigen Detailinformationen in eine andere Datenbank exportiert werden.

  6. Die verwendeten Daten sind alle öffentlich zugänglich. Aus Datenschutzgründen wurde aber auf eine Publikation der Ergebnisse ab Rang 11 verzichtet. Auf Nachfrage teilen die Autoren individuellen Forschern den jeweils ermittelten eigenen Rangplatz und die Zahl der Zitationen gerne mit.

  7. Wie groß die Halbwertszeit tatsächlich ist, kann nicht genau angegeben werden, da sie im JCR nur mit „> 10“ angegeben wird.

  8. Dabei wird angenommen, dass sich die im JCR auf Grundlage des SSCI ermittelten Halbwertszeiten ähnlich auch in Google Scholar wiederfinden.

  9. In Google Scholar kann zwar bei der Suche nach Publikationen ein bestimmter Veröffentlichungszeitraum angegeben werden. Das gilt jedoch nicht für die darauf entfallenden Zitationen.

Literatur

  • Adler N, Harzing A-W (2009) When knowledge wins: transcending the sense and nonsense of academic rankings. Acad Manag Learn Educ 8:72–95

    Article  Google Scholar 

  • Albers S (2009) Misleading rankings of research in business. Ger Econ Rev 10:352–363

    Article  Google Scholar 

  • Althouse BM, West JD, Bergstrom CT, Bergstrom T (2009) Differences in impact factor across fields and over time. J Am Soc Inf Sci Technol 60:27–34

    Article  Google Scholar 

  • Amin M, Mabe M (2000) Impact factors: use and abuse. Perspect Publ 1:1–6

    Google Scholar 

  • Berghoff S, Federkeil G, Giebisch P, Hachmeister CD, Hennings M, Roessler I, Ziegele F (2009) Das CHE-Forschungsranking deutscher Universitäten 2009. CHE Arbeitspapier 130, Gütersloh

    Google Scholar 

  • Bornmann L, Mutz R, Neuhaus C, Daniel H-D (2008) Citation counts or research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results. Ethics Sci Environ Polit 8:93–102

    Article  Google Scholar 

  • Breuer W (2009) Google scholar as a means for quantitative evaluation of german research output in business administration: some preliminary results. Diskussionspapier, Aachen. http://ssrn.com/abstract=1280033. Zugegriffen: 6. Juli 2011

  • Dilger A (2010) Rankings von Zeitschriften und Personen in der BWL. Z Manag 5:91–102

    Article  Google Scholar 

  • Dyckhoff H, Schmitz C (2007) Forschungsleistungsmessung mittels SSCI oder SCI-X? Internationale Sichtbarkeit und Wahrnehmung der Betriebswirtschaftslehre von 1990 bis 2004. Betriebswirtschaft 67:638–662

    Google Scholar 

  • Dyckhoff H, Thieme A, Schmitz C (2005) Die Wahrnehmung deutschsprachiger Hochschullehrer für Betriebswirtschaft in der internationalen Forschung: Eine Pilotstudie zu Zitierverhalten und möglichen Einflussfaktoren. Betriebswirtschaft 65:350–372

    Google Scholar 

  • Frey BS (2003) Publishing as prostitution? Choosing between one’s own ideas and academic success. Public Choice 116:205–223

    Article  Google Scholar 

  • Garfield E (1979) Is citation analysis a legitimate evaluation tool. Scientometrics 1:359–375

    Article  Google Scholar 

  • Hardy M (2010) Pareto’s law. Math Intell 32:38–43

    Article  Google Scholar 

  • Harzing A-W (2010) The publish or perish book: your guide to effective and responsible citation analysis. Tarma Software Research, Melbourne

    Google Scholar 

  • Harzing A-W, van der Wal R (2008) Google scholar as a new source for citation analysis. Ethics Sci Environ Polit 8:62–73

    Article  Google Scholar 

  • Henrekson M, Waldenström D (2008) How should research performance be measured? Evidence from rankings of academic economists. SSE/EFI Working Paper Series in Economics and Finance No. 693, Stockholm. http://swopec.hhs.se/hastef/papers/hastef0693.pdf. Zugegriffen: 6. Juli 2011

  • Hirsch JE (2005) An index to quantify an individual’s scientific research output. Proc Nati Acad Sci 102:16569–16572

    Article  Google Scholar 

  • Hofmeister R, Ursprung HW (2008) Das Handelsblatt Ökonomen-Ranking 2007: Eine kritische Beurteilung. Perspekt Wirtsch 9:254–266

    Article  Google Scholar 

  • Jacsó P (2005) Google scholar: the pros and cons. Online Inf Rev 29:208–214

    Article  Google Scholar 

  • Jascó P (2006) Deflated, inflated and phantom citation counts. Online Inf Rev 30:297–309

    Article  Google Scholar 

  • Kieser A (2010) Unternehmen Wissenschaft? Leviathan 38:347–367

    Article  Google Scholar 

  • Kieser A (2012) JOURQUAL – der Gebrauch, nicht der Missbrauch, ist das Problem. Betriebswirtschaft 72:93–110

    Google Scholar 

  • Lawrence P (2003) The politics of publication. Nature 422:259–261

    Article  Google Scholar 

  • Matiaske W (2009) It’s Showtime Baby: Nachlese zum BWL-Ranking des Handelsblattes. Pers – Z Hum Rescource Manag 7:36–37

    Google Scholar 

  • May RK (1997) The scientific wealth of nations. Science 275:793–796

    Article  Google Scholar 

  • Meyer M, Waldkirch R, Zaggl M (2011) Relative performance measurement of researchers: the high impact of data source selection. Management@TUHH Research Papers Series, Hamburg

    Google Scholar 

  • Mingers J, Lipitakis EA (2010) Counting the citations: a comparison of web of science and google scholar in the field of business and management. Scientometrics 85:613–625

    Article  Google Scholar 

  • Müller H (2010) Wie valide ist das Handelsblatt-BWL-Ranking: Zeitschriften und zitationsbasierte Personenrankings im Vergleich. Betriebswirtschaftliche Forsch Prax 62:152–166

    Google Scholar 

  • Müller A, Storbeck O (2009) BWL-Ranking: Methodik und Interpretation. Handelsblatt vom 20.05.2009. http://www.handelsblatt.com/politik/bwl-ranking/bwl-ranking-methodik-und-interpretation;2175006. Zugegriffen: 6. Juli 2011

  • Pareto V (1964) Cours d’Économie Politique: Nouvelle Édition par G.-H. Bousquet et G. Busino. Genf

  • Radicchi F, Fortunato S, Castellano C (2008) Universality of citation distributions: toward an objective measure of scientific impact. Proc Nati Acad Sci 105:17268–17272

    Article  Google Scholar 

  • Schmitz C (2008) Messung der Forschungsleistung in der Betriebswirtschaftslehre auf Basis der ISI-Zitationsindizes: Eine kritische Analyse anhand konzeptioneller Überlegungen und empirischer Befunde. Josef Eul Verlag Gmbh, Lohmar

    Google Scholar 

  • Schubert A, Braun T (1996) Cross-field normalization of scientometric indicators. Scientometrics 36:311–324

    Article  Google Scholar 

  • Vaughan L, Shaw D (2008) A new look at evidence of scholarly citations in citation indexes and from web sources. Scientometrics 74:317–330

    Article  Google Scholar 

  • Vieira P, Teixeira A (2010) Are finance, management and marketing autonomous fields of scientific research? An analysis based on journal citations. Scientometrics 85:627–646

    Article  Google Scholar 

  • Weingart P (2005) Impact of bibliometrics upon the science system: inadvertent consequences. Scientometrics 62:117–131

    Article  Google Scholar 

  • Wissenschaftsrat (2004) Empfehlungen zu Rankings im Wissenschaftssystem. WR Wissenschaftsrat, Hamburg

    Google Scholar 

  • Wissenschaftsrat (2011) Empfehlungen zur Bewertung und Steuerung von Forschungsleistung. WR Wissenschaftsrat, Halle

    Google Scholar 

  • Wolf J, Rohn A, Macharzina K (2006) Forschungsleistung in der deutschsprachigen Betriebswirtschaftslehre: Konzeption und Befunde einer empirischen Untersuchung. Deutscher Universitätsverlag, Wiesbaden

    Google Scholar 

  • Zitt M (2010) Citing-side normalization of journal impact: a robust variant of the audience factor. J Informetr 4:392–406.

    Article  Google Scholar 

  • Zitt M, Ramanana-Rahary S, Bassecoulard E (2005) Relativity of citation performance and excellence measures: from cross-field to cross-scale effects of field-normalization. Scientometrics 63:373–401

    Article  Google Scholar 

Download references

Danksagung

Die Autoren danken den Teilnehmer(inne)n der VHB Pfingsttagung 2011 in Kaiserslautern und zwei anonymen Gutachtern für Anmerkungen und Kommentare.

Author information

Authors and Affiliations

  1. Institut für Organisationsökonomik, Westfälische Wilhelms-Universität Münster, Scharnhorststr. 100, 48151, Münster, Deutschland

    Alexander Dilger & Harry Müller B.A., M.Sc.

Authors
  1. Alexander Dilger
    View author publications

    You can also search for this author in PubMed Google Scholar

  2. Harry Müller B.A., M.Sc.
    View author publications

    You can also search for this author in PubMed Google Scholar

Corresponding author

Correspondence to Alexander Dilger.

Anhang

Anhang

Tab. 5 Zitationskulturen innerhalb der Teilfächer der BWL
Full size table

Rights and permissions

Reprints and Permissions

About this article

Cite this article

Dilger, A., Müller, H. Ein Forschungsleistungsranking auf der Grundlage von Google Scholar. Z Betriebswirtsch 82, 1089–1105 (2012). https://doi.org/10.1007/s11573-012-0617-5

Download citation

  • Received:

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s11573-012-0617-5

Schlüsselwörter

  • Bibliometrie
  • Forschungsleistung
  • Google Scholar
  • Hochschulmanagement
  • Ranking

Keywords

  • Higher education
  • Bibliometrics
  • Research performance
  • Google Scholar
  • Ranking

JEL Classification

  • I23
  • I20
  • A11