Zusammenfassung
Wir untersuchen in unserer Studie, ob Artikel, die mit dem Thyssen-Preis prämiert wurden, in höherem Maße rezipiert werden als nicht-ausgezeichnete Artikel. Dazu wurden die Ergebnisse für die prämierten Artikel mit einer Kontrollstichprobe der nicht ausgezeichneten Arbeiten verglichen. Prämierte Artikel „ernten“ signifikant mehr Zitationen als Artikel in der Kontrollstichprobe. Bemerkenswert ist, dass das Muster der Zitationsrangfolge exakt der Rangfolge der Preise entspricht. Der erste Preis erhält die meisten, der zweite Preis die zweitmeisten und der dritte Preis die drittmeisten Zitationen, während nicht prämierte Artikel an vierter Stelle der Rangfolge stehen. Der Unterschied zeigt sich auch, wenn nur Zitationen im Jahr der Veröffentlichung eines Artikels und im Folgejahr betrachtet werden. In diesem Zeitraum kann der Preis „an sich“ noch keine Wirkung auf die Rezeption in der „scientific community“ entfaltet haben. Die Ergebnisse liefern keinen Beleg für die sozialkonstruktivistische These, dass die Rezeption im Sinne einer „sich selbst erfüllenden Prognose“ erst durch die Preisverleihung erzeugt wird. Vielmehr gelingt es der Jury Arbeiten auszuwählen, die dann tatsächlich in den Folgejahren in der Fachöffentlichkeit Aufmerksamkeit hervorrufen.
Abstract
We investigate whether journal articles winning a prestigious award of the Thyssen foundation have a higher impact in the scientific literature than a control group of non-awarded articles. In average, awarded articles harvest significantly more citations than articles in the control group. Most remarkably, the average citation rank exactly matches the rank order of awards. The top award earns most citations while the second award, the third award and the non-awarded articles exhibit citation counts in declining order. The correlation of award rank and impact does not vanish if we restrict citation counts to the year of publication and the year thereafter. In this time span the distinction of excellence is very unlikely having a genuine effect on the impact measure. Thus, we do not find support for the social constructivist hypothesis that the correlation of the jury decision and the article impact is explainable by a label of distinctiveness. On the contrary, the empirical data confirm that the jury is successful in the selection of articles which in average have a larger impact in the scientific community than non-awarded publications.
This is a preview of subscription content, log in via an institution to check access.
Notes
Das bekannte Zitat („If men define situations as real, they are real in their consequences“, S. 572) wird eher beiläufig in der Studie von William und Dorothy Thomas über „The Child in America“ erwähnt. In ihrem auch heute noch lesenswerten Kapitel über „The Methodology of Behavior Study“, in dem sich das berühmte Zitat findet, wird u. a. dafür plädiert, die Einflüsse verschiedener Situationsmerkmale auf das Verhalten mit statistischen Methoden zu untersuchen und dabei einzelne Merkmale schrittweise genauer zu kontrollieren. Bekannt wurde das Zitat durch andere Arbeiten, insbesondere durch diverse Artikel von Robert K. Merton. Siehe zur Geschichte des Thomas-Theorems Merton (1995).
Für jeden einzelnen Artikel werden bei diesem Verfahren die Zitationen im SSCI ermittelt. In der von Jansen (2010) eingerichteten Datenbank (unsere Erhebung hat im Frühjahr 2010 begonnen und wir haben von der Datenbank leider erst nach Abschluss unserer Arbeiten erfahren) wird nur den in „ISI-Zeitschriften“ publizierten Artikeln ein Zitationswert zugeschrieben. Mit dieser Teilmenge würde man aber systematisch verzerrte Werte erhalten. Alber und Fliegner (2010) haben ebenfalls den prämierten Aufsätzen SSCI-Zitationen manuell zugewiesen. Sie haben aber keine Kontrollgruppe gebildet und auch nicht nach Art des Preises unterschieden. Siehe auch weiter unten zur Methode der Untersuchung.
Auch Mitglieder der Jury können direkt Artikelvorschläge einbringen. Die Jury besteht derzeit aus acht Mitgliedern, die kooptiert wurden. Für Auskünfte bedanken wir uns bei Heiner Meulemann. Zur Zusammensetzung der Jury siehe auch die Web-Seite zum Thyssen-Preis: http://www.fis.uni-koeln.de/3121.html.
Auf „Knopfdruck“ kann man dagegen leicht ermitteln, wie häufig ISI-Artikel von ISI-Artikeln zitiert werden. In der Soziologie, in der das Medium Buch eine große Rolle spielt, führt dieses „Quick-and-dirty“-Verfahren dagegen zu einer systematischen Verzerrung.
Genau genommen gab es noch einen dritten Durchgang, bei dem, der Anregung eines Gutachtens folgend, zwischen Selbst- und Fremdzitaten unterschieden wurde. Dabei konnte gleichzeitig der Zitationszeitraum (ursprünglich bis Frühjahr 2010) bis Ende 2011 aktualisiert werden.
Wir hatten ursprünglich Selbstzitate nicht ausgeschlossen. Wir bedanken uns für den Hinweis auf mögliche systematische Verzerrungen durch Selbstzitate und die Anregung zur graphischen Untersuchung der Verlaufskurven bei der anonymen Gutachterin und dem Gutachter.
Das Ziel des Thyssenpreises ist ja auch weder in der Begünstigung des „Zitationsschicksals“ der ausgezeichneten Artikel noch im Setzen neuer Maßstäbe für wissenschaftliche Qualität, sondern in der Würdigung herausragender wissenschaftlicher Leistungen zu sehen. „Soziale Tatsachen schaffende Wirkungen“ des Thyssenpreises im Sinne des Sozialkonstruktivismus müssten eher im Bereich akademischer Berufungsverfahren gesucht werden.
Siehe zu diesem Thema das Sonderheft der Zeitschrift für Nationalökonomie und Statistik über Artefakte (Diekmann 2011). Ein Gutachten hat kritisiert, dass die hier berichtete Forschung „affirmativ“ sei und besser Artikel veröffentlicht werden sollten, die Fehlentwicklungen im Wissenschaftssystem benennen. Abgesehen davon, dass der Erstautor dieses Artikels an verschiedenen Stellen systematische und institutionelle oder durch methodische Regeln hervorgerufene Fehlentwicklungen aufgezeigt hat (zuletzt Diekmann 2011), wäre die Konsequenz dieser Empfehlung in höchstem Maße fragwürdig. Angenommen in der Evaluationsforschung würden nur „nicht-affirmative“ Ergebnisse publiziert, z. B. in der Wissenschafts-, Bildungs- und Entwicklungsforschung nur Ergebnisse über Fehlentwicklungen. Manuskripte mit anderen Ergebnissen würden von „nicht-affirmativen Gutachtern“ zur Ablehnung der Publikation empfohlen. Die Folge wäre ein systematischer Bias in der veröffentlichten Forschung.
Literatur
Alber, Jens, und Florian Fliegner. 2010. Rezeption und Themen der mit dem Preis der Fritz-Thyssen-Stiftung ausgezeichneten sozialwissenschaftlichen Aufsätze. Soziologie 39:286–309.
Alber, Jens, Florian Fliegner und Torben Nerlich. 2010. Was bestimmt Exzellenz in den Sozialwissenschaften? Eine Analyse am Beispiel des Preises der Fritz-Thyssen-Stiftung für sozialwissenschaftliche Aufsätze 1981–2006. Soziologie 39:152–178.
Baldi, Stéphane. 1998. Normative versus social constructivist processes in the allocation of citations: A network-analytic model. American Sociological Review 63:829–846.
Bornmann, Lutz, und Hans-Dieter Daniel. 2006. Selecting scientific excellence through committee peer review. A citation analysis of publications previously published to approval or rejection of post-doctoral research fellowships applicants. Scientometrics 68:427–440.
Bornmann, Lutz, und Hans-Dieter Daniel. 2008. What do citation counts measure? A review of studies on citing behavior. Journal of Documentation 64:45–80.
Diekmann, Andreas, (Hrsg.). 2011. Methodological artefacts, data manipulation and fraud in economics and social science. Stuttgart: Lucius & Lucius.
Gottfredson, Stephen D. 1978. Evaluating psychological research reports. Dimensions, reliability, and correlates of quality judgments. American Psychologist 33:920–934.
Haslam, Nick, Lauren Ban, Leah Kaufmann, Stephen Loughnan, Kim Peters, Jennifer Whelan und Sam Wilson. 2008. What makes an article influential? Predicting impact in social and personality psychology. Scientometrics 76:169–185.
Ioannidis, John P. A. 2005. Why most published research findings are false. PLoSMed 2:696–701.
Jansen, Marcus. 2010. Daten zu Merkmalen von Zeitschriftenpublikationen in der deutschsprachigen Sozialwissenschaft zwischen den Jahren 1981 und 2006. Unveröffentlichtes Manuskript. Köln: Forschungsinstitut für Soziologie der Universität zu Köln.
Jansen, Marcus. 2012. Reputationsdimensionen in den Sozialwissenschaften. Soziologie 41:28–55.
Judge, Timothy A., Daniel M. Cable, Amy E. Colbert und Sara L. Rynes. 2007. What causes a management article to be cited – article, author, or journal? Academy of Management Journal 50:491–506.
Keuschnigg, Marc. 2012. Das Bestseller-Phänomen. Die Entstehung von Nachfragekonzentration im Buchmarkt. Wiesbaden: VS-Verlag für Sozialwissenschaften.
Knorr-Cetina, Karin. 1989. Spielarten des Konstruktivismus. Soziale Welt 40:86–96.
Lee, John D., Kim J. Vicente, Andrea Cassano und Anna Shearer. 2003. Can scientific impact be judged prospectively? A bibliometric test of Simonton’s model of creative productivity. Scientometrics 56:223–233.
Merton, Robert K. 1968. The Matthew effect in science. Science 159:56–63.
Merton, Robert K. 1973. The sociology of science. Theoretical and empirical investigations. Chicago: University of Chicago Press.
Merton, Robert K. 1995. The Thomas theorem and the Matthew effect. Social Forces 74:379–424.
Münch, Richard. 2009. Publikationsverhalten in der Soziologie. In Publikationsverhalten in unterschiedlichen wissenschaftlichen Disziplinen, 2. erw. Aufl., Hrsg. Alexander von Humboldt Stiftung, 69–77. Bonn.
Neidhardt, Friedhelm. 2008. Das Forschungsrating des Wissenschaftsrats. Einige Erfahrungen und Befunde. Soziologie 37:421–432.
Sternberg, Robert J., und Tamara Gordeeva. 1996. The anatomy of impact: What makes an article influential? Psychological Science 7:69–75.
Thomas, William I., und Dorothy S. Thomas. 1928. The child in America: Behavior problems and programs. New York: Knopf.
Danksagung
Für wertvolle Anregungen bedanken wir uns bei den anonymen Gutachterinnen und Gutachtern und den Mitgliedern der Redaktion. Die Daten stehen zur Nachprüfung und für Sekundäranalysen zur Verfügung. Der Datensatz und die Liste der Artikel in den Stichproben (Online-Anhang) sind unter der folgenden Webadresse zu finden: http://www.socio.ethz.ch/research/datafiles.
Author information
Authors and Affiliations
Corresponding author
Rights and permissions
About this article
Cite this article
Diekmann, A., Näf, M. & Schubiger, M. Die Rezeption (Thyssen-)preisgekrönter Artikel in der „Scientific Community“. Köln Z Soziol 64, 563–581 (2012). https://doi.org/10.1007/s11577-012-0175-4
Published:
Issue Date:
DOI: https://doi.org/10.1007/s11577-012-0175-4
Schüsselwörter
- Wissenschaftssoziologie
- Wissenschaftspreise
- Impact von Artikeln
- Matthäus-Effekt
- Thomas-Theorem
- Bibliometrie