Zusammenfassung
Unter Wissenschaftsindikatoren kann man zunächst einmal alle quantifizierenden Verfahren verstehen, die Voraussetzungen, Prozesse oder Ergebnisse des Wissenschaftshandelns in einem numerischen Relativ abbilden. Diese oder ähnlich unscharfe Begriffsbestimmungen stellen eher eine Heuristik als eine klare Definition dar. Der Grund für jene Vagheit ist ein doppelter: Einerseits handelt es sich bei den zu indizierenden Objekten selbst meist nur um unscharf bestimmte Konzepte (wie z.B. Fortschritt, Bedeutsamkeit, Nützlichkeit), andererseits ist auch der Verwendungszusammenhang solcher Indikatoren meist unbestimmt (er reicht vom Hilfsmittel in wissenschaftssoziologischer Forschung bis zur Information für politische Steuerung). Die nur vage Bestimmung von Wissenschaftsindikatoren schien geradezu notwendig zu sein: Science Indicators will be produced, compared, and consumed by groups and individuals having varied priorities, programs, and preoccupations and dealing with a plurality of sciences. A rigid definition or an unswerving goal would have no great value (…). Eclecticism is as necessary as it is useful to the measurer of scientific change (ELKANA u.a. 1978: 3).
Meine Urteile selbst charakterisieren die Art und Weise, wie ich urteile, das Wesen des Urteilens.
Ludwig Wittgenstein
This is a preview of subscription content, log in via an institution to check access.
Access this chapter
Tax calculation will be finalised at checkout
Purchases are for personal use only
Preview
Unable to display preview. Download preview PDF.
Literatur
Beispielhaft für die praktische Nutzung der Cozitationsanalyse als Leistungsindikator in der Politikberatung: SCHWEIZERISCHER WISSENSCHAFTSRAT 1989: 117–130.
Ein bedeutsamer Artikel ist ein bedeutsamer Artikel, unabhängig davon, ob er tatsächlich rezipiert wird bzw. wird ein bedeutsamer Artikel unter idealen Bedingungen immer rezipiert, so jedenfalls die erste Definition von Martin/Irvine (Bedeutung unter idealen Kommunikationsbedingungen).
Auch wissenschaftlicher Fortschritt wird relativ definiert, nämlich abhängig von subjektiven Bewertungen: scientific progress, refers to the extent to which scientific activity actually results in substantive contributions to scientific knowledge (as judged by other scientists) (martin/irvine 1983: 65).
Unter idealen Kommunikationsbedingungen entspricht importance dem impact (vgl. ebd.).
Vgl. dazu Lakatos’ einschränkende Bemerkungen zur Prognostizierbarkeit der zukünftigen Entwicklung solcher Gebiete und Feyerabends Kritik am Konzept progressiver und degenerativer Forschungsprogramme in Kapitel 2.2.
Eine solche Grauzone ist z.B. die Patentierung von gentechnisch manipulierten Lebewesen. Hier sind insbesondere in den USA auch in der universitären Forschung ökonomische Kalküle und Grundlagenforschung extrem eng miteinander verflochten.
Es handelt sich um folgende Dimensionen: 1. zentrale Fragestellung, 2. wissenschaftstheoretische Voraussetzungen, 3. theoretische Ansätze, 4. vorrangige Untersuchungsprobleme, 5. anerkannte Techniken und Methoden, 6. aussichtsreiche Techniken und Methoden, 7. anerkannte Ergebnisse.
Die Reputation des Antragstellers wird hingegen wesentlich konsensualer beurteilt. Im Gutachterfragebogen der NSF ist ausdrücklich eine solche Bewertung vorgegeben, in der von Neidhardt vorgelegten Untersuchung wird in knapp der Hälfte aller Gutachten die Reputation bzw. Qualifikation des Antragstellers explizit angesprochen (neidhardt 1986b: 66). Sowohl in der NSF-Untersuchung (cole/rubin/cole 1978) wie auch in der DFG-Studie zeigte sich, daß die Gutachter auf dieser Urteilsdimension höhere Konsensusraten erzielten. Vergangene Leistungen scheinen in der Beurteilung unproblematischer zu sein. Dies ist auch plausibel, wenn man bedenkt, daß der Herstellung von Reputation eine breite Basis wissenschaftlicher Werturteile zugrunde liegt. Gutachter können sich in diesem Punkt auf eine erhebliche Menge schon vorliegender Entscheidungen der scientific community stützen. Voraussetzung ist allerdings, daß es sich bei dem Antragsteller nicht um einen Newcomer handelt, der am Beginn einer wissenschaftlichen Karriere steht und Reputation erst erwerben muß. Mit anderen Worten: Für die Beurteilung von Reputation steht häufig schon eine disziplinare Selbststilisierung zur Verfügung, an die angeschlossen werden kann.
Kritiker schielen einander über die Schulter, um eine gewisse Einheitlichkeit des Urteils zu wahren, heißt es bei hartmann 1991:144.
Wenn den Gutachtern Urteilskriterien und -kategorien vorgegeben werden, würde sich ein solches Verhalten als mangelhafte interne Konsistenz äußern, denn im Gesamturteil könnten andere Erwägungen (z.B. eine andere theoretische oder wissenschaftstheoretische Perspektive) berücksichtigt werden als bei der fachlichen (eigene Perspektive) Beurteilung auf einzelnen Items.
Auch die häufig bewußt gewählte Zusammensetzung des Gutachtergremiums aus Spezialisten und Generalisten zielt offenbar auf die Nutzung von “überfachlichen” Kompetenzen (vgl. DANIEL 1992: 17). Ebenso deutet Neidhardts (1986b: 100 ff) Charakterisierung kompetenter Gutachter mit den Begriffen Integrität und Souveränität auf fachliche Standards transzendierende Kompetenzen hin.
Die Bewertung von “quality” und “impact” wurde von den Begutachtern jeweils auf einer siebenstufigen Bewertungsskala vorgenommen (vgl. gottfredson 1978: 927).
64% der 1987 in der Bundesrepublik Deutschland existierenden 509 Wissenschaftspreise wurden im Zeitraum zwischen 1971 und 1987 erstmals vergeben, lediglich 6,3% der Preise wurde vor 1945 erstmals vergeben (krause 1988: 69).
Die französischen Akademien sind die Geburtsstätte der Wissenschaftspreise. Zur Entwicklung des Preissystems vgl. crosland/gÁlvez 1989.
Vgl. zur organisatorischen Gestaltung der Forschungsförderung in der Bundesrepublik: albers 1983.
Die Statistischen Ämter bemühen sich mit zunehmendem Erfolg um eine vollständige Erfassung der Drittmittel. Allerdings müssen solche Drittmittel unerfaßt bleiben, die nicht über die Hochschulhaushalte abgewickelt werden. Daher steht nach wie vor keine zuverlässige bundesweite Drittmittelstatistik zur Verfügung: Der Erfassungsgrad der Drittmittel hat sich zwar verbessert, eine annähernd vollständige Erfassung ist aber noch nicht gegeben (WISSENSCHAFTSRAT 1993b: 7).
Das Projekt wurde im Rahmen einer Förderung durch den Bundesminister für Bildung und Wissenschaft am Forschungsinstitut für Soziologie der Universität zu Köln unter Leitung von F. Neidhardt und H.-J. Block durchgeführt. Zu Einzelheiten vgl. Hornbostel (1990,1991a, 1991b, 1991c).
SCISEARCH ist eine on line-Version des Science Citation Index.
Es wurden hier nur Drittmittel von DFG, BMFT und VW-Stiftung berücksichtigt. Allerdings ändert die Einbeziehung weiterer Drittmittelgeber kaum etwas an der Orientierung auf einen Drittmittgeber. So ließ sich z.B. für Nordrhein-Westfalen (1982–86) feststellen, daß 54% aller Universitäten in der Fächergruppe Mathematik/Naturwissenschaften mehr als die Hälfte ihres Drittmittelaufkommens von nur einem Drittmittelgeber bezogen.
Mittlerweile ist es umorganisiert und umbenannt in University Funding Council (UFC). Zur Organisation und Bedeutung des UGC: hornbostel/oehler/teichler 1986; zur jüngeren britischen Hochschulpolitik und Forschungsförderung: Anderson 1989, colman u.a. 1995, zu den vom UGC benutzten Indikatoren: Jones/s IZER 1990 und sizer 1990.
Der priority score ergibt sich aus dem Mittelwert aller Gutachtervoten, denen eine Bewertungsskala von 1 bis 5 zugrunde liegt.
Einschließlich zurückgezogener Anträge. Betrachtet man nur das Normalverfahren, dann liegt die Ableh-nungsrate mit Werten zwischen 48% und 27% deutlich höher.
Allerdings ist auch die Bewilligung von Drittmittelprojekten — insbesondere von DFG-Projekten — durchaus reputationsförderlich.
Es handelt sich um die Kölner Zeitschrift für Soziologie und Sozialpsychologie und die Zeitschrift für Soziologie.
In beiden Fällen wurde anhand der institutionellen Adresse gesucht.
Der Eintrag beruht auf der Angabe des Autors in seinem Artikel. Nach wie vor erscheinen auch Artikel ohne eine solche Adressenangabe. Eine genaue Quantifizierung dieses Anteils, der von den Publikationsnormen der einzelnen Zeitschriften abhängt, ist jedoch nicht möglich (vgl. weingart/winterhager 1984: 131).
Für Deutschland, Großbritannien und Schweden lassen sich für das 19. Jhdt. jedoch nur wenige wissenschaftliche Artikel mit mehreren Autoren nachweisen (vgl. beaver/rosen 1978: 78).
Wissenschaftler, die zu Beginn ihrer Karriere in ein kooperatives Forschungsmilieu einsozialisiert wurden und ihre ersten Veröffentlichungen in Koautorschaft verfaßten, weisen auch im weiteren tendenziell höhere Produktivität und höhere Sichtbarkeit (Zitationen) auf (vgl. z.B.: beaver/rosen 1979a; ZUCKERMAN 1967; crane 1970, 1965). Auch neuere Untersuchungen bestätigen diesen Prozeß der Vorteilsakkumulation durch Kooperation (vgl. für die Soziologie: güdler 1994).
An article in a journai or book is given the value of 1, while a book receives 2–6 points according to the number of pages and type of book. (…) A report receives 1–6 points using the same criteria as for books. In cases where more than one author collaborates on an article or book the values are set according the following criteria: if there are two or three authors, each author receives half the number of points given for the publication; if there are more than three authors, each receives a third of this points (KYVIK 1989: 206).
Gross und Gross entwickelten bereits 1927 eine Zeitschriftenbewertung auf der Grundlage von Zitationszählungen.
Eine erste derartige Studie legten Cason und Lubotsky 1936 für Fachzeitschriften der Psychologie vor.
Bauin/Rothman gehen von einer Grenze von mindestens 100 Publikationen aus; Carpenter u.a. glauben, daß mindestens 30 bis 40 Publikationen vorhanden sein müssen. Tatsächlich dürfte es schwer fallen, eine allgemeingültige Grenze anzugeben, da, wie oben gezeigt, die Eignung von Impact- oder Influence-Gewichtungen nicht nur von der Samplegröße abhängt.
[I]mpcat’ denotes the actual importance of a paper as judged by the scientific community (DECKS/CHANG 1976:249).
Da es eine gewisse Zeit dauert, bis andere Wissenschaftler von einer Publikation Kenntnis nehmen, haben Diecks/Chang statt des Veröffentlichungsjahres das Jahr der ersten Zitation als Ausgangsbasis benutzt.
Man sollte sich dabei aber sowohl der Grenzen von Signifikanztests (vgl. kriz 1985) wie des Impact-Konzepts bewußt sein. Um ein Beispiel zu nennen: Die acht Nobelpreisgewinner des Jahres 1975 weisen, bis auf einen, sowohl hohe Publikationszahlen (zwischen 41 und 87 zitierte Artikel) als auch hohe Zitationszahlen (zwischen 94 und 385 Zitate) auf. Einer der Gewinner (J. Rainwater) jedoch kommt auf lediglich 7 zitierte Artikel mit einer Gesamtzahl von 8 Zitaten. Der Durchschnittswert für alle zitierten Wissenschaftler zu dieser Zeit (1974) lag bei 2 Publikationen und insgesamt 7 Zitaten. Gegenüber einer sehr großen Zahl anderer Wissenschaftler unterscheidet sich offenbar der Impact der Arbeiten von Rainwater nicht (vgl. lawani 1977).
So beziffert z.B. Winterhager (1994: 551) den “Verlust” an Publikation für die deutsche Soziologie bei Benutzung des Social Science Citation Index auf ca. 60%.
Dazu wurden Angaben aus dem Vademecum Deutscher Lehr- und Forschungsstätten. Stätten der Lehre. Teil 1. Wissenschaftliche Hochschulen. 8. Aufl., Stuttgart 1988 herangezogen. Die Angaben entsprechen allerdings nicht genau den Erhebungskategorien der amtlichen Statistik, und die fachliche Spezialisierung ist in vielen Fällen auch nicht angegeben. Es handelt sich also um grobe Schätzwerte.
Als Outputmessung wurde eine Zählung der Publikationen auf der Grundlage der Forschungsberichte der Universitäten benutzt, verbunden mit verschiedene Gewichtungen für Monographien, Zeitschriftenartikel, Beiträge in Sammelbänden und Herausgeberschaft (vgl. backes-GELLNER/sadowski 1988).
Small (1982) bezeichnet mit diesem Begriff alle Studien, die mit Hilfe einer Taxonomie oder eines Klassifikationsverfahrens das Zitat mit Hilfe des ihn umgebenden Textes näher qualifizieren.
Damit sind vor allen Dingen Referenzen gemeint, die sich auf mehrere Quellen beziehen. Moravcsik und Murugesan (1975: 90) halten solche Zitate für überflüssig: [F]rom a strictly point of view, reference to one single paper would be sufficient, and the multiple reference is made mainley to ‘keep everybody happy’ in the game of priority hunting.
Moravcsik/Murugesan (1975: 88) unterscheiden organic und perfunctory references. Während sie unter organic eine Referenz verstehen, die für das Verständnis des zitierenden Textes notwendig ist (truly needed), handelt es sich bei der Kategorie perfunctory um mainley an acknowledgement that some other work in the in the same general area has been performed.
Ein Beispiel dafür, was sich unter der Kategorie “persuasiveness” alles unterbringen läßt, präsentiert Brooks (1985: 228) selbst: Ein Historiker, der seine Zitationsmotive in den vorgegebenen Skalen nicht zutreffend beschrieben fand, versammelte seine Zitate historischer Quellen unter der Kategorie “persuasiveness”.
Überblick, Vollständigkeit/Benutzung der Argumente, Methoden, Messungen etc. der zitierten Arbeit/ Bestätigung der Resultate/Kritik der zitierten Arbeit/sonstiges.
Professionelle oder private Beziehung zum Autor vorhanden oder erwünscht/Erwartung oder Vergabe von Respekt/professionelle oder finanzielle Abhängigkeit/nicht notwendige Füllzitate/Publizität schaffen für einen eigenen oder fremden Artikel/zitierter Artikel in angesehener Zeitschrift/Ein Autor mit hoher Reputation/auch durch andere zitiert.
Das zugehörige Fragebogenitem lautet: The particular paper was cited in your paper because (…) in the introduction of your paper or later a review of literature is given due to ‘completeness’, preliminaries’ (VINKLER 1987: 54).
Rights and permissions
Copyright information
© 1997 Westdeutscher Verlag GmbH, Opladen
About this chapter
Cite this chapter
Hornbostel, S. (1997). Leistungsbewertungen mit Hilfe von Wissenschaftsindikatoren. In: Wissenschaftsindikatoren. VS Verlag für Sozialwissenschaften. https://doi.org/10.1007/978-3-322-90335-8_5
Download citation
DOI: https://doi.org/10.1007/978-3-322-90335-8_5
Publisher Name: VS Verlag für Sozialwissenschaften
Print ISBN: 978-3-531-12908-2
Online ISBN: 978-3-322-90335-8
eBook Packages: Springer Book Archive