1 Einleitung

Der Aufstieg von Forschungsevaluationen wird in der Literatur vor allem im Zusammenhang mit dem New Public Managment diskutiert (vgl. Hornbostel, 2010), fußt aber auf der quantitativ vergleichenden Evaluation von Höheren Lehranstalten in den USA, wo sie Anfang des 20. Jahrhunderts noch stark disziplinär geprägt und auf angewandte Wissenschaften ausgerichtet war (Espeland & Sauder, 2016, S. 9 ff.; Wilbers et al., 2021). Die vergleichende Bewertung von Medical Schools in den USA, hat sich dabei im Zeitraum 1850–1930 von vagen Diskurskonstellationen hin zu tabellarischen Rankings entwickelt und auch zur inhaltlichen Standardisierung medizinischer Wissenschaft beigetragen, weil die gewählten Qualitätsmaßstäbe eine Grenzziehung zwischen wissenschaftlicher Medizin und sogenannter „Quacksalberei“ bewirkten (Wilbers et al., 2021). Die soziologische Forschung zu Standardisierung vertritt noch umfassender, dass Standards erstens niemals wertfrei sein können und zweitens immer soziale Konsequenzen haben (Bowker & Star, 2000; Timmermans & Epstein, 2010). Insbesondere der quantitative Vergleich erfordert nach Heintz (2010) eine Kombination von „Gleichheitsunterstellung und Differenzbeobachtung“ (S. 164), in Gestalt von Kriterien und Indikatoren, welche neue Vergleichsrealitäten schaffen – eine kommunikationssoziologische Perspektive, die unter der Phrase „Trust in Numbers“ (Porter, 1996) in der Soziologie der Bewertung etabliert ist. Im Zuge strategischer Kalkulationen werden diese Vergleichsrealitäten durch Forschungsevaluation dann auch handlungsleitend für Organisationen (Wiesenthal, 2007).Footnote 1 In diesem Sinne soll hier die Evaluation medizinischer Fakultäten als Ausprägung organisationaler Steuerung verstanden werden, wobei Evaluationsergebnisse jeweils strategische Kursanpassungen zur Folge haben (sollen), welche sich häufig in veränderter Mittelzuweisung ausdrücken, weshalb die Mittelempfänger im Wettbewerb stehen.

Medizinische Fakultäten in Deutschland müssen ihre strategischen Kalkulationen dabei gleich auf mehrere Wettbewerbe beziehen: die inter-universitäre Konkurrenz um Reputation und Mittel schlägt dabei auf die unteren Organisationsebenen durch, sodass medizinische Fakultäten, Institute oder auch einzelne Lehrstühle oder Wissenschaftler*innen mit ihren Äquivalenten anderer Hochschulen konkurrieren. Intra-universitär bzw. inter-fakultär konkurrieren Fakultäten derselben Hochschule um Mittel und Einfluss, ebenfalls mit Wirkung auf die darunter liegenden Organisationsebenen und erzeugen so intra-fakultär sub-disziplinäre Konkurrenz zwischen medizinischen Instituten oder Lehrstühlen. Die Steuerungsinstanzen in den Fakultäten – üblicherweise die Dekanate – müssen alle diese Wettbewerbe adressieren und dabei zwei gegensätzliche Rollen einnehmen. Inter-universitär und inter-fakultär sind sie Wettbewerbsteilnehmer und bestrebt, dass die eigene Fakultät ein möglichst großes „Stück vom Kuchen“ abbekommt, wenn es um die Mittelzuteilung geht (z. B. über Hochschulverträge oder öffentliche Drittmittel). Intra-fakultär sind sie hingegen zentral für die Mittelverteilung auf Institute und Lehrstühle unter Berücksichtigung von Steuerungsanliegen und führen die Leistungsorientierte Mittelvergabe (LOM) durch – ein zentrales Instrument der leistungsbasierten Mittelallokation in medizinischen Fakultäten in Deutschland (Herrmann-Lingen in diesem Band). Durch die Einbeziehung von inter-universitär und publikationsbasiert gedachter „Exzellenz“ in die LOM sind diese beiden Wettbewerbe verbunden, etwa über die Verwendung von Impact-Faktoren, deren Bezugssystem ja die weltweite Publikationslandschaft ist.

Der vorliegende Beitrag greift nun die intra-fakultäre Perspektive heraus und versteht die Sicherstellung von Effizienz und Effektivität als zentrale Aufgabe des Controllings durch Dekanate (vgl. Dyckhoff & Ahn, 2002). Empirisch wird untersucht, ob an die an den Fakultäten gehaltenen Daten für die Betrachtung von Effizienz geeignet sind, also des mengenmäßigen Outputs in Bezug auf den Input – im Gegensatz zu Effektivität, welche die Zielgerichtetheit des Outputs beschreiben würde (vgl. Nullmeier, 2001). Dieser Betrachtungsweise unterliegt die Vorstellung, dass Input und Output durch eine Produktionsfunktion verbunden sind,Footnote 2 woran sich etablierte Methoden wie die Data-Envelopment-Analyse (Messung von Effizienz einer Einheit relativ zur Vergleichsgruppe) anschließen ließen (beispielsweise bei Clermont, 2016; Gralka et al., 2018).

Dieses Verständnis von Effizienz betrachtet die medizinische Fakultät gewissermaßen als eine Black Box, bei der nur Zu- und Abflüsse beobachtet werden und deren interne Mechanismen verborgen bleiben.Footnote 3 Dabei wird gemeinhin unterstellt, dass Input und Output einen gerichteten Zusammenhang aufweisen, d. h. bei einem Zuwachs an Input wird auch eine Steigerung des Outputs zu erwarten sein. Es ist in verschiedenen Disziplinen üblich, solche gerichteten Zusammenhänge zunächst als linear anzunehmen, soweit nichts anderes bekannt ist. Im hiermit vorgelegten Beitrag sollen deswegen die Voraussetzungen der Effizienzmessung als Modellannahmen für die lineare Regression verstanden und exemplarisch diskutiert werden.

Es ist dabei zunächst zu klären, welche Kennzahlen eigentlich als Input und welche als Output betrachtet werden sollen, um die Effizienz einer medizinischen Fakultät zu berechnen. Hier sind die Variablen wissenschaftliche Beschäftigte (Input) und Publikationen (Output) etabliert. Zusätzlich werden in neuerer Literatur auch Drittmittel als Output verstanden (Angelova et al., 2021), jedoch müsste hier eigentlich je nach Evaluations- oder Steuerungsanliegen eine unterschiedliche Zuordnung getroffen werden. So ist aus der Perspektive der Universitäten und Forschungseinrichtungen eine große Zahl an eingeworbenen Drittmitteln zwar ein positiver Indikator für Forschungsperformanz, gleichzeitig ist für ein Bundesministerium, welches oft als Drittmittelgeber auftritt, sicher auch relevant, ob mehr Drittmittel beispielsweise zu mehr exzellenter Forschung führen. Drittmittel an den Fakultäten ließen sich somit auch als Input auffassen, was auf die zentralen Forschungsfragen führt:

Wäre für die Effizienzmessung eine Perspektive auf Drittmittel als Input möglich und sinnvoll? Und welche Drittmitteldarstellung wäre als Output-Parameter am geeignetsten?

Zur Beantwortung dieser Fragen wurden Daten zu Beschäftigten, Publikationen und Drittmitteln aus drei deutschen medizinischen Fakultäten empirisch verglichen. Die Datenerhebung ging dabei zunächst von der übergeordneten Perspektive der Forschungsevaluation des Wissenschaftsrates aus, der den „KDSF – Standard für Forschungsinformationen in Deutschland“ für Universitäten und Forschungseinrichtungen vorgeschlagen, spezifiziert und evaluiert hat (Wissenschaftsrat, 2013, 2016, 2020). Dort wird etwa empfohlen, innerhalb der Hochschulen über Beschäftigte Angaben zur Personenzahl und zu Vollzeitäquivalenten bereit zu halten, Drittmitteleinnahmen und Drittmittelzusagen zu erheben sowie Publikationszahlen zu verfolgen – und zwar jeweils mit spezifischen Ausdifferenzierungen etwa zu Organisationseinheit und Fach. Der KDSF-Standard konkurriert dabei gewissermaßen mit der wilden Standardisierung von Forschungsinformationen im Zuge der Verbreitung von Forschungsinformationssystemen, die den Hochschulen ihre Reporting-Aufgaben erleichtern sollen (Ebert et al., 2021), die teilweise für die Umsetzung der Leistungsorientierten Mittelvergabe (LOM) zum Einsatz kommen und von denen wir annehmen können, dass sie auf die administrativen Strukturen der Hochschulen zurückwirken.

Trotz der Anerkennung von Standardisierungsbemühungen muss die Beforschung medizinischer Forschung in besonderem Maße die (publikations-)kulturellen Unterschiede zwischen den verschiedenen Subdisziplinen berücksichtigen. Dies schließt an die kritische Diskussion zur unzureichenden Berücksichtigung von Fächerunterschieden bei der Forschungsevaluation im Allgemeinen an (vgl. Wilsdon et al., 2015), die auch der Wissenschaftsrat aufgreift, sich deshalb für die fachbezogene Datenerhebung ausspricht (Wissenschaftsrat, 2016, 2020) und dafür die Fächerklassifikation des Statistischen Bundesamtes hervorhebt (Wissenschaftsrat, 2016, S. 36), welche mit dem Hochschulstatistikgesetz (HStatG) für die Berichterstattung durch die Hochschulen festgeschrieben ist. Fächerklassifikationen bringen dabei jedoch in der Praxis häufig Probleme mit sich, da zum Beispiel interdisziplinäre Felder oft auf disziplinäre Hintergründe etwa von Personen oder Publikationen heruntergebrochen werden müssen (siehe z. B. Frietsch et al., 2021).Footnote 4

In der hier berichteten Untersuchung wird deshalb eine Binnendifferenzierung vorgenommen, etwa zwischen theoretischen und klinischen Fächern und auch zwischen verschiedenen Fächern und Fächergruppen mit jeweils unterschiedlichen Forschungs- und Publikationstraditionen (s. QuaMedFo-Fächerklassifikation in diesem Band).

Der Beitrag ist im Folgenden so aufgebaut, dass zunächst kurz die Datenerhebung beschrieben wird, woran sich der empirische Ergebnisteil anschließt. Die Diskussion der Ergebnisse mündet dann in Empfehlungen zu den Voraussetzungen einer Effizienzmessung an medizinischen Fakultäten.

2 Daten und Methoden

Zur Beantwortung der aufgeworfenen Forschungsfragen wurde mit den drei Pilotfakultäten des Projekts QuaMedFo vereinbart, dass sie Daten über den Zeitraum 2005–2018 gemäß KDSF-Standard zur Verfügung stellen. Die Untersuchung versteht sich als Fallstudie, deren Datenerhebung nah am Gegenstand ist, die damit aber keine Repräsentativität beanspruchen kann. Durch die vergleichende Betrachtung mehrerer Fakultäten miteinander sollen jedoch trotzdem Erkenntnisse generiert werden, die außerhalb der betrachteten Fakultäten relevant sein können – eine Herangehensweise, die Morgan (2020, S. 206) als „thinking with cases“ bezeichnet hat.

Die Datenanfrage bezog sich auf die Bereiche a) Beschäftigte, b) Drittmittel und c) Publikationen. Gebeten wurde um Datenlieferungen nach dem KDSF-Standard, wobei es sich überwiegend um Aggregatdaten handelt, welche über einzelne Beschäftigte, Publikationen und Projekte Auskunft geben. Die Fakultäten haben umfänglich Daten geliefert, soweit es ihnen möglich war, teilweise auf Basisniveau und teilweise auf Aggregationsebenen unter- oder oberhalb der Organisationseinheiten. Daten wurden für die Analysen dann berücksichtigt, wenn sie für mindestens zwei der drei Fakultäten vergleichbar auf Fächergruppe und Jahr aggregiert oder aggregierbar waren.

2.1 Datenlieferung und -aufbereitung

Die Beschäftigtendaten wurden von den drei Fakultäten in unterschiedlicher Ausprägung geliefert: teilweise bezogen sich Angaben nur auf Drittmittelpersonal, teilweise nur auf Köpfe, teilweise nur auf Vollzeitäquivalente (VZÄ), wobei zusätzlich die Daten von Fakultät A nicht den gesamten Beobachtungszeitraum umfassten. Aus Datenschutzgründen waren die Daten auf verschiedene Weise durch die Fakultäten anonymisiert und aggregiert worden. Aufgrund der Heterogenität der gelieferten Daten musste der Analysedatensatz stark eingeschränkt werden und umfasst nur die Vollzeitäquivalente von Drittmittelbeschäftigten aus den Fakultäten A und B, damit die Gleichheitsunterstellung (vgl. Heintz, 2010) gewährleistet bleiben konnte.

Die gelieferten Drittmitteldaten waren ebenfalls sehr divers und bezogen sich auf Einnahmen, Ausgaben sowie Zusagen. Der Analysedatensatz wurde auf diejenigen Kategorien beschränkt, welche mindestens den Detailgrad der QuaMedFo-Fächerklassifikation aufwiesen: Drittmittelausgaben und Drittmittelzusagen. Die schlechteste Datenlage gab es zu den Drittmitteleinnahmen, welche eigentlich nach KDSF-Standard erhoben werden müssten: diese wurden überhaupt nur von einer der drei Fakultäten vorgehalten und waren nur auf einem Aggregationsniveau oberhalb der QuaMedFo-Klassifikation (s. Tab. 1) lieferbar, sodass sie für Analysen ausscheiden mussten.

Tab. 1 Betrachtete Kategorien im Analysedatensatz
Full size table

Die Publikationsdaten werden hier nur nachrichtlich erwähnt, da sie Teil derselben Datenerhebung waren wie die Drittmittel- und Beschäftigtendaten. Die Analyse der Publikationsdaten wird im Beitrag „Publikations- und Rezeptionsanalyse von drei Pilotfakultäten“ (Aman in diesem Band) berichtet.

2.2 Ergänzung der Daten um eine Fachklassifikation

Damit die drei Fakultäten miteinander verglichen werden konnten, musste eine gemeinsame Betrachtungsperspektive entwickelt werden. Von den im Projekt QuaMedFo beteiligten Praktiker*innen wurde die zum Anfragezeitpunkt 2018 vorliegende Fächerklassifikation des Statistischen Bundesamtes (DESTATIS)Footnote 5 jedoch nicht als differenziert genug angesehen um die medizinische Forschung zielgerecht abzubilden. Darüber hinaus waren interdisziplinäre Forschung sowie lehrbezogene Sonderformate dort nicht geeignet abbildbar und teilweise waren an den Fakultäten vertretene Subdisziplinen gar nicht der Medizin zugeordnet (z. B. die medizinische Psychologie). Im Zuge der Datenaufbereitung, zunächst bei den Publikationen, wurde deshalb für das Projekt QuaMedFo eine eigene Fächerklassifikation erarbeitet, welche sich an die Klassifikation des medizinischen Fakultätentages (MFT) anlehnt und 11 inhaltliche Fächergruppen umfasst (s. QuaMedFo-Fächerklassifikation in diesem Band). Für die Analyse der Drittmittel- und Beschäftigtendaten war es notwendig, die zusätzlichen beiden Klassen „Interdisziplinäre und translationale Medizin“, welche vor allem Zentren umfasst, sowie „Lehre“, welche bei Beschäftigtenanalysen zum Tragen kommt, zu ergänzen, sodass hier im Unterschied zu anderen Analysen in QuaMedFo 13 Klassen verwendet wurden. Zur Umsetzung dieser Klassifikation in den Analysen wurde durch manuelle Zuordnung eine Konkordanzliste erstellt, welche die Organisationseinheiten der Fakultäten der Klassifikation zuordnet.

2.3 Methoden

Wie in der Einleitung geschildert gehen wir bei der Effizienzmessung grundsätzlich zunächst vom linearen Modell aus. Hierfür sollten Inputvariablen a) untereinander unabhängig sein, da sonst Modelle unnötig kompliziert werden für wenig Informationsgewinn (davon abgesehen destabilisiert starke Multikollinearität die Schätzung der Regressionskoeffizienten). Das bedeutet für unsere Fragestellung, ob Drittmittel als Inputparameter mit betrachtet werden sollten, dass dies nur sinnvoll ist, wenn sie von dem anderen etablierten Parameter – den Beschäftigten-VZÄ – stochastisch unabhängig sind. Zusätzlich sollten b) die Störterme der Variablen im Verhältnis zu den Werten möglichst klein sein. Es ist also die Modellannahme der Homoskedastizität für die als Output vorgeschlagenen Drittmittel zu prüfen.

Da mit den vorliegenden Daten nur eine kleine Fallstudie möglich ist, soll sich hier auf die exemplarische Prüfung dieser genannten beiden Modellannahmen a) Unabhängigkeit der Regressoren und b) Homoskedastizität der Prädiktoren beschränkt werden. Um die oben genannte Forschungsfrage zu beantworten:

Wäre für die Effizienzmessung eine Perspektive auf Drittmittel als Input möglich und sinnvoll? Und welche Drittmitteldarstellung wäre als Output-Parameter am geeignetsten?

Als zu ergänzender Inputparameter (Regressor) wurden von den in QuaMedFo beteiligten Praktiker*innen die Drittmittelausgaben vorgeschlagen, da sie für die Forschenden eine Ressource darstellen. Die Drittmittelzusagen sollen hingegen als Output (Prädiktor) verstanden werden, da sie wissenschaftliche Erfolge darstellen.

Die Datenanalyse erfolgte mit der statistischen Programmiersprache R (R Core Team, 2022) sowie zusätzlichen Paketen, darunter tidyverse (Wickham et al., 2019), ggplot2 (Wickham, 2016), und lmtest (Zeileis & Hothorn, 2002).

3 Ergebnisse der Studie

Die Analyse der Daten hat gezeigt, dass die Unterschiede beim Zusammenhang der verschiedenen erhobenen Variablen zwischen Fächern und Fakultäten sehr groß sind. Dies soll hier nur exemplarisch anhand des Zusammenhangs zwischen Drittmittelausgaben und Drittmittelpersonal illustriert werden. In der grafischen Darstellung (Abb. 1) unterscheiden sich sowohl die Steigungen der Regressionsgeraden zwischen den Fächern als auch die Skalen (Achsenbeschriftungen) zwischen den Fakultäten deutlich. Dies bestätigt sich auch rechnerisch im linearen Modell (Tab. 2), in welchem die Effekte von Fakultäten und Fächergruppen signifikant sind.

Abb. 1
figure 1

Drittmittelausgaben und Vollzeitäquivalente: Die Darstellung zeigt a) die Unterschiede in den Forschungsprofilen der Fakultäten als unterschiedliche Mittelausstattung der Fächer; b) die Unterschiede in der Mittelausstattung zwischen den Fächern innerhalb der Fakultäten; c) die Unterschiede im Zusammenhang von Drittmittel-Ausgaben und Vollzeitäquivalenten (Steigungen der Regressionsgeraden)

Full size image
Tab. 2 Lineare Regression von Drittmittelausgaben auf Drittmittelpersonal mit Kontrollvariablen: signifikante Unterschiede zwischen Fakultäten und Fächern werden hier deutlich
Full size table

3.1 Drittmittel aus Input-Output-Perspektive: Unabhängigkeit

Input–Output-Analysen, welche Personal als Input und Publikationen als Output verstehen, lassen sich leicht als eindimensional verkürzt kritisieren, weshalb auch durch den KDSF-Standard weitere Erfassungsdimensionen vorgeschlagen werden.Footnote 6 In diesem Zusammenhang sind besonders die Drittmittel interessant, da sie zum einen als Drittmittel-Ausgaben die Ressourcen erhöhen, also Input sind, und zum anderen als eingeworbene Drittmittel einen Indikator für Forschungsleistung, also Output, darstellen. Um die Leistungsmessung sinnvoll zu ergänzen, müssten Drittmittelausgaben jedoch stochastisch möglichst unabhängig vom Personal sein, sonst würden sie zwar Regressionsmodelle komplizierter machen, jedoch keinen inhaltlichen Beitrag leisten, sondern die Modellgüte (Stabilität der Regressionskoeffizienten) sogar beeinträchtigen (vgl. Backhaus et al., 2018, S. 79 ff.). Zur Prüfung auf Kollinearität wurde mit den gelieferten Daten aus Fakultät A und Fakultät B eine lineare Regression durchgeführt, wodurch sich zeigt (s. Tab. 3), dass von einer Unabhängigkeit von Drittmittelausgaben und drittmittelfinanziertem Personal keinesfalls gesprochen werden kann, sondern dass der Zusammenhang zwischen beiden Zahlen hochsignifikant ist, was auch so bleibt, wenn auf Jahr, Fach und Fakultät kontrolliert wird (s. Tab. 2), weshalb die Einführung von Drittmittelausgaben als zusätzliche Input-Variable eher abzulehnen ist.

Tab. 3 Regression Drittmittelausgaben auf Drittmittelpersonal ohne Kontrollvariablen: Der Zusammenhang zwischen Drittmittelausgaben und Drittmittelpersonal ist deutlich signifikant
Full size table

Dieses Ergebnis mag trivial erscheinen, da die Erhöhung von Drittmittelpersonal durch verfügbare Drittmittel sofort plausibel ist – hierzu gibt es jedoch zwei Anmerkungen zu machen. Zum ersten wäre natürlich alternativ denkbar, dass die Drittmittelausgaben fast ausschließlich für Sachkosten (z. B. Laborausstattung) oder Investitionen (z. B. Forschungsbauten) aufgewendet würden, sodass hier prinzipiell auch nicht-personelle Ressourcen vorliegen könnten, die dann als Input berücksichtigt werden müssten – dies scheint jedoch angesichts der empirischen Untersuchung nicht so zu sein. Zum zweiten wird die Verwendung von Drittmittelausgaben als Input-Parameter ja tatsächlich aus der Fachcommunity vorgeschlagen (Herrmann-Lingen et al., 2014; Herrmann-Lingen in diesem Band), kommt angesichts der empirischen Untersuchung jedoch für ein lineares Modell eher nicht infrage – was in der Gesamtschau bedeutet, dass die Verwendung nichtlinearer Modelle ggf. stärker in Erwägung gezogen werden muss, wenn die Drittmittelausgaben in die Evaluation einbezogen werden sollen.

3.2 Drittmittel aus Input–Output-Perspektive: Varianzen

Außerdem untersucht wurden die Drittmittelzusagen, welche von zwei Fakultäten geliefert wurden. Im Bild ist erkennbar, dass die Varianz der Drittmittelzusagen im Fall der Fakultät B wenig homogen ist (s. Abb. 2), es kann also Heteroskedastizität vermutet werden, weshalb der Goldfeld-Quandt-Test angeraten ist um diese zu prüfen (vgl. Backhaus et al., 2008, S. 86). Im Ergebnis (Tab. 4) muss die Nullhypothese der Homoskedastizität verworfen werden und unsere Vermutung der Heteroskedastiziät trifft also zu. Etwas überraschend ist, dass dies trotz der hohen Aggregationsebene auf Fächergruppen noch so deutlich zu Tage tritt.

Abb. 2
figure 2

Drittmittelzusagen an den Fakultäten: In Fakultät B weisen die Drittmittelzusagen besonders im Bereich Vorklinik eine deutliche Varianz auf

Full size image
Tab. 4 Lineare Regression von Drittmittel-Zusagen auf Jahre mit darauffolgendem Goldfeld-Quandt-Test zur Prüfung der Nullhypothese von Homoskedastizität: die Nullhypothese muss zurückgewiesen werden – Heteroskedastizität liegt vor
Full size table

Im Wesentlichen bedeutet das, dass die Drittmittelzusagen im Verhältnis zu ihrem Mittelwert jährlich zu stark fluktuieren, um aussagekräftig zu sein. In der Tat wäre es auch in der Praxis kaum zu rechtfertigen, wenn seltene Ereignisse wie etwa die Drittmittelzusage für die Einrichtung einer neuen Klinik oder eines neuen Zentrums dann als Arbeitsergebnis eines bestimmten Jahres verbucht würde. Anstelle dessen wäre es eher als Ertrag einer langjährigen erfolgreichen Forschungstätigkeit zu interpretieren.

Grundsätzlich könnte die analytische Verteilung von zugesagten Fördersummen als Einkommen auf mehrere Jahre diese Varianzverteilung homogenisieren. Allerdings würde das ohnehin bestehende Problem des Zeitverzugs zwischen Leistung (wissenschaftliche Beschäftigung mit dem Gegenstand) und Output (Zusage der beantragten Drittmittel) hierdurch noch verschärft.

Alternativ werden in den Wirtschaftswissenschaften oft rollierende Darstellungen und Planungen verwendet, welche die Mittelwerte über mehrere Jahre überlappend darstellen. Durch diese Darstellung lassen sich Trends unter Umständen besser erkennen – auch hier besteht jedoch wieder das Problem des Zeitverzugs zwischen Leistungserbringung und dem Erhalt aussagekräftiger Evaluationskennzahlen.

3.3 Einschränkungen

Die Betrachtung der drei medizinischen Fakultäten von außen ermöglicht zwar den Vergleich, ist aber notwendig auf die Herausgabe von Daten angewiesen, wodurch Opazität, Aufwand und Verfügbarkeit zu zentralen Herausforderungen werden. Erstens wird die direkte Herausgabe von Daten ohne Anonymisierung oder Aggregation durch Beschäftigtendatenschutz und Betriebsgeheimnisse gehemmt. Zweitens erfordert die aggregierte Übermittlung beim Datenlieferanten hohen Vorverarbeitungsaufwand und intensive Kommunikation zwischen den Datenempfängern und den Datengebern hinsichtlich Verfügbarkeit und Anforderungen. Hier konnte das Projekt auf die große Bereitschaft der Dekanate bauen, welche teilweise auch mehrmals die Daten extrahiert, anonymisiert und aggregiert haben und dabei auch die aus QuaMedFo entwickelte Klassifikation eingesetzt haben. Drittens ist die Verfügbarkeit von Daten, welche normalerweise von den Zuständigen für das Controlling nicht verwendet werden und dadurch nicht zu beschaffen waren, schwer abzuschätzen – empirisch war das bei den Drittmitteleinnahmen der Fall.

Ergänzend kann die Aussagekraft der Daten aus verschiedenen Gründen eingeschränkt sein. Beispielsweise hat eine Fakultät berichtet, dass durch das Integrationsmodell die Forschenden und die in der Patientenversorgung Tätigen administrativ nicht unterschieden werden (können). Bei Drittmitteln kommt zusätzlich eine Besonderheit in der medizinischen Forschung zum Tragen: Bei klinischen Studien, vor allem bei Auftragsforschung, gibt es oft im Vorhinein kein festes Budget, weshalb hier viele fehlende Werte in den Tabellen existieren, obwohl die Projekte erfasst sind. Außerdem ist die Datenhaltung in den Fakultäten fragmentiert – teilweise werden verschiedene Systeme je nach Mittelherkunft verwendet (z. B. begutachtete Drittmittel, Auftragsforschung etc.), welche dann schwer zu harmonisieren sind.

Zusätzlich bleibt auch die Anwendung der neuen Fächergruppenklassifikation nicht ohne Probleme. Durch Zusammenlegung und Umstrukturierung innerhalb der Fakultäten kann sich die Zuordnung von Lehrstühlen zu Fächergruppen im Zeitverlauf verändern. Dadurch würden Fächer aus Perspektive der Analyse im Verhältnis zueinander größer oder kleiner, obwohl sich inhaltlich möglicherweise nicht viel geändert hat. Bei historisch vorhandenen, aber zum Evaluationszeitpunkt nicht mehr existierenden Instituten ist die retrospektive Zuordnung zudem noch schwieriger – ein Problem, was jedoch bei jeder Klassifikation, welche von außen kommt, auftreten wird.

4 Empfehlungen und Anwendungspotenziale

Steuerung durch Finanzierung greift auf ein wettbewerbliches Gedankenmodell zurück und soll die effiziente Mittelallokation im Hinblick auf optimalen Output gewährleisten. Auf Chancen und Grenzen dieses modellhaften Verständnisses wird in Biesenbender (in diesem Band) näher eingegangen. Dessen ungeachtet benötigt Steuerung geeignete Daten auf der Basis belastbarer und transparenter Konzepte und Definitionen, wie sie zum Beispiel mit dem KDSF-Standard für Forschungsinformationen spezifiziert werden. Im Projekt QuaMedFo wurde die Datenverfügbarkeit und Geeignetheit für drei Pilotfakultäten untersucht, indem für den Zeitraum 2005–2018 verschiedene Input–Output-Daten angefragt und in der Folge analysiert wurden, woraus sich einige Empfehlungen ableiten lassen.

4.1 Inhaltliche Anforderungen an die Datenhaltung in den Fakultäten

Drittmitteldaten kommen in drei Ausprägungen vor: Ausgaben, Zusagen und Einnahmen. Der empirischen Analyse nach muss von der Hinzunahme von Drittmittelausgaben als Input-Indikator jedenfalls für die Effizienzmessung abgeraten werden, da Drittmittelausgaben stochastisch abhängig vom Drittmittelpersonal sind, wodurch sie keinen Erkenntnisgewinn im linearen Modell bieten.Footnote 7 Ebenfalls mit Problemen behaftet scheinen Drittmittelzusagen als Output-Indikator, da hier eine hohe Fluktuation vorliegt, welche die linearen Modellannahmen verletzt. Und schließlich unterliegen jährlich betrachtete Drittmitteleinnahmen zwar dem Problem des Zeitverzugs zwischen Leistungserbringung und Leistungserträgen, lassen sich jedoch als geglättete Form der Drittmittelzusagen vermutlich rechnerisch am leichtesten verarbeiten. Insofern wäre den Fakultäten anzuraten, dass künftig Drittmitteleinnahmen strukturiert erfasst werden sollten − im Einklang mit den Empfehlungen des KDSF-Standards.

4.2 Berücksichtigung von Fächerunterschieden

Eine für die Steuerung verwendete Fächerklassifikation sollte eng an der Struktur der Fakultät liegen um Steuerungsanliegen adäquat abzubilden. Gleichzeitig ändert sich bei Strukturanpassungen der Fakultäten regelmäßig der Bezugsrahmen von Lehrstühlen und Kliniken, wodurch die zeitkontinuierliche Betrachtung nur schwer gewährleistet werden kann. Eine nachträgliche Klassifikation ist entsprechend hoch fehleranfällig, deshalb sollte die Klassifikation möglichst gleich bei der Datenerfassung erfolgen.

Zusätzlich wird am Paradigma der translationalen Medizin (vgl. Blümel et al., 2015) sowie mit der Gründung von organ- oder syndrombezogenen medizinischen Zentren deutlich, dass die fächerübergreifende Zusammenarbeit funktional im Sinne einer modernen Medizin ist, welche sich entsprechend auch nicht mehr nur fachbezogen evaluieren lässt. Vor diesem Hintergrund gewinnen themen- oder problembezogene Systematiken, die quer zu disziplinären Klassifikationen liegen, stetig an Relevanz.

4.3 Organisationale und technische Anforderungen an die Datenhaltung in den Fakultäten

Der Export aus den verschiedenen Speichersystemen und die Befassung der Mitbestimmungsorgane in den Pilotfakultäten waren zentrale Herausforderungen im Projekt. Auf die frühzeitige Einbindung der Mitbestimmungsorgane bei Datenerfassung und -herausgabe sollte bei Folgeprojekten geachtet werden. Bei der Auswahl von Forschungsinformationssystemen sind Konfigurierbarkeit mit eigenen Klassifikationen, Flexibilität hinsichtlich struktureller Veränderungen sowie die Kompatibilität mit dem KDSF-Standard und interoperabler Datenexport zentral. Auf die Datenhaltung und Formatierung in Excel-Tabellen sollte eher verzichtet werden.

4.4 Hinweise für die Weiterentwicklung des KDSF-Standards

In der Untersuchung insbesondere der Datenverfügbarkeit hat sich gezeigt, dass alle betrachteten medizinischen Fakultäten die Drittmittelausgaben kleinteilig erfassen und für ihr Controlling verwenden, diese Daten also funktional sind. Die Drittmittelausgaben sind gleichwohl nicht im KDSF-Standard enthalten. Da die die Funktionalität von Kennzahlen für die Evaluierten aus soziologischer Perspektive nicht negiert werden sollte, wird hiermit der Einbezug von Drittmittelausgaben bei der Weiterentwicklung des KDSF-Standards vorgeschlagen.