Heterogenität und Qualität in der Wirtschaftsinformatikforschung

Einleitung

Auf der Herausgebersitzung Anfang 2014 wurde beschlossen, die nächsten Veränderungen im Zusammenhang mit der Internationalisierungsstrategie der BISE anzugehen. Verbunden damit war eine Neuorganisation des Herausgeberkreises, in der wir die Departments des Editorial Boards erweitert und damit weiter an die inhaltlichen Bereiche der Wirtschaftsinformatik angelehnt haben. Motivation dafür war auch das Qualitätsmanagement einer Zeitschrift, die ein methodisch vielschichtiges Fach vertritt.

Nach knapp einem Jahr nehmen wir dieses Editorial zum Anlass, in einer sich verändernden Forschungs- und Publikationslandschaft die Themen Qualität und Qualitätsmanagement zu reflektieren – mit Blick auf diese Zeitschrift, aber als Fachbereichsorgan der Wirtschaftsinformatik auch über die Zeitschrift hinaus. Uns erscheint es wichtig, dass wir die methodischen und inhaltlichen Eigenheiten der verschiedenen Teilgebiete der Wirtschaftsinformatik unterstützen, dabei aber auch die Gemeinsamkeiten und Stärken der Wirtschaftsinformatik als wissenschaftliches Fach fördern. Wir wollen eine Diskussion über Qualitätsstandards in den mit den Departments verbundenen inhaltlichen Bereichen anstoßen und im Sinne eines kontinuierlichen Qualitätsmanagements auch über Qualitätsstandards diskutieren, die disziplinübergreifend sind. Damit möchten wir keinen Bürokratismus erzeugen, sondern Anhaltspunkte liefern, die uns als wissenschaftlichem Fach helfen, nach dem jeweiligen Stand der Technik belastbare und für die Gesellschaft relevante Forschungsergebnisse zu liefern.

Das Verständnis von Forschungsqualität und die Formen, wie Qualitätsmanagement für Forschung (einschl. Kommunikation von Forschungsergebnissen) erfolgen sollte, geben immer wieder Anlass zu kontroversen Diskussionen. Zweifellos können die methodische Tiefe und insgesamt die Qualität von Forschung nie unabhängig vom Thema der Forschung sowie vom Forschungsansatz gesehen werden. So gibt es Fragestellungen, die sich einer formalen Betrachtung erschließen und solche, in denen empirische Ergebnisse oder innovative Artefakte eine größere Rolle spielen. Darüber hinaus gibt es aber auch Ansprüche an die Belastbarkeit von Aussagen und Generalisierbarkeit von Forschung, die über die Teildisziplinen der Wirtschaftsinformatik hinaus Geltung besitzen.

Es ist unmöglich, ein vielschichtiges Thema wie das der Forschungsqualität in einem Editorial erschöpfend zu behandeln. Wir wollen deshalb einige ausgewählte Aspekte diskutieren, die uns wichtig erscheinen, um qualitativ hochwertige und relevante Forschung zu fördern.

Zur Beurteilung von Qualität in der Forschung

Die Qualität von Forschungsprozessen bzw. -ergebnissen wird an den verschiedensten Stellen beurteilt, beispielsweise in Auswahlverfahren von Zeitschriften und Konferenzen, bei der Gewährung von Fördermitteln oder bei der Abschlussbegutachtung von Forschungsprojekten. Typische Beispiele für elementare Qualitätsbeurteilungskriterien sind nach Rosemann et al. (2010):

• Die theoretische Fundierung (sofern von Bedeutung),

• die verwendeten Forschungsmethoden,

• die Bedeutung der Erkenntnisse als Grundlage für weiterführende Forschungsarbeiten (aus der Sicht Forschender),

• die Bedeutung der Erkenntnisse für Anwendungen in der Praxis,

• die thematische Relevanz aus der Sicht des betreffenden Publikationsorgans (Zeitschrift, Schwerpunktheft, Konferenz(-Track)),

• die Originalität der Forschungsarbeit,

• die Präsentation der Forschungsergebnisse sowie

• das Interesse, das die Arbeit bei bestimmten Adressatengruppen zu finden verspricht.

Neben solchen dezidierten Qualitätskriterien kommen häufig auch Bewertungen zum Einsatz, die ein Gesamturteil zum Ausdruck bringen. Mit diesem Gesamturteil wird i. d. R. auch eine Annahme- bzw. Ablehnungsempfehlung verbunden.

Empirische Analysen zeigen, dass je nach Publikationsorgan die Berücksichtigung der Einzelkriterien auf die Gesamtbewertung sehr unterschiedlich ist. So zeigen beispielsweise Rosemann et al. (2010), dass „for ECIS 2007, four of six review criteria significantly influenced the acceptance/rejection decision: „Significance/contribution“, „Theoretical strength“, „Presentation“, and „Appeal to audience“. For BPM 2007, just two of five review criteria, „Originality“ and „Technical soundness“, were significantly associated with the acceptance/rejection decision. Finally, for ER 2007, we found that all review criteria with the exception of „Presentation“ significantly influenced the acceptance/rejection decision“ (Rosemann et al. 2010, S. 11). Noch stärker ist die Heterogenität der Qualitätsbeurteilung beim Zusammenhang zwischen Einzelkriterien und Annahme-/Ablehnungsentscheidung ausgeprägt: „two of seven ECIS evaluation criteria are significant predictors of the acceptance/rejection decision, two of six for BPM, and one of six only for ER“. Unterschiede in der Bewertung sind auch bei wissenschaftlichen Zeitschriften zu beobachten.

Erwartungsgemäß ist das Qualitätsverständnis in der Forschung nicht absolut, sondern relativ – die Bewertung einzelner Arbeiten hängt zu einem Großteil von den Vorgaben von Editorial Boards oder Programmkomitees, vom Selbstverständnis kleinerer oder größerer Forschendengemeinden, von der Art der Forschungsfragen, von den Vorstellungen der beteiligten Institutionen (z. B. Universitäten, aber auch Verbänden) sowie nicht zuletzt von persönlichen Präferenzen ab. Diese Faktoren wirken nicht nur komplex zusammen, sondern sind im Zeitverlauf in einzelnen Fächern signifikanten Veränderungsprozessen unterworfen. Ein Beispiel sind die aktuellen Diskussionen der AACSB, zusätzlich zur Stringenz der Forschung zukünftig den „Impact“ von Forschung stärker zu betrachten (AACSB 2012).

Diese unterschiedlichen Ansprüche an Forschung sind nicht verwunderlich, da die Wirtschaftsinformatik nicht nur eine vergleichsweise junge Disziplin ist, sondern auch in den letzten zwanzig Jahren ihre thematische Breite stark vergrößert hat (Bichler 2014). Dieses Phänomen ist aber auch nicht nur auf die Wirtschaftsinformatik beschränkt.

Dezentralität bei gemeinsamen Standards

Unsere Zeitschrift hat nicht zuletzt aus den oben skizzierten Erwägungen heraus den zentralisierten Begutachtungsprozess durch eine Departmentstruktur abgelöst, welche die thematische Breite der Disziplin in Form von sieben Departments abbildet. Auch wenn natürlich über die Departments hinweg eine möglichst hohe Kohärenz der Qualitätssicherung angestrebt wird, soll diese Dezentralisierung ein gewisses Maß an Unterschiedlichkeit der „Fachkulturen“ der entsprechenden Sub-Communities ermöglichen.

Sehr erfreulich ist, dass die Dezentralisierung des Begutachtungsprozesses die Zahl engagierter (sowohl einreichender wie auch begutachtender) Kollegen/innen stark erhöht hat. Über die Grenzen der Departments hinweg versuchen wir die Kohärenz des Qualitätsmanagements dadurch sicherzustellen, dass

• neben spezifischen Qualitätskriterien einzelner inhaltlicher Bereiche übergreifende Kriterien wie beispielsweise Generalisierbarkeit, Nachvollziehbarkeit und Belastbarkeit der Aussagen angelegt werden,

• aussagekräftige Gutachten von kompetenten Gutachtern/innen eingeholt werden,

• Interessenkonflikte erkannt und adressiert werden sowie

• positive Seitenwirkungen erfolgversprechender Forschungsvorhaben auf die Wirtschaftsinformatik bei deren Beurteilung berücksichtigt werden.

Neben qualitativen Ansprüchen ist uns ebenso der Bezug zu den übergeordneten Fragestellungen der Wirtschaftsinformatik wichtig. Jeder Artikel und Begutachtungsprozess stellt natürlich neue Fragen, wie diese allgemeinen Prinzipien gelebt und angewendet werden.

Jenseits der vergleichsweise gut definier- und durchsetzbaren „Governance“ einer Zeitschrift bringt die Heterogenität der Disziplin aber auch Herausforderungen für die Wirtschaftsinformatik-Forschendengemeinde mit sich:

• 1. Bewertungen durch unterschiedliche Personen mit unterschiedlichen Qualitätsvorstellungen, auch innerhalb einer Teildisziplin, kommen häufig zu unterschiedlichen Ergebnissen. Je unterschiedlicher diese Qualitätsvorstellungen sind, umso schwieriger wird es für Autoren, die Anforderungen aller Gutachter zu erfüllen. Daher kann es dazu kommen, dass auch Artikel bzw. Anträge mit hohem Potenzial durch mittelmässige Gesamtbewertungen (Durchschnittsbildung) oder gar negative Gesamtbewertungen (Minimumbewertung) zur Ablehnung führen. Im Rahmen der Zeitschrift liegt es in der Verantwortung der Associate- und Department-Editoren, für ein ausgewogenes und faires Begutachtungsverfahren zu sorgen. Dies ist ein kontinuierlicher Managementprozess, der zu den zentralen Verantwortlichkeiten der Herausgeberschaft einer zeitgemäßen Zeitschrift mit hohem Qualitätsanspruch gehört. Über den Rahmen einer Zeitschrift hinaus kann die angesprochene Heterogenität jedoch dazu führen, dass wir als Forschendengemeinde unsere Potenziale bei Anträgen und in Publikationen nicht voll entfalten. Im Wettbewerb mit anderen Communities führt dies zur Wahrnehmung unseres Faches als „klein“ (Präsenz in Tagungsprogrammen, relative Bedeutung beim Fördervolumen) bzw. macht Aktivitäten unseres Faches nicht nachhaltig.

• 2. Es gibt eine Tendenz zur Entwicklung lokaler „Denkschulen“, die sich kritisch gegenüber stehen. Beispiele dafür sind Methodenstreite im Kontext des Entstehens der BWL Anfang des 20. Jahrhunderts (Wissenschaft vs. Kunstlehre) oder im Kontext der beginnenden Internationalisierung in der Wirtschaftsinformatik (erklärendes vs. gestaltendes Paradigma). Eine negative Folge kann darin bestehen, dass sich in bestimmten Kontexten einzelne Denkschulen „durchsetzen“, sodass echter Diskurs kaum noch möglich ist und die Wirtschaftsinformatik als zersplittert wahrgenommen wird.

Gemeinsame Qualitätsstandards erfordern einen offenen Diskurs

Es ist daher notwendig, dass wir einen Diskurs über gemeinsame Qualitätsstandards führen und auch eine gewisse Toleranz gegenüber dem eventuell abweichenden Qualitätsverständnis anderer Forschungsansätze haben. Beispiele für Beiträge zu einem solchen Diskurs sind die von Frank (2006) formulierten Beurteilungsdimensionen von Wissenschaftlichkeit (Abstraktion, Originalität und Begründung) oder Anforderungen an wissenschaftliche Begründungen (Transparenz, anerkanntes Wahrheitskonzept wie z. B. Korrespondenz, Kohärenz oder Konsens), oder Wissenschaftskriterien wie Überprüfbarkeit, Ableitungsrichtigkeit, Widerspruchsfreiheit oder Verständlichkeit (vgl. Heinrich et al. 2010, S. 50–54). Qualitätskriterien dieser Art sind nicht nur denkschulen-, sondern auch genreübergreifend und können auch angesichts der für die Wirtschaftsinformatik notwendige Heterogenität der Teildisziplinen und Paradigmen ein notwendiges Mindestmaß an Kohärenz des Qualitätsmanagements ermöglichen.

In Anbetracht der erwähnten Herausforderungen im Qualitätsmanagement heterogener wissenschaftlicher Fachgruppen (Journals, Konferenzen, Antragsbegutachtung und Ergebnisevaluation) und der Auswirkungen auf den Kernbereich der Tätigkeit jede/s einzelnen Forschenden erscheint die Konvergenz des Qualitätsverständnisses in der Wirtschaftsinformatik eine substantielle Herausforderung zu sein.

Wir sind davon überzeugt, dass es sinnvoll und möglich ist, in diese Richtung zu wirken. Damit die Akteure Veränderungen mitentwickeln und später mittragen, muss die Veränderung auf breiter Front institutionalisiert werden. Das kann in einer sich weitestgehend selbst organisierenden Forschendengemeinde nur in ganz geringem Ausmaß durch Vorgaben erreicht werden. So haben beispielsweise im Kontext des Architekturmanagements Weiss et al. (2013) gezeigt, dass soziale Legitimation, Effizienz, organisatorische Verankerung und Vertrauen einen signifikanten Einfluss auf die Reaktion von Akteuren auf die Einschränkung ihrer Gestaltungsfreiheit haben, wenn die Akteure nicht zur Übernahme architektonischer Vorgaben gezwungen werden können. Übertragen auf die Homogenisierung des Forschungsqualitätsverständnisses eines wissenschaftlichen Faches heißt dies, dass neben einem langen Zeithorizont verschiedene flankierende Maßnahmen notwendig sind, die dem Charakter einer Forschenendengemeinde angemessen sind. Beispiele solcher Maßnahmen in den Bereichen soziale Legitimation, Effizienz, organisatorische Verankerung und Vertrauen sind die sichtbare Anhebung des Sozialstatus solcher Forschender, welche erwünschte Praktiken anwenden (wie zum Beispiel Auszeichnungen für Gutachter), die Formulierung und Verankerung erwünschter Praktiken in den zentralen Artefakten des Faches (Chartas) und/oder das explizite Schaffen von Vertrauen, dass Entscheidungsträger (z. B. Herausgeber, Konferenzleiter, Sprecher von Fachorganen, Kollegiaten in der Forschungsförderung) erwünschte Praktiken auch tatsächlich anwenden (Transparenz).

In der BISE versuchen wir diese Gedanken beispielsweise dadurch aufzugreifen, indem wir „gute“ (d. h. das vereinbarte Qualitätsverständnis umsetzende) Gutachten stärker bei der Annahmeentscheidung von Beiträgen berücksichtigen, indem wir „gute“ Gutachter (d. h., solche, die konstruktive und stichhaltige Gutachten schreiben) mit dem „Outstanding Reviewer Award“ auszeichnen und indem wir meritokratische Beförderungsprinzipen im Herausgeberkreis fördern. Dies erfordert allerdings auch ein gemeinsames Verständnis im Herausgeberkreis und im gesamten Fach, dass Verantwortlichkeiten rotieren und Positionen regelmäßig enden, um Platz für Beförderungen zu schaffen.

Zukünftig wollen wir verstärkt den Diskurs zwischen den Departments fördern. Dies soll einerseits durch den gemeinsamen Diskurs über Qualitätsstandards erfolgen (Anspruch an den Grad der Formalisierung, Ansprüche bei empirischen Arbeiten etc.), andererseits aber auch inhaltlich durch gemeinsame Schwerpunkthefte oder Veranstaltungen zweier Departments praktiziert werden. Denn unabhängig von der Heterogenität der Themen und Herangehensweisen der inhaltlichen Teilbereiche der Wirtschaftsinformatik sind all diese Teilbereiche wichtig für ein umfassendes Verständnis von Informationssystemen in der heutigen Wirtschaft und Gesellschaft. Wichtige Innovationen sind gerade an den Schnittstellen der Teilbereiche und an denen zu anderen Disziplinen zu erwarten.

Richtlinien für die Qualität wissenschaftlicher Arbeiten sind insbesondere in einer heterogenen Disziplin wichtig. Lassen Sie uns den Diskurs dazu weiter führen, damit sich unser wissenschaftliches Fach und unser wissenschaftlicher Nachwuchs unter den besten Bedingungen entwickeln können.