Implementationsforschung im Bildungsbereich

In den Vereinigten Staaten hat Präsident Trump Anfang 2019 den „Foundations of Evidence-Based Policymaking Act“ unterzeichnet. Dieses Gesetz soll die Bindung politischer Entscheidungen an vorliegende wissenschaftliche Evidenz stärken. Es fand nicht nur die Zustimmung von Republikanern und Demokraten, sondern auch die ausdrückliche Unterstützung der American Educational Research Association. Felice J. Levine, ihre geschäftsführende Direktorin, sah darin einen „positive step forward for advancing evidence-based policymaking“ (American Educational Research Association 2019), auch, aber nicht nur, weil mit diesem Gesetz der Zugang der Bildungsforschung zu administrativen Daten erleichtert werden soll. Während die Wertschätzung von Wissenschaft durch die Trump-Administration ebenso überraschen mag wie der parteienübergreifende Konsens, erscheint dieses Gesetz im zeitgeschichtlichen Rückblick dagegen als ein notwendiger Baustein im Programm evidenzbasierter Bildungsreform, das wichtige Impulse auch aus den USA erhalten hat. Mit der Einforderung (vgl. Feuer et al. 2002) und Durchsetzung (vgl. Organisation für wirtschaftliche Zusammenarbeit und Entwicklung 2007; Bundesministerium für Bildung und Forschung 2017) dieses Programms sind die Erwartungen an und die Versprechen für einen gelingenden Transfer wissenschaftlicher Erkenntnisse in Politik und Praxis erkennbar gestiegen, auch für die Erziehungs- und Bildungswissenschaft in Deutschland, die sich immer schon über ihren Anspruch auf einen Beitrag zur Verbesserung von Lern- und Bildungsprozessen definiert hat.

Systemisch betrachtet ist die stringente Nutzung wissenschaftlicher Erkenntnisse für praktische Verbesserungen im Bildungswesen allerdings eine eher unwahrscheinliche Option (vgl. Baumert 2016): In der Politik geht es schließlich nicht nur um Vernunft, sondern auch um Macht und Interessen, die gesichert, ausgeweitet oder eingeschränkt werden sollen. Die Offenheit der Praxis für Innovationen reibt sich mit ihrem verständlichen Interesse an einer möglichst bruchlosen Fortführung alltäglicher Routinen. Und Forschende gewinnen ihre Reputation eher durch Beiträge zum wissenschaftlichen Diskurs als über ihre Resonanz im Anwendungsfeld. Eine erfolgreiche Zusammenarbeit zwischen Wissenschaft, Politik und Praxis kann zudem nur gelingen, wenn alle Beteiligten das Dilemma akzeptieren, dass Wissenschaft über mehr Wissen verfügt, als Politik und Praxis gebrauchen können, und Politik und Praxis mehr Probleme haben, als Wissenschaft lösen kann. Vor diesem Hintergrund ist es nicht überraschend, dass die Erwartungen an wissenschaftlich fundierte Verbesserungen pädagogischer Praxis ebenso verbreitet sind wie das Konstatieren ihres Misslingens, beides vornehmlich in Zeiten, die als krisenhaft erlebt werden und daher anfällig sind für Klagen und Appelle. Insofern verlangt evidenzbasierte Bildungsreform „Vieles von Vielen“ (Schrader 2014, S. 213).

Die Herausgeber dieses Themenheftes sind davon überzeugt, dass mehr wissenschaftliche Erkenntnisse über Gelingensbedingungen der Implementation von evidenzbasierten Innovationen in den Feldern des Bildungswesens benötigt werden. Hier ist auch die empirische Bildungsforschung gefragt, die nach einer weithin geteilten Auffassung „Voraussetzungen, Prozesse und Ergebnisse von Bildung über die Lebensspanne, innerhalb und außerhalb von (Bildungs‑) Institutionen“ (Prenzel 2005) zum Gegenstand hat. Erwartet wird von ihr zunehmend ein Beitrag zur Erklärung der beobachteten (Krisen‑)Phänomene im Bildungswesen sowie zu wirksamen Möglichkeiten, sie zu überwinden.

In der empirischen Bildungsforschung wurde diese Herausforderung in den vergangenen Jahrzehnten angenommen und versucht, sie insbesondere mit Hilfe von Interventions- und Implementationsstudien zu bewältigen (vgl. Hasselhorn et al. 2014, S. 146). Während die Interventionsforschung die Wirkung theoretisch fundierter und empirisch geprüfter Innovationen zumeist unter experimentellen Bedingungen im pädagogischen Feld untersucht (Leutner 2010, S. 67), widmet sich die Implementationsforschung darüber hinaus den institutionellen, organisationalen und personalen Bedingungen, unter denen Interventionen wirksam und nachhaltig in der Praxis verankert werden können (Fixsen et al. 2005, S. 15). Beiden Forschungsansätzen ist die Annahme gemein, dass die Wirksamkeit wissenschaftsbasierter Erkenntnisse und damit die tatsächliche Relevanz empirischer Forschung für pädagogische Handlungsfelder sich letztlich auf der „Abnehmerseite“ entscheidet (Hetfleisch 2018).

Diese Beobachtungen haben uns ermuntert, Stand und Perspektiven der Implementationsforschung im Bildungsbereich näher zu betrachten. Am Beginn unserer Überlegungen stand eine Tagung zu „Intervention and Implementation Research in Education“, an der national und international anerkannte Expertinnen und Experten der Bildungsforschung teilnahmen. Sie fand im Mai 2017 in Berlin statt und ging aus einer Initiative des Forschungsverbunds Bildungspotenziale der Leibniz-Gemeinschaft hervor. Einige der hier vorgelegten Beiträge gehen auf Diskussionsbeiträge dieser Tagung zurück.

In dem einleitenden Stichwortbeitrag befassen sich Josef Schrader, Marcus Hasselhorn, Petra Hetfleisch und Annika Goeze mit der Entwicklung der Implementationsforschung in einer doppelten Perspektive. In einem narrativen Review werden die konzeptuelle Diskussion zur Implementationsforschung im Bildungsbereich und darüber hinaus nachgezeichnet und aktuelle methodologische Herausforderungen einer Forschung erörtert, die den Anspruch erhebt, Erkenntnis- und Veränderungsinteressen zugleich zu verfolgen. Eine systematische Literaturauswertung widmet sich einem ausgewählten Schlüsselaspekt der Implementationsforschung: Am Beispiel von Studien, in denen evidenzbasierte Interventionen zur Verbesserung von Lehr-Lernprozessen in organisierten Bildungskontexten durch Akteure der pädagogischen Praxis umgesetzt werden, wird der Fokus auf empirische Befunde zu hemmenden und förderlichen Einflussfaktoren auf Implementationsprozesse und -ergebnisse gelenkt. Betrachtet man beide Teile des Stichwortbeitrages in ihrem Zusammenhang, so wird ersichtlich, dass sich in der internationalen und interdisziplinären Diskussion ein Verständnis von Implementationsforschung abzeichnet, das diese deutlich von der Diffusions-, der Evaluations-, der Transfer-, der Scaling-Up- und der Disseminationsforschung abgrenzt, die sich alle auch mit der Verbreitung wissenschaftlichen Wissens in Politik und Praxis beschäftigen. Auch lässt sich beobachten, dass die Zahl an Implementationsstudien im Bildungsbereich in den vergangenen Jahren erkennbar gestiegen ist. Manches deutet darauf hin, dass diese Zunahme vornehmlich durch Erwartungen und Förderpraxen der Politik stimuliert wurde. Zudem zeigen sich deutliche Entwicklungsunterschiede zwischen Staaten (mit einem Übergewicht in angelsächsischen Ländern) sowie institutionelle Differenzen zwischen Bildungsbereichen (mit einem Übergewicht in der frühen und der schulischen Bildung).

Im Sinne des im Stichwortbeitrag entwickelten Verständnisses von Implementationsforschung wurden für das vorliegende Themenheft insbesondere empirische Originalbeiträge eingeworben, die die Implementierung pädagogischer Interventionen in organisierten Kontexten des Lehrens und Lernens durch Akteure der Praxis fokussieren. Die Beiträge bestätigen, dass die wachsende, aber immer noch geringe Zahl an Implementationsstudien in Deutschland vor allem aus der frühen Bildung, der Grund- und der Sekundarschule stammen, während Arbeiten aus der Hochschule, der beruflichen Bildung oder der Erwachsenen- und Weiterbildung seltener sind. Von Interesse mag auch die Beobachtung sein, dass die vorgelegten Studien von unterschiedlichen Drittmittelgebern (DFG, Ministerium, Stiftung) gefördert wurden, was auf eine Offenheit verschiedener Drittmittelgeber gegenüber Implementationsstudien verweist, gleichzeitig aber auch darauf, dass es noch nicht zu einer etablierten Arbeitsteilung in der Förderlandschaft gekommen ist.

Ulrike Hartmann, Jan-Henning Ehm, Lea Höltge und Marcus Hasselhorn widmen ihre Studie den Bedingungen, unter denen die Implementation eines Modellvorhabens in den beruflichen Alltag gelingen kann. Sie adressieren mit dem Übergang von der Phase der Modellentwicklung und -erprobung in die Verstetigung eine überaus relevante Schnittstelle für die nachhaltige Wirksamkeit wissenschaftlich fundierter Innovationen, die in der Implementationsforschung immer wieder betont wird, die aber in der weit verbreiteten Förderung sogenannter Modellversuche chronisch unterschätzt wird. Das Projekt beschäftigt sich mit der Förderung der Schulbereitschaft durch pädagogische Fachkräfte in Kindertagesstätten und bewegt sich im Spannungsfeld von Bildungs‑, Erziehungs- und Betreuungsaufgaben, die in Einrichtungen der frühen Bildung komplementär bewältigt werden sollen, die aber auch in Konflikt miteinander stehen oder geraten können, je nach Offenheit für schulvorbereitende Maßnahmen. Die Autorengruppe versteht Implementation als einen Prozess, der erst mit einem routinierten Umgang mit Neuerungen durch Praktikerinnen und Praktiker zum Abschluss kommt, und sind daher vor allem an der Akzeptanz und Adoption evidenzbasierter Interventionen interessiert. Der Fokus ist auf das Zusammenspiel von individuellen Merkmalen der Fachkräfte, ihrer Wahrnehmung der Merkmale des Projekts und dem Implementationserfolg gerichtet, wie er von den Fachkräften subjektiv wahrgenommen wird.

Als individuelle Voraussetzungen der Fachkräfte werden Aspekte ihrer professionellen Kompetenzen erfasst, u. a. ihr Wissen über diagnostische Verfahren und förderrelevante Aufgaben, aber auch ihre Einstellungen gegenüber schulvorbereitender Zusatzförderung sowie zum Stellenwert, den sie „evidenzbasierten“ Maßnahmen für ihre alltägliche Arbeit allgemein zuschreiben. Der subjektiv wahrgenommene Implementationserfolg wird erfasst anhand der Akzeptanz und Übernahme der Reformmaßnahme und dem Willen zur nachhaltigen Umsetzung; dazu wird auch die Bereitschaft zu einer verbesserten Kooperation sowohl innerhalb der Teams in Kindertagesstätten als auch mit Grundschulen gerechnet. Die Datenerhebung basiert auf einer standardisierten Befragung von Fachkräften, die an dem Projekt PELIKAN „Perspektiven von Erzieher/-innen und Leitungskräften zur Implementation kompensatorischer Zusatzförderung an Kindertageseinrichtungen“ mitgearbeitet haben. Insgesamt nahmen 184 Fachkräfte an der Befragung teil. Diese richtete sich auf die wahrgenommene Kompatibilität der Innovation mit den in der Praxis existierenden Vorstellungen und Erfahrungen, auf den relativen Vorteil, der in den schulvorbereitenden Maßnahmen gesehen wird, sowie auf die Komplexität des Modellprojektes, gemessen am Ausmaß der erwarteten Veränderungen auf Seiten der Fachkräfte. Die individuellen Merkmale wurden mit Hilfe von Skalen zur Einstellung gegenüber schulvorbereitender Zusatzförderung und gegenüber evidenzbasierten Maßnahmen allgemein erfasst.

In einem Strukturgleichungsmodell konnte gezeigt werden, dass die individuellen Voraussetzungen der Fachkräfte, ihre Einstellungen, ihre Kenntnisse und ihre berufliche Belastung die Wahrnehmung der Merkmale des Projekts beeinflussen, z. B. dessen relativen Vorteil, seine Kompatibilität zu den Routinen des Alltags und seine Komplexität. So stellt die Einstellung gegenüber schulvorbereitender Zusatzförderung einen signifikanten Prädiktor für den wahrgenommenen relativen Vorteil des Modellprojekts dar und klärt substanzielle Varianzanteile am wahrgenommenen Implementationserfolg auf. Insgesamt verweisen die Befunde des Projektes auf die Relevanz der individuellen Merkmale der implementierenden Praktikerinnen für eine erfolgreiche Implementation von Innovationen und stützen damit einen Aspekt, der in den empirischen und konzeptuellen Beiträgen zur Implementationsforschung vielfach betont wird.

Evelin Herbein, Jessika Golle, Benjamin Nagengast und Ulrich Trautwein berichten über Befunde aus einem mehrstufigen Projekt, bei dem eine Intervention zur Förderung der Präsentationskompetenz bei Grundschulkindern zunächst entwickelt, dann evaluiert und schließlich implementiert wurde. Dieses Projekt, von der Hector-Stiftung gefördert, ist für Implementationsforschung insofern einschlägig, als es sich an einem mehrschrittigen Entwicklungs- und Implementationsprozess orientiert: Zunächst wurde auf der Grundlage einer Bedarfsanalyse eine Intervention mit insgesamt 11 Kurseinheiten von je 90 min entwickelt, pilotiert und unter stark kontrollierten Bedingungen in der Praxis auf Wirksamkeit geprüft. Während zunächst Forschende das Training durchführten, übernahmen in einer nachfolgenden Replikationsstudie Kursleitende diese Aufgabe, womit zugleich Fragen der Effektivität im Sinne einer (breiten) Implementierbarkeit im Feld in den Blick gerieten. Die Autorengruppe orientiert sich an der für Implementationsforschung basalen Annahme, dass Interventionen dann erfolgreich sind, wenn sie wirksam und implementierbar sind. Die Ergebnisse jeder Projektphase wurden dabei zur Optimierung der Interventionen für die nächste Erhebung genutzt. Es zeigte sich, und auch dies ist für Implementationsstudien typisch, dass Adaptionen an veränderte Bedingungen im Feld notwendig wurden, z. B. im Blick auf die Erreichbarkeit geplanter Stichproben.

Im Mittelpunkt der hier berichteten Studie standen die Fragen, ob das Training mit hoher Durchführungstreue in der Praxis implementiert werden kann und ob sich die zuvor gefundenen Effekte auf Präsentationskompetenz und Sprechangst replizieren lassen. Durchgeführt wurde eine cluster-randomisierte Studie mit Wartekontrollgruppe und Prätest-Posttest-Messungen, an der zehn Kursleitende und 65 Kinder teilnahmen. Dabei wurden das Trainingskontext, die Zielgruppe, das Studiendesign sowie die Erfassung der Ziel- und Kontrollvariablen von den vorangehenden Studien übernommen. Die Durchführungstreue wurde durch Selbsteinschätzungen der Kursleitenden mit Hilfe von Fragebögen erfasst, die Präsentationskompetenz über Videoaufnahmen, die von drei Ratern bewertet wurden, und die Sprechangst ebenfalls über standardisierte Fragebögen. Die Ergebnisse zeigen, dass das Training mit hoher Durchführungstreue implementiert werden konnte. Bei zwei von 18 Präsentationsfähigkeiten (Körperspannung und persönliche Ansprache) zeigten sich erwartete positive Effekte, nicht jedoch bei der Reduktion der Sprechangst, weder für kognitive noch für körperliche Symptome. Die Effektivität des Trainings nahm unter realen Bedingungen in der Praxis gegenüber der ersten Wirksamkeitsstudie ab, die unter stark kontrollierten Bedingungen durchgeführt worden war. Auch dies ist ein Befund, der sich in Implementationsstudien vielfach findet.

Brigitte Maria Brison, Chris S. Hulleman, Isabelle Häfner, Hanna Gaspard, Barbara Flunger, Anna-Lena Dicke, Ulrich Trautwein und Benjamin Nagengast beschäftigen sich in ihrem Beitrag mit der Frage, warum manche Versuchsteilnehmer von einer Intervention profitieren und andere nicht. Diese Frage ist für Implementationsstudien deshalb von Interesse, weil sie auf die Notwendigkeit verweist, nicht nur die Effekte der systematischen Variation unabhängiger Variablen auf die gewünschte Veränderung abhängiger Variablen zu analysieren, sondern auch die (in diesem Fall: kognitiven) Prozesse in den Blick zu nehmen, die durch Interventionen unter den Bedingungen des Alltags ausgelöst werden. Nur so lässt sich hinreichend erklären, warum erwartete (und unerwartete) Effekte eintreten. Unter dem Titel „Who sticks to the instructions – and does it matter? Antecedents and effects of students’ responsiveness to a classroom-based motivation intervention“ gehen sie dieser Frage in einer von der DFG geförderten Studie nach, die die Wirksamkeit eines Motivationstrainings im Fach Mathematik untersucht. Die Interventionsstudie untersuchte die Ansprechbarkeit von Schülerinnen und Schülern durch zwei Formen schriftlicher Interventionen, in denen die persönliche Relevanz von Mathematik einmal durch die Bewertung von sechs Zitaten stimuliert werden sollte, in denen junge Erwachsene den Nutzen von Mathematik in alltäglichen Situationen schilderten, und alternativ dadurch, dass die Schülerinnen und Schüler Argumente für die persönliche Relevanz von Mathematik in ihrem gegenwärtigen und zukünftigen Leben in einem konsistenten Text darstellen sollten. Die Studie schließt an eine Reihe so genannter Relevanzinterventionen an, die auf der Basis von Erwartungs-Wert-Theorien entwickelt wurden und für die gezeigt werden konnte, dass sie bei Lernenden Überzeugungen des Gebrauchswerts von Unterrichtsinhalten als einen proximalen Outcome zu erhöhen vermögen und darüber vermittelt auch ihr Interesse, ihre Anstrengungsbereitschaft und ihre fachbezogenen Leistungen. Die Frage lautete also, ob die gewünschten kognitiven Prozesse durch beide Formen der Intervention tatsächlich bei allen Schülerinnen und Schülern stimuliert werden konnten. Im Mittelpunkt der Studien standen demnach die beiden Fragen, ob die Schülerinnen und Schüler sich auf die Kernelemente der Intervention verpflichten ließen und welche individuellen Merkmale und welche Wahrnehmungen des Unterrichts die Ansprechbarkeit der Studierenden beeinflussten.

Die hier vorgestellten Analysen stammen aus der cluster-randomisierten Interventionsstudie „Motivationsförderung im Mathematikunterricht“ (MoMa), an der 1916 Neuntklässler aus 82 Klassen des neunten Schuljahres in 25 deutschen Gymnasien teilnahmen. Die Schülerinnen und Schüler wurden innerhalb von Schulen zufällig der „Zitate-“ oder der „Text-Gruppe“ bzw. einer Wartekontrollgruppe ohne Intervention zugewiesen. Die 90-minütige Intervention wurde von Mitgliedern der Forschergruppe umgesetzt, begann mit einer Präsentation, die an Beispielen die Nützlichkeit von Mathematik in verschiedenen Bereichen des Lebens aufzeigte, und bot dann die beiden Varianten der Arbeit mit Texten. Die Analysen stützten sich auf insgesamt 1280 Essays (Stellungnahmen zu den „Zitaten“ bzw. frei produzierte Texte), die die Schülerinnen und Schüler im Anschluss an die Intervention verfassten. Die Codierungen der Essays erfassten drei Indikatoren für Ansprechbarkeit (positive Argumente; persönliche Verbindungen; vertiefte Reflexionen), die in einen kontinuierlichen Index überführt wurden. Mit Hilfe linearer Regressionen konnte gezeigt werden, dass die Gewissenhaftigkeit der Schülerinnen und Schüler in beiden Bedingungen ein signifikanter Prädiktor für ihre Ansprechbarkeit war. In der „Zitate-Bedingung“ beeinflussten zudem die Mathematikleistung und die intrinsische fachbezogene Motivation die Responsivität, in der Text-Bedingung dagegen erwies sich das Geschlecht als stärkster Prädiktor. Die Befunde sind für die Implementationsforschung insofern von Interesse, als sie die Relevanz von Merkmalen der Endnutzer für die Wirksamkeit von Interventionen belegen.

Die hier vorgelegten Studien stehen für ein vielversprechendes, sich entwickelndes Forschungsfeld, das Implementationsstudien im Bildungsbereich mehr Aufmerksamkeit widmet als lange Zeit üblich. Selbstverständlich sind Implementationsstudien keinesfalls der einzige Beitrag, den Wissenschaft zur Verbesserung pädagogischer Praxis und Politik leisten kann. Von Bedeutung bleiben zweifellos die Evaluation politischer Reformen und Entscheidungen ebenso wie die Evaluation der alltäglichen Praxis. Selbstverständlich sind auch empirisch gesicherte Antworten auf „Was ist der Fall?“ und „Warum ist etwas der Fall?“ Fragen von hoher wissenschaftlicher und praktischer Relevanz (vgl. Prenzel 2005), ebenso historische Arbeiten, auch wenn sie stärker an „Herkunfts-“ als an „Wirkungsfragen“ interessiert sind (Joas 2017, S. 200). Es ist aber vor allem die Implementationsforschung, die nach Antworten auf die Frage sucht, „Was kann man tun, damit etwas Gewünschtes mehr der Fall wird?“. Stellt sich die empirische Bildungsforschung dieser Aufgabe, kann sie nicht nur aktiv dazu beitragen, die Forschungs-Praxis-Kluft zu verringern; klug konzipiert, erfährt sie zugleich etwas über die Bedingungen der Möglichkeiten wissenschaftlich fundierter Verbesserungen im Bildungsbereich, auf die sowohl Politik und Praxis als auch Wissenschaft verpflichtet sind. Dies mag schützen vor politisch motivierter Steuerungsillusion und metatheoretisch inspirierter Steuerungsskepsis zugleich.