Visionär und imposant – aber auch belastbar?

Zusammenfassung

Das Buch „Visible Learning“ von John Hattie hat im deutschsprachigen Raum breite Resonanz bis in die öffentlichen Medien hinein ausgelöst. Die bildungswissenschaftliche Diskussion darüber hat sich bislang vorrangig mit inhaltlichen und eher globalen methodischen Fragen befasst, eine kritische Betrachtung der Methodik im Detail steht dagegen noch aus. Im vorliegenden Beitrag explizieren wir die methodischen Anforderungen des von Hattie gewählten metaanalytischen Ansatzes und messen daran die verwendete Datengrundlage sowie sein konkretes Vorgehen. Darüber hinaus setzen wir uns kritisch mit der prinzipiellen Angemessenheit von Hatties Ansatz auseinander. Sein Ansatz einer umfassenden Integration empirischer bildungswissenschaftlicher Forschung erweist sich als visionär, aber unter den gegenwärtigen Publikationsbedingungen wissenschaftlich solide nicht durchführbar. Als Konsequenz schlagen wir vor, Methodik und Ergebnisse empirischer Untersuchungen unabhängig von Zeitschriftenpublikationen in einer zentralen Datenbank standardisiert und in metaanalytisch verwertbarer Form zu sammeln und zugänglich zu machen.

Abstract

In German-speaking countries, the book “Visible Learning” by John Hattie has generated broad resonance even in the public media. The discussion in educational research so far has mainly dealt with substantive and rather global methodological issues, whereas a critical appraisal of the methodology in detail is still lacking. In this article, we explicate the methodological requirements of the meta-analytic approach chosen by Hattie and use them to evaluate the underlying database as well as his concrete procedures. In addition, we critically discuss the appropriateness of Hattie’s approach in principle. It turns out that his approach of a comprehensive integration of empirical educational research, albeit visionary, is not feasible in a scientifically sound manner, given current publication practices. As a consequence we propose to collect the methods and results of empirical studies – irrespective of journal publications – and make them available in a central database in a standardized and meta-analytically usable format.

Anhang

1.1 Beweis für die Äquivalenz einer Metaanalyse überschneidungsfreier Metaanalysen mit der Metaanalyse aller Primärstudien im Rahmen des fixed-effect-Modells

(i) Im fixed-effect-Modell wird die gemeinsame Effektstärke sämtlicher Primärstudien $d_{\cdot }$ ausgehend von den Effektstärken d _i aus k Primärstudien folgendermaßen geschätzt:

$$d_{\cdot }=\frac{\overset{k}{\underset{i\mathrm{=1}}\sum }w_{i}d_{i}}{\overset{k}{\underset{i\mathrm{=1}}\sum }w_{i}}$$

(1)

(vgl. Borenstein et al. 2009, S. 66, Formel 11.3) mit $w_{i}=\frac{1}{v_{i}}$ (vgl. Borenstein et al. 2009, S. 63, Formel 11.2) aus der Varianz v _i der Effektstärke in der Primärstudie i.

Für die Varianz $v_{d_{\cdot }}$ dieses Schätzwerts gilt:

$$v_{d_{\cdot }}=\frac{1}{\overset{k}{\underset{i\mathrm{=1}}\sum }w_{i}}$$

(2)

(vgl. Borenstein et al. 2009, S. 66, Formel 11.4).

Wenn die k Primärstudien aus m Metaanalysen mit jeweils k _j  Primärstudien (ohne Überschneidungen zwischen den Metaanalysen) mit den Effektstärken d _ji stammen, gilt für den Schätzwert der gemeinsamen Effektstärke aller Primärstudien

$$d_{\cdot }=\frac{\overset{m}{\underset{j\mathrm{=1}}\sum }\overset{k_{j}}{\underset{i\mathrm{=1}}\sum }w_{ji}d_{ji}}{\overset{m}{\underset{j\mathrm{=1}}\sum }\overset{k_{j}}{\underset{i\mathrm{=1}}\sum }w_{ji}}$$

(3)

mit $w_{ji}=\frac{1}{v_{ji}}$ aus der Varianz v _ji der Effektstärke in der Primärstudie i aus der Metaanalyse j, sowie für dessen Varianz

$$v_{d_{\cdot }}=\frac{1}{\overset{m}{\underset{j\mathrm{=1}}\sum }\overset{k_{j}}{\underset{i\mathrm{=1}}\sum }w_{ji}}.$$

(4)

(ii) In jeder Metaanalyse j wird ausgehend von den Effektstärken d _ji und den Gewichten w _ji unter Anwendung von (1) auf sämtliche k _j in ihr enthaltenen Primärstudien die gemeinsame Effektstärke der Primärstudien

$$d_{j\mathrm{\cdot }}=\frac{\overset{k_{j}}{\underset{i\mathrm{=1}}\sum }w_{ji}d_{ji}}{\overset{k_{\mathrm{j}}}{\underset{\mathrm{i=1}}\sum }w_{\mathrm{ji}}}$$

(5)

und unter Anwendung von (2) deren Varianz

$$v_{d_{j\mathrm{\cdot }}}=\frac{1}{\overset{k_{j}}{\underset{i\mathrm{=1}}\sum }w_{ji}}$$

(6)

bestimmt.

(iii) Wenn aus allen m Metaanalysen jeweils ein Schätzwert der gemeinsamen Effektstärke sowie dessen Varianz vorliegt, kann die gemeinsame Effektstärke sämtlicher Primärstudien auch unmittelbar aus den Schätzwerten d _j• und den Gewichten w _j• aus den m Metaanalysen geschätzt werden:

$$d_{\cdot }=\frac{\overset{m}{\underset{j\mathrm{=1}}\sum }w_{j\cdot }d_{j\cdot }}{\overset{m}{\underset{j\mathrm{=1}}\sum }w_{j\cdot }}$$

(7)

mit

$$w_{j\cdot }=\frac{1}{v_{d_{j\cdot }}}=\overset{k_{j}}{\underset{i\mathrm{=1}}\sum }w_{ji}$$

(8)

(wegen (6)).

Setzt man zum Beweis von (7) auf der rechten Seite von (7) für w _j• die rechte Seite von (8) und für d _j• die rechte Seite von (5) ein, erhält man durch Kürzen innerhalb des Zählers und wegen (3):

$$\frac{\overset{m}{\underset{j\mathrm{=1}}\sum }\left (\overset{k_{j}}{\underset{i\mathrm{=1}}\sum }w_{ji}\right )\frac{\overset{k_{j}}{\underset{i\mathrm{=1}}\sum }w_{ji}d_{ji}}{\overset{k_{\mathrm{j}}}{\underset{i\mathrm{=1}}\sum }w_{ji}}}{\overset{m}{\underset{j\mathrm{=1}}\sum }\overset{k_{j}}{\underset{i\mathrm{=1}}\sum }w_{ji}}=\frac{\overset{m}{\underset{j\mathrm{=1}}\sum }\overset{k_{j}}{\underset{i\mathrm{=1}}\sum }w_{ji}d_{ji}}{\overset{m}{\underset{j\mathrm{=1}}\sum }\overset{k_{j}}{\underset{i\mathrm{=1}}\sum }w_{ji}}=d_{\cdot }$$

Die Varianz des Schätzwerts der gemeinsamen Effektstärke wird folgendermaßen ermittelt:

$$v_{d_{\cdot }}=\frac{1}{\overset{m}{\underset{j\mathrm{=1}}\sum }w_{j\mathrm{\cdot }}}$$

(9)

Setzt man zum Beweis von (9) auf der rechten Seite von (9) für w _j• die rechte Seite von (8) ein, erhält man wegen (4):

$$\frac{1}{\overset{m}{\underset{j\mathrm{=1}}\sum }w_{j\mathrm{\cdot }}}=\frac{1}{\overset{m}{\underset{j\mathrm{=1}}\sum }\overset{k_{j}}{\underset{i\mathrm{=1}}\sum }w_{ji}}=v_{d_{\cdot }}$$

Somit lässt sich die gemeinsame Effektstärke aller Primärstudien aus m Metaanalysen ohne Überschneidungen in den Primärstudien schätzen, indem man diese Metaanalysen selbst als Primärstudien behandelt und in einer weiteren Metaanalyse gemäß dem fixed-effect-Modell zusammenfasst.