Skip to main content
SpringerLink
Log in

Aufbereitung von Evidenz für bildungspolitische und pädagogische Entscheidungen: Metaanalysen in der Bildungsforschung

  • Published:
Zeitschrift für Erziehungswissenschaft Aims and scope Submit manuscript

Zusammenfassung

In diesem Beitrag wird aufgezeigt, welche Möglichkeiten und Grenzen Metaanalysen haben, um wissenschaftliche Evidenz für die Wirksamkeit pädagogischer und bildungspolitischer Maßnahmen zu gewinnen. Es wird unter Bezug auf Berliners Arbeiten (2002) argumentiert, dass in der Bildungsforschung, anders als in Teilen der bio-medizinischen Forschung, die Kontextbedingungen von Lehr-Lernsituationen nur sehr eingeschränkt kontrollierbar sind. Daher eigenen sich Metaanalysen im Bildungsbereich eher für die Aufdeckung und Beschreibung von Kontextbedingungen, die die Wirkungen von Maßnahmen und Programmen beeinflussen, und weniger für einen strengen Wirksamkeitsnachweis selbst. Vor diesem Hintergrund wird die bisher umfangreichste Forschungsbefundsynthese im Bildungsbereich, John Hatties Meta-Metaanalyse Visible Learning (2009), kritisch auf ihre Validität geprüft. An Hatties Beispiel wird gezeigt, dass eine bessere Verständigung über die Standards von Metaanalysen und eine Kommunikation des Geltungsanspruchs ihrer Befunde für die pädagogische und bildungspolitische Praxis notwendig erscheint.

Abstract

This article discusses the promise and pitfalls of meta-analysis as a basis for evidence-based policy and practice in education. Referring to David Berliner’s work (2002) it argues that educational research as opposed to research in the bio-medical field is much more restricted by the presence of powerful context effects and interactions, making rigorous experiments the exception as a basis for meta-analytical evidence. Therefore, an effectiveness-oriented use of meta-analysis of successful approaches of teaching and schooling is seen as more appropriate than an efficacy-oriented one. Finally, John Hattie’s (2009) mega-analysis Visible Learning is discussed and evaluated against these caveats for the use of meta-analytical evidence in informing educational policy and practice.

This is a preview of subscription content, log in via an institution to check access.

Access this article

Log in via an institution

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Instant access to the full article PDF.

Institutional subscriptions

Abb. 1

Notes

  1. Dem Validitätskonzept von Cook und Campbell (1979) folgend, wird mit interner Validität die eindeutig kausale Interpretierbarkeit eines Zusammenhangs (Schlüssigkeit) bezeichnet und mit externer Validität die Verallgemeinerbarkeit auf angebbare Zielpopulationen.

  2. Prinzipiell abweichende Auffassungen werden auch in der Medizin, z. B. von Goldenberg (2006), Djulbegovic et al. (2009) oder Maier und Shibles (2011), vertreten.

  3. Interessanterweise gibt Hattie an dieser Stelle (2009, S. 243) d = 0,06 als mittlere Effektstärke für „Induktives Unterrichten“ an. Im Text weiter vorne (S. 208) weist das entsprechende Einfluss-Barometer hingegen d = 0,33 aus; aus dem Anhang seines Buches wird ersichtlich, dass er sich in dieser Tabelle (S. 243) nur auf die kleinere und ältere Metaanalyse von zweien bezieht und diejenige von Klauer und Phye (2008) mit d = 0,59 ohne Angabe von Gründen unberücksichtigt lässt.

  4. Aus den Angaben im Text und im Appendix A lässt sich rekonstruieren, dass Hattie (2009) den Standardfehler für seine Meta-Metaeffektstärken berechnet, indem er die Standardfehler der ursprünglichen Metaanalysen ungewichtet mittelt, wenn diese in der Publikation angegeben wurden. Metaanalysen, die keinen Standardfehler berichten, werden in dieser Berechnung ignoriert, was zu nicht unerheblichen Verzerrungen führen kann.

Literatur

  • Becker, B. J. (2009). Model-based meta-analysis. In H. Cooper, L. V. Hedges, & J. C. Valentine (Hrsg.), The handbook of research synthesis and meta-analysis (2. Aufl., S. 377–395). New York: Russell Sage Foundation.

  • Beelmann, A., & Bliesener, T. (1994). Aktuelle Probleme und Strategien der Metaanalyse. Psychologische Rundschau, 45, 211–233.

    Google Scholar 

  • Bellmann, J., & Müller, T. (2011). Evidenzbasierte Pädagogik – ein Déjà-vu? In J. Bellmann & T. Müller (Hrsg.), Wissen, was wirkt. Kritik evidenzbasierter Pädagogik (S. 9–32). Wiesbaden: VS Verlag für Sozialwissenschaften.

  • Berliner, D. C. (2002). Comment: Educational research: the hardest science of all. Educational Researcher, 31(8), 18–20. doi:10.3102/0013189X031008018.

    Article  Google Scholar 

  • Borman, G. D., Hewes, G. M., Overman, L. T., & Brown, S. (2003). Comprehensive school reform and achievement: A meta-analysis. Review of Educational Research, 73, 125–230. doi:10.3102/00346543073002125.

  • Brüggemann, A., & Bromme, R. (2006). Anwendungsorientierte Grundlagenforschung in der Psychologie. Psychologische Rundschau, 57, 112–116. doi:10.1026/0033-3042.57.2.112.

    Article  Google Scholar 

  • Cafri, G., Kromrey, J. D., & Brannick, M. T. (2010). A meta-meta-analysis: Empirical review of statistical power, type I error rates, effect sizes, and model selection of meta-analyses published in psychology. Multivariate Behavioral Research, 45(2), 239–270. doi:10.1080/00273171003680187.

    Article  Google Scholar 

  • Campbell, C., & Levin, B. (2009). Using data to support educational improvement. Educational Assessment, Evaluation and Accountability, 21, 47–65. doi:10.1007/s11092-008-9063-x.

    Article  Google Scholar 

  • Chatterji, M. (2007). Grades of evidence. American Journal of Evaluation, 28, 239–255. doi:10.1177/1098214007304884.

    Article  Google Scholar 

  • Coe, R. (2009). School improvement: Reality and illusion. British Journal of Educational Studies, 57(4), 363–379. doi:10.1111/j.1467-8527.2009.00444.x.

    Article  Google Scholar 

  • Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Hillsdale: Lawrence Erlbaum.

    Google Scholar 

  • Cook, T. D., & Campbell, D. T. (1979). Quasi-experimentation: Design & analysis issues for field settings. Boston: Houghton Mifflin.

    Google Scholar 

  • Cooper, H., Robinson, J. C., & Patall, E. A. (2006). Does homework improve academic achievement? A synthesis of research, 1987–2003. Review of Educational Research, 76(1), 1–62. doi:10.3102/00346543076001001.

    Article  Google Scholar 

  • Cooper, H., Hedges, L. V., & Valentine, J. C. (2009). The handbook of research synthesis and meta-analysis (2. Aufl.). New York: Russell Sage Foundation.

    Google Scholar 

  • Cortina, J. M. (2003). Apples and oranges (and pears, oh my!): The search for moderators in meta-analysis. Organizational Research Methods, 6, 415–439. doi:10.1177/1094428103257358.

    Article  Google Scholar 

  • Cortina, K. S., & Pant, H. A. (2009). Hierarchische Linearere Modelle. In H. Holling (Hrsg.), Enzyklopädie der Psychologie, Themenbereich B: Methodologie und Methoden, Serie IV: Evaluation, Bd. 1 Evaluationsforschung: Grundlagen und statistische Methoden der Evaluationsforschung (S. 335–362). Göttingen: Hogrefe.

  • Davies, R. S., Williams, D. D., & Yanchar, S. (2008). The use of randomisation in educational research and evaluation: A critical analysis of underlying assumptions. Evaluation & Research in Education, 21(4), 303–317. doi:10.1080/09500790802307837.

  • Djulbegovic, B., Guyatt, G. H., & Ashcroft, R. E. (2009). Epistemologic inquiries in evidence-based medicine. Cancer Control, 16(2), 158–168.

    Google Scholar 

  • Eysenck, H. J. (1984). Meta-analysis: an abuse of research integration. The Journal of Special Education, 18(1), 41–59. doi:10.1177/002246698401800106.

    Article  Google Scholar 

  • Eysenck, H. J. (1995). Meta-analysis squared – does it make sense? American Psychologist, 50(2), 110–111. doi:10.1037/0003-066X.50.2.110.

    Article  Google Scholar 

  • Fischer, F., Waibel, M., & Wecker, C. (2005). Nutzenorientierte Grundlagenforschung im Bildungsbereich. Zeitschrift für Erziehungswissenschaft, 8(3), 427–442. doi:10.1007/s11618-005-0149-7.

    Article  Google Scholar 

  • Goldenberg, M. J. (2006). On evidence and evidence-based medicine: Lessons from the philosophy of science. Social Science & Medicine, 62(11), 2621–2632. doi:10.1016/j.socscimed.2005.11.031.

    Article  Google Scholar 

  • Hattie, J. (2009) Visible learning. A synthesis of over 800 meta-analyses relating to achievement. London: Routledge.

    Google Scholar 

  • Hattie, J. (2010). On being a ‚critic and conscience of society‘: The role of the education academic in public debates. New Zealand Journal of Educational Studies, 45, 85–96.

    Google Scholar 

  • Hattie, J. (2012). Visible learning for teachers: Maximizing impact on learning. Oxford: Routledge.

    Google Scholar 

  • Hill, C. J. H. S., Bloom, A., Black, R., & Lipsey, M. W. (2007). Empirical benchmarks for interpreting effect sizes in research, MDRC Working Papers on Research Methodology. New York: MDRC.

  • Klauer, K. J., & Phye, G. D. (2008). Inductive reasoning: A training approach. Review of Educational Research, 78(1), 85–123. doi:10.3102/0034654307313402.

    Article  Google Scholar 

  • Köller, O. (2012). What works best in school? Hatties Befunde zu Effekten von Schul- und Unterrichtsvariablen auf Schulleistungen. Psychologie in Erziehung und Unterricht, 59, 72–78. doi:10.2378/peu2012.art06d.

    Article  Google Scholar 

  • Maier, B., & Shibles, W. A. (2011). A critique of evidence-based medicine (EBM): Evidence-based medicine and philosophy-based medicine. In D. N. Weisstub (Hrsg.), The philosophy and practice of medicine and bioethics (Bd. 47, S. 453–486). Dordrecht: Springer Netherlands.

  • Matt, G. E., & Cook, T. D. (2009). Threats to the validity of generalized inferences. In H. Cooper, L. V. Hedges, & J. C. Valentine (Hrsg.), The handbook of research synthesis and metaanalysis (2. Aufl., S. 537–560). New York: Russell Sage.

  • McGee, L. M., & Lomax, R. G. (1990). On combining apples and oranges: A response to Stahl and Miller. Review of Educational Research, 60, 133–140. doi:10.3102/00346543060001133.

    Article  Google Scholar 

  • Ong-Dean, C., Huie Hofstetter, C., & Strick, B. R. (2011). Challenges and dilemmas in implementing random assignment in educational research. American Journal of Evaluation, 32(1), 29–49. doi:10.1177/1098214010376532.

    Article  Google Scholar 

  • Oswald, F. L., & Plonsky, L. (2010). Meta-analysis in second language research: Choices and challenges. Annual Review of Applied Linguistics, 30, 85–110. doi:10.1017/S 0267190510000115.

    Article  Google Scholar 

  • Robbins, S. B., Oh, I.-S., Le, H., & Button, C. (2009). Intervention effects on college performance and retention as mediated by motivational, emotional, and social control factors: Integrated meta-analytic path analyses. Journal of Applied Psychology, 94(5), 1163–1184. doi:10.1037/a0015738.

    Article  Google Scholar 

  • Ruthven, K. (2011). Using international study series and meta-analytic research syntheses to scope pedagogical development aimed at improving student attitude and achievement in school mathematics and science. International Journal of Science and Mathematics Education, 9, 419–458. doi:10.1007/s10763-010-9243-2.

    Article  Google Scholar 

  • Schildkamp, K., Ehren, M., & Lai, M. K. (2012). Editorial article for the special issue on data-based decision making around the world: from policy to practice to results. School Effectiveness and School Improvement, 23(2), 123–131. doi:10.1080/09243453.2011.652122.

    Article  Google Scholar 

  • Schmid, C. H., Stewart, G. B., Rothstein, H. R., Lajeunesse, M. J., & Gurevitch, J. (2013). Software for statistical meta-analysis. In J. Koricheva, J. Gurevitch, & K. Mengersen (Hrsg.), Handbook of meta-analysis in ecology and evolution (S. 174–193). Princeton: Princeton University Press.

  • Schmidt, F. L., Le, H., & Oh, I.-S. (2009a). Correcting for distorting effects of study artifacts in meta-analysis. In H. Cooper, L. V. Hedges, & J. C. Valentine (Hrsg.), The handbook of research synthesis and metaanalysis (2. Aufl., S. 317–335). New York: Russell Sage.

  • Schmidt, F. L., Oh, I.-S., & Hayes, T. L. (2009b). Fixed- versus random-effects models in meta-analysis: Model properties and an empirical comparison of differences in results. British Journal of Mathematical and Statistical Psychology, 62, 97–128. doi:10.1348/000711007X255327.

    Article  Google Scholar 

  • Seidel, T., & Shavelson, R. J. (2007). Teaching effectiveness research in the past decade: The role of theory and research design in disentangling meta-analysis results. Review of Educational Research, 77(4), 454–499. doi:10.3102/0034654307310317.

    Article  Google Scholar 

  • Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Boston: Houghton Mifflin Co.

    Google Scholar 

  • Shadish, W. R., & Haddock, C. K. (2009). Combining estimates of effect size. In H. Cooper, L. V. Hedges, & J. C. Valentine (Hrsg.), The handbook of research synthesis and metaanalysis (2. Aufl., S. 257–278). New York: Russell Sage.

  • Slavin, R. E. (2008). Perspectives on evidence-based research in education, what works? Issues in synthesizing educational program evaluations. Educational Researcher, 37(1), 5–14. doi:10.3102/0013189X08314117.

    Article  Google Scholar 

  • Snook, I., O’Neill, J., Clark, J., O’Neill, A.-M., & Openshaw, R. (2009). Invisible learnings? A commentary on John Hattie’s book – ‚Visible Learning: A synthesis of over 800 meta-analyses relating to achievement‘. New Zealand Journal of Educational Studies, 44, 93–106.

    Google Scholar 

  • Sohn, D. (1995). Meta-analysis as a means of discovery. American Psychologist, 50(2), 108–110. doi:10.1037/0003-066X.50.2.108.

    Article  Google Scholar 

  • Song, M., & Herman, R. (2010). Critical issues and common pitfalls in designing and conducting impact studies in education. Educational Evaluation and Policy Analysis, 32(3), 351–371. doi:10.3102/0162373710373389.

    Article  Google Scholar 

  • Stahl, S. A., & Miller, P. D. (1989). Whole language and language experience approaches for beginning reading: A quantitative research synthesis. Review of Educational Research, 59(1), 87–116. doi:10.3102/00346543059001087.

    Article  Google Scholar 

  • Sterne, J. A. C., Jüni, P., Schulz, K. F., Altman, D. G., Bartlett, C., & Egger, M. (2002). Statistical methods for assessing the influence of study characteristics on treatment effects in ‚meta-epidemiological‘ research. Statistics in Medicine, 21(11), 1513–1524. doi:10.1002/sim.1184.

    Article  Google Scholar 

  • Tamim, R. M., Bernard, R. M., Borokhovski, E., Abrami, P. C., & Schmid, R. F. (2011). What forty years of research says about the impact of technology on learning. Review of Educational Research, 81(1), 4–28. doi:10.3102/0034654310393361.

    Article  Google Scholar 

  • Terhart, E. (2011). Has John Hattie really found the holy grail of research on teaching? An extended review of Visible Learning. Journal of Curriculum Studies, 43(3), 425–438. doi:10.1080/00220272.2011.576774.

    Article  Google Scholar 

  • Trautwein, U., Schnyder, I., Niggli, A., Neumann, M., & Lüdtke, O. (2009). Chameleon effects in homework research: The homework-achievement association depends on the measures used and the level of analysis chosen. Contemporary Educational Psychology, 34(1), 77–88.

    Article  Google Scholar 

  • U.S. Department of Education, Office of Elementary and Secondary Education. (2002). No Child Left Behind: A desktop reference, Washington, D.C. http://www2.ed.gov/admins/lead/account/nclbreference/reference.pdf. Zugegriffen: 16. Nov. 2013.

  • U.S. Department of Education. (2005). Scientifically based evaluation methods: Notice of final priority. Federal Register FR Doc. 05–1317. http://www2.ed.gov/legislation/FedRegister/finrule/2005-1/012505a.pdf. Zugegriffen: 16. Nov. 2013.

  • Valentine, J. C. (2009). Judging the quality of primary research for research synthesis. In H. Cooper, L. V. Hedges, & J. C. Valentine (Hrsg.), The handbook of research synthesis and meta-analysis (2. Aufl., S. 129–146). New York: Russell Sage Foundation.

  • Volmink, J., Siegfried, N., Robertson, K., & Gülmezoglu, A. M. (2004). Research synthesis and dissemination as a bridge to knowledge management: the Cochrane Collaboration. Bulletin of the World Health Organization, 82(10), 778–783.

    Google Scholar 

  • What Works Clearinghouse. (2011). WWC procedures and standards handbook (Version 3.0). http://ies.ed.gov/ncee/wwc/documentsum.aspx?sid=19. Zugegriffen: 16. Nov. 2013.

  • Winne, P. H., & Nesbit, J. C. (2010). The psychology of academic achievement. Annual Review of Psychology, 61, 653–678. doi:10.1146/annurev.psych.093008.100348.

    Article  Google Scholar 

  • Wiseman, A. W. (2010). The uses of evidence for educational policymaking: Global contexts and international trends. Review of Research in Education, 34(1), 1–24. doi:10.3102/0091732X09350472.

    Article  Google Scholar 

  • Wortman, P. M. (1983). Evaluation research: A methodological perspective. Annual Review of Psychology, 34, 223–260. doi:10.1146/annurev.ps.34.020183.001255.

    Article  Google Scholar 

  • Zimmer, R., Gill, B., Razquin, P., Booker, K., & Lockwood III, J. R. (2007). State and local implementation of the No Child Left Behind Act: Volume I – Title I School Choice, Supplemental Educational Services, and Student Achievement. Washington D.C.: U.S. Department of Education.

    Google Scholar 

Download references

Author information

Authors and Affiliations

  1. Institut zur Qualitätsentwicklung im Bildungswesen (IQB), Humboldt-Universität, Berlin, Deutschland

    Hans Anand Pant

Authors
  1. Hans Anand Pant
    View author publications

    You can also search for this author in PubMed Google Scholar

Corresponding author

Correspondence to Hans Anand Pant.

Additional information

Der Beitrag ist die modifizierten Fassung eines Textes, der in dem Tagungsband Bundesministerium für Bildung und Forschung (Hrsg.). (im Druck). Evidenzbasierte Bildungspolitik – Voraussetzungen und Hindernisse der Nutzung wissenschaftlichen Wissen. Berlin: BMBF, erscheint.

Rights and permissions

Reprints and permissions

About this article

Check for updates. Verify currency and authenticity via CrossMark

Cite this article

Pant, H. Aufbereitung von Evidenz für bildungspolitische und pädagogische Entscheidungen: Metaanalysen in der Bildungsforschung. Z Erziehungswiss 17 (Suppl 4), 79–99 (2014). https://doi.org/10.1007/s11618-014-0510-9

Download citation

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s11618-014-0510-9

Schlüsselwörter

Keywords

Search

Navigation