Advertisement

Unterrichtswissenschaft

, Volume 47, Issue 4, pp 475–494 | Cite as

Wie sollten Rückmeldungen von quantitativ erfasstem Schülerfeedback (nicht) gestaltet werden? Wahrgenommene Informativität und Interpretationssicherheit von quantitativen Rückmeldungen zur Unterrichtsqualität

  • Samuel Merk
  • Simone PoindlEmail author
  • Thorsten Bohl
Allgemeiner Teil
  • 156 Downloads

Zusammenfassung

Für eine gelingende datenbasierte Unterrichts- und Schulentwicklung stellt die korrekte und zielgerichtete Rezeption der Rückmeldedaten eine notwendige Bedingung dar. Solche Daten werden Lehrkräften in aller Regel nicht als Rohdaten, sondern aggregiert zu statistischen Kennwerten und encodiert in Grafiken zur Verfügung gestellt. Dies kann zum einen eine effiziente und zugleich umfangreiche Rezeption der in den Rohdaten enthaltenen Informationen erlauben, zum anderen stellen die Datentransformationen und Encodierungen kognitive Herausforderungen an die Rezipienten. Die vorliegende Studie untersucht diesen Trade-Off im Rahmen einer Design-Based-Research-Studie mit Nachhilfelehrkräften. Dazu trianguliert sie Selbstauskünfte (N = 83) über die wahrgenommene Informativität und Interpretationssicherheit verschieden aggregierter und encodierter Rückmeldungen zur Unterrichtsqualität (N = 9730) mit Daten zum Rezeptionsverhalten (Logdaten einer Webapplikation, N = 232). Zentrale Ergebnisse sind Zusammenhänge zwischen den Verweildauern auf einzelnen Rückmeldegrafiken mit der wahrgenommenen Informativität (positiv, monoton, quadratisch) und der Interpretationssicherheit (u-förmig) sowie eine klare Bevorzugung einfacher Statistiken (arithmetischer Mittel) und Skalierungen (rohe Likertskalierung). Die Bedeutung der Ergebnisse für die Rückmeldepraxis werden insbesondere vor dem Hintergrund diskutiert, dass es sich bei der vorliegenden Stichprobe um hochgradig mathematikaffine Lehrerinnen und Lehrer handelt.

Schlüsselwörter

Datenbasierte Unterrichtsentwicklung Feedback Lehrer Rückmeldung 

Which Statistical Information of Feedback Data from Student Questionnaires Should (not) be Reported to Teachers? Perceived Informativity and Validity of Interpretation of Feedback about Instructional Quality

Abstract

Data-based school-improvement depends on the correct and concise extraction of the information from the data through teachers. Such data are usually not provided in raw form, instead graphs are presented which encode transformed and aggregated data. Such graphs generally allow an effective extraction of the relevant information but simultaneously challenge teachers’ statistical literacy. The present study investigates this trade-off by design-based-research with private tutors. We triangulated perceived informativity and validity of interpretation (N = 83) about differently aggregated and encoded feedback on instructional quality (N = 9730) with log files from a feedback web application (N = 232). We found associations between dwelling time (on specific graphics) and the corresponding perceived informativity (positive, monotonous, quadratic) and perceived validity of interpretation (U-shaped, quadratic). Additionally there was evidence for a preference of very simple statistical coefficients and transformations (arithmetic mean, likert scale). The relevance of these results was discussed on the background of the present highly mathematics-oriented sample.

Keywords

Data-based school-improvement Data-based decision making Feedback Teachers 

Supplementary material

42010_2019_48_MOESM1_ESM.pdf (1.2 mb)
Struktur der Webapplikation und verlinkte Screenshots

Literatur

  1. Altrichter, H., Moosbrugger, R., & Zuber, J. (2016). Schul- und Unterrichtsentwicklung durch Datenrückmeldung. In H. Altrichter & K. Maag Merki (Hrsg.), Handbuch Neue Steuerung im Schulsystem (S. 235–277). Wiesbaden: Springer.Google Scholar
  2. Anderson, T., & Shattuck, J. (2012). Design-based research: A decade of progress in education research? Educational Researcher, 41(1), 16–25.Google Scholar
  3. Bates, D., Maechler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1), 1–48.Google Scholar
  4. Baumert, J., Klieme, E., Neubrand, M., Prenzel, M., Schiefele, U., Schneider, W., Stanat, P., Tillmann, K. J., & Weiß, M. (Hrsg.). (2001). PISA 2000: Basiskompetenzen von Schülerinnen und Schülern im internationalen Vergleich. Opladen: Leske + Budrich.Google Scholar
  5. Baumert, J., Lehmann, R. H., Lehrke, M., Schmitz, B., Clausen, M., Hosenfeld, I., Köller, O., & Neubrand, J. (Hrsg.). (1997). TIMMS – Mathematik-naturwissenschaftlicher Unterricht im internationalen Vergleich. Deskriptive Befunde. Opladen: Leske + Budrich.Google Scholar
  6. Biehler, R., & Frischemeier, D. (2015). „Verdienen Männer mehr als Frauen?“ – Reale Daten im Stochastikunterricht mit der Software TinkerPlots erforschen. Stochastik in der Schule, 35, 7–17.Google Scholar
  7. Chang, W., Cheng, J., Allaire, J., Xie, Y., & McPherson, J. (2017). shiny: web application framework for R. R package version 1.0.1. https://CRAN.R-project.org/package=shiny. Zugegriffen: 1. Sept. 2017.Google Scholar
  8. Chick, H., & Pierce, R. (2013). The statistical literacy needed to interpret school assessment data. Mathematics Teacher Education & Development, 15(2), 1–19.Google Scholar
  9. Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2. Aufl.). Hillsdale: Erlbaum.Google Scholar
  10. Dedering, K. (2011). Hat Feedback eine positive Wirkung? Zur Verarbeitung extern erhobener Leistungsdaten in Schulen. Unterrichtswissenschaft, 39, 63–83.Google Scholar
  11. Gärtner, H. (2014). Effects of student feedback as a method of self-evaluating the quality of teaching. Studies in Educational Evaluation, 42, 91–99.Google Scholar
  12. Gelman, A., & Hill, J. (2007). Data analysis using regression and multilevel/hierarchical models. Cambridge: Cambridge University Press.Google Scholar
  13. Gigerenzer, G., Gaissmaier, W., Kurz-Milcke, E., Schwartz, L. M., & Woloshin, S. (2008). Helping doctors and patients make sense of health statistics: Toward an evidence-based society. Psychological Sciene in the Public Interest, 8(2), 53–96.Google Scholar
  14. Groß Ophoff, J., Koch, U., Hosenfeld, I., & Helmke, A. (2006). Ergebnisrückmeldungen und ihre Rezeption im Projekt Vera. In H. Kuper & J. Schneewind (Hrsg.), Rückmeldungen und ihre Rezeption von Forschungsergebnissen. Zur Verwendung wissenschaftlichen Wissens im Bildungsbereich (S. 19–40). Münster: Waxmann.Google Scholar
  15. Hellrung, K., & Hartig, J. (2013). Understanding and using feedback—A review of empirical studies concerning feedback from external evaluations to teachers. Educational Research Review, 9, 174–190.Google Scholar
  16. Helmke, A., & Hosenfeld, I. (2005). Standardbezogene Unterrichtsevaluation. In G. Brägger, B. Bucher & N. Landwehr (Hrsg.), Schlüsselfragen zur externen Schulevaluation (S. 127–151). Bern: h.e.p..Google Scholar
  17. Hoogland, I., Schildkamp, K., van der Kleij, F., Heitink, M., Kippers, W., Veldkamp, B., & Dijkstra, A. M. (2016). Prerequisites for data-based decision making in the classroom: Research evidence and practical illustrations. Teaching and Teacher Education, 60, 377–386.Google Scholar
  18. Keren, G. (1993). Between or within subjects design: A methodological dilemma. In G. Keren & C. Lewis (Hrsg.), A handbook for data analysis in the behavioral sciences: Methodological issues (S. 257–272). Hillsdale: Erlbaum.Google Scholar
  19. Koch, U. (2011). Verstehen Lehrkräfte Rückmeldungen aus Vergleichsarbeiten? Datenkompetenz von Lehrkräften und die Nutzung von Ergebnisrückmeldungen aus Vergleichsarbeiten. Münster: Waxmann.Google Scholar
  20. Kohler, B. (2002). Zur Rezeption von TIMSS durch Lehrerinnen und Lehrer. Unterrichtswissenschaft, 30(2), 158–188.Google Scholar
  21. Kohler, B., & Schrader, F.-W. (2004). Ergebnisrückmeldung und Rezeption. Von der externen Evaluation zur Entwicklung von Schule und Unterricht. Empirische Pädagogik, 18, 3–17.Google Scholar
  22. Kool, W., McGuire, J. T., Rosen, Z. B., & Botvinick, M. M. (2010). Decision making and the avoidance of cognitive demand. Journal of Experimental Psychology: General, 139(4), 665–682.Google Scholar
  23. Kugler, A. N., & DeNisi, A. (1996). The effects of feedback interventions on performance: A historical review, a meta-analysis and a preliminary feedback intervention. Psychological Bulletin, 119, 254–384.Google Scholar
  24. Kultusministerkonferernz (KMK) (Hrsg.). (2006). Gesamtstrategie der Kultusministerkonferenz zum Bildungsmonitoring. München: LinkLuchterhand.Google Scholar
  25. Lüdtke, O., Robitzsch, A., Trautwein, U., & Kunter, M. (2009). Assessing the impact of learning environments: How to use student ratings of classroom or school characteristics in multilevel modeling. Contemporary Educational Psychology, 34, 120–131.Google Scholar
  26. Maier, U. (2008). Rezeption und Nutzung von Vergleichsarbeiten aus der Perspektive von Lehrkräften. Zeitschrift für Pädagogik, 54, 95–117.Google Scholar
  27. Maier, U. (2009). Professionelle Nutzung von Vergleichsarbeiten? Ergebnisse einer qualitativen Interviewstudie mit Lehrkräften in Baden-Württemberg. In T. Bohl & H. Kiper (Hrsg.), Lernen aus Evaluationsergebnissen (S. 131–144). Bad Heilbrunn: Klinkhardt.Google Scholar
  28. Makar, K., & Confrey, J. (2002). Comparing two distributions: Investigating secondary teachers statistical thinking. In B. Phillips (Hrsg.), Proceedings of the sixth international conference on teaching statistics (S. 1–4). Cape Town: International Association for Statistics Education.Google Scholar
  29. Mandinach, E. B., & Gummer, E. S. (2016). What does it mean for teachers to be data literate: Laying out the skills, knowledge, and dispositions. Teaching and Teacher Education, 60, 366–376.Google Scholar
  30. Marsh, H. W. (1982). Seeq: A reliable, valid, and useful instrument for collecting students’ evaluations of university teaching. British Journal of Educational Psychology, 52, 77–95.Google Scholar
  31. Marsh, J. A. (2012). Interventions promoting educators’ use of data: Research insights and gaps. Teachers College Record, 114(11), 1–48.Google Scholar
  32. Peek, R. (2004). Qualitätsuntersuchungen an Schulen zum Unterricht in Mathematik (QuaSUM). Klassenbezogene Ergebnisrückmeldungen und ihre Rezeption in Brandenburger Schulen. Empirische Pädagogik, 18, 82–114.Google Scholar
  33. Peek, R., & Dobbelstein, P. (2006). Benchmarks als Input für die Schulentwicklung – das Beispiel der Lernstandserhebungen in Nordrhein-Westfalen. In H. Kuper & J. Schneewind (Hrsg.), Rückmeldung und Rezeption von Forschungsergebnissen. Zur Verwendung wissenschaftlichen Wissens im Bildungssystem (S. 41–58). Münster: Waxmann.Google Scholar
  34. R Core Team (2017). R: A language and environment for statistical computing. Vienna: R Foundation for Statistical Computing.Google Scholar
  35. Raudenbush, S. W., & Bryk, A. S. (2002). Hierarchical linear models: Applications and data analysis methods (2. Aufl.). Thousand Oaks: SAGE.Google Scholar
  36. Schildkamp, K., & Ehren, M. C. M. (2013). From “intuition”- to “data”-based decision making in Dutch secondary schools? In K. Schildkamp, M. K. Lai & L. Earl (Hrsg.), Data-based decision making in education. Challenges and opportunities (S. 49–68). Dordrecht: Springer.Google Scholar
  37. Schliesing, A. (2017). Rückmeldungen aus Vergleichsarbeiten (VERA). Eine methodenintegrative Studie zur Gestaltung und Rezeption von VERA-Rückmeldungen. Berlin: Humboldt-Universität. Unveröffentlichte DissertationGoogle Scholar
  38. Schneewind, J. (2007). Wie Lehrkräfte mit Ergebnisrückmeldungen aus Schulleistungsstudien umgehen. Ergebnisse aus Befragungen von Berliner Grundschullehrerinnen. http://www.diss.fu-berlin.de/diss/receive/FUDISS_thesis_000000002819. Zugegriffen: 15. Nov. 2016. Dissertation, Freie Universität Berlin.Google Scholar
  39. Stanat, P., Böhme, K., Schipolowski, S., & Haag, N. (Hrsg.). (2016). IQB-Bildungstrend 2015 – Sprachliche Kompetenzen am Ende der 9. Jahrgangsstufe im zweiten Ländervergleich. Münster: Waxmann.Google Scholar
  40. The Design-Based Research Collective (2003). Design-based research: An emerging paradigm for educational inquiry. Educational Researcher, 32(1), 5–8.Google Scholar
  41. Visscher, A. J., & Coe, R. (2003). School performance feedback systems: Conceptualisation, analysis, and reflection. School effectiveness and school improvement, 14, 321–349.Google Scholar
  42. Wurster, S., Richter, D., & Lenski, A. E. (2017). Datenbasierte Unterrichtsentwicklung und ihr Zusammenhang zur Schülerleistung. Zeitschrift für Erziehungswissenschaft, 20(4), 628–650.Google Scholar
  43. Zenisky, A. L., Hambleton, R. K., & Sireci, S. G. (2009). Getting the message out: An evaluation of NAEP score reporting practices with implications for disseminating test results. Applied Measurement in Education, 22(4), 359–375.Google Scholar
  44. Zeuch, N., Förster, N., & Souvignier, E. (2017). Assessing teachers competencies to read and interpret graphs from learning progress assessment: Results from tests and interviews. Learning Disabilities Research and Practice, 32(1), 61–70.Google Scholar

Copyright information

© Die Herausgeber und Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019

Authors and Affiliations

  1. 1.Institut für Erziehungswissenschaft, Abteilung SchulpädagogikEberhard Karls Universität TübingenTübingenDeutschland

Personalised recommendations