Advertisement

Wie informativ ist der erste Eindruck? Das Thin-Slices-Verfahren zur videobasierten Erfassung des Unterrichts

  • Lukas Begrich
  • Benjamin Fauth
  • Mareike Kunter
  • Eckhard Klieme
Article

Zusammenfassung

Ein Nachteil von videobasierten Unterrichtsanalysen besteht in ihrem hohen Kosten- und Zeitaufwand. In der vorliegenden Studie wird die Möglichkeit geprüft, Unterrichtsmerkmale anhand stark verkürzter Beobachtungen, eines ersten Eindrucks, zu erfassen. Angewandt wurde dabei das so genannte Thin-Slices-Verfahren, ein Verfahren, anhand dessen bereits für verschiedene psychologische Konstrukte die Reliabilität und Validität von Einschätzungen auf Grundlage des ersten Eindrucks demonstriert werden konnte. In zwei Teilstudien beurteilten ungeschulte Rater drei Dimensionen der Unterrichtsqualität von 37 Grundschullehrkräften auf Grundlage von insgesamt 30-sekündigen zufällig ausgewählten Ausschnitten aus vollständigen Unterrichtsvideos. In beiden Teilstudien finden sich sehr hohe Inter-Rater-Reliabilitäten. Obwohl deskriptive Analysen auf einen eher undifferenzierten Beurteilungsprozess hindeuten, liefern Mehrebenenanalysen, bei denen der Leistungszuwachs der unterrichteten Schüler(innen) durch die beobachtete Unterrichtsqualität vorhergesagt wurde, Hinweise auf die prognostische Validität der Eindrucksratings.

Schlüsselwörter

Erster Eindruck Unterrichtsqualität Videoanalyse Thin-Slices 

How informative are first impressions? The thin-slices technique as a method for video-based assessment of instruction

Abstract

A drawback of video-based analysis of teaching lies in its high cost in terms of time and money. The present study examines the possibility of assessing instructional features on the basis of very short observations, respectively first impressions. We applied the so-called thin-slices technique: This procedure which uses judgements based on first impressions has shown high reliability and validity in the assessment of various psychological constructs. In two studies untrained raters judged 37 elementary school teachers regarding three dimensions of instructional quality based on 30-second randomly selected sequences from full classroom videos. Both showed very high interrater reliabilities. While descriptive analyses indicate a rather undifferentiated judging process, multilevel regression analyses predicting students’ achievement gain via ratings of instructional quality indicate a certain predictive validity of first impressions.

Keywords

First impressions Instructional quality Video-analysis Thin-slices 

Literatur

  1. Aleamoni, L. M. (1999). Student rating myths versus research facts from 1924 to 1998. Journal of Personnel Evaluation in Education, 13(2), 153–166. doi: 10.1023/A:1008168421283.CrossRefGoogle Scholar
  2. Ambady, N. (2010). The perils of pondering: intuition and thin slice judgments. Psychological Inquiry, 21(4), 271–278.CrossRefGoogle Scholar
  3. Ambady, N., & Grey, H. F. (2002). On being sad and mistaken: mood effects on the accuracy of thin-slice judgments. Journal of Personality and Social Psychology, 83, 947–961.CrossRefGoogle Scholar
  4. Ambady, N., & Rosenthal, R. (1992). Thin slices of expressive behavior as predictors of interpersonal consequences: a meta-analysis. Psychological Bulletin, 111(2), 256–274.CrossRefGoogle Scholar
  5. Ambady, N., & Rosenthal, R. (1993). Half a minute: predicting teachers evaluations from thin slices of nonverbal behavior and physical attractiveness. Journal of Personality and Social Psychology, 64(3), 431–441.CrossRefGoogle Scholar
  6. Ambady, N., Bernieri, F. J., & Richeson, J. A. (2000). Towards a histology of social behavior: judgmental accuracy from thin slices of the behavioral stream. Advances in Experimental Social Psychoology doi: 10.1016/s0065-2601(00)80006-4.Google Scholar
  7. Babad, E. (2005). Guessing teachers differential treatment of high and low achiervers from thin slices of their public lecturing behavior. Journal of Nonverbal Behavior, 29(2), 125–134.CrossRefGoogle Scholar
  8. Baumert, J., Kunter, M., Blum, W., Brunner, M., Voss, T., Jordan, A., et al. (2010). Teachers’ mathematical knowledge, cognitive activation in the classroom, and student progress. American Educational Research Journal, 47(1), 133–180. doi: 10.3102/0002831209345157.CrossRefGoogle Scholar
  9. Borkenau, P., Mauer, N., Riemann, R., Spinath, F. M., & Angleitner, A. (2004). Thin slices of behavior as cues of personality and intelligence. Journal of Personality and Social Psychology, 86(4), 599–614.CrossRefGoogle Scholar
  10. Bos, W., Bonsen, M., Baumert, J., Prenzel, M., Selter, C., & Walther, G. (Hrsg.). (2007). TIMSS 2007 – Mathematische und naturwissenschaftliche Kompetenzen von Grundschulkindern in Deutschland im internationalen Vergleich. Münster, New York, München, Bern: Waxmann.Google Scholar
  11. Brophy, J. (1999). Teaching (educational practices series). Geneva: International Academy of Education/International Bureau of Education..Google Scholar
  12. Carrère, S., & Gottman, J. M. (1999). Predicting divorce among newlyweds from the first three minutes of a marital conflict discussion. Family Process, 38(3), 293–301.CrossRefGoogle Scholar
  13. Clausen, M. (2002). Unterrichtsqualität: Eine Frage der Perspektive? Münster: Waxmann.Google Scholar
  14. Davis, M. H., & Kraus, L. A. (1997). Personality and empathic accuracy. In Ickes & W. Ickes (Hrsg.), Empathic accuracy (S. 144–168). New York: Guilford.Google Scholar
  15. Decristan, J., Hondrich, A. L., Büttner, G., Hertel, S., Klieme, E., Kunter, M., & Naumann, A. (2015). Impact of additional guidance in science education on primary students’ conceptual understanding. The Journal of Educational Research, 108(5), 358–370.CrossRefGoogle Scholar
  16. Desimone, L., Smith, T., & Frisvold, D. (2009). Survey measures of classroom instruction: comparing student and teacher reports. Educational Policy doi: 10.1177/0895904808330173.Google Scholar
  17. Fauth, B., Decristan, J., Rieser, S., Klieme, E., & Büttner, G. (2014a). Grundschulunterricht aus Schüler-, Lehrer-und Beobachterperspektive: Zusammenhänge und Vorhersage von Lernerfolg. Zeitschrift für Pädagogische Psychologie, 28(3), 127–137.CrossRefGoogle Scholar
  18. Fauth, B., Decristan, J., Rieser, S., Klieme, E., & Büttner, G. (2014b). Student ratings of teaching quality in primary school: dimensions and prediction of student outcomes. Learning and Instruction, 29, 1–9.CrossRefGoogle Scholar
  19. Fowler, K. A., Lilienfeld, S. O., & Patrick, C. J. (2009). Detecting psychopathy from thin-slices of behavior. Psychological Assessment, 21(1), 68–78.CrossRefGoogle Scholar
  20. Friedman, J. N. W., Oltmanns, T. F., & Turkheimer, E. (2007). Interpersonal perception and personality disorders: utilzation of a thin slice approach. Journal of Research in Personality, 41(3), 667–688.CrossRefGoogle Scholar
  21. Geller, C., Olszewski, J., Neumann, K., & Fischer, H. E. (2008). Unterrichtsqualität in Finnland, Deutschland und der Schweiz: Merkmale der Tiefenstruktur von Physikunterricht und der Zusammenhang zur Leistung. In D. Höttecke (Hrsg.), Gesellschaft für Didaktik der Chemie und Physik: Kompetenzen, Kompetenzmodelle, Kompetenzentwicklung (S. 396–398). Berlin: LIT.Google Scholar
  22. Gigerenzer, G. (2007). Bauchentscheidungen. Die Intelligenz des Unbewussten und die Macht der Intuition. München: Bertelsmann.Google Scholar
  23. Hardy, I., Jonen, A., Möller, K., & Stern, E. (2006). Effects of instructional support within constructivist learning environments for elementary school students’ understanding of “floating and sinking”. Journal of Educational Psychology, 98, 307–326.CrossRefGoogle Scholar
  24. Hardy, I., Kleickmann, T., Koerber, S., Mayer, D., Möller, K., & Pollmeier, J. (2010). Die Modellierung naturwissenschaftlicher Kompetenz im Grundschulalter. In E. Klieme, D. Leutner & M. Kenk (Hrsg.), Kompetenzmodellierung (S. 115–125). Weinheim: Beltz.Google Scholar
  25. Hardy, I., Hertel, S., Kunter, M., Klieme, E., Warwas, J., & Büttner, G. (2011). Adaptive Lerngelegenheiten in der Grundschule: Merkmale, methodisch-didaktische Schwerpunktsetzungen und erforderliche Lehrerkompetenzen. Zeitschrift für Pädagogik, 57(6), 819–833.Google Scholar
  26. Hattie, J. A. (2009). Visible learning: a synthesis of over 800 meta-analyses relating to achievement. New York: Routledge.Google Scholar
  27. Helmke, A. (2014). Unterrichtsqualität und Lehrerprofessionalität: Diagnose, Evaluation und Verbesserung des Unterrichts. Seelze: Klett-Kallmeyer.Google Scholar
  28. Herrle, M., Rauin, U., & Engartner, T. (2016). Videos als Ressourcen zur Generierung von Wissen über Unterrichtsrealität(en). In U. Rauin & M. Herrle (Hrsg.), Videoanalysen in der Unterrichtsforschung – Methodische Vorgehensweisen und Anwendungsbeispiele (S. 8–28). Weinheim: Beltz Juventa..Google Scholar
  29. Holleran, S. E., Mehl, M. R., & Levitt, S. (2009). Eavesdropping on social life: the accuracy of stranger ratings of daily behavior from thin slices of natural conversations. Journal of Research in Personality, 43(4), 660–672.CrossRefGoogle Scholar
  30. Janik, T., & Seidel, T. (Hrsg.). (2009). The power of video studies in investigating teaching and learning in the classroom. Münster: Waxmann.Google Scholar
  31. Jones, E. E. (1990). Interpersonal perception. New York: Freeman.Google Scholar
  32. Kahneman, D. (2011). Thinking, fast and slow. New York: Farrar, Straus, and Giroux.Google Scholar
  33. Klieme, E. (2006). Empirische Unterrichtsforschung: Aktuelle Entwicklungen, theoretische Grundlagen und fachspezifische Befunde. Einführung in den Thementeil. Zeitschrift für Pädagogik, 52(6), 765–773.Google Scholar
  34. Klieme, E., & Rakoczy, K. (2008). Empirische Unterrichtsforschung und Fachdidaktik. Zeitschrift für Pädagogik, 54(2), 222–237.Google Scholar
  35. Klieme, E., Pauli, C., & Reusser, K. (2009). The pythagoras study: Investigating effects of teaching and learning in Swiss and German mathematics classrooms. In T. Janik & T. Seidel (Hrsg.), The power of video studies in investigating teaching and learning in the classroom (S. 137–160). Münster: Waxmann.Google Scholar
  36. Kunter, M., & Baumert, J. (2006b). Who is the expert? Construct and criteria validity of student and teacher ratings of instruction. Learning Environments Research, 9(3), 231–251. doi: 10.1007/s10984-006-9015-7.CrossRefGoogle Scholar
  37. Kunter, M., & Trautwein, U. (2013). Psychologie des Unterrichts. Bd. 3895. Stuttgart: UTB.Google Scholar
  38. Kunter, M., & Voss, T. (2011). Das Modell der Unterrichtsqualität in COACTIV: Eine multikriteriale Analyse. In M. Kunter, J. Baumert, W. Blum, U. Klusmann, S. Krauss & M. Neubrand (Hrsg.), Professionelle Kompetenz von Lehrkräften – Ergebnisse des Forschungsprogramms COACTIV (S. 85–113). Münster: Waxmann.Google Scholar
  39. Kunter, M., Klusmann, U., Baumert, J., Richter, D., Voss, T., & Hachfeld, A. (2013). Professional competence of teachers: effects on instructional quality and student development. Journal of Educational Psychology, 105(3), 805–820. doi: 10.1037/a0032583.CrossRefGoogle Scholar
  40. Lipowsky, F., Rakoczy, K., Pauli, C., Drollinger-Vetter, B., Klieme, E., & Reusser, K. (2009). Quality of geometry instruction and its short-term impact on students’ understanding of the Pythagorean Theorem. Learning and Instruction, 19(6), 527–537. doi: 10.1016/j.learninstruc.2008.11.001.CrossRefGoogle Scholar
  41. Marsh, H. W., Lüdtke, O., Nagengast, B., Trautwein, U., Morin, A. J. S., Abduljabbar, A. S., & Köller, O. (2012). Classroom climate and contextual effects: conceptual and methodological issues in the evaluation of group-level effects. Educational Psychologist, 47, 106–124.CrossRefGoogle Scholar
  42. Moosbrugger, H., & Kelava, A. (2007). Testtheorie und Fragebogenkonstruktion. Heidelberg: Springer.Google Scholar
  43. Murphy, K. R., Jako, R. A., & Anhalt, R. L. (1993). Nature and consequences of halo error: a critical analysis. Journal of Applied psychology, 78(2), 218.CrossRefGoogle Scholar
  44. Muthén, L. K., & Muthén, B. O. (2007). Mplus User’s Guide (Sixth Edition). Los Angeles: Muthén & Muthén.Google Scholar
  45. Oltmanns, T. F., Friedman, J. N. W., Riedler, E. R., & Turkheimer, E. (2004). Perceptions of people with personality disorders based on thin slices of behavior. Journal of Research in Personality, 38(3), 216–229.CrossRefGoogle Scholar
  46. Ophardt, D., & Thiel, F. (2013). Klassenmanagement: Ein Handbuch für Studium und Praxis. Stuttgart: Kohlhammer.Google Scholar
  47. Pianta, R. C., & Hamre, B. K. (2009). Conceptualization, measurement, and improvement of classroom processes: standardized observation can leverage capacity. Educational Researcher, 38(2), 109–119. doi: 10.3102/0013189X09332374.CrossRefGoogle Scholar
  48. Porter, A. C. (2002). Measuring the content of instruction: uses in research and practice. Educational Researcher, 31(7), 3–14. doi: 10.3102/0013189X031007003.CrossRefGoogle Scholar
  49. Praetorius, A. K., Greb, K., Lipowsky, F., & Gollwitzer, F. (2010). Lehrkräfte als Diagnostiker – Welche Rolle spielt die Schülerleistung bei der Einschätzung von mathematischen Selbstkonzepten? (Teachers’ diagnostic perception – what role does students’ grade performance play in the teacher’s assessment of mathematical self-concepts?). Journal for educational research online, 2(1), 121.Google Scholar
  50. Praetorius, A. K., Lenske, G., & Helmke, A. (2012). Observer ratings of instructional quality: do they fulfill what they promise? Learning and Instruction, 22(6), 387–400.CrossRefGoogle Scholar
  51. Pretsch, J., Flunger, B., Heckman, N., & Schmitt, M. (2013). Done in 60 s? Inferring teachers subjective well-being from thin slices of non-verbal behavior. Social Psychology of Education, 16(3), 421–434.CrossRefGoogle Scholar
  52. Seidel, T. (2014). Angebots-Nutzungs-Modelle in der Unterrichtspsychologie. Integration von Struktur- und Prozessparadigma. Zeitschrift für Pädagogik, 60(6), 850–866.Google Scholar
  53. Seidel, T., & Shavelson, R. J. (2007). Teaching effectiveness research in the past decade: the role of theory and research design in disentangling meta-analysis results. Review of Educational Research, 77(4), 454–499. doi: 10.3102/0034654307310317.CrossRefGoogle Scholar
  54. Slepian, M. L., Bogart, K. R., & Ambady, N. (2014). Thin-slice judgments in the clinical context. Annual review of clinical psychology, 10, 131–153.CrossRefGoogle Scholar
  55. Stanovich, K. E., & West, R. F. (2000). Individual differences in reasoning: implications for the rationality debate? Behavioral and brain science, 23, 645–726.CrossRefGoogle Scholar
  56. Strong, M., Gargani, J., & Hacifazlioglu, Ö. (2011). Do we know a successful teacher when we see one? Experiments in the identification of effective teachers. Journal of Teacher Education, 62(4), 367–382.CrossRefGoogle Scholar
  57. Thorndike, E. L. (1920). A constant error in psychological rating. Journal of Applied Psychology, 4, 25–29.CrossRefGoogle Scholar
  58. Visser, D., & Matthews, J. D. (2005). The power of non-verbal communication: predicting job performance by means of thin slices of non-verbal behaviour. South African Journal of Psychology, 35(2), 362–383.CrossRefGoogle Scholar
  59. Weiß, R. H. (2006). CFT 20-R. Grundintelligenztest Skala 2 – Revision. Göttingen: Hogrefe.Google Scholar
  60. Wirtz, M. A., & Caspar, F. (2002). Beurteilerübereinstimmung und Beurteilerreliabilität: Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen. Göttingen: Hogrefe.Google Scholar
  61. Wood, T. J. (2014). Exploring the role of first impressions in rater-based assessments. Advances in Health Science Education, 19(3), 409–427.CrossRefGoogle Scholar
  62. Wubbels, T., Brekelmans, M., & Hooymayers, H. P. (1992). Do teacher ideals distort the self-reports of their interpersonal behavior? Teaching and Teacher Education, 8(1), 47–58. doi: 10.1016/0742-051X(92)90039-6.CrossRefGoogle Scholar

Copyright information

© Springer Fachmedien Wiesbaden 2017

Authors and Affiliations

  • Lukas Begrich
    • 1
  • Benjamin Fauth
    • 2
  • Mareike Kunter
    • 1
  • Eckhard Klieme
    • 3
  1. 1.Institut für PsychologieGoethe-Universität FrankfurtFrankfurt am MainDeutschland
  2. 2.Hector-Institut für Empirische BildungsforschungUniversität TübingenTübingenDeutschland
  3. 3.Deutsches Institut für Internationale Pädagogische Forschung (DIPF)Frankfurt am MainDeutschland

Personalised recommendations