Zusammenfassung
Unterricht in den naturwissenschaftlichen Fächern soll Schülerinnen und Schülern ein solides Verständnis naturwissenschaftlicher Konzepte vermitteln. Zur Erfassung eines solchen Verständnisses wurden von Briggs et al. (Briggs, Alonzo, Schwab und Wilson 2006) Ordered Multiple Choice (OMC) Aufgaben vorgeschlagen. Mit diesem Aufgabentyp sollen in einer Aufgabe unterschiedliche Niveaus des Verständnisses im Sinne unterscheidbarer, hierarchisch geordneter Ausprägungen einer latenten Fähigkeit erfasst werden können. Entscheidend dafür ist jedoch, dass die Wahl einer OMC Antwortoption auf kognitive Prozesse zurückzuführen ist, die sich ebenfalls einer entsprechenden Ausprägung des Verständnisses zuordnen lassen. In der in diesem Beitrag vorgestellten Studie wurde untersucht, inwieweit eine solche kognitiv valide Interpretation von OMC Testergebnissen möglich ist. 11 Schülerinnen und Schüler der Jahrgangsstufen 6 (n = 3), 9 (n = 4) und 11 (n = 3) eines Gymnasiums in Schleswig-Holstein wurden acht OMC Aufgaben zur Erfassung des Verständnisses von Materie vorgelegt. Es wurden Protokolle des lauten Denkens erhoben, transkribiert und auf Lösungsstrategien hin analysiert. Die Ergebnisse legen nahe, dass das Antwortverhalten der Probanden aus den Jahrgangsstufen 9 und 12 auf ein Verständnis von Materie zurückzuführen ist. Das Antwortverhalten der Probanden aus Klassenstufe 6 hingegen konnte nicht auf ein Verständnis von Materie zurückgeführt werden. Dennoch wählten diese Probanden vornehmlich Antwortoptionen, die ein für ihre Klassenstufe typisches Verständnis widerspiegelten.
Abstract
One important goal of science education is to foster students’ understanding of scientific concepts. To diagnose students’ states of understanding Ordered Multiple Choice (OMC) items have been suggested by Briggs et al. (Briggs, Alonzo, Schwab und Wilson 2006). In OMC items, each of the possible response options corresponds to a specific level of an underlying learning progression. In order to provide more diagnostic information than typical multiple choice items, students’ response behavior must reflect their understanding of the construct measured. That is, evidence about the cognitive validity of OMC items is required. In this paper, we present the findings from a think-aloud-study with 11 students from grade 6 (n = 3), grade 9 (n = 4), and grade 12 (n = 4). We investigated the cognitive validity of 8 OMC items that covered aspects of students’ understanding of the matter concept. Our findings suggest that 9th and 12th grade students’ choice of response option was mainly based on cognitive processes related to their understanding of the matter concept, whereas 6th graders’ choices were mainly based on other, non-matter-related cognitive processes.
Literatur
Acher, A., Arcà, M., & Sanmartí, N. (2007). Modeling as a teaching learning process for understanding materials: A case study in primary education. Science Education, 91(3), 398–418.
Adadan, E., Trundle, K. C., & Irving, K. E. (2010). Exploring Grade 11 students’ conceptual pathways of the particulate nature of matter in the context of multi-representational instruction. Journal of Research in Science Teaching, 47(8), 1004–1035.
Adbo, K., & Taber, K. S. (2009). Learners’ mental models of the particle nature of matter: A study of 16-year-old Swedish science students. International Journal of Science Education, 31(6), 757–786.
Alonzo, A. C., & Steedle, J. T. (2009). Developing and assessing a force and motion learning progression. Science Education, 93(3), 389–421.
American Association for the Advancement of Science. (2001). Atlas of Science Literacy. New York: Oxford University.
Andersson, B. (1990). Pupils’ conceptions of matter and its transformations (age 12–16). Studies in Science Education, 18, 53–85.
Ayas, A., Özmen, H., & Çalik, M. (2010). Students’ conceptions of the particulate nature of matter at secondary and tertiary level. International Journal of Science and Mathematics Education, 8(1), 165–184.
Bar, V., & Galili, I. (1994). Stages of children’s views about evaporation. International Journal of Science Education, 16(2), 157–174.
Bernholt, S., Commons, M. L., & Parchmann, I. (2009). Kompetenzmodellierung zwischen Forschung und Unterrichtspraxis. Zeitschrift für Didaktik der Naturwissenschaften, 15, 219–245.
Bernholt, S., Neumann, K. & Nentwig, P. (2012). Learning outcomes in science education: Making it tangible. Münster: Waxmann.
Bortz, J., & Döring, N. (2006). Forschungsmethoden und Evaluation für Human- und Sozial-wissenschaftler (4. Aufl.). Heidelberg: Springer Medizin Verlag.
Bouwma-Gearhart, J., Stewart, J., & Brown, K. (2009). Student misapplication of a gas-like model to explain particle movement in heated solids: Implications for curriculum and instruction towards students’ creation and revision of accurate explanatory models. International Journal of Science Education, 31(9), 1157–1174.
Briggs, D. C., Alonzo, A. C., Schwab, C., & Wilson, M. (2006). Diagnostic assessment with ordered multiple-choice items. Educational Assessment, 11(1), 33–63.
Cheung, D. (2009). Using think-aloud protocols to investigate secondary school chemistry teachers’ misconceptions about chemical equilibrium. Chemistry Education Research and Practise,10 (2), 97–108.
Coll, R. K., & Treagust, D. F. (2001). Learners’ use of analogy and alternative conceptions for chemical bonding. Australian Science Teachers Journal, 48(1), 24–32.
Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52, 281–302.
Deffner, G. (1984). Lautes Denken: Untersuchung zur Qualität eines Datenerhebungsverfahrens. Frankfurt a. M.: Lang.
Dresing, T., & Pehl, T. (2011). Praxisbuch Transkription. Regelsysteme, Software und praktische Anleitungen für qualitative ForscherInnen. Marburg: Eigenverlag.
Duit, R. (2008). Students’ and teachers’ Conceptions and Science Education (STCSE) (Bibliographie). Retrieved 12.03.2010, from IPN.
Ericsson, K., & Simon, H. (1980). Verbal reports as data. Psychological Review, 87(3), 215–251.
Ericsson, K. A., & Simon, H. A. (1993). Protocol analysis: Verbal reports as data (Rev. ed.). Cambridge: MIT.
Greatorex, J., & Sütő, W. (2008). What do GCSE examiners think of ‚thinking aloud‘? Findings from an exploratory study. Educational Research, 50(4), 319–331.
Hadenfeldt, J. C., & Neumann, K. (2011). Materie verstehen - aber wie? Die Entwicklung von Kompetenz im Umgang mit dem Materiekonzept. Naturwissenschaften im Unterricht – Chemie, 124/125, 87–91.
Hadenfeldt, J. C., & Neumann, K. (2012). Die Erfassung des Verständnisses von Materie durch Ordered Multiple Choice Aufgaben. Zeitschrift für Didaktik der Naturwissenschaften, 18, 317–338.
Harrison, A. G., & Treagust, D. F. (1996). Secondary students’ mental models of atoms and molecules: Implications for teaching chemistry. Science Education, 80(5), 509–534.
Herrmann Abell, C. F., & DeBoer, G. E. (2011). Using distractor-driven standards-based multiple-choice assessments and Rasch modeling to investigate hierarchies of chemistry misconceptions and detect structural problems with individual items. Chemical Education Research and Practice, 12, 184–192.
Hmelo-Silver, C. E., & Duncan, R. G. (2009). Learning progressions: Aligning curriculum, instruction, and assessment. Journal of Research in Science Teaching, 46(6), 606–609.
Johnson, P. (1998). Progression in children’s understanding of a basic particle theory: A longitudinal study. International Journal of Science Education, 20(4), 393–412.
Johnson, P. (2002). Children’s understanding of substances, Part 2: Explaining chemical change. International Journal of Science Education, 24(10), 1037–1054.
Knoblich, G., & Öllinger, G. (2006). Die Methode des Lauten Denkens. In J. Funke & P. Frensch (Hrsg.), Handbuch der Allgemeinen Psychologie – Kognition (S. 691–696). Göttingen: Hogrefe.
Krnel, D., & Glazar, S. (2003). The developement of the concept of „Matter“: A cross-age study of how children classify materials. Science Education, 87(5), 621–639.
Krnel, D., Watson, R., & Glazar, S. A. (1998). Survey of research related to the development of the concept of ‚matter‘. International Journal of Science Education, 20(3), 257–289.
Lai, M. L., Tsai, M. J., Yang, F. Y., Hsu, C. Y., Liu, T. C., Lee, S. W. Y., … & Tsai, C. C. (2013). A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review, 10, 90–115.
Lamnek, S. (2005). Qualitatives interview. In S. Lamnek (Hrsg.), Qualitative Sozialforschung (S. 329–402). Weinheim: Beltz PVU.
Löfgren, L., & Helldén, G. (2009). A longitudinal study showing how students use a molecule concept when explaining everyday situations. International Journal of Science Education, 31(12), 1631–1655.
Long, D., & Bourg, T. (1996). Thinking aloud: Telling a story about a story. Discourse Processes, 21(3), 329–339.
Marohn, A. (2008). ‚Choice2learn‘ – eine Konzeption zur Exploration und Veränderung von Lernervorstellungen im naturwissenschaftlichen Unterricht. Zeitschrift für Didaktik der Naturwissenschaften, 14, 57–83.
Messick, S. (1989). Validity. In R. L. Linn (Hrsg.), Educational measurement (S. 13–103). New York: Macmillan.
Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749.
Mohan, L., Chen, J., & Anderson, C. W. (2009). Developing a multi-year learning progression for carbon cycling in socio-ecological systems. Journal of Research in Science Teaching, 46(6), 675–698.
Nakhleh, M. B., & Samarapungavan, A. (1999). Elementary school children’s beliefs about matter. Journal of Research in Science Teaching, 36(7), 777–805.
Nakhleh, M. B., Samarapungavan, A., & Saglam, Y. (2005). Middle school students’ beliefs about matter. Journal of Research in Science Teaching, 42(5), 581–612.
National Research Council. (1996). National science education standards. Washington: National Academy Press.
Neumann, K., Viering, T., Boone, W. J., & Fischer, H. E. (2013). Towards a learning progression of energy. Journal of Research in Science Teaching, 50, 162–188.
Novick, S., & Nussbaum, J. (1978). Junior high school pupils’ understanding of the particulate nature of matter: An interview study. Science Education, 62(3), 273–281.
Novick, S., & Nussbaum, J. (1981). Pupils’ understanding of the particulate nature of matter: A cross-age study. Science Education, 65(2), 187–196.
Park, E. J., & Light, G. (2009). Identifying atomic structure as a Threshold concept: Student mental models and troublesomeness. International Journal of Science Education, 31(2), 233–258.
Pfundt, H. (1981). Das Atom – letztes Teilungsstück oder erster Aufbaustein? Zu den Vorstellungen, die sich Schüler vom Aufbau der Stoffe machen. Chimica Didactica, 7, 75–94.
Renström, L., Andersson, B., & Marton, F. (1990). Students’ conceptions of matter. Journal of Educational Psychology, 82(3), 555–569.
Ruiz-Primo, M. A., Shavelson, R. J., Li, M., & Schultz, S. E. (2001). On the validity of cognitive interpretations of scores from alternative concept-mapping techniques. Educational Assessment, 7(2), 99–141.
Schermelleh-Engel, K., & Werner, C. (2007). Methoden der Reliabilitätsbestimmung. In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion (S. 114–133). Heidelberg: Springer.
Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland. (2005). Bildungsstandards im Fach Physik für den Mittleren Schulabschluss. Beschluss vom 16.12.2004. München: Luchterhand.
Shavelson, R. J., Ruiz-Primo, M. A., & Wiley, E. W. (2005). Windows into the mind. Higher Education, 49(4), 413–430.
Steedle, J. T., & Shavelson, R. J. (2009). Supporting valid interpretations of learning progression level diagnoses. Journal of Research in Science Teaching, 46(6), 699–715.
Stevens, S., Delgado, C., & Krajcik, J. S. (2009). Developing a hypothetical multi-dimensional learning progression for the nature of matter. Journal of Research in Science Teaching, 47(6), 687–715.
Taber, K. S. (2005). Learning quanta: Barriers to stimulating transitions in student understanding of orbital ideas. Science Education, 89(1), 94–116.
Tan, K. C. D., Goh, N. K., Chia, L. S., & Treagust, D. F. (2002). Development and application of a two-tier multiple choice diagnostic instrument to assess high school students’ understanding of inorganic chemistry qualitative analysis. Journal of Research in Science, 39(4), 283–301.
Terzer, E., Patzke, C., & Upmeier zu Belzen, A. (2012). Validierung von Multiple-Choice Items zur Modellkompetenz durch lautes Denken. In U. Harms & F. X. Bogner (Hrsg.), Lehr- und Lernforschung in der Biologiedidaktik (S. 45–62). Innsbruck: Studienverlag.
Treagust, D. F., & Chandrasegaran, A. L. (2007). The Taiwan national science concept learning study in an international perspective. International Journal of Science Education, 29(4), 391–403.
Author information
Authors and Affiliations
Corresponding author
Rights and permissions
About this article
Cite this article
Hadenfeldt, J., Repenning, B. & Neumann, K. Die kognitive Validität von Ordered Multiple Choice Aufgaben zur Erfassung des Verständnisses von Materie. ZfDN 20, 57–68 (2014). https://doi.org/10.1007/s40573-014-0003-7
Published:
Issue Date:
DOI: https://doi.org/10.1007/s40573-014-0003-7