Skip to main content
SpringerLink
Log in

Die kognitive Validität von Ordered Multiple Choice Aufgaben zur Erfassung des Verständnisses von Materie

The Cognitive Validity of Ordered Multiple Choice Items to Assess Students’ Understanding of Matter

  • Originalarbeit
  • Published:
Zeitschrift für Didaktik der Naturwissenschaften Aims and scope Submit manuscript

Zusammenfassung

Unterricht in den naturwissenschaftlichen Fächern soll Schülerinnen und Schülern ein solides Verständnis naturwissenschaftlicher Konzepte vermitteln. Zur Erfassung eines solchen Verständnisses wurden von Briggs et al. (Briggs, Alonzo, Schwab und Wilson 2006) Ordered Multiple Choice (OMC) Aufgaben vorgeschlagen. Mit diesem Aufgabentyp sollen in einer Aufgabe unterschiedliche Niveaus des Verständnisses im Sinne unterscheidbarer, hierarchisch geordneter Ausprägungen einer latenten Fähigkeit erfasst werden können. Entscheidend dafür ist jedoch, dass die Wahl einer OMC Antwortoption auf kognitive Prozesse zurückzuführen ist, die sich ebenfalls einer entsprechenden Ausprägung des Verständnisses zuordnen lassen. In der in diesem Beitrag vorgestellten Studie wurde untersucht, inwieweit eine solche kognitiv valide Interpretation von OMC Testergebnissen möglich ist. 11 Schülerinnen und Schüler der Jahrgangsstufen 6 (n = 3), 9 (n = 4) und 11 (n = 3) eines Gymnasiums in Schleswig-Holstein wurden acht OMC Aufgaben zur Erfassung des Verständnisses von Materie vorgelegt. Es wurden Protokolle des lauten Denkens erhoben, transkribiert und auf Lösungsstrategien hin analysiert. Die Ergebnisse legen nahe, dass das Antwortverhalten der Probanden aus den Jahrgangsstufen 9 und 12 auf ein Verständnis von Materie zurückzuführen ist. Das Antwortverhalten der Probanden aus Klassenstufe 6 hingegen konnte nicht auf ein Verständnis von Materie zurückgeführt werden. Dennoch wählten diese Probanden vornehmlich Antwortoptionen, die ein für ihre Klassenstufe typisches Verständnis widerspiegelten.

Abstract

One important goal of science education is to foster students’ understanding of scientific concepts. To diagnose students’ states of understanding Ordered Multiple Choice (OMC) items have been suggested by Briggs et al. (Briggs, Alonzo, Schwab und Wilson 2006). In OMC items, each of the possible response options corresponds to a specific level of an underlying learning progression. In order to provide more diagnostic information than typical multiple choice items, students’ response behavior must reflect their understanding of the construct measured. That is, evidence about the cognitive validity of OMC items is required. In this paper, we present the findings from a think-aloud-study with 11 students from grade 6 (n = 3), grade 9 (n = 4), and grade 12 (n = 4). We investigated the cognitive validity of 8 OMC items that covered aspects of students’ understanding of the matter concept. Our findings suggest that 9th and 12th grade students’ choice of response option was mainly based on cognitive processes related to their understanding of the matter concept, whereas 6th graders’ choices were mainly based on other, non-matter-related cognitive processes.

This is a preview of subscription content, log in via an institution to check access.

Access this article

Log in via an institution

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Instant access to the full article PDF.

Institutional subscriptions

Abb. 1
Abb. 2
Abb. 3
Abb. 4
Abb. 5

Literatur

  • Acher, A., Arcà, M., & Sanmartí, N. (2007). Modeling as a teaching learning process for understanding materials: A case study in primary education. Science Education, 91(3), 398–418.

    Article  Google Scholar 

  • Adadan, E., Trundle, K. C., & Irving, K. E. (2010). Exploring Grade 11 students’ conceptual pathways of the particulate nature of matter in the context of multi-representational instruction. Journal of Research in Science Teaching, 47(8), 1004–1035.

    Google Scholar 

  • Adbo, K., & Taber, K. S. (2009). Learners’ mental models of the particle nature of matter: A study of 16-year-old Swedish science students. International Journal of Science Education, 31(6), 757–786.

    Article  Google Scholar 

  • Alonzo, A. C., & Steedle, J. T. (2009). Developing and assessing a force and motion learning progression. Science Education, 93(3), 389–421.

    Article  Google Scholar 

  • American Association for the Advancement of Science. (2001). Atlas of Science Literacy. New York: Oxford University.

    Google Scholar 

  • Andersson, B. (1990). Pupils’ conceptions of matter and its transformations (age 12–16). Studies in Science Education, 18, 53–85.

    Article  Google Scholar 

  • Ayas, A., Özmen, H., & Çalik, M. (2010). Students’ conceptions of the particulate nature of matter at secondary and tertiary level. International Journal of Science and Mathematics Education, 8(1), 165–184.

    Article  Google Scholar 

  • Bar, V., & Galili, I. (1994). Stages of children’s views about evaporation. International Journal of Science Education, 16(2), 157–174.

    Article  Google Scholar 

  • Bernholt, S., Commons, M. L., & Parchmann, I. (2009). Kompetenzmodellierung zwischen Forschung und Unterrichtspraxis. Zeitschrift für Didaktik der Naturwissenschaften, 15, 219–245.

    Google Scholar 

  • Bernholt, S., Neumann, K. & Nentwig, P. (2012). Learning outcomes in science education: Making it tangible. Münster: Waxmann.

  • Bortz, J., & Döring, N. (2006). Forschungsmethoden und Evaluation für Human- und Sozial-wissenschaftler (4. Aufl.). Heidelberg: Springer Medizin Verlag.

    Google Scholar 

  • Bouwma-Gearhart, J., Stewart, J., & Brown, K. (2009). Student misapplication of a gas-like model to explain particle movement in heated solids: Implications for curriculum and instruction towards students’ creation and revision of accurate explanatory models. International Journal of Science Education, 31(9), 1157–1174.

    Article  Google Scholar 

  • Briggs, D. C., Alonzo, A. C., Schwab, C., & Wilson, M. (2006). Diagnostic assessment with ordered multiple-choice items. Educational Assessment, 11(1), 33–63.

  • Cheung, D. (2009). Using think-aloud protocols to investigate secondary school chemistry teachers’ misconceptions about chemical equilibrium. Chemistry Education Research and Practise,10 (2), 97–108.

  • Coll, R. K., & Treagust, D. F. (2001). Learners’ use of analogy and alternative conceptions for chemical bonding. Australian Science Teachers Journal, 48(1), 24–32.

  • Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52, 281–302.

    Article  Google Scholar 

  • Deffner, G. (1984). Lautes Denken: Untersuchung zur Qualität eines Datenerhebungsverfahrens. Frankfurt a. M.: Lang.

    Google Scholar 

  • Dresing, T., & Pehl, T. (2011). Praxisbuch Transkription. Regelsysteme, Software und praktische Anleitungen für qualitative ForscherInnen. Marburg: Eigenverlag.

  • Duit, R. (2008). Students’ and teachers’ Conceptions and Science Education (STCSE) (Bibliographie). Retrieved 12.03.2010, from IPN.

  • Ericsson, K., & Simon, H. (1980). Verbal reports as data. Psychological Review, 87(3), 215–251.

    Article  Google Scholar 

  • Ericsson, K. A., & Simon, H. A. (1993). Protocol analysis: Verbal reports as data (Rev. ed.). Cambridge: MIT.

    Google Scholar 

  • Greatorex, J., & Sütő, W. (2008). What do GCSE examiners think of ‚thinking aloud‘? Findings from an exploratory study. Educational Research, 50(4), 319–331.

    Article  Google Scholar 

  • Hadenfeldt, J. C., & Neumann, K. (2011). Materie verstehen - aber wie? Die Entwicklung von Kompetenz im Umgang mit dem Materiekonzept. Naturwissenschaften im Unterricht – Chemie, 124/125, 87–91.

  • Hadenfeldt, J. C., & Neumann, K. (2012). Die Erfassung des Verständnisses von Materie durch Ordered Multiple Choice Aufgaben. Zeitschrift für Didaktik der Naturwissenschaften, 18, 317–338.

  • Harrison, A. G., & Treagust, D. F. (1996). Secondary students’ mental models of atoms and molecules: Implications for teaching chemistry. Science Education, 80(5), 509–534.

    Google Scholar 

  • Herrmann Abell, C. F., & DeBoer, G. E. (2011). Using distractor-driven standards-based multiple-choice assessments and Rasch modeling to investigate hierarchies of chemistry misconceptions and detect structural problems with individual items. Chemical Education Research and Practice, 12, 184–192.

    Article  Google Scholar 

  • Hmelo-Silver, C. E., & Duncan, R. G. (2009). Learning progressions: Aligning curriculum, instruction, and assessment. Journal of Research in Science Teaching, 46(6), 606–609.

    Article  Google Scholar 

  • Johnson, P. (1998). Progression in children’s understanding of a basic particle theory: A longitudinal study. International Journal of Science Education, 20(4), 393–412.

    Article  Google Scholar 

  • Johnson, P. (2002). Children’s understanding of substances, Part 2: Explaining chemical change. International Journal of Science Education, 24(10), 1037–1054.

    Article  Google Scholar 

  • Knoblich, G., & Öllinger, G. (2006). Die Methode des Lauten Denkens. In J. Funke & P. Frensch (Hrsg.), Handbuch der Allgemeinen Psychologie – Kognition (S. 691–696). Göttingen: Hogrefe.

    Google Scholar 

  • Krnel, D., & Glazar, S. (2003). The developement of the concept of „Matter“: A cross-age study of how children classify materials. Science Education, 87(5), 621–639.

    Article  Google Scholar 

  • Krnel, D., Watson, R., & Glazar, S. A. (1998). Survey of research related to the development of the concept of ‚matter‘. International Journal of Science Education, 20(3), 257–289.

    Article  Google Scholar 

  • Lai, M. L., Tsai, M. J., Yang, F. Y., Hsu, C. Y., Liu, T. C., Lee, S. W. Y., … & Tsai, C. C. (2013). A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review, 10, 90–115.

    Article  Google Scholar 

  • Lamnek, S. (2005). Qualitatives interview. In S. Lamnek (Hrsg.), Qualitative Sozialforschung (S. 329–402). Weinheim: Beltz PVU.

    Google Scholar 

  • Löfgren, L., & Helldén, G. (2009). A longitudinal study showing how students use a molecule concept when explaining everyday situations. International Journal of Science Education, 31(12), 1631–1655.

    Article  Google Scholar 

  • Long, D., & Bourg, T. (1996). Thinking aloud: Telling a story about a story. Discourse Processes, 21(3), 329–339.

    Article  Google Scholar 

  • Marohn, A. (2008). ‚Choice2learn‘ – eine Konzeption zur Exploration und Veränderung von Lernervorstellungen im naturwissenschaftlichen Unterricht. Zeitschrift für Didaktik der Naturwissenschaften, 14, 57–83.

    Google Scholar 

  • Messick, S. (1989). Validity. In R. L. Linn (Hrsg.), Educational measurement (S. 13–103). New York: Macmillan.

    Google Scholar 

  • Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749.

    Article  Google Scholar 

  • Mohan, L., Chen, J., & Anderson, C. W. (2009). Developing a multi-year learning progression for carbon cycling in socio-ecological systems. Journal of Research in Science Teaching, 46(6), 675–698.

    Article  Google Scholar 

  • Nakhleh, M. B., & Samarapungavan, A. (1999). Elementary school children’s beliefs about matter. Journal of Research in Science Teaching, 36(7), 777–805.

    Article  Google Scholar 

  • Nakhleh, M. B., Samarapungavan, A., & Saglam, Y. (2005). Middle school students’ beliefs about matter. Journal of Research in Science Teaching, 42(5), 581–612.

    Article  Google Scholar 

  • National Research Council. (1996). National science education standards. Washington: National Academy Press.

    Google Scholar 

  • Neumann, K., Viering, T., Boone, W. J., & Fischer, H. E. (2013). Towards a learning progression of energy. Journal of Research in Science Teaching, 50, 162–188.

  • Novick, S., & Nussbaum, J. (1978). Junior high school pupils’ understanding of the particulate nature of matter: An interview study. Science Education, 62(3), 273–281.

    Article  Google Scholar 

  • Novick, S., & Nussbaum, J. (1981). Pupils’ understanding of the particulate nature of matter: A cross-age study. Science Education, 65(2), 187–196.

    Article  Google Scholar 

  • Park, E. J., & Light, G. (2009). Identifying atomic structure as a Threshold concept: Student mental models and troublesomeness. International Journal of Science Education, 31(2), 233–258.

    Article  Google Scholar 

  • Pfundt, H. (1981). Das Atom – letztes Teilungsstück oder erster Aufbaustein? Zu den Vorstellungen, die sich Schüler vom Aufbau der Stoffe machen. Chimica Didactica, 7, 75–94.

    Google Scholar 

  • Renström, L., Andersson, B., & Marton, F. (1990). Students’ conceptions of matter. Journal of Educational Psychology, 82(3), 555–569.

    Article  Google Scholar 

  • Ruiz-Primo, M. A., Shavelson, R. J., Li, M., & Schultz, S. E. (2001). On the validity of cognitive interpretations of scores from alternative concept-mapping techniques. Educational Assessment, 7(2), 99–141.

    Article  Google Scholar 

  • Schermelleh-Engel, K., & Werner, C. (2007). Methoden der Reliabilitätsbestimmung. In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion (S. 114–133). Heidelberg: Springer.

    Google Scholar 

  • Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland. (2005). Bildungsstandards im Fach Physik für den Mittleren Schulabschluss. Beschluss vom 16.12.2004. München: Luchterhand.

    Google Scholar 

  • Shavelson, R. J., Ruiz-Primo, M. A., & Wiley, E. W. (2005). Windows into the mind. Higher Education, 49(4), 413–430.

    Google Scholar 

  • Steedle, J. T., & Shavelson, R. J. (2009). Supporting valid interpretations of learning progression level diagnoses. Journal of Research in Science Teaching, 46(6), 699–715.

    Article  Google Scholar 

  • Stevens, S., Delgado, C., & Krajcik, J. S. (2009). Developing a hypothetical multi-dimensional learning progression for the nature of matter. Journal of Research in Science Teaching, 47(6), 687–715.

    Article  Google Scholar 

  • Taber, K. S. (2005). Learning quanta: Barriers to stimulating transitions in student understanding of orbital ideas. Science Education, 89(1), 94–116.

    Article  Google Scholar 

  • Tan, K. C. D., Goh, N. K., Chia, L. S., & Treagust, D. F. (2002). Development and application of a two-tier multiple choice diagnostic instrument to assess high school students’ understanding of inorganic chemistry qualitative analysis. Journal of Research in Science, 39(4), 283–301.

    Google Scholar 

  • Terzer, E., Patzke, C., & Upmeier zu Belzen, A. (2012). Validierung von Multiple-Choice Items zur Modellkompetenz durch lautes Denken. In U. Harms & F. X. Bogner (Hrsg.), Lehr- und Lernforschung in der Biologiedidaktik (S. 45–62). Innsbruck: Studienverlag.

    Google Scholar 

  • Treagust, D. F., & Chandrasegaran, A. L. (2007). The Taiwan national science concept learning study in an international perspective. International Journal of Science Education, 29(4), 391–403.

    Article  Google Scholar 

Download references

Author information

Authors and Affiliations

  1. IPN Leibniz Institute for Science and Mathematics Education, Olshausenstrasse 62, 24118, Kiel, Deutschland

    Jan Christoph Hadenfeldt, Björn Repenning & Knut Neumann

Authors
  1. Jan Christoph Hadenfeldt
    View author publications

    You can also search for this author in PubMed Google Scholar

  2. Björn Repenning
    View author publications

    You can also search for this author in PubMed Google Scholar

  3. Knut Neumann
    View author publications

    You can also search for this author in PubMed Google Scholar

Corresponding author

Correspondence to Jan Christoph Hadenfeldt.

Rights and permissions

Reprints and permissions

About this article

Check for updates. Verify currency and authenticity via CrossMark

Cite this article

Hadenfeldt, J., Repenning, B. & Neumann, K. Die kognitive Validität von Ordered Multiple Choice Aufgaben zur Erfassung des Verständnisses von Materie. ZfDN 20, 57–68 (2014). https://doi.org/10.1007/s40573-014-0003-7

Download citation

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s40573-014-0003-7

Schlüsselwörter

Keyword

Search

Navigation