Entwicklung und Erprobung eines Tests zur Erfassung des Verständnisses experimenteller Denk- und Arbeitsweisen

  • Andreas Vorholzer
  • Claudia von Aufschnaiter
  • Sophie Kirschner
Original Paper

Zusammenfassung

Prozessbezogene Kompetenzen, u. a. zum experimentellen Denken und Arbeiten, sind ein wesentlicher Bestandteil naturwissenschaftlicher Allgemeinbildung. Der Aufbau zugehöriger Fähigkeiten und Kenntnisse ist daher sowohl in der Mittel- als auch in der Oberstufe ein wichtiges Ziel des naturwissenschaftlichen Unterrichts. Mit der Zielsetzung des Kompetenzaufbaus sind auch Fragen der Kompetenzmessung verbunden, wenn die zu einem Zeitpunkt vorliegenden Kompetenzen erfasst, oder deren Veränderungen z. B. durch schulischen Unterricht erhoben werden sollen. Zwar finden sich im Bereich der experimentellen Denk- und Arbeitsweisen bereits Instrumente zur Kompetenzmessung, diese fokussieren jedoch häufig auf die Mittelstufe. Den vergleichsweise wenigen Instrumenten für die Oberstufe scheint es zudem nicht optimal zu gelingen, zwischen fachinhaltlichen und prozessbezogenen Kompetenzen zu differenzieren. Ausgehend von einer kritischen Analyse gängiger Modellierungen des experimentellen Denkens und Arbeitens wurde deshalb ein Testinstrument zum Einsatz mit Schülern der Oberstufe konzipiert und insbesondere dessen diskriminante Validität untersucht. Im Beitrag werden sowohl die einzelnen Entwicklungs- und Pilotierungsschritte als auch die Ergebnisse der Erprobung des Instruments mit N = 195 Schülern der Jahrgangsstufe 11 vorgestellt. Zur Auswertung der Daten wurde eine Rasch-Analyse durchgeführt. Die Ergebnisse liefern nicht nur Evidenz für die Reliabilität und Validität des Testinstruments, sondern auch Hinweise auf die Dimensionalität der zu Grunde liegenden Kompetenzstruktur.

Schlüsselwörter

Experimentelles Denken und Arbeiten Erkenntnisgewinnung Kompetenzmodellierung Testentwicklung Rasch-Analyse 

Development of an instrument to assess students’ knowledge of scientific inquiry

Abstract

Knowledge of scientific inquiry and the ability to engage successfully in scientific inquiry are considered an important aspect of scientific literacy. Therefore, promoting students’ competencies of scientific inquiry is a central goal of science education and thus an important field for science education research. In order to investigate students’ knowledge and abilities of scientific inquiry and how these develop, instruments are required which allow a reliable and valid assessment of students’ competencies of scientific inquiry. Such instruments can be used, for example, to investigate the effects of an intervention or to evaluate the success of regular teaching with regard to scientific inquiry. While there are several instruments available for the assessment of competencies of scientific inquiry at lower secondary, only few instruments exist for upper secondary. Moreover, existing instruments do not seem to distinguish sufficiently between students’ competencies of scientific inquiry and their domain-specific content knowledge. Therefore, an instrument was developed that can be used with older students and can assess knowledge and abilities of scientific inquiry independently of subject matter knowledge. In this paper, the development of the instrument and pilot of the test with N = 195 grade 11 students (about 16 years old) are described. A Rasch analysis of the data was conducted; the statistical and psychometric indices suggest good instrument function. The results provide not only evidence for the instruments’ reliability and validity, but also offer useful insights in the structure and dimensionality of competencies of scientific inquiry.

Keywords

Knowledge and abilities of scientific inquiry Model of competency Test development Rasch analysis 

Notes

Danksagung

Unser Dank gilt den Schulen, die uns in allen Phasen der Entwicklung und Erprobung des Testinstruments unterstützt haben. Darüber hinaus danken wir den Gutachterinnen und Gutachtern für sehr umfassende und hilfreiche Hinweise, die ganz wesentlich zur Verbesserung der Qualität des Manuskripts beigetragen haben. Der „Experimentelle Denk- und Arbeitsweisen Test“ ist auf Anfrage beim Erstautor erhältlich.

Literatur

  1. Alonzo, A. C., & Steedle, J. T. (2009). Developing and assessing a force and motion learning progression. Science Education, 93(3), 389–421.CrossRefGoogle Scholar
  2. Arnold, J. C., Kremer, K., & Mayer, J. (2013). Wissenschaftliches Denken beim Experimentieren – Kompetenzdiagnose in der Sekundarstufe II. In D. Krüger, A. Upmeier zu Belzen, P. Schmiemann, A. Möller & D. Elster (Hrsg.), Erkenntnisweg Biologiedidaktik 11 (S. 7–20). Kassel: Universitätsdruckerei.Google Scholar
  3. Aufschnaiter, S. v. (2001). Wissensentwicklung und Lernen am Beispiel Physikunterricht. In J. Meixner & K. Müller (Hrsg.), Praxishilfen Schule: Pädagogik. Konstruktivistische Schulpraxis. Beispiele für den Unterricht (S. 249–271). Neuwied: Luchterhand.Google Scholar
  4. Aufschnaiter, C. v., & Hofmann, J. (2014). Kompetenz und Wissen. Wechselseitige Zusammenhänge und Konsequenzen für die Unterrichtsplanung. Der mathematische und naturwissenschaftliche Unterricht, 67(1), 10–16.Google Scholar
  5. Aufschnaiter, C. v., & Rogge, C. (2010). Wie lassen sich Verläufe der Entwicklung von Kompetenz modellieren? Zeitschrift für Didaktik der Naturwissenschaften, 16, 95–114.Google Scholar
  6. Baumert, J., Lehmann, R., Lehrke, M., Clausen, M., Hosenfeld, I., Neubrand, J., Günther, W (1998). Testaufgaben der Naturwissenschaften TIMSS 7./8. Klasse (Population 2). Berlin: Max-Planck-Institut für Bildungsforschung.Google Scholar
  7. Beretz, A.-K. (2013). Wie verstehen und bearbeiten Schüler/innen Aufgaben zum Kompetenzbereich Erkenntnisgewinnung? Videogestützte Analyse des Einsatzes eines Testinstrumentes. Wissenschaftliche Hausarbeit im Rahmen der Ersten Staatsprüfung für das Lehramt an Gymnasien, Institut für Didaktik der Physik, Justus-Liebig-Universität Gießen, unveröffentlicht.Google Scholar
  8. BLK. (1997). Gutachten zur Vorbereitung des Programms „Steigerung des mathematisch-naturwissenschaftlichen Unterrichts“. http://www.blk-bonn.de/papers/heft60.pdf. Zugegriffen: 28. Nov. 2014.
  9. Boone, W. J., Staver, J. R., & Yale, M. S. (2014). Rasch analysis in the human sciences. Dordrecht: Springer Netherlands.CrossRefGoogle Scholar
  10. Briggs, D., Alonzo, A., Schwab, C., & Wilson, M. (2006). Diagnostic assessment with ordered multiple-choice items. Educational Assessment, 11(1), 33–63.CrossRefGoogle Scholar
  11. Bybee, R. W. (2002). Scientific Literacy – Mythos oder Realität? In W. Gräber, P. Nentwig, T. Koballa, & R. Evans (Hrsg.), Scientific Literacy. Der Beitrag der Naturwissenschaften zur Allgemeinen Bildung (S. 21–43). Opladen: Leske + Budrich.Google Scholar
  12. DeBoer, G. E. (2000). Scientific literacy: Another look at its historical and contemporary meanings and its relationship to science education reform. Journal of Research in Science Teaching, 37(6), 582–601.CrossRefGoogle Scholar
  13. EDK (2011). Grundkompetenzen für die Naturwissenschaften. Nationale Bildungsstandards. http://edudoc.ch/record/96787/files/grundkomp_nawi_d.pdf. Zugegriffen: 28. Nov. 2014.
  14. Emden, M. (2011). Prozessorientierte Leistungsmessung des naturwissenschaftlich-experimentellen Arbeitens. Eine vergleichende Studie zu Diagnoseinstrumenten zu Beginn der Sekundarstufe I. Berlin: Logos Verlag.Google Scholar
  15. Fischer, H. E. (1998). Scientific Literacy und Physiklernen. Zeitschrift für Didaktik der Naturwissenschaften, 4(2), 41–52.Google Scholar
  16. Glug, I. (2009). Entwicklung und Validierung eines Multiple-Choice-Tests zur Erfassung prozessbezogener naturwissenschaftlicher Grundbildung. Dissertation, Christian-Albrechts-Universität zu Kiel. Kiel. http://eldiss.uni-kiel.de/macau/servlets/MCRFileNodeServlet/dissertation_derivate_00002755/dissertation_inga_glug.pdf?hosts=&o. Zugegriffen: 28. Nov. 2014.
  17. Gott, R., Duggan, S., Roberts, R., & Hussain, A. (2014). Research into understanding scientific evidence. https://community.dur.ac.uk/rosalyn.roberts/Evidence/cofev.htm. Zugegriffen: 03. März 2015.
  18. Gräber, W., & Nentwig, P. (2002). Scientific Literacy – Naturwissenschaftliche Grundbildung in der Dikussion. In W. Gräber, P. Nentwig, T. Koballa, & R. Evans (Hrsg.), Scientific Literacy. Der Beitrag der Naturwissenschaften zur Allgemeinen Bildung (S. 7–20). Opladen: Leske + Budrich.Google Scholar
  19. Grube, C. R. (2011). Kompetenzen naturwissenschaftlicher Erkenntnisgewinnung. Untersuchung der Struktur und Entwicklung des wissenschaftlichen Denkens bei Schülerinnen und Schülern der Sekundarstufe I. Dissertation. Kassel: Universität Kassel. https://kobra.bibliothek.uni-kassel.de/bitstream/urn:nbn:de:hebis:34-2011041537247/3/DissertationChristianeGrube.pdf. Zugegriffen: 7. März 2014.Google Scholar
  20. Hammann, M., Phan, T. T. H., Ehmer, M., & Bayrhuber, H. (2006). Fehlerfrei Experimentieren. Mathematischer und Naturwissenschaftlicher Unterricht, 59(5), 292–299.Google Scholar
  21. Hammann, M., Phan, T. T. H., & Bayrhuber, H. (2008). Experimentieren als Problemlösen: Lässt sich das SDDS- Modell nutzen, um unterschiedliche Dimensionen beim Experimentieren zu messen? In M. Prenzel, I. Gogolin, & H.-H. Krüger (Hrsg.), Kompetenzdiagnostik (S. 33–49). Wiesbaden: VS Verlag für Sozialwissenschaften.CrossRefGoogle Scholar
  22. Hartig, J., & Klieme, E. (2006). Kompetenz und Kompetenzdiagnostik. In K. Schweizer (Hrsg.), Leistung und Leistungsdiagnostik (S. 127–143). Heidelberg: Springer Medizin Verlag.CrossRefGoogle Scholar
  23. Heller, K., & Perleth, C. (2000). Kognitiver Fähigkeitstest für 4. bis 12. Klassen, Revision: KFT 4–12 + R. Weinheim: Beltz Test GmbH.Google Scholar
  24. Henke, C. (2007). Experimentell-naturwissenschaftliche Arbeitsweisen in der Oberstufe. Untersuchung am Beispiel des HIGHSEA-Projekts in Bremerhaven. Berlin: Logos Verlag.Google Scholar
  25. Hestenes, D., Wells, M., & Swackhamer, G. (1992). Force Concept Inventory. The Physics Teacher, 30(3), 141–158.CrossRefGoogle Scholar
  26. Hof, S., & Mayer, J. (2008). Förderung von wissenschaftsmethodischen Kompetenzen durch forschendes Lernen. In D. Krüger, A. Upmeier zu Belzen, T. Riemeier, & K. Niebert (Hrsg.), Erkenntniswege Biologiedidaktik 7 (S. 69–84). Hannover: SchroedelGoogle Scholar
  27. Klahr, D., & Dunbar, K. (1988). Dual space search during scientific reasoning. Cognitive Science, 12(1), 1–48.CrossRefGoogle Scholar
  28. Klos, S. (2008). Kompetenzförderung im naturwissenschaftlichen Anfangsunterricht – der Einfluss eines integrierten Unterrichtskonzepts. Berlin: Logos Verlag.Google Scholar
  29. KMK (2004). Einheitliche Prüfungsanforderungen in der Abiturprüfung Physik. http://www.kmk.org/fileadmin/veroeffentlichungen_beschluesse/1989/1989_12_01-EPA-Physik.pdf. Zugegriffen: 28. Nov. 2014.
  30. KMK. (2005). Bildungsstandards im Fach Physik für den Mittleren Schulabschluss (Jahrgangsstufe 10). München: Luchterhand.Google Scholar
  31. Lawson, A. E. (1978). The development and validation of a classroom test of formal reasoning. Journal of Research in Science Teaching, 15(1), 11–24.CrossRefGoogle Scholar
  32. Lederman, J. S., Lederman, N. G., Bartos, S. A., Bartels, S. L., Meyer, A. A., & Schwartz, R. S. (2014). Meaningful assessment of learners’ understandings about scientific inquiry – The views about scientific inquiry (VASI) questionnaire. Journal of Research in Science Teaching, 51(1), 65–83.CrossRefGoogle Scholar
  33. Linacre, J. M. (2014). A user’s guide to Winsteps Ministep Rasch-Model computer programs. Program manual 3.81.0. http://www.winsteps.com/winman/. Zugegriffen: 12. März 2014.
  34. Masters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47(2), 149–174.CrossRefGoogle Scholar
  35. Mayer, J. (2007). Erkenntnisgewinnung als wissenschaftliches Problemlösen. In D. Krüger & H. Vogt (Hrsg.), Theorien in der Biologiedidaktischen Forschung. Ein Handbuch für Lehramtsstudenten und Doktoranden (S. 177–186). Berlin-Heidelberg: Springer-Verlag.CrossRefGoogle Scholar
  36. Mayer, J., & Wellnitz, N. (2014). Die Entwicklung von Kompetenzstrukturmodellen. In D. Krüger, I. Parchmann, & H. Schecker (Hrsg.) Methoden in der naturwissenschaftsdidaktischen Forschung. 1 Band (S. 19–29). Berlin: Springer-Verlag.CrossRefGoogle Scholar
  37. Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749.CrossRefGoogle Scholar
  38. Millar, R. (2006). Twenty First Century Science: Insights from the design and implementation of a scientific literacy approach in school science. International Journal of Science Education, 28(13), 1499–1521.CrossRefGoogle Scholar
  39. Nawrath, D., Maiseyenka, V., & Schecker, H. (2011). Experimentelle Kompetenz – Ein Modell für die Unterrichtspraxis. Praxis der Naturwissenschaften – Physik in der Schule, 60(6), 42–49.Google Scholar
  40. Nehring, A., Nowak, K. H., Upmeier zu Belzen, A., & Tiemann, R. (2014). Ausgewählte Analysen der „VerE-Studie“ – Zur Trennbarkeit und zu Zusammenhängen von Fachwissen und Kompetenzen im Bereich Erkenntnisgewinnung. In S. Bernholt (Hrsg.), Naturwissenschaftliche Bildung zwischen Science- und Fachunterricht (S. 177–179). Kiel: IPN.Google Scholar
  41. Neumann, I., Fulmer, G. W., & Liang, L. L. (2013). Analyzing the FCI based on a force and motion learning progression. Science Education Review Letters, 2013, 8–14.Google Scholar
  42. Nowak, K. H., Nehring, A., Tiemann, R., & Upmeier zu Belzen, A. (2013). Assessing students’ abilities in processes of scientific inquiry in biology using a paper-and-pencil test. Journal of Biological Education, 47(3), 182–188.CrossRefGoogle Scholar
  43. NRC. (2012). A framework for K-12 science education. Practices, crosscutting concepts, and core ideas. Washington D. C.: National Academies Press.Google Scholar
  44. Phan, T. T. H. (2007). Testing levels of competencies in biological experimentation. Dissertation, Christian-Albrechts-Universität zu Kiel. Kiel. http://d-nb.info/1019552891/34. Zugegriffen: 10. März 2014.
  45. Roberts, R., & Gott, R. (2004). A written test for procedural understanding: A way forward for assessment in the UK science curriculum? Research in Science & Technological Education, 22(1), 5–21.CrossRefGoogle Scholar
  46. Ropohl, M., Walpuski, M., & Sumfleth, E. (2014). Welches Aufgabenformat ist das richtige? – Empirischer Vergleich zweier Aufgabenformate zur standardbasierten Kompetenzmessung. Zeitschrift für Didaktik der Naturwissenschaften. doi:10.1007/s40573-014-0020-6.
  47. Rost, J. (2004). Lehrbuch Testtheorie – Testkonstruktion (Psychologie Lehrbuch, 2., vollst. überarb. und erw. Aufl). Bern: Verlag Hans Huber.Google Scholar
  48. Schreiber, N., Theyßen, H., & Schecker, H. (2014). Diagnostik experimenteller Kompetenz: Kann man Realexperimente durch Simulationen ersetzen? Zeitschrift für Didaktik der Naturwissenschaften, 20(1), 161–173.CrossRefGoogle Scholar
  49. Vorholzer, A. (im Druck). Wie lassen sich Kompetenzen des experimentellen Denkens und Arbeitens fördern? Eine empirische Untersuchung eines expliziten und eines impliziten Instruktionsansatzes. Berlin: Logos Verlag.Google Scholar
  50. Vorholzer, A., & Aufschnaiter, C. v. (2015). Aufbau prozessbezogener Kompetenzen – Ergebnisse einer Intervention. In S. Bernholt (Hrsg.), Heterogenität und Diversität – Vielfalt der Voraussetzungen im naturwissenschaftlichen Unterricht. (S. 148–150). Münster: Waxmann.Google Scholar
  51. Wahser, I., & Sumfleth, E. (2008). Training experimenteller Arbeitsweisen zur Unterstützung kooperativer Kleingruppenarbeit im Fach Chemie. Zeitschrift für Didaktik der Naturwissenschaften, 14, 219–241.Google Scholar
  52. Wellnitz, N., & Mayer, J. (2013). Erkenntnismethoden in der Biologie – Entwicklung und Evaluation eines Kompetenzmodells. Zeitschrift für Didaktik der Naturwissenschaften, 19, 335–345.Google Scholar
  53. Wellnitz, N., Fischer, H. E., Kauertz, A., Mayer, J., Neumann, I., Pant, H. A., et al. (2012). Evaluation der Bildungsstandards – eine fächerübergreifende Testkonzeption für den Kompetenzbereich Erkenntnisgewinnung – eine fächerübergreifende Testkonzeption für den Kompetenzberiech Erkenntnisgewinnung. Zeitschrift für Didaktik der Naturwissenschaften, 18, 261–291.Google Scholar
  54. Wirtz, M., & Caspar, F. (2002). Beurteilerübereinstimmung und Beurteilerreliabilität. Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen. Göttingen: Hogrefe.Google Scholar
  55. Wu, M. L., Adams, R. J., & Wilson, M. R. (2007). ACER ConQuest version 2.0. Generalised item response modelling software. Camberwell: ACER Press.Google Scholar
  56. Zimmerman, C. (2007). The development of scientific thinking skills in elementary and middle school. Developmental Review, 27(2), 172–223.CrossRefGoogle Scholar

Copyright information

© Gesellschaft für Didaktik der Physik und Chemie (GDCP); Fachsektion Didaktik der Biologie im VBIO (FDdB im VBIO) and Springer-Verlag GmbH Berlin Heidelberg 2016

Authors and Affiliations

  • Andreas Vorholzer
    • 1
  • Claudia von Aufschnaiter
    • 1
  • Sophie Kirschner
    • 1
  1. 1.Institut für Didaktik der PhysikJustus-Liebig-Universität GießenGießenDeutschland

Personalised recommendations