Advertisement

Zeitschrift für Erziehungswissenschaft

, Volume 18, Issue 4, pp 763–779 | Cite as

Analyse der Aufgaben zur Evaluation der Bildungsstandards in Physik - Differenzierung von schriftsprachlichen Fähigkeiten und Fachlichkeit

  • Hendrik Härtig
  • Patricia Heitmann
  • Jan Retelsdorf
Allgemeiner Teil

Zusammenfassung

Bei der Evaluation der Bildungsstandards in den naturwissenschaftlichen Fächern sieht das Itemdesign vor, benötigtes Vorwissen innerhalb der Testung vorzugeben und damit auch im Sinne einer Kompetenzorientierung Umgang mit Fachwissen zu evaluieren. Dies setzt voraus, dass die Schülerinnen und Schüler die Informationen angemessen rezipieren. Es wird daher angenommen, dass schriftsprachliche Fähigkeiten eine zentrale Rolle für die Erfassung physikbezogener Kompetenzen in Leistungstests spielen, zumal einige Items schriftliche Antworten verlangen. Der vorliegende Beitrag geht daher der Frage nach, in welchem Umfang schriftsprachliche Fähigkeiten im Zusammenhang mit den Ergebnissen der Evaluation der Bildungsstandards im Kompetenzbereich Umgang mit Fachwissen des Fachs Physik steht. Die Studie zeigt an einer Stichprobe von N = 1961 Auszubildenden mittels Vergleich logistischer Modelle auf, dass die Items der Bildungsstandards von schriftsprachlichen Fähigkeiten beeinflusst werden. Ferner wiesen Items mit offenem Format im Mittel eine höhere Itemschwierigkeit auf im Vergleich zu Items mit geschlossenem Format, wobei sich eine Interaktion zwischen Antwortformat und schriftsprachlichen Fähigkeiten andeutet.

Schlüsselwörter

Evaluation der Bildungsstandards Kompetenztests Schriftsprachliche Fähigkeiten Antwortformate 

Analyses of the tasks for evaluating the educational standards in physics – Differentiation between written language proficiency and content knowledge

Abstract

Within the evaluation of National Educational Standards in science education all items provide information required for the answer. The items thereby are also competency-based. We assume that general language proficiency plays a central role in order to assess achievement in physics since some answers require an open response. Thus, this paper addresses the question to what extent general language proficiency can affect the results of the evaluation of the educational standards in physics education for the competence content knowledge. Drawing on a sample of N = 1961 vocational trainees first, it is shown that the National Educational Standards items are affected by general language proficiency to a relevant degree. Furthermore, items in open response format are more difficult than items in a closed response format, with a slight interaction between response format and general language proficiency.

Keywords

Answer format Competence tests Evaluation of educational standards Written language proficiency 

Literatur

  1. Agel, C., Beese, M., & Krämer, S. (2012). Naturwissenschaftliche Sprachförderung. Der mathematische und naturwissenschaftliche Unterricht, 65, 36–43.Google Scholar
  2. Asano, Y. (2014). C-Tests und „allgemeine Sprachkompetenz“: Theoretische Überlegungen und empirische Analysen. In R. Grotjahn (Hrsg.), Der C-Test: Aktuelle Tendenzen (S. 41–54). Frankfurt a. M.: Lang.Google Scholar
  3. Cromley, J. G. (2009). Reading achievement and science proficiency: International comparisons from the Programme on International Student Assessment. Reading Psychology, 30, 89–116.CrossRefGoogle Scholar
  4. Cromley, J. G., Snyder-Hogan, L. E., & Luciw-Dubas, U. A. (2010). Reading comprehension of scientific text: A domain-specific test of the direct and inferential mediation model of reading comprehension. Journal of Educational Psychology, 102, 687–700.CrossRefGoogle Scholar
  5. DeMars, C. E. (2000). Test stakes and item format interactions. Applied Measurement in Education, 13, 55–77.CrossRefGoogle Scholar
  6. Eckes, T., & Grotjahn, R. (2006). A closer look at the construct validity of C-tests. Language Testing, 23, 290–325.CrossRefGoogle Scholar
  7. Francis, D. J., Snow, C. E., August, D., Carlson, C. D., Miller, J., & Iglesias, A. (2006). Measures of reading comprehension: A latent variable analysis of the diagnostic assessment of reading comprehension. Scientific Studies of Reading, 10, 301–322.CrossRefGoogle Scholar
  8. Geißel, B., Nickolaus, R., Stefanica, F., Härtig, H., & Neumann, K. (2013). Die Relevanz mathematischer und naturwissenschaftlicher Kompetenzen für die fachliche Kompetenzentwicklung in gewerblich-technischen Berufen. In R. Nickolaus, J. Retelsdorf, E. Winther, & O. Köller (Hrsg.), Mathematisch-naturwissenschaftliche Kompetenzen in der beruflichen Erstausbildung (Zeitschrift für Berufs- und Wirtschaftspädagogik: Beiheft 26 , S. 39–66). Stuttgart: Franz Steiner Verlag.Google Scholar
  9. Hall, S. S., Kowalski, R., Paterson, K. B., Basran, J., Filik, R., & Maltby, J. (2015). Local text cohesion, reading ability and individual science aspirations: Key factors influencing comprehension in science classes. British Educational Research Journal, 41, 122–142.CrossRefGoogle Scholar
  10. Harsch, C., & Hartig, J. (2010). Empirische und inhaltliche Analyse lokaler Abhängigkeiten im C-Test. In R. Grotjahn (Hrsg.), Der C-Test: Beiträge aus der aktuellen Forschung (S. 193–204). Frankfurt a. M.: Lang.Google Scholar
  11. Härtig, H. (2014a). Software-basierte Evaluation freier Antwortformate. Zeitschrift für Didaktik der Naturwissenschaften, 20, 115–128.CrossRefGoogle Scholar
  12. Härtig, H. (2014b). Der Force Concept Inventory Vergleich einer offenen und einer geschlossenen Version. PhyDid A, 13, 53–61.Google Scholar
  13. Härtig, H., Bernholt, S., Prechtl, H., & Retelsdorf, J. (2015) Unterrichtssprache im Fachunterricht – Stand der Forschung und Forschungsperspektiven am Beispiel des Textverständnisses. Zeitschrift für Didaktik der Naturwissenschaften, 1–13. doi: 10.1007/s40573-015-0027-7.Google Scholar
  14. Jude, N., Klieme, E., Eichler, W., Lehmann, R. H., Nold, G., & Schröder, K. (2008). Strukturen sprachlicher Kompetenzen. In E. Klieme (Hrsg.), Unterricht und Kompetenzerwerb in Deutsch und Englisch: Ergebnisse der DESI-Studie (S. 191–201). Weinheim: Beltz.Google Scholar
  15. Kauertz, A., Fischer, H. E., & Jansen, M. (2013). Kompetenzstufenmodelle für das Fach Physik. In H. A. Pant, P. Stanat, U. Schroeders, A. Roppelt, T. Siegle, & C. Pöhlmann (Hrsg.), IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I (S. 92–100). Münster: Waxmann.Google Scholar
  16. Klieme, E., Baumert, J., Köller, O., & Bos, W. (2000). Mathematische und naturwissenschaftliche Grundbildung: Konzeptuelle Grundlagen und die Erfassung und Skalierung von Kompetenzen. In J. Baumert, W. Bos, & R. H. Lehmann (Hrsg.), TIMSS/III. Dritte Internationale Mathematik- und Naturwissenschaftsstudie. Mathematische und naturwissenschaftliche Grundbildung am Ende der Pflichtschulzeit (Bd. 1, S. 85–133). Opladen: Leske + Budrich Verlag.CrossRefGoogle Scholar
  17. KMK. (2003) = Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland. (2003). Vereinbarung über Bildungsstandards für den Mittleren Schulabschluss (Jahrgangsstufe 10). http://www.kmk.org/fileadmin/veroeffentlichungen_beschluesse/2003/2003_12_04-Bildungsstandards-Mittleren-SA.pdf. Zugegriffen: 02. Jan. 2010.
  18. KMK. (2005)= Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland. (2005). Bildungsstandards im Fach Physik für den Mittleren Schulabschluss (Beschluss vom 16.12.2004). München: Luchterhand.Google Scholar
  19. Labudde, P., Duit, R., Fickermann, D., Fischer, H., Harms, U., & Mikelskis, H. (2009). Schwerpunkttagung „Kompetenzmodelle und Bildungsstandards: Aufgaben für die naturwissenschaftsdidaktische Forschung“. Zeitschrift für Didaktik der Naturwissenschaften, 15, 343–370.Google Scholar
  20. Leucht, M., Harsch, C., Pant, H. A., & Köller, O. (2012). Steuerung zukünftiger Aufgabenentwicklung durch Vorhersage der Schwierigkeiten eines Tests für die erste Fremdsprache Englisch durch Dutch Grid Merkmale. Diagnostica, 58, 31–44.CrossRefGoogle Scholar
  21. Leutner, D., Klieme, E., Meyer, K., & Wirth, J. (2004). Problemlösen. In M. Prenzel, J. Baumert, W. Blum, R. H. Lehmann, D. Leutner, M. Neubrand, R. Pekrun, H.-G. Rolff, J. Rost, & U. Schiefele (Hrsg.), PISA 2003. Der Bildungsstand der Jugendlichen in Deutschland – Ergebnisse des zweiten internationalen Vergleichs (S. 146–175). Münster: Waxman.Google Scholar
  22. Nandakumar, R. (1991). Traditional dimensionality versus essential dimensionality. Journal of Educational Measurement, 28, 99–117.CrossRefGoogle Scholar
  23. Norris, S. P., & Phillips, L. M. (2003). How literacy in its fundamental sense is central to scientific literacy. Science Education, 87, 224–240.CrossRefGoogle Scholar
  24. O’Reilly, T., & McNamara, D. S. (2007). The impact of science knowledge, reading skill, and reading strategy knowledge on more traditional “highstakes” measures of high school students’ science achievement. American Educational Research Journal, 44, 161–196.CrossRefGoogle Scholar
  25. Pant, H. A., Stanat, P., Schroeders, U., Roppelt, A., Siegle, T., & Pöhlmann, C. (2013). IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I. Münster: Waxmann.Google Scholar
  26. Perfetti, C. A. (2007). Reading ability: Lexical quality to comprehension. Scientific Studies of Reading, 11, 357–383.CrossRefGoogle Scholar
  27. Pöhlmann, C., Haag, N., & Stanat, P. (2013). Zuwanderungsbezogene Disparitäten. In H. A. Pant, P. Stanat, U. Schroeders, A. Roppelt, T. Siegle, & C. Pöhlmann (Hrsg.), IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I (S. 297–329). Münster: Waxmann.Google Scholar
  28. Raatz, U., & Klein-Braley, C. (2002). Introduction to language testing and to C-Tests. In J. A. Coleman, R. Grotjahn, & U. Raatz, (Hrsg.), University language testing and the C-test (S. 75–91). Bochum: AKS-Verlag.Google Scholar
  29. Retelsdorf, J., Lindner, C., Nickolaus, R., Winther, E., & Köller, O. (2013). Forschungsdesiderate und Perspektiven – Ausblick auf ein Projekt zur Untersuchung mathematisch-naturwissenschaftlicher Kompetenzen in der beruflichen Erstausbildung (ManKobE). In R. Nickolaus, J. Retelsdorf, E. Winther, & O. Köller (Hrsg.), Mathematisch-naturwissenschaftliche Kompetenzen in der beruflichen Erstausbildung (Zeitschrift für Berufs- und Wirtschaftspädagogik: Beiheft 26, S. 227–234). Stuttgart: Franz Steiner Verlag.Google Scholar
  30. Rodriguez, M. C. (2003). Construct equivalence of Multiple-Choice and constructed-response items: A random effects synthesis of correlations. Journal of Educational Measurement, 40, 163–184.CrossRefGoogle Scholar
  31. Ropohl, M. (2010). Modellierung von Schülerkompetenzen im Basiskonzept Chemische Reaktion. Berlin: Logos.Google Scholar
  32. Ropohl, M., Walpuski, M., & Sumfleth, E. (2015). Welches Aufgabenformat ist das richtige? – Empirischer Vergleich zweier Aufgabenformate zur standardbasierten Kompetenzmessung. Zeitschrift für Didaktik der Naturwissenschaften. doi:10.1007/s40573-014-0020-6.Google Scholar
  33. Schaffner, E., & Schiefele, U. (2013). The prediction of reading comprehension by cognitive and motivational factors: Does text accessibility during comprehension testing make a difference? Learning and Individual Differencies, 26, 42–54.CrossRefGoogle Scholar
  34. Schmeck, A. (2011). Visualisieren naturwissenschaftlicher Sachverhalte: Der Einsatz von vorgegebenen und selbst generierten Visualisierungen als Textverstehenshilfen beim Lernen aus naturwissenschaftlichen Sachtexten. Essen: Universität Duisburg-Essen. http://duepublico.uni-duisburg-essen.de/servlets/DerivateServlet/Derivate-25873/Diss_Schmeck.pdf. Zugegriffen: 15. April 2015.
  35. Schnotz, W. (2006). Was geschieht im Kopf des Lesers? Mentale Konstruktionsprozesse beim Textverständnis aus der Sicht der Psychologie und der kognitiven Linguistik. In H. Blühdorn, E. Breindl, & U. H. Waßner (Hrsg.), Text - Verstehen. Grammatik und darüber hinaus (S. 222–238). Berlin: Walter de Gruyter.Google Scholar
  36. Schroeders, U., Robitzsch, A., & Schipolowski, S. (2014). A comparison of different psychometric approaches to modeling testlet structures: An example with C-tests. Journal of Educational Measurement, 51, 400–418.CrossRefGoogle Scholar
  37. Sumfleth, E., & Tiemann, R. (2000). Bilder und Begriffe – Repräsentieren sie ähnliche Inhalte? Zeitschrift für Didaktik der Naturwissenschaften, 6, 115–127.Google Scholar
  38. Sumfleth, E., Klebba, N., Kauertz, A., Mayer, J., Fischer, H. E., & Walpuski, M. (2013). Beschreibung der untersuchten naturwissenschaftlichen Kompetenzen. In H. A. Pant, P. Stanat, U. Schroeders, A. Roppelt, T. Siegle, & C. Pöhlmann (Hrsg.), IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I (S. 38–52). Münster: Waxmann.Google Scholar
  39. Van Dijk, T. A., & Kintsch, W. (1983). Strategies of discourse comprehension. New York: Academic Press.Google Scholar
  40. Weinert, F. E. (2001). Leistungsmessung in Schulen - Eine umstrittene Selbstverständlichkeit. In F. E. Weinert (Hrsg.), Leistungsmessung in Schulen (S. 17–31). Weinheim: Beltz.Google Scholar
  41. Wockenfuß, V., & Raatz, U. (2006). Über den Zusammenhang zwischen Testleistung und Klassenstufe bei muttersprachlichen C-Tests. In R. Grotjahn (Hrsg.), Der C-Test: Theorie, Empirie, Anwendungen (S. 211–242). Frankfurt a. M.: Lang.Google Scholar
  42. Yore, L. D., Hand, B., Goldman, S. R., Hildebrand, G. M., Osborne, J., Treagust, D. F., et al. (2004). New directions in language and science education research. Reading Research Quarterly, 39, 347–352.Google Scholar
  43. Yuan, K.-H., & Bentler, P. M. (2000). Three likelihood-based methods for mean and covariance structure analysis with nonnormal missing data. Sociological Methodolgy, 30, 167–202.Google Scholar

Copyright information

© Springer Fachmedien Wiesbaden 2015

Authors and Affiliations

  • Hendrik Härtig
    • 1
  • Patricia Heitmann
    • 2
  • Jan Retelsdorf
    • 1
  1. 1.Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik Kiel (IPN)KielDeutschland
  2. 2.Institut zur Qualitätsentwicklung im Bildungswesen (IQB)BerlinDeutschland

Personalised recommendations