Advertisement

Zeitschrift für Erziehungswissenschaft

, Volume 21, Issue 3, pp 465–485 | Cite as

Probleme bei der Verwendung von Ankeritems zur Ermittlung von Veränderungen mathematischer Kompetenzen

  • Götz RohwerEmail author
Allgemeiner Teil
  • 261 Downloads

Zusammenfassung

Der Beitrag diskutiert, wie man mit Daten des Nationalen Bildungspanels (NEPS) Veränderungen von Mathematikkompetenzen zwischen den Klassenstufen 5 und 7 erfassen kann. Verwendet werden Ergebnisse aus zwei Tests mit 23 bzw. 22 binären Items, von denen sechs Ankeritems in beiden Tests gleich sind. Der Beitrag argumentiert, dass für einen Vergleich ein beide Tests umfassendes Raschmodell sowohl aus statistischen als auch aus theoretischen Gründen nicht geeignet ist. Das statistische Argument bezieht sich darauf, dass die Annahme zeitinvarianter Itemparameter abgelehnt werden muss. Das theoretische Argument bezieht sich darauf, dass mit einem solchen Modell nicht adäquat berücksichtigt werden kann, dass Schüler lernen, neue Arten von Mathematikaufgaben zu lösen. Um dies zu berücksichtigen, wird vorgeschlagen, sich gedanklich auf einen Test zu beziehen, der alle in den beiden Tests verwendeten Items umfasst. Dafür liefern jedoch die verfügbaren Testergebnisse nur unzureichende Informationen. Es wird gezeigt, dass daraus erhebliche Fehler bei der Einschätzung von Kompetenzveränderungen resultieren können. Schließlich wird ausgeführt, dass man verlässliche Aussagen nur aus den in beiden Tests gemeinsam verwendeten Items gewinnen kann.

Schlüsselwörter

Mathematische Kompetenz Kompetenzveränderungen Raschmodell Ankeritems NEPS-Daten 

Problems when using anchor items in the assessment of changes in mathematical competencies

Abstract

The article discusses how to use data from the National Educational Panel Study (NEPS) for investigating changes in math competencies between grade 5 and grade 7. Data sources comprise questions from two tests (23 and 22 binary items respectively) of which six anchor items are identical in both tests. A comparison of both tests using a joint Rasch model does not provide a suitable framework for the following two reasons. Statistically, the assumption of time-invariant item parameters, which is required by the joint Rasch model, does not hold in this case. Theoretically, this model cannot adequately take into account processes by which pupils learn to solve new kinds of mathematical tasks. Therefore, the analysis requires a comprehensive test which includes all items of the two tests. The currently available tests results are, therefore, insufficient for an assessment of changes of competencies defined by such a test. The original assumption can lead to flawed conclusions. Therefore, reliable assessments of competence changes can only be based on the items used in both tests.

Keywords

Anchor items Changes of competencies Math competence NEPS data Rasch model 

Literatur

  1. Artelt, C., Blossfeld, H.-P., Faust, G., Rossbach, H.‑G., Weinert, S. (2013). Bildungsprozesse, Kompetenzentwicklung und Selektionsentscheidungen im Vorschul- und Schulalter (BiKS-8-14). IQB.  https://doi.org/10.5159/IQB_BIKS_14_v1.Google Scholar
  2. Blossfeld, H.-P., Roßbach, H.-G, & von Maurice, J. (Hrsg.) (2011). Education as a Lifelong Process – The German National Educational Panel Study (NEPS) (Zeitschrift für Erziehungswissenschaft: Sonderheft 14). Wiesbaden: Springer VSGoogle Scholar
  3. Chalmers, R. P. (2012). mirt: a multidimensional item response theory package for the R environment. Journal of Statistical Software.  https://doi.org/10.18637/jss.v048.i06.Google Scholar
  4. von Davier, M., & von Davier, A. (2007). A Unified Approach to IRT Scale Linking and Scale Transformations. Methodology, 3, 115–124.Google Scholar
  5. Duchhardt, C., & Gerdes, A. (2012). NEPS Technical Report for Mathematics – Scaling Results of Starting Cohort 3 in Fifth Grade (NEPS Working Paper No. 17). Bamberg: NEPS.Google Scholar
  6. Fischer, L., Rohm, T., Gnambs, T., & Carstensen, C. H. (2016). Linking the data of the competence tests. NEPS survey papers no. 1. Bamberg: LifBi.Google Scholar
  7. Maris, G. (2002). Concerning the identification of the 3PL model (measurement and research department reports 2002–3). Arnheim: Cito National Institute for Educational Measurement.Google Scholar
  8. Millsap, R. E. (2010). Testing measurement Invariance using item response theory in longitudinal data: an introduction. Child Development Perspectives, 4, 5–9.CrossRefGoogle Scholar
  9. Neumann, I., Duchhardt, C., Grüßing, M., Heinze, A., Knopp, E., & Ehmke, T. (2013). Modeling and assessing mathematical competence over the lifespan. Journal for Educational Research Online, 5, 80–109.Google Scholar
  10. Rupp, A. A., & Zumbo, B. D. (2006). Understanding parameter invariance in unidimensional IRT models. Educational and Psychological Measurement, 66, 63–84.CrossRefGoogle Scholar
  11. SanMartín, E., González, J., & Tuerlinckx, F. (2015). On the unidentifiability of the fixed-effects 3PL model. Psychometrika, 80, 450–467.CrossRefGoogle Scholar
  12. Stocking, M. L., & Lord, F. M. (1983). Developing a common metric in item response theory. Applied Psychological Measurement, 7, 201–210.CrossRefGoogle Scholar
  13. Warm, T. A. (1989). Weighted likelihood estimation of ability in item response theory. Psychometrika, 54, 427–450.CrossRefGoogle Scholar

Copyright information

© Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2017

Authors and Affiliations

  1. 1.Lehrstuhl Sozialwissenschaftliche Methodenlehre und Sozialstatistik, Fakultät für SozialwissenschaftRuhr-Universität BochumBochumDeutschland

Personalised recommendations