Äquivalenz der Erfassung mathematischer Kompetenzen in PISA 2012 und im IQB-Ländervergleich 2012

Zusammenfassung

Im Jahr 2012 wurden in Deutschland mathematische Kompetenzen von Neuntklässlerinnen und Neuntklässlern einerseits im Rahmen von PISA und andererseits im IQB-Ländervergleich (LV) zur Überprüfung des Erreichens der Bildungsstandards der KMK erfasst. Bisherige Gegenüberstellungen der Rahmenkonzeptionen der Studien haben eine hohe konzeptionelle Ähnlichkeit bestätigt. Obwohl beide Frameworks mathematische Kompetenz einerseits in vier (PISA) und andererseits in fünf (LV) Inhaltsbereiche differenzieren, ergibt ein systematischer Vergleich insgesamt eine hohe konzeptionelle Überlappung zwischen beiden Studien. Auch besteht eine hohe manifeste Korrelation zwischen beiden Mathematiktests (r = 0,82). In dieser Studie soll daher weiterführend geprüft werden, inwieweit sich die beiden Berichtsskalen untereinander verlinken lassen und die Grenzen der Kompetenzstufenmodelle in PISA und im IQB-Ländervergleich vergleichbar sind. Im theoretischen Teil des Beitrags werden dazu die konzeptionellen Anlagen der beiden Studien gegenübergestellt und Ergebnisse bestehender Linking-Studien zusammengefasst. Die im empirischen Teil des Beitrags berichteten Befunde zeigen, dass beide Verteilungen annähernd normalverteilt sind. Die Ergebnisse eines Equipercentil-Equating ergeben eine Verteilung von PISA-Äquivalenzscores, die die Verteilung der originalen PISA-Scores nahezu identisch abbildet. Die Methode des Equipercentil-Equating erlaubt es, zwei Messskalen anhand von Percentilrängen miteinander zu verbinden. Für die Gesamtpopulation ergeben sich zwischen beiden Verteilungen weder Unterschiede in den Mittelwerten, Standardabweichungen, Schiefen und in der Kurtosis noch in der Verteilung auf die PISA Proficiency Levels. Dies spricht für eine hohe Qualität des Skalenlinking und erlaubt es, die kriterialen Grenzsetzungen der Kompetenzstufenmodelle aus PISA und dem LV zu vergleichen. Hier zeigte sich erwartungsgemäß, dass der Grenzwert für die mathematische Kompetenz, ab dem Schülerinnen und Schüler zur PISA-Risikogruppe gezählt werden, niedriger liegt als bei den Bildungsstandards Mathematik für den Mittleren Schulabschluss und höher liegt als bei den Bildungsstandards Mathematik für den Hauptschulabschluss. Der Beitrag schließt mit einer Diskussion über die Befunde und deren Übertragbarkeit auf andere Auswertungen.

Abstract

This study examines a linkage between the international mathematics scale of the Programme for International Student Assessment (PISA 2012) and the mathematics assessment taken from the German National Assessment 2012 (NA 2012). Previous comparisons of the studies’ theoretical frameworks confirmed a high conceptual similarity. Although both frameworks differentiate on the one hand in four (PISA 2012) and on the other hand in five (NA 2012) content areas, a systematic comparison shows a high conceptual overlap between both studies. There is also a high correlation between both mathematics tests (r = 0.82). This study aims to check further how far both reporting scales could be linked to each other and to what extent the proficiency levels in PISA and in the NA are comparable. The results show that the score distributions of both studies are approximated normally distributed. The results of an Equipercentil-Equating lead to a distribution of PISA-equivalence scores that is close to the distribution of the original PISA-scores. For the total population there is neither difference between both distributions in the mean values, standard deviation, skewness and kurtosis nor in the distributions on the PISA Proficiency Levels. There was evidence for a high quality of scale linking. As expected it could be shown, that the cut score for mathematics competency, at which the learners are counted among the PISA risk group, is lower than for national education standards of mathematics (middle school track) and higher than for the national education standards of mathematics for the lower school track. The article closes with a discussion about the results and the studies limitations.