Advertisement

Äquivalenz der Erfassung mathematischer Kompetenzen in PISA 2012 und im IQB-Ländervergleich 2012

  • Timo Ehmke
  • Olaf Köller
  • Petra Stanat
Article

Zusammenfassung

Im Jahr 2012 wurden in Deutschland mathematische Kompetenzen von Neuntklässlerinnen und Neuntklässlern einerseits im Rahmen von PISA und andererseits im IQB-Ländervergleich (LV) zur Überprüfung des Erreichens der Bildungsstandards der KMK erfasst. Bisherige Gegenüberstellungen der Rahmenkonzeptionen der Studien haben eine hohe konzeptionelle Ähnlichkeit bestätigt. Obwohl beide Frameworks mathematische Kompetenz einerseits in vier (PISA) und andererseits in fünf (LV) Inhaltsbereiche differenzieren, ergibt ein systematischer Vergleich insgesamt eine hohe konzeptionelle Überlappung zwischen beiden Studien. Auch besteht eine hohe manifeste Korrelation zwischen beiden Mathematiktests (r = 0,82). In dieser Studie soll daher weiterführend geprüft werden, inwieweit sich die beiden Berichtsskalen untereinander verlinken lassen und die Grenzen der Kompetenzstufenmodelle in PISA und im IQB-Ländervergleich vergleichbar sind. Im theoretischen Teil des Beitrags werden dazu die konzeptionellen Anlagen der beiden Studien gegenübergestellt und Ergebnisse bestehender Linking-Studien zusammengefasst. Die im empirischen Teil des Beitrags berichteten Befunde zeigen, dass beide Verteilungen annähernd normalverteilt sind. Die Ergebnisse eines Equipercentil-Equating ergeben eine Verteilung von PISA-Äquivalenzscores, die die Verteilung der originalen PISA-Scores nahezu identisch abbildet. Die Methode des Equipercentil-Equating erlaubt es, zwei Messskalen anhand von Percentilrängen miteinander zu verbinden. Für die Gesamtpopulation ergeben sich zwischen beiden Verteilungen weder Unterschiede in den Mittelwerten, Standardabweichungen, Schiefen und in der Kurtosis noch in der Verteilung auf die PISA Proficiency Levels. Dies spricht für eine hohe Qualität des Skalenlinking und erlaubt es, die kriterialen Grenzsetzungen der Kompetenzstufenmodelle aus PISA und dem LV zu vergleichen. Hier zeigte sich erwartungsgemäß, dass der Grenzwert für die mathematische Kompetenz, ab dem Schülerinnen und Schüler zur PISA-Risikogruppe gezählt werden, niedriger liegt als bei den Bildungsstandards Mathematik für den Mittleren Schulabschluss und höher liegt als bei den Bildungsstandards Mathematik für den Hauptschulabschluss. Der Beitrag schließt mit einer Diskussion über die Befunde und deren Übertragbarkeit auf andere Auswertungen.

Schlüsselwörter

Equipercentil-Equating Linking-Studie Mathematische Kompetenz 

Equivalence in measuring mathematical competence in PISA 2012 and in the National Assessment 2012

Abstract

This study examines a linkage between the international mathematics scale of the Programme for International Student Assessment (PISA 2012) and the mathematics assessment taken from the German National Assessment 2012 (NA 2012). Previous comparisons of the studies’ theoretical frameworks confirmed a high conceptual similarity. Although both frameworks differentiate on the one hand in four (PISA 2012) and on the other hand in five (NA 2012) content areas, a systematic comparison shows a high conceptual overlap between both studies. There is also a high correlation between both mathematics tests (r = 0.82). This study aims to check further how far both reporting scales could be linked to each other and to what extent the proficiency levels in PISA and in the NA are comparable. The results show that the score distributions of both studies are approximated normally distributed. The results of an Equipercentil-Equating lead to a distribution of PISA-equivalence scores that is close to the distribution of the original PISA-scores. For the total population there is neither difference between both distributions in the mean values, standard deviation, skewness and kurtosis nor in the distributions on the PISA Proficiency Levels. There was evidence for a high quality of scale linking. As expected it could be shown, that the cut score for mathematics competency, at which the learners are counted among the PISA risk group, is lower than for national education standards of mathematics (middle school track) and higher than for the national education standards of mathematics for the lower school track. The article closes with a discussion about the results and the studies limitations.

Keywords

Equipercentil-Equating Linking-Study Mathematical Competence 

Literatur

  1. Baumert, J., & Stanat, P. (2010). Internationale Schulleistungsvergleiche. In D. H. Rost (Hrsg.), Handwörterbuch Pädagogische Psychologie (4. Aufl. S. 324–335). Weinheim: Psychologie Verlags Union.Google Scholar
  2. Blossfeld, H.-P., von Maurice, J., & Schneider, T. (2011). The national educational panel study: need, main features, and research potential. Zeitschrift für Erziehungswissenschaft, Sonderheft, 14, 5–17.CrossRefGoogle Scholar
  3. Blum, W., Neubrand, M., Ehmke, T., Senkbeil, M., Jordan, A., Ulfig, F., & Carstensen, H. C. (2004). Mathematische Kompetenz. In M. Prenzel, J. Baumert, W. Blum, R. Lehmann, D. Leutner, M. Neubrand, R. Pekrun, H.-G. Rolff, J. Rost & U. Schiefele (Hrsg.), PISA 2003. Der Bildungsstand der Jugendlichen in Deutschland – Ergebnisse des zweiten internationalen Vergleichs (S. 47–92). Münster: Waxmann.Google Scholar
  4. Blum, W., Roppelt, A., & Müller, M. (2013). Kompetenzstufenmodelle für das Fach Mathematik. In H. A. Pant, P. Stanat, U. Schroeders, A. Roppelt, T. Siegle & C. Pöhlmann (Hrsg.), IQB-Ländervergleich 2012 – Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I (S. 61–73). Münster: Waxmann.Google Scholar
  5. Braun, H. I., & Holland, P. W. (1982). Observed-score test equating: a mathematical analysis of some ETS equating procedures. In P. W. Holland & D. B. Rubin (Hrsg.), Test equating (S. 9–49). New York: Academic.Google Scholar
  6. Brennan, R. L. (2003). LEGS: a computer program for linking with the randomly equivalent groups or single-group design. Iowa City: Center for Advanced Studies in Measurement and Assessment, University of Iowa.Google Scholar
  7. Cartwright, F., Lalancette, D., Mussio, J., & Xing, D. (2003). Linking provincial student assessments with national and international assessments. In Education, skills and learning, research papers Bd. 5 Ottawa: Statistics Canada.Google Scholar
  8. Cartwright, F. (2012). Linking the British Columbia English examination to the OECD combined reading scale. Prepared for the British Columbia Ministry of Education Google Scholar
  9. Ehmke, T., Köller, O., Nissen, A., & van den Ham, A.-K. (2014). Äquivalenz von Kompetenzmessung in Schulleistungsstudien. Unterrichtswissenschaft, 42(4), 290–300.Google Scholar
  10. Ercikan, K., & Julian, M. (2002). Classification accuracy of assigning student performance to proficiency levels: guidelines for assessment design. Applied Measurement in Education, 15(3), 269–294.CrossRefGoogle Scholar
  11. Foy, P., Brossman, B., & Galia, J. (2012). Scaling the TIMSS and PIRLS 2011 achievement data. In M. O. Martin & I. Mullis (Hrsg.), Methods and procedures in TIMSS and PIRLS 2011 (S. 1–28). Chestnut Hill: TIMSS & PIRLS International Study Center, Boston College.Google Scholar
  12. Hartig, J., & Frey, A. (2012). Validität des Tests zur Überprüfung des Erreichens der Bildungsstandards in Mathematik. Zusammenhänge mit den bei PISA gemessenen Kompetenzen und Varianz zwischen Schulen und Schulformen. Diagnostica, 58, 3–14.CrossRefGoogle Scholar
  13. Heine, J. H., Sälzer, C., Borchert, L., Sibberns, H., & Mang, J. (2013). Technische Grundlagen des fünften internationalen Vergleichs. In M. Prenzel, C. Sälzer, E. Klieme & O. Köller (Hrsg.), PISA 2012 – Fortschritte und Herausforderungen in Deutschland (S. 309–346). Münster: Waxmann.Google Scholar
  14. Jia, Y., Phillips, G., Wise, L. L., Rahman, T., Xu, X., Wiley, C., & Diaz, T. E. (2014). 2011 NAEP-TIMSS linking study: technical report on the linking methodologies and their evaluations (NCES 2014–461). Washington, D.C.: National Center for Education Statistics, Institute of Education Sciences, U.S. Department of Education.Google Scholar
  15. van den Ham, A.-K., Nissen, A., Ehmke, T., Sälzer, C., & Roppelt, A. (2014). Mathematische Kompetenz in PISA, IQB-Ländervergleich und NEPS. Drei Studien, gleiches Konstrukt? Unterrichtswissenschaft, 42(4), 321–341.Google Scholar
  16. van den Ham, A.-K., Ehmke, T., Nissen, A., & Roppelt, A. (2016). Assessments verbinden, Interpretationen erweitern? Lassen sich die mathematischen Kompetenzskalen im Nationalen Bildungspanel und im IQB-Ländervergleich 2012 verbinden? Zeitschrift für Erziehungswissenschaft doi: 10.1007/s11618-016-0686-2.Google Scholar
  17. KMK. Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (2003). Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss. Beschluss vom 04.12.2003. Neuwied: Luchterhand.Google Scholar
  18. KMK. Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (2006). Gesamtstrategie der Kultusministerkonferenz zum Bildungsmonitoring. München Bonn: Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland, KMK.Google Scholar
  19. KMK. Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (2015). Gesamtstrategie der Kultusministerkonferenz zum Bildungsmonitoring. Beschluss der 350. Kultusministerkonferenz vom 11.06.2015. München, Bonn: KMK.Google Scholar
  20. Kolen, M. J., & Brennan, R. L. (2010). Test equating, scaling, and linking. Methods and practices (2. Aufl.). New York: Springer ScienceBusiness.Google Scholar
  21. Köller, O. (2008). Bildungsstandards in Deutschland: Implikationen für die Qualitätssicherung und Unterrichtsqualität. Zeitschrift für Erziehungswissenschaft, Sonderheft, 9, 7–59.Google Scholar
  22. Nagy, G., Haag, N., Lüdtke, O., Köller, O., (2017). Längsschnittskalierung der Tests zur Überprüfung des Erreichens der Bildungsstandards der Sekundarstufe I im PISA-Längsschnitt 2012/2013. Zeitschrift für Erziehungswissenschaft, Sonderheft. doi: 10.1007/s11618-017-0755-1.
  23. NCES. National Center for Education Statistics (2013). U.S. states in a global context: results from the 2011 NAEP-TIMSS linking study (NCES 2013–460). Washington, D.C.: Institute of Education Sciences, U.S. Department of Education.Google Scholar
  24. Neubrand, M., & Klieme, E. (2002). Mathematische Grundbildung. In J. Baumert, C. Artelt, E. Klieme, M. Neubrand, M. Prenzel, U. Schiefele, W. Schneider, K.-J. Tillmann & M. Weiß (Hrsg.), PISA 2000 – Die Länder der Bundesrepublik Deutschland im Vergleich (S. 95–128). Opladen: Leske & Budrich.CrossRefGoogle Scholar
  25. Nissen, A., Ehmke, T., Köller, O., & Duchhardt, C. (2015). Comparing apples with oranges? An approach to link TIMSS and the National Educational Panel Study in Germany via equipercentile and IRT methods. Studies in Educational Evaluation, 47, 58–67.CrossRefGoogle Scholar
  26. Organisation for Economic Co-operation and Development (2013). PISA 2012 assessment and analytical framework: mathematics, reading, science, problem solving and financial literacy. Paris: OECD Publishing..Google Scholar
  27. Pant, H. A., Böhme, K., & Köller, O. (2013a). Das Kompetenzkonzept der Bildungsstandards und die Entwicklung von Kompetenzstufenmodellen. In H. A. Pant, P. Stanat, U. Schroeders, A. Roppelt, T. Siegle & C. Pöhlmann (Hrsg.), IQB-Ländervergleich 2012: Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I (S. 53–60). Münster: Waxmann.Google Scholar
  28. Pant, H. A., Stanat, P., Schroeders, U., Roppelt, A., Siegle, T., & Pöhlmann, C. (Hrsg.). (2013b). IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I. Münster: Waxmann.Google Scholar
  29. Pietsch, M., Böhme, K., Robitzsch, A., & Stubbe, T. C. (2009). Das Stufenmodell zur Lesekompetenz der länderübergreifenden Bildungsstandards im Vergleich zu IGLU 2006. In D. Granzer, O. Köller, A. Bremerich-Vos, M. van den Heuvel-Panhuizen, K. Reiss & G. Walther (Hrsg.), Bildungsstandards Deutsch und Mathematik. Leistungsmessung in der Grundschule (1. Aufl. S. 393–428). Weinheim: Beltz.Google Scholar
  30. Phillips, G. W. (2007). Expressing international educational achievement in terms of US performance standards: linking NAEP achievement levels to TIMSS. Washington, D.C.: American Institutes for Research..Google Scholar
  31. Prenzel, M., Sälzer, C., Klieme, E., & Köller, O. (Hrsg.). (2013). PISA 2012. Fortschritte und Herausforderungen in Deutschland. Münster: Waxmann.Google Scholar
  32. Robitzsch, A. (2016). Package ‘BIFIEsurvey’. https://cran.r-project.org/web/packages/BIFIEsurvey/BIFIEsurvey.pdf. Zugegriffen: 22. Febr 2017.Google Scholar
  33. Roppelt, A., Blum, W., & Pöhlmann, C. (2013). Beschreibung der untersuchten mathematischen Kompetenzen. In H. A. Pant, P. Stanat, U. Schroeders, A. Roppelt, T. Siegle & C. Pöhlmann (Hrsg.), IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I (S. 23–37). Münster: Waxmann.Google Scholar
  34. Sälzer, C., Prenzel, M., & Klieme, E. (2013a). Schulische Rahmenbedingungen der Kompetenzentwicklung. In M. Prenzel, C. Sälzer, O. Köller & E. Klieme (Hrsg.), PISA 2012. Fortschritte und Herausforderungen in Deutschland (S. 155–187). Münster: Waxmann.Google Scholar
  35. Sälzer, C., Reiss, K., Schiepe-Tiska, A., Prenzel, M., & Heinze, A. (2013b). Zwischen Grundlagenwissen und Anwendungsbezug: Mathematische Kompetenz im internationalen Vergleich. In M. Prenzel, C. Sälzer, E. Klieme & O. Köller (Hrsg.), PISA 2012. Fortschritte und Herausforderungen in Deutschland (S. 47–98). Münster: Waxmann.Google Scholar
  36. Siegle, T., Schroeders, U., & Roppelt, A. (2013). Anlage und Durchführung des Ländervergleichs. In H. A. Pant, P. Stanat, U. Schroeders, A. Roppelt, T. Siegle & C. Pöhlmann (Hrsg.), IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I (S. 101–121). Münster: Waxmann.Google Scholar
  37. Weinert, S., Artelt, C., Prenzel, M., Senkbeil, M., Ehmke, T., & Carstensen, C. H. (2011). Development of competencies across the life span. Zeitschrift für Erziehungswissenschaft, Sonderheft, 14, 67–86.CrossRefGoogle Scholar

Copyright information

© Springer Fachmedien Wiesbaden 2017

Authors and Affiliations

  1. 1.Leuphana Universität LüneburgLüneburgDeutschland
  2. 2.Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik (IPN)KielDeutschland
  3. 3.Institut zur Qualitätsentwicklung im Bildungswesen (IQB)BerlinDeutschland

Personalised recommendations