Advertisement

Empirische Grundlage, Stichprobenausfall und Adjustierung im PISA-Längsschnitt 2012–2013

  • Jörg-Henrik HeineEmail author
  • Gabriel Nagy
  • Sabine Meinck
  • Olaf Zühlke
  • Julia Mang
Article

Zusammenfassung

Der vorliegende Beitrag referiert die empirische Grundlage des PISA-Längsschnitts 2012–2013. Dargestellt wird die Zusammensetzung der zusätzlich gezogenen Stichprobe von Schülerinnen und Schülern der 9. Jahrgangsstufe. Es werden Befunde zum Stichprobenausfall (Dropout) zum zweiten Messzeitpunkt auf der Ebene der Schulen und Schülerschaft vorgestellt. Die Ergebnisse zeigen, dass der Stichprobenausfall auf beiden Ebenen mit Merkmalen des familiären Hintergrunds, der Eingangsleistung in den drei Kompetenz-Domänen (Mathematik, Lesen und Naturwissenschaften) im Jahr 2012, sowie mit weiteren individual- und schuldemographischen Variablen zusammenhängt. Diese Befunde werden aufgegriffen um Korrekturmaßnahmen abzuleiten, welche einer Verzerrung der Ergebnisse durch den selektiven Stichprobendropout entgegenwirken. Die Grenzen der Korrekturmöglichkeiten werden diskutiert. Der PISA-Längsschnitt zeichnet sich durch einen verpflichtenden Test zum ersten Messzeitpunkt, gefolgt von einer freiwilligen Erhebung zum zweiten Messzeitpunkt aus. Somit liefert der vorliegende Artikel wertvolle Hinweise zu möglichen Ursachen von Nichtteilnahme in freiwilligen Studien und des damit verbundenen Risikos der systematischen Verzerrung von Populationsschätzern.

Schlüsselwörter

PISA-Studie Stichprobendropout Längsschnitt Stichproben-Gewichtung 

Empirical Basis and Sample Failure and Adjustments in the PISA-Longitudinal Study 2012–2013

Abstract

This article presents the empirical basis for the PISA longitudinal study 2012–2013. The composition of the additional national sample of students of the 9th grade is illustrated. Findings with regard to non-participation (dropout) for the second point of measurement will be presented at the level of schools and students. The results show that the dropout is related with characteristics of family background, the level of competence in the three domains (mathematics, reading and science) in 2012, and with other student and school demographic variables at the level of schools as well as students. These findings are taken up in order to derive weight adjustments, which could counteract a systematic bias of the results caused by the selective dropout. The limits of the possibilities for correction are discussed. The PISA longitudinal study is characterized by a mandatory assessment for the first point of measurement followed by a voluntary test for the second point of measurement. Thus, the present article provides valuable information about probable causes of non-participation in voluntary studies and the associated risk of systematic bias for population estimates.

Keywords

PISA-study Sample dropout Longitudinal study Sample weighting 

Literatur

  1. Akaike, H. (1974). A new look at the statistical model identification. IEEE Transactions on Automatic Control, 19(6), 716–723.CrossRefGoogle Scholar
  2. Baumert, J., Stanat, P., & Watermann, R. (2006). Schulstruktur und die Entstehung differenzieller Lern- und Entwicklungsmilieus. In J. Baumert, P. Stanat & R. Watermann (Hrsg.), Herkunftsbedingte Disparitäten im Bildungswesen: Differenzielle Bildungsprozesse und Probleme der Verteilungsgerechtigkeit: Vertiefende Analysen im Rahmen von PISA 2000. Heidelberg: Springer.Google Scholar
  3. Bortz, J., Lienert, G. A., & Boehnke, K. (2010). Verteilungsfreie Methoden in der Biostatistik. Heidelberg: Springer.Google Scholar
  4. Carpenter, J. R., Kenward, M. G., & Vansteelandt, S. (2006). A comparison of multiple imputation and doubly robust estimation for analyses with missing data. Journal of the Royal Statistical Society: Series A (Statistics in Society), 169(3), 571–584.CrossRefGoogle Scholar
  5. Couper, M. P., & Groves, R. M. (1996). Social environmental impacts on survey cooperation. Quality and Quantity, 30(2), 173–188.CrossRefGoogle Scholar
  6. Davey, A., Shanahan, M. J., & Schafer, J. L. (2001). Correcting for selective nonresponse in the National Longitudinal Survey of Youth using multiple imputation. Journal of Human Resources, 36(3), 500–519.CrossRefGoogle Scholar
  7. Fay, R. E. (1989). Theory and application of replicate weighting for variance calculations. Proceedings of the Section on Survey Research Methods of the American Statistical Association (S. 212–217). Washington, D.C., Alexandria, VA: American Statistical Association.Google Scholar
  8. Fuller, W. A. (2011). Sampling statistics. Hoboken NJ: John Wiley & Sons.Google Scholar
  9. Goldstein, H. (2009). Handling attrition and non-response in longitudinal data. Longitudinal and Life Course Studies, 1, 63–72.Google Scholar
  10. Goyder, J. (1988). The silent minority: nonrespondents on sample surveys. Cambridge: Polity Press.Google Scholar
  11. Goyder, J., Lock, J., & McNair, T. (1992). Urbanization effects on survey nonresponse: a test within and across cities. Quality and Quantity, 26(1), 39–48.CrossRefGoogle Scholar
  12. Graham, J. W. (2003). Adding missing-data-relevant variables to FIML-based structural equation models. Structural Equation Modeling, 10, 80–100.CrossRefGoogle Scholar
  13. Graham, J. W., Cumsille, P. E., & Elek-Fisk, E. (2003). Methods for handling missing data. In J. A. Schinka, W. F. Velicer & I. B. Weiner (Hrsg.), Handbook of psychology research methods in psychology (Bd. 2, S. 87–114). New York: Wiley.Google Scholar
  14. Groves, R. M., & Couper, M. (1998). Nonresponse in household interview surveys. New York: Wiley.CrossRefGoogle Scholar
  15. Groves, R. M., & Peytcheva, E. (2008). The impact of nonresponse rates on nonresponse bias: a meta-analysis. Public Opinion Quarterly, 72(2), 167–189. doi: 10.1093/poq/nfn011.CrossRefGoogle Scholar
  16. Harker, R., & Tymms, P. (2004). The effects of student composition on school outcomes. School Effectiveness and School Improvement, 15, 177–199.CrossRefGoogle Scholar
  17. Hawkes, D., & Plewis, I. (2006). Modelling non-response in the National Child Development Study. Journal of the Royal Statistical Society, 169, 479–492.CrossRefGoogle Scholar
  18. Heine, J.-H., Sälzer, C., Borchert, L., Sibberns, H., & Mang, J. (2013). Technische Grundlagen des fünften internationalen Vergleichs. In M. Prenzel, C. Sälzer, E. Klieme & O. Köller (Hrsg.), PISA 2012. Fortschritte und Herausforderungen in Deutschland (S. 309–346). Münster: Waxmann.Google Scholar
  19. Hox, J. J., & de Leeuw, E. D. (1998). Nonresponse in surveys: Een Overzicht. Kwantitatieve Methoden, 19(57), 31–53.Google Scholar
  20. Judkins, D. R. (1990). Fay’s method for variance estimation. Journal of Official Statistic, 6(3), 223–239.Google Scholar
  21. Kleinert, C., Christoph, B., & Ruland, M. (2015). Auswirkungen der Administration von Kompetenztests im Rahmen einer Panelerhebung für Erwachsene. In J. Schupp & C. Wolf (Hrsg.), Nonresponse Bias Qualitätssicherung sozialwissenschaftlicher Umfragen. Wiesbaden: Springer Fachmedien.Google Scholar
  22. Kulik, J. A., Kulik, C. L. C., & Bangert, R. L. (1984). Effects of practice on aptitude and achievement test scores. American Educational Research Journal, 21, 435–447.CrossRefGoogle Scholar
  23. Lehner, M. C., Heine, J.-H., Sälzer, C., Reiss, K., Haag, N., & Heinze, A. (2017). Veränderungen der mathematischen Kompetenz von der 9. zur 10. Klassenstufe. In: K. Reiss, E. Klieme, O. Köller & P. Stanat (Hrsg.), PISA Plus 2012 – 2013 (Zeitschrift für Erziehungswissenschaften – Sonderheft 33), DOI:  10.1007/s11618-017-0746-2. Wiesbaden: Springer VS.Google Scholar
  24. Levy, P. S., & Lemeshow, S. (2008). Sampling of populations: methods and applications (4. Aufl.). Hoboken NJ: Wiley.CrossRefGoogle Scholar
  25. Mislevy, R. J., Beaton, A. E., Kaplan, B., & Sheehan, K. M. (1992). Estimating population characteristics from sparse matrix samples of item responses. Journal of Educational Measurement, 29(2), 133–161.CrossRefGoogle Scholar
  26. OECD – Organization for Economic Cooperation and Development (2009). PISA Data Analysis Manual. Paris: OECD Publishing.Google Scholar
  27. OECD – Organization for Economic Cooperation and Development (2014). PISA 2012 Technical Report. Paris: OECD Publishing.Google Scholar
  28. Peugh, J. L., & Enders, C. K. (2004). Missing data in educational research: A review of reporting practices and suggestions for improvement. Review of educational research, 74, 525–556.CrossRefGoogle Scholar
  29. Prenzel, M., Sälzer, C., Klieme, E., & Köller, O. (2013). PISA 2012. Fortschritte und Herausforderungen in Deutschland. Münster: Waxmann.Google Scholar
  30. Sälzer, C., & Prenzel, M. (2013). PISA 2012 – eine Einführung in die aktuelle Studie. In M. Prenzel, C. Sälzer, E. Klieme & O. Köller (Hrsg.), PISA 2012.Fortschritte und Herausforderungen in Deutschland (S. 11–46). Münster: Waxmann.Google Scholar
  31. Särndal, C.-E., & Lundstöm, S. (2005). Estimation in surveys with nonresponse. Chichester: Wiley &Sons.CrossRefGoogle Scholar
  32. Thompson, S. K. (2012). Sampling (3. Aufl.). Hoboken NJ: Wiley.CrossRefGoogle Scholar
  33. Vansteelandt, S., Carpenter, J., & Kenward, M. G. (2010). Analysis of incomplete data using inverse probability weighting and doubly robust estimators. Methodology: European Journal of Research Methods for the Behavioral and Social Sciences, 6(1), 37–48.CrossRefGoogle Scholar
  34. Warnke, A. J. (2015). Verzerrung durch Selektive Stichproben. In J. Schupp & C. Wolf (Hrsg.), Nonresponse Bias Qualitätssicherung sozialwissenschaftlicher Umfragen. Wiesbaden: Springer Fachmedien.Google Scholar
  35. Watson, N., & Wooden, M. (2009). Identifying factors affecting longitudinal survey response. In P. Lynn (Hrsg.), Methodology of longitudinal surveys. Chichester: John Wiley & Sons.Google Scholar
  36. Wu, M. (2005). The role of plausible values in large-scale surveys. Studies in Educational Evaluation, 31, 114–128.CrossRefGoogle Scholar

Copyright information

© Springer Fachmedien Wiesbaden 2017

Authors and Affiliations

  • Jörg-Henrik Heine
    • 1
    Email author
  • Gabriel Nagy
    • 2
  • Sabine Meinck
    • 3
  • Olaf Zühlke
    • 3
  • Julia Mang
    • 1
  1. 1.Zentrum für internationale Bildungsvergleichsstudien (ZiB)Technische Universität München, TUM School of EducationMünchenDeutschland
  2. 2.Pädagogisch-Psychologische MethodenlehreChristian-Albrechts-Universität zu Kiel, Leibniz-Institut für die Pädagogik der Naturwissenschaften und MathematikKielDeutschland
  3. 3.Sampling UnitIEA, HamburgHamburgDeutschland

Personalised recommendations