Skip to main content
SpringerLink
Log in

Die Überprüfung von Messinvarianz in international vergleichenden Schulleistungsstudien am Beispiel der Studie PIRLS

Testing measurement invariance in international large scale assessments using the example of PIRLS data

  • Originalbeitrag
  • Published:
Zeitschrift für Bildungsforschung Aims and scope Submit manuscript

Zusammenfassung

Das Ziel des vorliegenden Beitrags besteht darin, die Bedeutung von Messinvarianz für die vergleichende Forschung herauszustellen und exemplarisch anhand des in der Studie PIRLS eingesetzten Instruments des Leseselbstkonzepts für die Staaten Deutschland, Niederlande, Norwegen und Schweden für die Jahre 2001 und 2006 zu überprüfen. Anhand von Multigruppenvergleichen im Rahmen konfirmatorischer Faktorenanalysen kann für das Jahr 2006 statistische Invarianz bestätigt werden. Für das Jahr 2001 liegt partielle strikte faktorielle Invarianz vor, ein Item für einen Staat wurde zu diesem Zweck freigesetzt.

Abstract

This paper illustrates the importance of testing for measurement invariance in comparative studies by the example of the reading self-concept in PIRLS 2001 and PIRLS 2006 for four countries: Germany, Netherlands, Norway and Sweden. Using multigroup confirmatory factor analyses, measurement invariance is confirmed for the data of 2006. For the data of 2001 partial measurement invariance can be assumed; one item in one state is freed for this purpose.

This is a preview of subscription content, log in via an institution to check access.

Access this article

Log in via an institution

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Instant access to the full article PDF.

Notes

  1. Die Theta Parametrisation ermöglicht es gegenüber der Delta Parametrisation, die Residualvarianzen für latente Response-Variablen der beobachteten kategorialen abhängigen Variablen zu schätzen. Dafür wird in einer Gruppe die Residualvarianz standardmäßig aus Identifikationsgründen auf eins fixiert und in allen anderen Gruppen frei geschätzt (Muthén und Muthén 1998–2012).

  2. Auch wenn die unstandardisierten Parameter über die Staaten hinweg gleichgesetzt werden, können sich die standardisierten Lösungen für die einzelnen Staaten unterscheiden. Ursache hierfür ist die unterschiedliche Höhe der Varianz in den einzelnen Staaten, die in die Schätzung der standardisierten Pfadkoeffizienten eingeht.

  3. Eine Übersicht über diese Projekte kann der Homepage „Lesen in Deutschland“ unter http://www.lesen-in-deutschland.de/html/index.php [letzter Zugriff: 14.12.2011] entnommen werden.

Literatur

  • Arbeitsgruppe Internationale Vergleichsstudie (Bundesministerium für Bildung und Forschung). (Hrsg.). (2007). Vertiefender Vergleich der Schulsysteme ausgewählter PISA-Teilnehmerstaaten (3. Aufl.), Bundesministerium für Bildung und Forschung (BMBF). Bildungsforschung: 2. Verfügbar unter http://www.bmbf.de/pub/pisa-vergleichsstudie.pdf. Zugegriffen: 21. Juni 2011.

  • Bos, W., Valtin, R., Lankes, E.-M., Schwippert, K., Voss, A., Badel, I., et al. (2004). Lesekompetenzen am Ende der vierten Jahrgangsstufe in einigen Ländern der Bundesrepublik Deutschland im nationalen und internationalen Vergleich. In W. Bos, E. M. Lankes, M. Prenzel, K. Schwippert, R. Valtin, & G. Walther (Hrsg.), IGLU. Einige Länder der Bundesrepublik Deutschland im nationalen und internationalen Vergleich (S. 49–92). Münster: Waxmann.

    Google Scholar 

  • Bos, W., Valtin, R., Hornberg, S., Buddeberg, I., Goy, M., & Voss, A. (2007). Internationaler Vergleich 2006: Lesekompetenzen von Schülerinnen und Schülern am Ende der vierten Jahrgangsstufe. In W. Bos, S. Hornberg, K.-H. Arnold, G. Faust, L. Fried, E. M. Lankes, et al. (Hrsg.), IGLU 2006. Lesekompetenzen von Grundschulkindern in Deutschland im internationalen Vergleich (S. 109–160). Münster: Waxmann.

    Google Scholar 

  • Bos, W., Strietholt, R., Goy, M., Stubbe, T. C., Tarelli, I., & Hornberg, S. (2010). IGLU 2006– Dokumentation der Erhebungsinstrumente. Münster: Waxmann.

    Google Scholar 

  • Byrne, B. M., Shavelson, R. J., & Muthén, B. O. (1989). Testing for the equivalence of factor covariance and mean structures: The issue of partial measurement invariance. Psychological Bulletin, 105, 456–466.

    Article  Google Scholar 

  • Chapman, J. W., Tunmer, W. E., & Prochnow, J. E. (2000). Early reading-related skills and performance, reading self-concept, and the development of academic self-concept: A longitudinal study. Journal of Educational Psychology, 92, 703–708.

    Article  Google Scholar 

  • Cheung, G. W., & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling, 9, 233–255.

    Article  Google Scholar 

  • Döbert, H. (2010). Deutschland. In H. Döbert, W. Hörner, B. von Kopp, & L. R. Reuter (Hrsg.), Die Bildungssysteme Europas (3. Aufl., S. 175–203). Baltmannsweiler: Schneider.

    Google Scholar 

  • Döbert H., & Sroka W. (Hrsg.). (2004). Features of successful school systems. A comparison of schooling in six countries (Studien zur International und Interkulturell Vergleichenden Erziehungswissenschaft, Bd. 4). Münster: Waxmann.

  • Döbert H., Klieme E., & Sroka W. (Hrsg.). (2004). Conditions of school performance in seven countries. A quest for understanding the international variation of PISA results (Studien zur International und Interkulturell Vergleichenden Erziehungswissenschaft, Bd. 3). Münster: Waxmann.

  • Elley W. B. (Hrsg.). (1994). The IEA Study of Reading Literacy. Achievement and instruction in thirty-two school systems. Oxford: Pergamon Press.

  • Hannover, B., & Kühnen, U. (2002). Der Einfluss independenter und interdependenter Selbstkonstruktion auf die Informationsverarbeitung im sozialen Kontext. Psychologische Rundschau, 53(2), 61–76.

    Article  Google Scholar 

  • Helfrich, H. (1993). Methodologie kulturvergleichender psychologischer Forschung. In A. Thomas (Hrsg.), Kulturvergleichende Psychologie. Eine Einführung (S. 81–102). Göttingen: Hogrefe.

    Google Scholar 

  • Helmke, A. (1992). Selbstvertrauen und schulische Leistungen. Göttingen: Hogrefe.

    Google Scholar 

  • Horn, J. L. (1991). Comments on ‚Issues of Factorial Invariance‘. In L. M. Collins & J. L. Horn (Hrsg.), Best methods for the analysis of change (S. 114–125). Washington, DC: American Psychological Association.

    Google Scholar 

  • Horn, J. L., & McArdle, J. J. (1992). A practical and theoretical guide to measurement invariance in aging Research. Experimental Aging Research, 3, 117–144.

    Article  Google Scholar 

  • Hornberg, S., Bos, W., Buddeberg, I., Potthoff, B., & Stubbe, T. C. (2007). Anlage und Durchführung von IGLU 2006. In W. Bos, S. Hornberg, K.-H. Arnold, G. Faust, L. Fried, E.-M. Lankes, et al. (Hrsg.), IGLU 2006. Lesekompetenzen von Grundschulkindern in Deutschland im internationalen Vergleich (S. 21–45). Münster: Waxmann.

    Google Scholar 

  • Hu, L.-T., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling, 6, 1–55.

    Article  Google Scholar 

  • Kelly, D. L. (2003). Developing the PIRLS background questionnaires. In M. O. Martin, I. V. S. Mullis, & A. M. Kennedy (Hrsg.), PIRLS 2001 technical report (S. 29–40). Chestnut Hill: International Study Center.

    Google Scholar 

  • Krapp, A. (1997). Selbstkonzept und Leistung – Dynamik ihres Zusammenspiels: Literaturüberblick. In F. E. Weinert & A. Helmke (Hrsg.), Entwicklung im Grundschulalter (S. 325–339). Weinheim: Beltz.

    Google Scholar 

  • Kühnen, U., & Hannover, B. (2003). Kultur, Selbstkonzept und Kognition. Zeitschrift für Psychologie, 211(4), 212–224.

    Article  Google Scholar 

  • Lankes, E.-M., Bos, W., Mohr, I., Plaßmeier, N., Schwippert, K., Sibberns, H., et al. (2003). Anlage und Durchführung der Internationalen Grundschul-Lese-Untersuchung (IGLU) und ihrer Erweiterung um Mathematik und Naturwissenschaften (IGLU-E). In W. Bos, E.-M. Lankes, M. Prenzel, K. Schwippert, G. Walther, & R. Valtin (Hrsg.), Erste Ergebnisse aus IGLU. Schülerleistungen am Ende der vierten Jahrgangsstufe im internationalen Vergleich (S. 7–28). Münster: Waxmann.

    Google Scholar 

  • Lüdtke, O., Robitzsch, A., Trautwein, U., & Köller, O. (2007). Umgang mit fehlenden Werten in der psychologischen Forschung: Probleme und Lösungen. Psychologische Rundschau, 58, 103–117.

    Article  Google Scholar 

  • MacCallum, R. C., Browne, M. W., & Sugawara, H. M. (1996). Power analysis and determination of sample size for covariance structure modeling. Psychological Methods, 1, 130–149.

    Article  Google Scholar 

  • Markus, H. R., & Kitayama, S. (1991). Culture and the self: Implications for cognition, emotion, and motivation. Psychological Review, 98(2), 224–253.

    Article  Google Scholar 

  • Marsh, H. W. (1990). A multidimensional, hierarchical model of self-concept: Theoretical and empirical justification. Educational Psychology Review, 2, 77–172.

    Article  Google Scholar 

  • Marsh, H. W., Byrne, B. M., & Shavelson, R. (1988). A multifaceted academic self-concept: Its hierarchical structure and its relation to academic achievement. Journal of Educational Psychology, 80, 366–380.

    Article  Google Scholar 

  • Martin, M. O., Mullis, I. V. S., & Kennedy, A. M. (Hrsg.). (2003). PIRLS 2001 technical report. Chestnut Hill: International Study Center.

  • Mead, G. H. (1934). Mind, self, and society. Chicago: University of Chicago Press.

    Google Scholar 

  • Meade, A. W., Johnson, E. C., & Braddy, P. W. (2008). Power and sensitivity of alternative fit indices in tests of measurement invariance. Journal of Applied Psychology, 93, 568–592.

    Article  Google Scholar 

  • Meredith, W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrika, 58, 525–543.

    Article  Google Scholar 

  • Millsap, R. E., & Yun-Tein, J. (2004). Assessing factorial invariance in ordered-categorial measures. Multivariate Behavioral Research, 39, 479–515.

    Article  Google Scholar 

  • Möller, J., & Trautwein, U. (2009). Selbstkonzept. In E. Wild & J. Möller (Hrsg.), Pädagogische Psychologie (S. 179–204). Berlin: Springer.

    Chapter  Google Scholar 

  • Mullis, I. V. S., Martin, M. O., Gonzalez, E., & Kennedy, A. M. (2003). PIRLS 2001 international report: IEA’s study of reading literacy achievement in primary school in 35 countries. Chestnut Hill: International Study Center.

    Google Scholar 

  • Muthén, L. K., & Muthén, B. O. (1998–2010). Mplus (Version 6.1) (Computer Software). Los Angeles.

  • Muthén, L. K., & Muthén, B. O. (1998–2012). Mplus User’s Guide (7. Aufl.). Los Angeles: Muthén & Muthén.

  • Muthén, L. K., & Muthén, B. O. (2002). How to use a monte carlo study to decide on sample size and determine power. Structural Equation Modeling, 9(4), 599–620.

    Article  Google Scholar 

  • Muthén, B., du Toit, S. H. C., & Spisic, D. (1997). Robust inference using weighted least squares and quadratic estimating equations in latent variable modeling with categorical and continuous outcomes. Accepted for publication in Psychometrika.

  • Nagy, G., & Neumann, M. (2010). Psychometrische Aspekte des Tests zu den voruniversitären Mathematikleistungen in TOSCA-2002 und TOSCA-2006: Unterrichtsvalidität, Rasch-Homogenität und Messäquivalenz. In U. Trautwein, M. Neumann, G. Nagy, O. Lüdtke, & K. Maaz (Hrsg.), Schulleistungen von Abiturienten: Die neu geordnete gymnasiale Oberstufe auf dem Prüfstand (S. 281–306). Wiesbaden: VS Verlag für Sozialwissenschaften.

    Chapter  Google Scholar 

  • Nonte, S. (2012). Die Überprüfung von geschlechtsbezogener Messinvarianz des Fähigkeitsselbstkonzepts von Grundschülern in der Schuleingangsphase. Empirische Pädagogik, 26(4), 478–503.

    Google Scholar 

  • Pöhlmann, C., Hannover, B., Kühnen, U., & Birkner, N. (2002). Independente und interdependente Selbstkonzepte als Determinanten des Selbstwerts. Zeitschrift für Sozialpsychologie, 33(2), 111–121.

    Article  Google Scholar 

  • Reinecke, J. (2005). Strukturgleichungsmodelle in den Sozialwissenschaften. München: Oldenbourg.

    Google Scholar 

  • Rippl, S., & Seipel, C. (1997). Gruppenunterschiede – Fakt oder Artefakt? Das Problem der Bedeutungsäquivalenz am Beispiel der Rechtsextremismusforschung. Zeitschrift für Soziologie, 26(2), 139–150.

    Google Scholar 

  • Rippl, S., & Seipel, C. (2008). Methoden kulturvergleichender Sozialforschung: Eine Einführung. Wiesbaden: VS Verlag für Sozialwissenschaften.

    Book  Google Scholar 

  • Rutkowski, L., Gonzalez, E., Joncas, M., & von Davier, M. (2010). International Large-Scale Assessment Data: Issues in Secondary Analysis and Reporting. Educational Researcher, 39(2), 142–151.

    Article  Google Scholar 

  • Schulz, W., & Fraillon, J. (2009, September). The analysis of measurement invariance in international studies using the rasch model. Paper presented to the symposium on „Rasch measurement: present, past and future“ at the European Conference on Educational Research (ECER), Vienna.

  • Shavelson, R. J., Hubner, J. J., & Stanton, G. C. (1976). Self-concept: Validation of construct interpretations. Review of Educational Research, 46(3), 407–441.

    Article  Google Scholar 

  • Steenkamp, J.-B. E. M., & Baumgartner, H. (1998). Assessing measurement invariance in cross-national consumer research. Journal of Consumer Research, 25, 78–90.

    Article  Google Scholar 

  • Torsheim, T., Samdal, O., Rasmussen, M., Freeman, J., Griebler, R., & Dür, W. (2010). Cross-national measurement invariance of the teacher and classmate support scale. Social Indicators Research, 10.1007/s11205-010-9770-9.

  • Valtin, R., Bos, W., Buddeberg, I., Goy, M., & Potthoff, B. (2008). Lesekompetenzen von Schülerinnen und Schülern am Ende der vierten Jahrgangsstufe im nationalen und internationalen Vergleich. In W. Bos, S. Hornberg, K. H. Arnold, G. Faust, L. Fried, & E.-M. Lankes (Hrsg.), IGLU-E 2006: Die Länder der Bundesrepublik Deutschland im nationalen und internationalen Vergleich (S. 51–101). Münster: Waxmann.

    Google Scholar 

  • Vandenberg, R. J., & Lance, C. E. (2003). A Review and Synthesis of the Measurement Invariance Literature: Suggestions, Practices, and Recommendations for Organizational Research. Organizational Research Methods, 3(1), 4–70.

    Article  Google Scholar 

  • Van de Ven, B. (2010). Niederlande. In H. Döbert, W. Hörner, B. von Kopp, & L. R. Reuter (Hrsg.), Die Bildungssysteme Europas (3. Aufl., S. 506–525). Baltmannsweiler: Schneider.

    Google Scholar 

  • Walther, G., Schwippert, K., Lankes, E.-M., & Stubbe, T. (2008). Können Mädchen doch rechnen? Vertiefende Analysen zu Geschlechtsdifferenzen im Bereich Mathematik auf Basis der Internationalen Grundschule-Lese-Untersuchung. Zeitschrift für Erziehungswissenschaft, 11, 30–46.

    Article  Google Scholar 

  • Weins, C. (2008). Möglichkeiten und Grenzen des internationalen Vergleichs fremdenfeindlicher Vorurteile. Sozialwissenschaftlicher Fachinformationsdienst soFid, Methoden und Instrumente der Sozialwissenschaften, 1, 25–43. http://www.ssoar.info/ssoar/View/?resid=20515. Zugegriffen: 29. Juni 2011.

  • Widaman, K. F., Ferrer, E., & Conger, R. D. (2010). Factorial invariance within longitudinal structural equation models: Measuring the same construct across time. Child Development Perspectives, 4(1), 10–18.

    Article  Google Scholar 

  • Wu, A. D., Li, Z., & Zumbo, B. D. (2007). Decoding the meaning of factorial invariance and updating the practice of multi-group confirmatory factor analysis: a demonstration with TIMSS data. Pratical Assessment. Research & Evaluation, 12(3), 1–26.

    Google Scholar 

Download references

Author information

Authors and Affiliations

  1. Institut für Bildungsmonitoring und Qualitätsentwicklung Hamburg, Beltgens Garten 25, 20537, Hamburg, Deutschland

    Klaudia Schulte

  2. Universität Hamburg, FB Erziehungswissenschaft, Binderstr. 34, 20146, Hamburg, Deutschland

    Knut Schwippert

  3. Georg-August-Universität Göttingen, Institut für Erziehungswissenschaft, Waldweg 26, 37073, Göttingen, Deutschland

    Sonja Nonte

Authors
  1. Klaudia Schulte
    View author publications

    You can also search for this author in PubMed Google Scholar

  2. Sonja Nonte
    View author publications

    You can also search for this author in PubMed Google Scholar

  3. Knut Schwippert
    View author publications

    You can also search for this author in PubMed Google Scholar

Corresponding author

Correspondence to Sonja Nonte.

Rights and permissions

Reprints and permissions

About this article

Cite this article

Schulte, K., Nonte, S. & Schwippert, K. Die Überprüfung von Messinvarianz in international vergleichenden Schulleistungsstudien am Beispiel der Studie PIRLS. Z f Bildungsforsch 3, 99–118 (2013). https://doi.org/10.1007/s35834-013-0062-8

Download citation

  • Accepted:

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s35834-013-0062-8

Schlüsselwörter

Keywords

Search

Navigation