Zusammenfassung
Im Projekt „Mehrsprachigkeitsentwicklung im Zeitverlauf (MEZ)“ wird die Entwicklung sprachlicher Fähigkeiten von lebensweltlich mehrsprachigen und monolingual deutschsprachigen Jugendlichen in der Sekundarstufe I untersucht. Gemessene Sprachen sind Deutsch (Majoritätssprache), Russisch und Türkisch (Herkunftssprachen) sowie Englisch, Französisch und Russisch (Schulfremdsprachen). Ein Teilbereich ist dabei der Analyse multilingualer Schreibfähigkeit gewidmet. Als Instrument wurde die „MEZ-Schreibaufgabe Jugendliche“ verwendet. Mit ihr wurden Anleitungstexte elizitiert und auf Grundlage eines generischen Kompetenzmodells für bildungsrelevante Schreibfähigkeit ausgewertet. Im längsschnittlichen Forschungsdesign von MEZ kamen dabei unterschiedliche Schreibimpulse zum Einsatz. Der vorliegende Beitrag prüft die Vergleichbarkeit der Impulsversionen am Beispiel von deutschen und englischen Texten. Hierzu wird der Grad der Messinvarianz des zugrunde liegenden Messmodells zwischen den Impulsen ermittelt. Im Ergebnis steht, dass das theoretische Konstrukt in allen Impulsversionen in strukturell vergleichbarer Weise und (mit Einschränkungen) auch auf derselben Skala gemessen wird. Allerdings sind die Impulse nicht vergleichbar schwierig. Die Implikationen für die weitere Arbeit mit den durch die verschiedenen Impulse elizitierten Daten werden diskutiert.
Access this chapter
Tax calculation will be finalised at checkout
Purchases are for personal use only
Notes
- 1.
Eine Darstellung der theoretischen Begründung dieses Instruments, seiner Weiterentwicklung und Gestaltung im Kontext des MEZ-Projekts sind im Beitrag von Gogolin et al. in diesem Band dargestellt.
- 2.
Die Ergebnisse des χ2-Tests werden zwar berichtet, aber nicht als Kriterium bei der Beurteilung der Modellgüte verwendet.
- 3.
Der Effekt dieser Standardisierungsstrategie, dass es zwischen den Impulsversionen dann aber auch keine Unterschiede mehr zu interpretieren gibt, ist – anders als beispielsweise bei der z-Standardisierung eines Instruments im Längsschnitt – kein Nachteil (z. B. Moeller 2015).
- 4.
In diesem Fall haben einige Auswerter(innen) die Kovariation zwischen der den Indikatoren Aufgabenbewältigung und Satzverbindungen dadurch erzeugt, dass sie die Qualität von Texten mit komplexen Satzstrukturen überschätzt haben.
Literatur
Ackerman, T. A., & Smith, P. L. (1988). A comparison of the information provided by essay, multiple-choice, and free-response writing tests. Applied Psychological Measurement 12(2), 117–128. https://doi.org/10.1177/014662168801200202
Bentler, P. M. (1990). Comparative fit indexes in structural models. Psychological Bulletin 107, 238–246.
Benton, S. L., Corkill, A. J., Sharp, J. M., Downey, R. G. & Khramtsova, I. (1995). Knowledge, interest, and narrative writing. Journal of Educational Psychology 87(1), 66–79. https://doi.org/10.1037/0022-0663.87.1.66
Bollen, K. A. (1980). Issues in the comparative measurement of political democracy. American Sociological Review 45(3), 370–390.
Bortz, J., & Weber, R. (2005). Statistik für Human- und Sozialwissenschaftler. Mit 242 Tabellen (Springer-Lehrbuch, 6., vollst. überarb. und aktualisierte Aufl.). Heidelberg: Springer Medizin.
Brown, T. A. (2015). Confirmatory factor analysis for applied research (Methodology in the social sciences, 2nd ed.). New York: The Guilford Press.
Cheung, G. W., & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling: A Multidisciplinary Journal 9(2), 233–255. https://doi.org/10.1207/S15328007SEM0902_5
Cronbach, L. J., Gleser, G. C., Nanda, H., & Rajaratnam, N. (1972). The dependability of behavioral measurements. Theory of generalizability for scores and profiles. New York: Wiley.
Dirim, I., & Döll, M. (2009). „Bumerang“ – Erfassung der Sprachkompetenzen im Übergang von der Schule in den Beruf – vergleichende Beobachtungen zum Türkischen und Deutschen am Beispiel einer Schülerin. In D. Lengyel, H. H. Reich, H.-J. Roth, & M. Döll (Hrsg.), Von der Sprachdiagnose zur Sprachförderung (S. 139–146). Münster: Waxmann.
Döll, M. (2012). Beobachtung der Aneignung des Deutschen bei mehrsprachigen Kindern und Jugendlichen. Modellierung und empirische Prüfung eines sprachdiagnostischen Beobachtungsverfahrens. Münster: Waxmann.
Ehlich, K. (Hrsg.). (2005). Anforderungen an Verfahren der regelmäßigen Sprachstandsfeststellung als Grundlage für die frühe und individuelle Förderung von Kindern mit und ohne Migrationshintergrund (Bildungsforschung, Bd. 11). Bonn.
Godshalk, F. I., Swineford, F., & Coffman, W. E. (1966). The measurement of writing ability. New York: College Entrance Examination Board.
Horn, J. L., & McArdle, J. J. (1992). A practical and theoretical guide to measurement invariance in aging research. Experimental aging research 18(3–4), 117–144. https://doi.org/10.1080/03610739208253916
Hutchinson, S. R. (1998). The stability of post hoc model modifications in confirmatory factor analysis models. The Journal of Experimental Education 66(4), 361–380.
IEA Hamburg. (2017a). Methodenbericht. MEZ – Mehrsprachigkeitsentwicklung im Zeitverlauf. Erhebung in den Jahrgangsstufen 7 und 9. 1. Messzeitpunkt – Januar bis März 2016. Hamburg: IEA Hamburg. https://www.mez.uni-hamburg.de/bilder/pdf/mez-methodenbericht1-iea-pdf.pdf
IEA Hamburg. (2017b). Methodenbericht. MEZ – Mehrsprachigkeitsentwicklung im Zeitverlauf. Erhebung in den Jahrgangsstufen 8 und 10. 2. Messzeitpunkt – Oktober bis Dezember 2016. Hamburg: IEA Hamburg. https://www.mez.uni-hamburg.de/bilder/pdf/mez-methodenbericht2-iea-pdf.pdf
IEA Hamburg. (2018a). Methodenbericht. MEZ – Mehrsprachigkeitsentwicklung im Zeitverlauf. Erhebung in den Jahrgangsstufen 8 und 10. 3. Messzeitpunkt – Mai bis Juli 2017. Hamburg: IEA Hamburg. https://www.mez.uni-hamburg.de/bilder/pdf/mez-methodenbericht3-iea-pdf.pdf
IEA Hamburg. (2018b). Methodenbericht. MEZ – Mehrsprachigkeitsentwicklung im Zeitverlauf. Erhebung in den Jahrgangsstufen 9 und 11. 4. Messzeitpunkt – Mai bis Juni 2018. Hamburg: IEA Hamburg. https://www.mez.uni-hamburg.de/bilder/pdf/mez-methodenbericht4-iea-pdf.pdf
Jöreskog, K. G. (1967). Some contributions to maximum likelihood factor analysis. Psychometrika 32, 443–477.
Jöreskog, K. G. (1969). A general approach to confirmatory maximum likelihood factor analysis. Psychometrika 34, 182–202.
Jöreskog, K. G. (1971). Statistical analysis of sets of congeneric tests. Psychometrika 36, 109–133.
Kellogg, R. T. (1987). Effects of topic knowledge on the allocation of processing time and cognitive effort to writing processes. Memory & Cognition 15(3), 256–266.
Kline, R. B. (2016). Principles and practice of structural equation modeling (Methodology in the social sciences, 4th ed.). New York: The Guilford Press.
Klinger, T., & Schnoor, B. (2020). Prüfung der Messinvarianz über die Zeit: Das Konstrukt Schreibfähigkeit im Deutschen (MEZ Arbeitspapier Nr. 6). Hamburg: Universität Hamburg. https://www.mez.uni-hamburg.de/bilder/pdf/mezarbeitspapier06.pdf
Klinger, T., Usanova, I., & Gogolin, I. (2019). Entwicklung rezeptiver und produktiver schriftsprachlicher Fähigkeiten im Deutschen. Zeitschrift für Erziehungswissenschaft (ZfE) 22(1), 75–103. https://doi.org/10.1007/s11618-018-00862-0
Langer, J. A. (1984). The effects of available information on responses to school writing tasks. Research in Teaching of English 18(1), 27–44.
Little, T. D. (1997). Mean and covariance structures (MACS) analyses of cross-cultural data. Practical and theoretical issues. Multivariate Behavioral Research 32(1), 53–76. https://doi.org/10.1207/s15327906mbr3201_3
Little, T. D. (2013). Longitudinal structural equation modeling. New York: Guilford Press.
Little, T. D., Card, N. A., Slegers, D. W., & Ledford, E. C. (2007). Representing contextual effects in multi-group MACS models. In T. D. Little, J. A. Bovaird & N. A. Card (Hrsg.), Modeling contextual effects in longitudinal studies (S. 121–147). New York: Psychology Press.
McCutchen, D. (1986). Domain knowledge and linguistic knowledge in the development of writing ability. Journal of Memory and Language 25(4), 431–444. https://doi.org/10.1016/0749-596X(86)90036-7
Meredith, W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrika 58(4), 525–543. https://doi.org/10.1007/BF02294825
Millsap, R. E. (2011). Statistical approaches to measurement invariance. New York: Routledge.
Moeller, J. (2015). A word on standardization in longitudinal studies. Don’t. Frontiers in Psychology 6, 1389. https://doi.org/10.3389/fpsyg.2015.01389
Novak, J. R., Herman, J. L., & Gearhart, M. (1996). Establishing validity for performance-based assessments: An illustration for collections of student writing. The Journal of Educational Research 89(4), 220–233. https://doi.org/10.1080/00220671.1996.9941207
Pan, J., Ip, E. H., & Dubé, L. (2017). An alternative to post hoc model modification in confirmatory factor analysis: The Bayesian lasso. Psychological methods 22(4), 687–704. https://doi.org/10.1037/met0000112
Puranik, C. S., Lombardino, L. J., & Altmann, L. J. P. (2008). Assessing the microstructure of written language using a retelling paradigm. American Journal of Speech-Language Pathology 17(2), 107–120. https://doi.org/10.1044/1058-0360(2008/012)
Quellmalz, E. S., Capell, F. J., & Chou, C.-P. (1982). Effects of discourse and response mode on the measurement of writing competence. Journal of Educational Measurement 19(4), 241–258.
Raykov, T. (2001). Bias of Cronbach’s alpha for fixed congeneric measures with correlated errors. Applied Psychological Measurement 25, 69–76.
Raykov, T. (2002). Analytic estimation of standard error and confidence interval for scale reliability. Multivariate Behavioral Research 37, 89–103.
Raykov, T. (2004). Behavioral scale reliability and measurement invariance evaluation using latent variable modeling. Behavior Therapy 35, 299–331.
Reich, H. H., Roth, H.-J., & Döll, M. (2009). Fast Catch Bumerang. Deutsche Sprachversion. Auswertungsbogen und Auswertungshinweise. In D. Lengyel, H. H. Reich, H.-J. Roth, & M. Döll (Hrsg.), Von der Sprachdiagnose zur Sprachförderung (S. 209–241). Münster: Waxmann.
Schermelleh-Engel, K. (2015). Negative covariance in CFA? Discussion via researchgate.net. https://www.researchgate.net/post/negative_covariance_in_CFA.
Schnoor, B. (2019). Soziale Herkunft und Bildungssprache. Humankapitalinvestitionen in deutschen, türkischen und vietnamesischen Familien. Wiesbaden: Springer VS.
Schoonen, R. (1991). De evaluatie van schrijfvaardigheidsmetingen: Een empirische studie naar betrouwbaarheid, validiteit en bruikbaarheid van schrijfvaardigheidsmetingen in de achtste groep van het basisonderwijs. [academisch proefschrift] Amsterdam: Universiteit van Amsterdam.
Schoonen, R. (2005). Generalizability of writing scores: an application of structural equation modeling. Language Testing 22(1), 1–30. https://doi.org/10.1191/0265532205lt295oa
Steenkamp, J.-B. E. M., & Baumgartner, H. (1998). Assessing measurement Invariance in cross-national consumer research. Journal of Consumer Research 25(1), 78–107. https://doi.org/10.1086/209528
Steiger, J. H. (1998). A note on multiple sample extensions of the RMSEA fit index. Structural Equation Modeling: A Multidisciplinary Journal 5(4), 411–419. https://doi.org/10.1080/10705519809540115
Steiger, J. H., & Lind, J. C. (1980). Statistically based tests for the number of common factors. [unveröffentlichtes Manuskript zu einer Präsentation]. Psychometric Society Annual Meeting. Iowa City.
Thurstone, L. L. (1947). Multiple-factor analysis. Chicago: University of Chicago Press.
Wagner, R. K., Puranik, C. S., Foorman, B., Foster, E., Wilson, L. G., Tschinkel, E., & Kantor, P. T. (2011). Modeling the development of written language. Reading and Writing 24(2), 203–220. https://doi.org/10.1007/s11145-010-9266-7
Wang, J., & Wang, X. (2012). Structural equation modeling. Applications using Mplus (Wiley Series in Probability and Statistics). Sussex: Wiley.
Author information
Authors and Affiliations
Corresponding author
Editor information
Editors and Affiliations
Rights and permissions
Copyright information
© 2022 Der/die Autor(en), exklusiv lizenziert durch Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature
About this chapter
Cite this chapter
Schnoor, B. (2022). Die Messung der Schreibfähigkeit in MEZ: Messinvarianz verschiedener Schreibimpulse der „MEZ-Schreibaufgabe Jugendliche“. In: Brandt, H., Krause, M., Usanova, I. (eds) Language Development in Diverse Settings. Edition ZfE, vol 11. Springer VS, Wiesbaden. https://doi.org/10.1007/978-3-658-35650-7_3
Download citation
DOI: https://doi.org/10.1007/978-3-658-35650-7_3
Published:
Publisher Name: Springer VS, Wiesbaden
Print ISBN: 978-3-658-35649-1
Online ISBN: 978-3-658-35650-7
eBook Packages: Education and Social Work (German Language)