Zusammenfassung
Die letzte Dekade verzeichnet ein wachsendes Interesse an der empirischen Erfassung von Schülerleistungen. Dies steht im Zusammenhang mit der ausgeprägteren Ergebnisorientierung in der Bildungspolitik und mit der der Forderung nach diagnostischen, der Heterogenität der Schülerschaft Rechnung tragenden Lehrformen. Der hieraus resultierende Schub in der Entwicklung sogenannter Kompetenzmodelle bietet Herausforderungen für die Fachdidaktiken: Erstens hinsichtlich der Entwicklung und empirischen Fundierung fachbezogener Theorien zu Schülerkompetenzen und zweitens hinsichtlich der Entwicklung praktikabler Diagnoseinstrumente für die Unterrichtspraxis.
Der vorliegende Beitrag wirft einen vergleichenden Blick auf einige prototypische Anwendungen der Modellierung mathematischer Kompetenzen, wie sie in den letzten Jahren vorgeschlagen oder umgesetzt wurden. Ziel ist dabei, theoretisch aufzuzeigen, auf welche Weise die Validität solcher Modelle bewertet werden kann und welche Rolle hierbei die fachdidaktische Perspektive spielt. Validität wird dabei verstanden als die Gesamtbewertung der theoretischen Argumente und empirischen Evidenzen für die Angemessenheit der Interpretation eines Kompetenzmodells und der Angemessenheit der Konsequenzen seiner Anwendung in der Kompetenzerfassung. Es wird aufgezeigt, wie eine systematische Bewertung von sechs Validitätsaspekten (inhaltliche, kognitive, strukturelle, generalisierende, externe und konsequentielle Validität) eine differenzierte Einschätzung bestehender Anwendungen von Kompetenzmodellierungen und Hinweise für deren Weiterentwicklung liefern kann.
Abstract
The last decade saw an increasing interest in the empirical assessment of students’ achievement. This was induced by a stronger emphasis on outcome orientation in education policy, and the need for diagnostic teaching in heterogeneous classrooms. The resulting impulse to develop “competence models” challenged the subject specific research (didactics of mathematics). Theories on students’ competences had to be developed, empirically tested and transformed into diagnostic instruments for everyday use.
This article presents an overview on prototypical approaches in modelling mathematical competences and discusses the issue of validity of such models—also from a subject specific perspective. Validity is considered to be the evaluation of theoretical arguments and empirical evidence for the adequacy of the interpretation of a competence model and the adequacy of its consequences when applied.
It is shown how a systematic evaluation of six aspects of validity (content, cognitive, structural, generalizability, external and consequential) can promote a differentiated appraisal of existing models and guide the development of new competence models.
This is a preview of subscription content, log in via an institution to check access.
Notes
Die im angloamerikanischen gebräuchliche Bezeichnung assessment wird ebenfalls nicht einheitlich verwendet. In der Praxis wird assessment einerseits einengend mit der Leistungsmessung in Form schriftlicher Tests assoziiert, andererseits hat sich eine eigene Kultur „alternativer Assessmentverfahren“ wie z.B. Portfolios entwickelt. Analog zur in Deutschland intensiv geführten Auseinandersetzung mit dem Kompetenzbegriff und seinen Konsequenzen für die Leistungsmessung, findet man im Bereich des educational assessment die Forderung nach der Entwicklung theoretisch und empirisch fundierter assessment-Ansätze (z.B. Pellegrino et al. 2001).
Dieser Fokus stellt nicht in Abrede, dass andere Gütekriterien wie die Reliabilität und die Objektivität ebenfalls bedeutsam sind, ja mitunter notwendige Bedingungen für Validität darstellen.
In der Literatur variieren die Bedeutungen der verschiedenen Bezeichnungen im Zusamenhang mit Validität etwas. So wird Konstruktvalidität oft übergreifend für die Aspekte der inhaltlichen, kognitiven und externen Validität verwendet. Externe Validität schließt mitunter Aspekte der Verallgemeinerbarkeit und der Nutzung mit ein.
Bei der Entwicklung computergestützer Tests muss zudem berücksichtigt werden, wie die kognitiven Prozesse bei der Übersetzung einer Aufgabensituation von der vertrauten Papier-Bleistift-Umgebung auf den Computer durch die Charakteristika der Ein- und Ausgabeschnittstellen beeinflusst werden (z.B. bei der algebraischer Notation von Lösungsschritten oder beim Zeichnen von Funktionsgraphen).
Zum Verständnis der Reichweite von psychometrischen Modellen trägt eine die Unterscheidung von Wilson et al. (2008) bei. Sie bezeichnen geschätzte Variablen eines Kompetenzmodells (im Beispiel des Raschmodells θ p und ξ i ) als deskriptiv. Das einparametrige Raschmodell ist damit deskriptiv auf Personen- wie Itemebene: Es erlaubt die messende Beschreibung, nicht aber die Erklärung von Unterschieden in den Personen- und Itemeigenschaften. Variablen, die in eine Modellgleichung eingehen, werden hingegen als explanatorisch bezeichnet. Erweitert man beispielsweise das Modell um das Geschlecht Z p =0,1 in der Modellgleichung P(X pi =1)=f(θ p +ϑ⋅Z p −ξ i ) so kann man den ϑ als Regressionskoeffizient mitschätzen. Er beschreibt dann, wie stark das Geschlecht die Leistung bei der Aufgabenbearbeitung erklärt. Eine explanatorische Qualität auf Aufgabenseite entsprechend erlaubt es, kognitive Eigenschaften von Aufgaben, welche auf fachdidaktischen Analysen beruhen, mitzumodellieren.
Literatur
Adams, R., Wilson, M., & Wang, W. (1997). The multidimensional random coefficients multinomial logit model. Applied Psychological Measurement, 21(1), 1–23.
Altrichter, H. (2010). Schul- und Unterrichtsentwicklung durch Datenrückmeldung. In H. Altrichter und Katharina Maag Merki (Hrsg.), Handbuch Neue Steuerung im Schulsystem (S. 219–254). Wiesbaden: Verlag für Sozialwissenschaften.
Altrichter, H. & Maag Merki, K. (Hrsg.) (2010). Handbuch neue Steuerung im Schulsystem. Wiesbaden: VS Verlag für Sozialwissenschaften.
Anderson, L. W. & Krathwohl, D. R. (Hrsg.) (2001). A taxonomy for learning, teaching, and asssessing: a revision of Bloom’s taxonomy of educational objectives. New York: Addison-Wesley.
Bauer, L. (1978). Mathematische Fähigkeiten. Paderborn: Schöningh.
Baumert, J., & Lehmann, R. (1997). TIMSS – Mathematisch-naturwissenschaftlicher Unterricht im internationalen Vergleich. Opladen: Leske & Budrich.
Baumert, J., Brunner, M., Lüdtke, O., & Trautwein, U. (2007). Was messen internationale Schulleistungsstudien? Resultate kumulativer Wissenserwerbsprozesse. Psychologische Rundschau, 58(2), 118–128.
Baumert, J., Stanat, P., & Demmrich, A. (2001). PISA 2000: Untersuchungsgegenstand, theoretische Grundlagen und Durchführung der Studie. In J. Baumert, E. Klieme, M. Neubrand, M. Prenzel, U. Schiefele, W. Schneider, P. Stanat, K.-J. Tillmann, & M. Weiß(Hrsg.), PISA 2000: Basiskompetenzen von Schülerinnen und Schülern im internationalen Vergleich (S. 15–68). Opladen: Leske & Budrich.
Bayrhuber, M., Leuders, T., Bruder, R., & Wirtz, M. (2010). Erfassung und Modellierung mathematischer Kompetenz: Aufdeckung kognitiver Strukturen anhand des Wechsels von Darstellungs- und Repräsentationsform. In E. Klieme, D. Leutner, & M. Kenk (Hrsg.), Kompetenzmodellierung; Zwischenbilanz des DFG-Schwerpunktprogramms und Perspektiven des Forschungsansatzes. Zeitschrift für Pädagogik (Beiheft) (Bd. 56, S. 28–39). Weinheim: Beltz.
Beaton, E., & Allen, N. (1992). Interpreting scales through scale anchoring. Journal of Educational Statistics, 17, 191–204.
Bernholt, S., Parchmann, I., & Commons, M. L. (2009). Kompetenzmodellierung zwischen Forschung und Unterrichtspraxis. Zeitschrift für Didaktik der Naturwissenschaften, 15, 217–243.
Biggs, J., & Collis, K. (1982). Evaluating the quality of learning: the SOLO taxonomy. New York: Academy Press.
Blum, W., Neubrand, M., Ehmke, T., Senkbeil, M., Jordan, A., Ulfig, F., & Carstensen, C. H. (2004). Mathematische Kompetenz. In M. Prenzel, J. Baumert, W. Blum, R. Lehmann, D. Leutner, M. Neubrand, R. Pekrun, H. G. Rolff, J. Rost, & U. Schiefele (Hrsg.), PISA 2003. Der Bildungsstand der Jugendlichen in Deutschland – Ergebnisse des zweiten internationalen Vergleichs (S. 47–92). Münster: Waxmann.
Bonsen, M., & von der Gathen, J. (2004). Schulentwicklung und Testdaten. Die innerschulische Verarbeitung von Leistungsrückmeldungen. In H. G. Holtappels, K. Klemm, & H. Pfeiffer (Hrsg.), Jahrbuch der Schulentwicklung (Bd. 13, S. 225–252). Weinheim: Juventa.
Borsboom, D. (2006). The attack of the psychometrician. Psychometrika, 71(3), 425–440.
Briggs, D. C., & Wilson, M. (2007). Generalizability in item response modeling. Journal of Educational Measurement, 44, 131–155.
Brunner, M., Krauss, S., & Martignon, M. (2011). Eine alternative Modellierung von Geschlechtsunterschieden in Mathematik. Journal für Mathematik-Didaktik, 32(2), 179–204.
Büchter, A., & Pallack, A. (2012). Zur impliziten Standardsetzung durch zentrale Prüfungen – methodische Überlegungen und empirische Analysen. Journal für Mathematik-Didaktik, 33(1), 59–85.
Carpenter, T., & Moser, J. (1984). The acquisition of addition and subtraction concepts in grades one through three. Journal for Research in Mathematics Education, 15(3), 179–202.
Carpenter, T. P., Fennema, E., Franke, M. L., Levi, L. W., & Empson, S. B. (1999). Children’s mathematics: cognitively guided instruction. Heinemann: Portsmouth.
Cavanagh, R. F. (2011). Establishing the validity of rating scale instrumentation in learning enviornment investigations. In R. F. Cavanagh & R. F. Waugh (Hrsg.), Applications of rasch measurement in learning environments research (S. 101–118). Rotterdams: Sense Publishers.
Chomsky, N. (1965). Aspects of the theory of syntax. Cambridge: MIT Press.
Cizek, G. J., & Bunch, M. B. (2007). Standard-setting: a guide to establishing and evaluating perform- ance standards on tests. London: Sage.
Cohors-Fresenborg, E., Brinkschmidt, S., & Armbrust, S. (2003). Augenbewegungen als Spuren prädikativen oder funktionalen Denkens. Zentralblatt für Didaktik der Mathematik, 35(3), 86–93.
Cohors-Fresenborg, E., Sjuts, J., & Sommer, N. (2004). Komplexität von Denkvorgängen und Formalisierung von Wissen. In M. Neubrand (Hrsg.), Mathematische Kompetenzen von Schülerinnen und Schülern in Deutschland: Vertiefende Analysen im Rahmen von PISA-2000 (S. 109–144). Wiesbaden: VS-Verlag für Sozialwissenschaften.
Council of Europe (2000). A common European framework of reference for languages: learning, teaching, assessment. Cambridge: Cambridge University Press.
Cronbach, L. J. (1971). Test validation. In R. L. Thorndike (Hrsg.), Educational measurement (2. Aufl., S. 443–507). Washington: American Council on Education.
Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52, 281–302.
Crooks, T. J., Kane, M. T., & Cohen, A. S. (1996). Threats to the valid use of assessments. Assessment in Education, 3(3), 265–286.
Deno, S. L. (1985). Curriculum-based measurement: the emerging alternative. Exceptional Children, 52(3), 219–232.
DiBello, L. V., Roussos, L. A., & Stout, W. (2007). Review of cognitively diagnostic assessment and a summary of psychometric models. In C. R. Rao & S. Sinharay (Hrsg.), Handbook of statistics (S. 979–1030). New York: Elsevier.
Drüke-Noe, C., Möller, G., Pallack, A., Schmidt, S., Schmidt, U., Sommer, N., & Wynands, A. (2011). Basiskompetenzen Mathematik für den Alltag und Berufseinstieg am Ende der allgemeinen Schulpflicht. Berlin: Cornelsen.
Elia, I., Panaoura, A., Gagatsis, A., Gravvani, K., & Spyrou, P. (2008). Exploring different aspects of the understanding of function: toward a four-facet model. Canadian Journal of Science, Mathematics and Technology Education, 8(1), 49–69.
Embretson, S. E. (1994). Applications of cognitive design systems to test development. In C. R. Reynolds (Hrsg.), Cognitive assessment: a multidisciplinary perspective (S. 107–135). New York: Plenum.
Embretson, S. E. (1998). A cognitive design system approach to generating valid tests: application to abstract reasoning. Psychological Methods, 3, 300–396.
Embretson, S. E. (2003). The second century of ability testing: some predictions and speculations. Princeton: Educational Testing Service.
Ericsson, K., & Simon, H. (1993). Protocol analysis: verbal reports as data (2. Aufl.). Boston: MIT Press.
Fischer, G. H. (1973). Linear logistic test model as an instrument in educational research. Acta Psychologica, 37, 359–374.
Foegen, A., Olson, J. R., & Impecoven-Lind, L. (2008). Developing progress monitoring measures for secondary mathematics: an illustration in algebra. Assessment for Effective Intervention, 33, 240–249.
Frederiksen, N., Mislevy, R. J., & Bejar, I. (Hrsg.) (1993). Test theory for a new generation of tests. Hillsdale: Erlbaum.
Frey, A. (2007). Adaptives Testen. In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion (S. 261–278). Berlin: Springer.
Frey, A., Heinze, A., Mildner, D., Hochweber, J., & Asseburg, R. (2010). Mathematische Kompetenz von PISA 2003 bis PISA 2009. In E. Klieme, C. Artelt, J. Hartig, N. Jude, O. Köller, M. Prenzel, W. Schneider, & P. Stanat (Hrsg.), PISA 2009. Bilanz nach einem Jahrzehnt (S. 153–176). Münster: Waxmann.
Gagatsis, A., & Monoyiou, A. (2011). The structure of primary and secondary school students’ geometrical figure apprehension. In B. Ubuz (Hrsg.), Proceedings of the 35th conference of the international group for the psychology of mathematics education (Vol. 2, S. 369–376). Ankara: PME.
Gierl, M. J., Leighton, J. P., & Hunka, S. M. (2007). Using the attribute hierarchy method to make diagnostic inferences about examinees’ cognitive skills. In J. P. Leighton & M. J. Gierl (Hrsg.), Cognitive diagnostic assessment for education: theory and applications (S. 242–274). Cambridge: Cambridge University Press.
Goldstein, H. (2004). International comparisons of student attainment: some issues arising from the PISA study. Assessment in Education, 11, 319–330.
Groß Ophoff, J. (2013). Lernstandserhebungen: Reflexion und Nutzung. Münster: Waxmann.
Guler, N., & Gelbal, S. (2010). Studying reliability of open ended mathematics items according to the classical test theory and generalizability theory. Kuram Ve Uygulamada Eğitim Bilimleri, 10, 1011–1019.
Hadjidemetriou, C., & Williams, J. (2002). Children’s graphical conceptions. Research in Mathematics Education, 4(1), 69–87.
Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309–334.
Hambleton, R. K. (2004). Theory, methods, and practices in testing for the 21st century. Psicothema (Oviedo), 16(4), 696–701.
Hartig, J. (2008). Psychometric models for the assessment of competencies. In J. Hartig, E. Klieme, & D. Leutner (Hrsg.), Assessment of competencies in educational contexts (S. 69–90). Cambridge: Hogrefe.
Hartig, J., & Frey, A. (2012). Konstruktvalidierung und Skalenbeschreibung in der Kompetenzdiagnostik durch die Vorhersage von Aufgabenschwierigkeiten. Psychologische Rundschau, 63, 43–49.
Hartig, J., Klieme, E., & Leutner, D. (Hrsg.) (2008). Assessment of competencies in educational contexts. Cambridge: Hogrefe.
Helmke, A., & Hosenfeld, I. (2005). Ergebnisorientierte Unterrichtsevaluation. In Interkantonale Arbeitsgemeinschaft Externe Evaluation von Schulen (Hrsg.), Schlüsselfragen zur externen Schulevaluation (S. 127–151). Bern: h.e.p.-Verlag.
Helmke, A., Hosenfeld, I., & Schrader, F.-W. (2004). Vergleichsarbeiten als Instrument zur Verbesserung der Diagnosekompetenz von Lehrkräften. In R. Arnold & C. Griese (Hrsg.), Schulleitung und Schulentwicklung (S. 119–143). Hohengehren: Schneider.
Heymann, H.-W. (1996). Allgemeinbildung und Mathematik. Weinheim: Beltz.
Holland, P. W., & Wainer, H. (1993). Differential item functioning. Hillsdale: Erlbaum.
Irvine, S. H. & Kyllonen, P. C. (Hrsg.) (2002). Item generation for test development. Hillsdale: Erlbaum.
Jahnke, T. & Meyerhöfer, W. (Hrsg.) (2007). PISA & Co – Kritik eines Programms. Hildesheim: Franzbecker.
Kane, M. T. (2001). Current concerns in validity theory. Journal of Educational Measurement, 38(4), 319–342.
Kane, M. T. (2013). Validation as a pragmatic, scientific activity. Journal of Educational Measurement, 50(1), 115–122.
Kelley, B., Hosp, J. L., & Howell, W. (2008). Curriculum-based evaluation and math: an overview. Assessment for Effective Intervention, 33, 250–256.
Ketterlin-Geller, L. R., & Yovanoff, P. (2009). Diagnostic assessments in mathematics to support instructional decision making. Practical Assessment, Research and Evaluation, 14, 1–11.
Kilpatrick, J., Swafford, J., & Findell, B. (Hrsg.) (2001). Adding it up: helping children learn mathematics. Washington: National Academies Press.
Kleine, M. (2004). Quantitative Erfassung von mathematischen Leistungsverläufen in der Sekundarstufe I. Hildesheim: Franzbecker.
Klieme, E. (2004). Was sind Kompetenzen und wie lassen sie sich messen? Standardsicherung konkret. Pädagogik, 56(6), 10–13.
Klieme, E., & Leutner, D. (2006). Kompetenzmodelle zur Erfassung indvidueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen: Beschreibung eines neu eingerichteten Schwerpunktprogramms der DFG. Zeitschrift für Pädagogik, 52, 876–903.
Klieme, E., Neubrand, M., & Lüdtke, O. (2001). Mathematische Grundbildung: Testkonzeption und Ergebnisse. In J. Baumert et al. (Hrsg.), PISA 2000: Basiskompetenzen von Schülerinnen und Schülern im internationalen Vergleich (S. 139–190). Opladen: Leske & Budrich.
Klieme, E., Avenarius, H., Blum, W., et al. (2003). Zur Entwicklung nationaler Bildungsstandards: Eine Expertise. Bonn: BMBF.
Klieme, E., Hartig, J., & Rauch, D. (2008). The concept of competence in educational contexts. In J. Hartig et al. (Hrsg.), Assessment of competencies in educational contexts (S. 3–22). Göttingen: Hogrefe.
Klieme, E., Jude, N., Baumert, J., & Prenzel, M. (2010). PISA 2000–2009. In E. Klieme, C. Artelt, J. Hartig, N. Jude, O. Köller, M. Prenzel, W. Schneider, & P. Stanat (Hrsg.), PISA 2009: Bilanz nach einem Jahrzehnt (S. 277–300). Münster: Waxmann.
KMK (Ständige Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland) (2003). Beschlüsse der Kultusministerkonferenz: Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss. Münster: Luchterhand.
KMK (Ständige Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland) (2006). Gesamtstrategie der kultusministerkonferenz zum bildungsmonitoring. München: Wolters Kluwer.
Kreiner, S., & Christensen, K. B. (2013). Analyses of model fit and robustness. a new look at the PISA scaling model underlying ranking of countries according to reading literacy. Psychometrika. doi:10.1007/S11336-013-9347-Z.
Kunina-Habenicht, O., Rupp, A. A., & Wilhelm, O. (2009). A practical illustration of multidimensional diagnostic skills profiling: comparing results from confirmatory factor analysis and diagnostic classification models. Studies in Educational Evaluation, 35(2–3), 64–70.
Lee, J., & Corter, J. E. (2011). Diagnosis of subtraction bugs using Bayesian networks. Applied Psychological Measurement, 35(1), 27–47.
Leighton, J. P. (2012). Large-scale assessment design and development for the measurement of student cognition. In M. Simon, K. Ercikan, & M. Rousseau (Hrsg.), Improving large scale assessment in education: theory, issues, and practice (S. 13–26). London: Taylor & Francis/Routledge.
Leinhardt, G., Zaslavsky, O., & Stein, M. S. (1990). Functions, graphs and graphing: tasks, learning and teaching. Review of Educational Research, 1, 1–64.
Leuders, T. (2011). Kompetenzorientierung – eine Chance für die Weiterentwicklung des Mathematikunterrichts? In K. Eilerts, A. Hilligus, G. Kaiser, & P. Bender (Hrsg.), Kompetenzorientierung in Schule und Lehrerbildung: Perspektiven der bildungspolitischen Diskussion, der Bildungsforschung und der Lehrerbildung. Festschrift für Hans-Dieter Rinkens (S. 285–303). Münster: Lit-Verlag.
Leuders, T., & Sodian, B. (2013). Inwiefern sind Kompetenzmodelle dazu geeignet kognitive Prozesse von Lernenden zu beschreiben? Zeitschrift für Erziehungswissenschaft, 16(1), Suppl., 27–33.
Leuders, T., Barzel, B., & Hußmann, S. (2005). Outcome standards and core curricula: a new orientation for mathematics teachers in Germany. Zentralblatt für Didaktik der Mathematik, 37(4), 275–286.
Linneweber-Lammerskitten, H., & Wälti, B. (2008). HarmoS Mathematik: Kompetenzmodell und Vorschläge für Bildungsstandards. Beiträge zur Lehrerbildung, 26(3), 326–337.
Maier, U. (2008). Rezeption und Nutzung von Vergleichsarbeiten aus der Perspektive von Lehrkräften. Zeitschrift für Pädagogik, 54(1), 95–117.
Marion, S., & Pellegrino, J. W. (2006). A validity framework for evaluating the technical quality of alternate assessments. Educational Measurement, Issues and Practice, 25(4), 47–57.
Markus, L. H., Cooper-Thomas, H. D., & Allpress, K. N. (2005). Confounded by competencies? An evaluation of the evolution and use of competency models. New Zealand Journal of Psychology, 34(2), 122.
Martinez, M. (1999). Cognition and the question of test item format. Educational Psychologist, 34(4), 207–218.
Masters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47, 149–174.
Matt, D. (2008). Analyse und Konstruktion von Lern- und Leistungsaufgaben im Kompetenzbereich „proportionale und lineare Zusammenhänge“. Wiss. Hausarbeit, Pädagogische Hochschule Freiburg.
McClelland, D. C. (1973). Testing for competence rather than for intelligence. American Psychologist, 28, 1–14.
Messick, S. (1989). Validity. In R. L. Linn (Hrsg.), Educational measurement (3. Aufl., S. 13–103). New York: Macmillan.
Messick, S. (1995). Validity of psychological assessment: validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50, 741–749.
Messick, S. (1998). Test validity: a matter of consequences. Social Indicators Research, 45(4), 35–44.
Meyerhöfer, W. (2004a). Zum Problem des Ratens bei PISA. Journal für Mathematik-Didaktik, 25(1), 62–69.
Meyerhöfer, W. (2004b). Zum Kompetenzstufenmodell von PISA. Journal für Mathematik-Didaktik, 25(3/4), 294–305.
Mislevy, R. J. (1996). Test theory reconceived. Journal of Educational Measurement, 33, 379–416.
Mislevy, R. J. (2006). Cognitive psychology and educational assessment. In R. L. Brennan (Hrsg.), Educational measurement (4. Aufl., S. 257–306). Phoenix: Greenwood.
Molenaar, P. C. M., & Campbell, C. G. (2009). The new person-specific paradigm in psychology. Current Directions in Psychological Science, 18, 112–117.
MPI (Max-Planck Institut für Bildungsforschung) (2001). PISA 2003. Beispielaufgaben aus dem Mathematiktest. Online am 23.9.2013 unter www.mpib-berlin.mpg.de/Pisa/Beispielaufgaben_Mathematik.pdf.
Naccarella, D., Leuders, T., Wirtz, M., & Bruder, R. (2011). Empiriegestützte Itemanalyse für die Kompetenzmodellierung funktionalen Denkens mit Graph, Tabelle und Situation. In: Beiträge zum Mathematikunterricht 2011 (S. 591–594). Münster: WTM-Verlag.
National Council of Teachers of Mathematics (NCTM) (2000). Principles and standards for school mathematics. Reston: NCTM.
Neubrand, M. (2003). „Mathematical literacy“ (Mathematische Grundbildung): Der Weg in die Leistungstests, die mathematikdidaktische Bedeutung, die Rolle als Interpretationshintergrund für den PISA-Test. Zeitschrift für Erziehungswissenschaft, 6, 338–356.
Neubrand, M., Klieme, E., Lüdtke, O., & Neubrand, J. (2002). Kompetenzstufen und Schwierigkeitsmodelle für den PISA-Test zur mathematischen Grundbildung. Unterrichtswissenschaft, 30(2), 116–135.
Neumann, I., Duchhardt, C., Grüßing, M., Heinze, A., Knopp, E., & Ehmke, T. (2013). Modeling and assessing mathematical competence over the lifespan. Journal for Educational Research Online, 5(2), 80–109.
Newell, A., & Simon, H. A. (1972). Human problem solving. Englewood Cliffs: Prentice-Hall.
Nichols, P. D., Chipman, S. F., & Brennan, R. L. (Hrsg.) (1995). Cognitively diagnostic assessment. Hillsdale: Erlbaum.
Niss, M. (2003). Mathematical competencies and the learning of mathematics: the Danish KOM project. In A. Gagatsis & S. Papastavridis (Hrsg.), 3rd Mediterranean conference on mathematical education (S. 115–123). Athen: Hellenic Mathematical Society.
Niss, M. A. & Højgaard, T. (Hrsg.) (2011). Competencies and mathematical learning: ideas and inspiration for the development of mathematics teaching and learning in Denmark. Roskilde: Roskilde Universitet.
Nunes, T., Schliemann, T., & Carraher, D. (1993). Street mathematics and school mathematics. Cambridge: Cambridge University Press.
OECD (1999). Measuring student knowledge and skills—a new framework for assessment. Paris: OECD.
OECD (2005). PISA 2003 technical report. Paris: OECD.
OECD (2009). PISA 2009 assessment framework: key competencies in reading, mathematics and science. Paris: OECD.
Pant, H. A., Tiffin-Richards, S. P., & Köller, O. (2010). Standard-Setting für Kompetenztests im Large-Scale-Assessment. Zeitschrift für Pädagogik (Beiheft), 56, 175–188.
Paulsen, C. A., & Levine, R. (1999). The applicability of the cognitive laboratory method to the development of achievement test items. In Research in the development of tests and test items at the annual meeting of the American educational research association, Montreal.
Peek, R., & Dobbelstein, P. (2006). Zielsetzung: Ergebnisorientierte Schul- und Unterrichtsentwicklung; Potenziale und Grenzen der nordrhein-westfälischen Lernstandserhebungen. In W. Böttcher, H. G. Holtappels, & M. Brohm (Hrsg.), Evaluation im Bildungswesen: Eine Einführung in Grundlagen und Praxisbeispiele (S. 177–194). Weinheim: Juventa.
Pellegrino, J., Chudowsky, N., & Glaser, R. (Hrsg.) (2001). Knowing what students know: the science and design of educational assessment. Washington: National Academy Press.
Prenzel, M., Baumert, J., Blum, W., Lehmann, R., Leutner, D., Neubrand, M., Pekrun, R., Rolff, H.-G., Rost, J., & Schiefele, U. (Hrsg.) (2004). PISA 2003: Ergebnisse des zweiten internationalen Vergleichs. Münster: Waxmann.
Prenzel, M., Walter, O., & Frey, A. (2007). PISA misst Kompetenzen: Eine Replik auf Rindermann (2006). Was messen unternationale Schulleistungsstudien? Psychologische Rundschau, 58(2), 128–136.
Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Chicago: University of Chicago Press.
Reiss, K., & Ufer, S. (2009). Fachdidaktische Forschung im Rahmen der Bildungsforschung: Eine Diskussion wesentlicher Aspekte am Beispiel der Mathematikdidaktik. In R. Tippelt & B. Schmidt (Hrsg.), Handbuch Bildungsforschung (S. 199–213). Wiesbaden: VS-Verlag.
Reiss, K., & Winkelmann, H. (2008). Step by step: Ein Kompetenzstufenmodell für das Fach Mathematik. Grundschule, 40(10), 18–21.
Reiss, K., & Winkelmann, H. (2009). Kompetenzstufenmodelle für das Fach Mathematik im Primarbereich. In D. Granzer, O. Köller, A. Bremerich-Vos, M. van den Heuvel-Panhuizen, K. Reiss, & G. Walther (Hrsg.), Bildungsstandards Deutsch und Mathematik: Leistungsmessung in der Grundschule (S. 120–141). Weinheim: Beltz.
Renkl, A. (2012). Modellierung von Kompetenzen oder von interindividuellen Kompetenzunterschieden: Ein unterschätzter Unterschied? Psychologische Rundschau, 63, 50–53.
Rindermann, H. (2006). Was messen internationale Schulleistungsstudien? Schulleistungen, Schülerfähigkeiten, kognitive Fähigkeiten, Wissen oder allgemeine Intelligenz? Psychologische Rundschau, 57, 69–86.
Robitzsch, A. (2013). Wie robust sind Struktur- und Niveaumodelle? Wie zeitlich stabil und über Situationen hinweg konstant sind Kompetenzen? Zeitschrift für Erziehungswissenschaft, 16, 41–45.
Rost, J. (2004). Lehrbuch Testtheorie – Testkonstruktion (2. Aufl.). Bern: Huber.
Roth, H. (1971). Pädagogische Anthropologie. Hannover: Schroedel.
Rubio, D. M., Berg-Weger, M., Tebb, S. S., Lee, E. S., & Rauch, S. (2003). Objectifying content validity: conducting a content validity study in social work research. Social Work Research, 27, 94–104.
Rupp, A. A., & Mislevy, R. J. (2007). Cognitive foundations of structured item response theory models. In J. Leighton & M. Gierl (Hrsg.), Cognitive diagnostic assessment in education: theory and applications (S. 205–241). Cambridge: Cambridge University Press.
Rupp, A., Templin, J., & Henson, R. (2010). In Diagnostic measurement: theory, methods, and applications. New York: Guilford.
Schaper, N. (2003). Arbeitsproben und situative Fragen zur Messung arbeitsplatzbezogener Kompetenzen. In L.v. Rosenstiel & J. Erpenbeck (Hrsg.), Handbuch der Kompetenzmessung (S. 185–199). Münster: Waxmann.
Schneider, M., Heine, A., Thaler, V., Torbeyns, J., De Smedt, B., Verschaffel, L., Jacobs, A., & Stern, E. (2008). A validation of eye movements as a measure of elementary school children’s developing number sense. Cognitive Development, 23(3), 424–437.
Schulz, A. (2010). Ergebnisorientierung als Chance für den Mathematikunterricht? Innovationsprozesse qualitativ und quantitativ erfassen. München: Utz-Verlag.
Selter, C. (2001). Addition and subtraction of three-digit numbers: German elementary children’s success, methods and strategies. Educational Studies in Mathematics, 47, 145–173.
Shavelson, R. J. (2010). On the measurement of competency. Empirical Research in Vocational Education and Training, 2(1), 41–63.
Sierpinska, A. (1992). Theoretical perspectives for development of the function concept. In G. Harel & E. Dubinsky (Hrsg.), MAA notes: Bd. 25. The concept of function: aspects of epistemology and pedagogy (S. 23–58). Washington: MAA.
Silver, J., & Waits, B. (1973). Multiple-choice examinations in mathematics, not valid for everyone. The American Mathematical Monthly, 80(8), 937–942.
Snow, R. E., & Lohman, D. F. (1989). Implications of cognitive psychology for educational measurement. In R. L. Linn (Hrsg.), Educational measurement (3. Aufl., S. 263–331). New York: American Council on Education/MacMillan Publishing Company.
Spoden, C., & Leutner, D. (2011). Vergleichsarbeiten: Studienbrief im Rahmen des KMK-Projektes UDiKom: Aus- und Fortbildung der Lehrkräfte in Hinblick auf Verbesserung der Diagnosefähigkeit, Umgang mit Heterogenität, individuelle Förderung. Online unter http://www.kmk-udikom.de/ (1.12.2013).
Stacey, K., & Steinle, V. (2006). A case of the inapplicability of the rasch model: mapping conceptual learning. Mathematics Education Research Journal, 18(2), 77–92.
Stanat, P., Pant, H. A., Böhme, K., & Richter, D. (Hrsg.) (2012). Kompetenzen von Schülerinnen und Schülern am Ende der vierten Jahrgangsstufe in den Fächern Deutsch und Mathematik Ergebnisse des IQB-Ländervergleichs 2011. Münster: Waxmann.
Stecker, P. M., Fuchs, L. S., & Fuchs, D. (2005). Using curriculum-based measurement to improve student achievement: Review of the research. Psychology in the Schools, 42(8), 795–819.
Sternberg, R. J. & Ben-Zeev, T. (Hrsg.) (1996). The nature of mathematical thinking. Mahwah: Erlbaum.
Tatsuoka, K. K. (1983). Rule-space: an approach for dealing with misconceptions based on item response theory. Journal of Educational Measurement, 20, 345–354.
Thomson, S., & Hillman, K. (2010). Against the odds: influences on the post-school success of ‘low performers’. Adelaide: NCVER.
Thorndike, E. (1912). The measurement of educational products. The School Review, 20(5), 289–299.
van Lehn, K. (1990). Mind bugs: the origins of procedural misconceptions. Cambridge: MIT Press.
van Lehn, K. (1982). Bugs are not enough: empirical studies of bugs, impasses and repairs in procedural skills. The Journal of Mathematical Behavior, 3, 3–71.
Verschaffel, L., Greer, B., & De Corte, E. (2007). Whole number concepts and operations. In F. Lester (Hrsg.), Second handbook of research on mathematics teaching and learning. (2. Aufl., S. 557–628). Charlotte: Information Age Publishing.
von Davier, M. (2005). A general diagnostic model applied to language testing data. Research report No. RR-05-16. Princeton: Educational Testing Service
Vosniadou, S., & Verschaffel, L. (2004). Extending the conceptual change approach to mathematics learning and teaching. In L. Verschaffel & S. Vosniadou (Hrsg.), Conceptual change in mathematics learning and teaching, special issue of learning and instruction (Bd. 14, S. 445–451).
Wacker, A., & Kramer, J. (2012). Vergleichsarbeiten in Baden-Württemberg. Zur Einschätzung von Lehrkräften vor und nach der Implementation. Zeitschrift für Erziehungswissenschaften, 15(4), 683–706.
Webb, N. L., Day, R., & Romberg, T. A. (1988). Evaluation of the use of “Exploring data” and “Exploring probability”. Madison: Wisconsin Center for Education Research.
Webb, N. M., Shavelson, R. J., & Haertel, E. H. (2007). Reliability and generalizability theory. In C. R. Rao (Hrsg.), Handbook of statistics.
Weinert, F. E. (2001). Concept of competence: a conceptual clarification. In D. Rychen & L. Salganik (Hrsg.), Defining and selecting key competencies (S. 45–66). Seattle: Hogrefe & Huber.
Wendt, H., & Bos, W. (2011). Fachdidaktik und Bildungsforschung – von der Notwendigkeit zur Kooperation im Zeitalter globalisierter Kompetenzen. In K.-O. Bauer & N. Logemann (Hrsg.), Unterrichtsqualität und fachdidaktische Forschung – Modelle und Instrumente zur Messung fachspezifischer Lernbedingungen und Kompetenzen (S. 11–34). Münster: Waxmann.
Wilson, M. (1990). Investigation of structured problem solving items. In G. Kulms (Hrsg.), Assessing higher order thinking in mathematics. Washington: American Association for the Advancement of Science.
Wilson, M. (1992). Measuring levels of mathematical understanding. In T. Romberg (Hrsg.), Mathematics assessment and evaluation: imperatives for mathematics educators. New York: SUNY Press.
Wilson, M. (2005). Constructing measures: an item response modeling approach. Mahwah: Erlbaum.
Wilson, M., & Carstensen, C. H. (2007). Assessment to improve learning: the BEAR assessment system. Assessing Mathematical Proficiency, 53, 311–332.
Wilson, M., & Scalise, S. (2006). Assessment to improve learning in higher education: the BEAR Assessment System. The Juornal of Higher Education, 52(4), 635–663.
Wilson, M., & Sloane, K. (2000). From principles to practice: an embedded assessment system. Applied Measurement in Education, 13(2), 181–208.
Wilson, M., De Boeck, P., & Carstensen, C. H. (2008). Explanatory item response models: a brief introduction. In J. Hartig, E. Klieme, & D. Leutner (Hrsg.), Assessment of competencies in educational contexts (S. 91–120). Göttingen: Hogrefe.
Winkelmann, H., Robitzsch, A., Stanat, P., & Köller, O. (2012). Mathematische Kompetenzen in der Grundschule: Struktur, Validierung und Zusammenspiel mit allgemeinen kognitiven Fähigkeiten. Diagnostica, 58, 15–30.
Winter, H. (1995). Mathematikunterricht und Allgemeinbildung. Mitteilungen der GDM, 61, 37–46.
Wirtz, M., Naccarella, D., Henning, J., Kröhne, U., Bruder, R., & Leuders, T. (2012). Komparative Analyse von Kompetenzstrukturmodellen im Bereich funktionaler Zusammenhänge. In R. Riemann (Hrsg.), 48. Kongress der Deutschen Gesellschaft für Psychologie (S. 34). Bielefeld: DGPS.
Wu, M., & Adams, R. (2006). Modelling mathematics problem solving item responses using a multidimensional IRT model. Mathematics Education Research Journal, 8, 93–113.
Wu, M., & Adams, R. (2007). Applying the Rasch model to psycho-social measurement: a practical approach. Melbourne: Educational Measurement Solutions.
Yerushalmy, M. (2000). Probelm solving strategies and mathematical resources: a longitudinal view on problem solving in a function based approach to algebra. Educational Studies in Mathematics, 43, 125–147.
Zeitler, S., Asbrand, B., & Heller, N. (2013). Steuerung durch Bildungsstandards – Bildungsstandards als Innovation zwischen Implementation und Rezeption. In I. Bormann & M. Rürup (Hrsg.), Innovationen im Bildungswesen: Analytisiche Zugänge und empirische Befunde (S. 127–147). Wiesbaden: Springer.
Danksagung
Diese Veröffentlichung wurde ermöglicht durch Sachbeihilfen der Deutschen Forschungsgemeinschaft (Kennzeichen: LE 2335/1, BR 2552/2, WI 3210/2) im Schwerpunktprogramm „Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen“ (SPP 1293). Mein ausdrücklicher Dank gehört meinen Kolleginnen und Kollegen im Schwerpunktprogramm, allen voran Markus Wirtz und Regina Bruder, die mir durch intensiven Austausch die Möglichkeit gegeben haben, in den Bereich der Kompetenzmodellierung tiefer einzudringen.
Author information
Authors and Affiliations
Corresponding author
Rights and permissions
About this article
Cite this article
Leuders, T. Modellierungen mathematischer Kompetenzen – Kriterien für eine Validitätsprüfung aus fachdidaktischer Sicht. J Math Didakt 35, 7–48 (2014). https://doi.org/10.1007/s13138-013-0060-3
Received:
Accepted:
Published:
Issue Date:
DOI: https://doi.org/10.1007/s13138-013-0060-3