Zusammenfassung
Aktuelle Studien verwenden immer häufiger Kompetenzniveaus (oder -stufen) zur Kommunikation ihrer Ergebnisse. Solche Niveaus beschreiben den Kompetenzstand einer Probandengruppe kriterial anhand inhaltlicher Anforderungscharakteristika und bilden so ein wertvolles Hilfsmittel zur Interpretation von Testresultaten.
Der vorliegende Artikel zeigt aufbauend auf einer querschnittlichen Papier-und-Bleistift-Erhebung des physikalischen Fachwissens von N = 537 Studierenden (Fach und Lehramt) die Konstruktion solcher Kompetenzniveaus ausgehend vom Anforderungsmerkmal der hierarchischen Komplexität und unter Berücksichtigung eines Idealitäts-, Abstands- und Signifikanzkriteriums.
Die erhaltenen Niveaus werden inhaltlich charakterisiert, wobei sowohl die zugrunde gelegte Komplexität als auch repräsentative Test-Items herangezogen werden. Ausgehend von einer weiteren Analyse kann das dritte von vier Niveaus als Zielniveau für die Hochschulausbildung im Fach Physik festgelegt werden. Dieses Niveau erreichen jedoch etwa ein Drittel der Versuchspersonen auch nach angemessenem Studienfortschritt nicht. Diese können durch distale Merkmale wie Studiengangwahl und schulische Vorbildung weiter charakterisiert werden.
Abstract
Recent Studies – including TIMSS and PISA as well as the evaluation of the german educational standards – often use competency levels as a means to communicate their results. Such levels characterize the probands’ ability using content- and task-related criteria. Thus they form a valuable tool to interpret test results.
This paper uses the data from a cross-sectional paper-pencil-survey of the physics content knowledge of N = 537 university students (becoming teachers as well as physicists) to construct such levels. The construction process is based on the hierarchical complexity of tasks as an anchor point and observes criteria of ideality, distance and significance.
The obtained levels can be characterizes using the complexity as well as representative items. Analysis leads to establishing the third of four described levels as a destination point of university education in physics. Yet about one third of the participants do not reach this level after adequate study. These are further described using distale characteristics like choice of course of education or educational background.
This is a preview of subscription content, log in via an institution to check access.
Notes
Für eine Teilstichprobe aus dem schwächsten Drittel der hier genutzten Stichprobe zeigt sich tatsächlich eine sinnvolle Trennbarkeit nach Fach-Stufen (Woitkowski 2015, S. 190 f).
Zum Vergleich: Prenzel et al. (2002, S. 130) erreichen bei einer Reanalyse von PISA-Items unter Einbezug von wesentlich mehr Merkmalen R² = 45 %. In der vorliegenden Arbeit brachte eine Erweiterung des Modells um das Item-Format nicht signifikant mehr Varianzaufklärung. Alle Komplexitäts-Unterschiede bleiben auch in einem erweiterten Modell signifikant.
Eine Möglichkeit, die Fach-Stufe doch zu berücksichtigen, wäre eine Trennung in Teilskalen nach Fach-Stufe (trotz ggf. schlechterer Modellpassung) und Konstruktion eigener Niveaumodelle für jede Teilskala (ausführliche Diskussion bei Woitkowski 2015, S. 245 f).
Bei der Interpretation der Niveaus ist zu beachten, dass Probandinnen und Probanden auf Niveau FW-ii lediglich das typische Item der Komplexität II (blau in Abb. 2) hinreichend wahrscheinlich lösen können. Das bedeutet aber nicht, dass sie jedes Item dieser Gruppe ebenso wahrscheinlich lösen können. Wie die Wright-Map (Abb. 2) zeigt, streuen die Itemschwierigkeiten innerhalb der Gruppen z. T. sehr erheblich. Ein Proband am unteren Rande des Niveaus FW-ii (also mit θ = −0,36) löst das leichteste Item dieser Gruppe (σ = −4,48) mit P = 98 % und das schwierigste (σ = 2,58) mit P = 5 %. Diese Werte sind sicherlich Extrembeispiele (die Itemgruppe mit Komplexität II streut am stärksten), verdeutlichen aber, wie wichtig es bei der Interpretation ist, nur vom typischen Item und nicht von allen Items auszugehen.
Ein schwächeres Abschneiden von Frauen in Fachwissenstest im Fach Physik auf Hochschulebene findet sich überdies in einer Reihe anderer Studien (z. B. Kirschner 2013; Riese 2009). Riese und Reinhold (2012) vermuten als Grund einen Zusammenhang mit dem physikbezogenen Selbstkonzept bzw. der Selbstwirksamkeitserwartung.
Eine differenziertere Diskussion wird wiederum durch eine parallele Betrachtung der Niveaus auf den nach Fach-Stufen getrennten Teilskalen ermöglicht, welche bei Woitkowski (2015, S. 261 ff) dargestellt ist. Für diesen Fall können auch unterschiedliche Zielniveaus für verschiedene Studienrichtungen (Fach und Lehramt) diskutiert werden.
Aufgrund der zumindest möglichen Positivauswahl der Stichprobe (vgl. Abschn. 3.1) und der liberal anzusehenden 50-%-Grenze ist hier eher mit einer Unterschätzung der Zahl Studierender auf problematischen Niveaus zu rechnen.
Literatur
Baumert, J., & Kunter, M. (2006). Stichwort: Professionelle Kompetenz von Lehrkräften. Zeitschrift für Erziehungswissenschaft, 9(4), 469–520.
Beaton, A. E., & Allen, N. L. (1992). Interpreting scales through scale anchoring. Journal of Educational Statistics, 17(2), 191–204.
Bernholt, S. (2010). Kompetenzmodellierung in der Chemie – Theoretische und empirische Reflexion am Beispiel des Modells hierarchischer Komplexität. Berlin: Logos.
Blömeke, S., Lehmann, R., Seeber, S., Schwarz, B., Kaiser, G., & Felbrich, A. (2008). Niveau- und institutionenbezogene Modellierungen des fachbezogenen Wissens. In S. Blömeke, G. Kaiser & R. Lehmann (Hrsg.), Professionelle Kompetenz angehender Lehrerinnen und Lehrer. Wissen, Überzeugungen und Lerngelegenheiten deutscher Mathematikstudierender und -referendare. Erste Ergebnisse zur Wirksamkeit der Lehrerausbildung (S. 105–134). Münster: Waxmann.
Boone, W. J., Staver, J. R., & Yale, M. S. (2014). Rasch analysis in the human sciences. Dordrecht: Springer.
Case, R. (1985). Intellectual development: birth to adulthood. New York: Academic Press.
Chi, M. T. H., Slotta, J. D., & de Leeuw, N. (1994). From things to processes: a theory of conceptual change for learning science concepts. Learning and Instruction, 4(1), 27–43.
Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2. Aufl.). Hillsdale: Lawrence Erlbaum.
Commons, M. L., Trudeau, E. J., Stein, S. A., Richards, F. A., & Krause, S. R. (1998). Hierarchical complexity of tasks shows the existence of developmental stages. Developmental Review, 18, 237–278.
Fischer, K. W., & Bidell, T. R. (2006). Dynamic development of action, thought, and emotion. In W. Damon & R. M. Lerner (Hrsg.), Theoretical models of human development. Handbook of child psychology (6. Aufl. S. 313–399). New York: Wiley.
Frey, A., Carstensen, C. H., Walter, O., Rönnebeck, S., & Gomolka, J. (2008). Methodische Grundlagen des Ländervergleichs. In M. Prenzel, C. Artelt, J. Baumert, W. Blum, M. Hammann & E. Klieme et al. (Hrsg.), PISA 2006 in Deutschland. Die Kompetenzen der Jugendlichen im dritten Ländervergleich (S. 375–397). Münster: Waxmann.
Großmann, S., Hertel, I., Berg, G., Eisele, F., Erb, R., Fischler, H. et al. (2014). Zur fachlichen und fachdidaktischen Ausbildung für das Lehramt Physik: Eine Studie der Deutschen Physikalischen Gesellschaft e. V. Bad Honnef: DPG.
Hartig, J. (2007). Skalierung und Definition von Kompetenzniveaus. In B. Beck & E. Klieme (Hrsg.), Sprachliche Kompetenzen. Konzepte und Messung (S. 83–99). Weinheim: Beltz.
Helmke, A., & Hosenfeld, I. (2004). Vergleichsarbeiten – Standards – Kompetenzstufen: Begriffliche Klärung und Perspektiven. In M. Wosnitza, R. S. Jäger & A. Frey (Hrsg.), Lernprozesse, Lernumgebungen und Lerndiagnostik. Wissenschaftliche Beiträge zum Lernen im 21. Jahrhundert (S. 56–75). Landau: Verlag Empirische Pädagogik.
Heublein, U., Ebert, J., Hutzsch, C., Isleib, S., Richter, J., & Schreiber, J. (2015). Studienbereichsspezifische Qualitätssicherung im Bachelorstudium: Befragung der Fakultäts- und Fachbereichsleitungen zum Thema Studienerfolg und Studienabbruch. Hannover: DZHW.
IQB, Institut zur Qualitätsentwicklung im Bildungswesen (2013). Kompetenzstufenmodelle zu den Bildungsstandards im Fach Physik für den Mittleren Schulabschluss: Kompetenzbereiche „Fachwissen“ und „Erkenntnisgewinnung“, Humbold-Universität. http://www.iqb.hu-berlin.de/bista/ksm/KSM_Physik.pdf. Zugegriffen: 29. Okt 2013.
Kauertz, A. (2008). Schwierigkeitserzeugende Merkmale physikalischer Leistungstestaufgaben. Berlin: Logos.
KFP, Konferenz der Fachbereiche Physik (2010). Zur Konzeption von Bachelor- und Master-Studiengängen in der Physik: Handreichung. Berlin: KFP.
Kirschner, S. (2013). Modellierung und Analyse des Professionswissens von Physiklehrkräften. Berlin: Logos.
Kleickmann, T., Großschedl, J., Harms, U., Heinze, A., Herzog, S., Hohenstein, F., et al. (2014). Professionswissen von Lehramtsstudierenden der mathematisch-naturwissenschaftlichen Fächer – Testentwicklung im Rahmen des Projekts KiL. Unterrichtswissenschaft – Zeitschrift für Lernforschung, 42(3), 280–288.
Klieme, E. (2000). Fachleistungen im voruniversitären Mathematik- und Physikunterricht: Theoretische Grundlagen, Kompetenzstufen und Unterrichtsschwerpunkte. In J. Baumert, W. Bos & R. Lehmann (Hrsg.), TIMSS/III : Dritte Internationale Mathematik- und Naturwissenschaftsstudie – Mathematische und naturwissenschaftliche Bildung am Ende der Schullaufbahn (Bd. 2, S. 57–128). Opladen: Leske + Budrich.
Klieme, E., Baumert, J., Köller, O., & Bos, W. (2000). Mathematische und naturwissenschaftliche Grundbildung: Konzeptuelle Grundlagen und die Erfassung und Skalierung von Kompetenzen. In J. Baumert, W. Bos & R. Lehmann (Hrsg.), TIMSS/III : Dritte Internationale Mathematik- und Naturwissenschaftsstudie – Mathematische und naturwissenschaftliche Bildung am Ende der Schullaufbahn (Bd. 1, S. 85–133). Opladen: Leske + Budrich.
Klieme, E., Avenarius, H., Blum, W., Döbrich, P., Gruber, H., Prenzel, M. et al. (2003). Zur Entwicklung nationaler Bildungsstandards: Eine Expertise. Stand Juni 2003. Bonn: BMBF.
KMK, Ständige Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (2004). Einheitliche Prüfungsanforderungen in der Abiturprüfung Physik. Bonn: KMK.
KMK, Ständige Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (2008). Ländergemeinsame inhaltliche Anforderungen für die Fachwissenschaften und Fachdidaktiken in der Lehrerbildung. Bonn: KMK.
Kubinger, K. D. (Hrsg.). (1989). Moderne Testtheorie – Ein Abriß samt neuesten Beiträgen (2. Aufl.). Weinheim: Beltz.
Kulgemeyer, C., Borowski, A., Fischer, H. E., Gramzow, Y., Reinhold, P., Riese, J. et al. (2012). ProfiLe-P – Professionswissen in der Lehramtsausbildung Physik: Vorstellung eines Forschugnsverbundes. PhyDid B – Didaktik der Physik – Beiträge zur DPG-Frühjahrstagung, Mainz.
Mandl, H., & Huber, G. L. (1978). Kognitive Komplexität: Einleitung, Übersicht, Diskussionslinien. In H. Mandl & G. L. Huber (Hrsg.), Kognitive Komplexität. Bedeutung, Weiterentwicklung, Anwendung (S. 9–34). Göttingen: Hogrefe.
Metzger, S., Gut, C., Hild, P., & Tardent, J. (2014). Modelling and assessing experimental competence: an interdisciplinary progress model for hands-on assessments. In C. P. Constantinou, N. Papadouris & A. Hadjigeorgiou (Hrsg.), E-book proceedings of the ESERA 2013 conference: science education research for evidence-based teaching and coherence in learning (S. 120). Nicosia: European Science Education Research Association.
Mitzel, H. C., Lewis, D. M., Patz, R. J., & Green, D. R. (2001). The bookmark procedure: psychological perspectives. In G. J. Cizek (Hrsg.), Setting performance standards. Concepts, methods and perspectives (S. 249–281). Mahwah: Lawrence Erlbaum.
Neumann, K., Kauertz, A., Lau, A., Notarp, H., & Fischer, H. E. (2007). Die Modellierung physikalischer Kompetenz und ihrer Entwicklung. Zeitschrift für Didaktik der Naturwissenschaften, 13, 101–121.
Nicolis, G., & Prigogine, I. (1987). Die Erforschung des Komplexen: Auf einem Weg zu einem neuen Verständnis der Naturwissenschaften. München: Piper.
Nienhaus, G. U. (2007). Die Physik auf Bologna-Kurs. Physik Journal, 6(10), 27–30.
Ohle, A., Fischer, H. E., & Kauertz, A. (2011). Der Einfluss des physikalischen Fachwissens von Primarstufenlehrkräften auf Unterrichtsgestaltung und Schülerleistung. Zeitschrift für Didaktik der Naturwissenschaften, 17, 357–389.
Podschuweit, S., Bernholt, S., & Brückmann, M. (2016). Classroom learning and achievement: How the complexity of classroom interaction impacts students’ learning. Research in Science & Technological Education, 34(2), 142–163.
Prenzel, M., Häußler, P., Rost, J., & Senkbeil, M. (2002). Der PISA-Naturwissenschaftstest: Lassen sich die Aufgabenschwierigkeiten vorhersagen? Unterrichtswissenschaft – Zeitschrift für Lernforschung, 30(1), 120–135.
Prenzel, M., Carstensen, C. H., Frey, A., Drechsel, B., & Rönnebeck, S. (2007). PISA 2006 – Eine Einführung in die Studie. In M. Prenzel, C. Artelt, J. Baumert, W. Blum, M. Hammann & E. Klieme et al. (Hrsg.), PISA 2006. Die Ergebnisse der dritten internationalen Vergleichsstudie (S. 31–59). Münster: Waxmann.
Riese, J. (2009). Professionelles Wissen und professionelle Handlungskompetenz von (angehenden) Physiklehrkräften. Berlin: Logos.
Riese, J., & Reinhold, P. (2012). Die professionelle Kompetenz angehender Physiklehrkräfte in verschiedenen Ausbildungsformen. Zeitschrift für Erziehungswissenschaft, 15(1), 111–143.
Riese, J., Kulgemeyer, C., Zander, S., Borowski, A., Fischer, G. H., & Gramzow, Y. (2015). Modellierung und Messung des Professionswissens in der Lehramtsausbildung Physik. In S. Blömeke & O. Zlatkin-Troitschanskaia (Hrsg.), Kompetenzen von Studierenden Zeitschrift für Pädagogik. Beiheft 61. (S. 55–79). Weinheim: Beltz.
Rost, J. (2004). Lehrbuch Testtheorie – Testkonstruktion (2. Aufl.). Bern: Huber.
Schaper, N. (2009). Aufgabenfelder und Perspektiven bei der Kompetenzmodellierung und -messung in der Lehrerbildung. Themenheft der Zeitschrift Lehrerbildung auf dem Prüfstand, 2(1), 166–199.
Schecker, H., & Parchmann, I. (2006). Modellierung naturwissenschaftlicher Kompetenz. Zeitschrift Für Didaktik der Naturwissenschaften, 12, 45–66.
Schnotz, W. (1994). Aufbau von Wissensstrukturen: Untersuchungen zur Kohärenzbildung beim Wissenserwerb mit Texten. Weinheim: Beltz.
Steiner, G. (2006). Lernen und Wissenserwerb. In A. Krapp & B. Weidenmann (Hrsg.), Pädagogische Psychologie (5. Aufl. S. 137–202). Weinheim: Beltz.
Tepner, O., Borowski, A., Dollny, S., Fischer, H. E., Jüttner, M., Kirschner, S., et al. (2012). Modell zur Entwicklung von Testitems zur Erfassung des Professionswissens von Lehrkräften in den Naturwissenschaften. Zeitschrift für Didaktik der Naturwissenschaften, 18, 7–28.
Turner, R. (2003). Proficiency scales construction. In R. J. Adams & M. L. Wu (Hrsg.), Programme for International Student Assessment (PISA) PISA 2000 Technical Report. (S. 191–212). Paris: OECD Publishing.
Vogelsang, C., & Reinhold, P. (2013). Zur Handlungsvalidität von Tests zum professionellen Wissen von Lehrkräften. Zeitschrift für Didaktik der Naturwissenschaften, 19, 103–128.
Walpuski, M., Kampa, N., Kauertz, A., & Wellnitz, N. (2008). Evaluation der Bildungsstandards in den Naturwissenschaften. Der Mathematische und Naturwissenschaftliche Unterricht – MNU, 61(6), 323–326.
Woitkowski, D. (2015). Fachliches Wissen Physik in der Hochschulausbildung: Konzeptionalisierung, Messung, Niveaubildung. Berlin: Logos.
Woitkowski, D., Riese, J., & Reinhold, P. (2012). Messung des Fachwissens von Physikstudenten. PhyDid B – Didaktik der Physik – Beiträge zur DPG-Frühjahrstagung, Mainz.
Förderung
Die diesem Beitrag zugrunde liegende Studie wurde durch eine Sachbeihilfe der Deutschen Forschungsgemeinschaft (DFG) gefördert. Geschäftszeichen: RI 2119/2–1 (3. August 2011)
Author information
Authors and Affiliations
Corresponding author
Rights and permissions
About this article
Cite this article
Woitkowski, D., Riese, J. Kriterienorientierte Konstruktion eines Kompetenzniveaumodells im physikalischen Fachwissen. ZfDN 23, 39–52 (2017). https://doi.org/10.1007/s40573-016-0054-z
Received:
Accepted:
Published:
Issue Date:
DOI: https://doi.org/10.1007/s40573-016-0054-z
Schlüsselwörter
- Kompetenzniveaus Physik
- Fachliches Wissen
- Schwierigkeitserzeugende Aufgabenmerkmale
- Evaluation von Bildungsgängen