Skip to main content
SpringerLink
Log in

Kollaboratives Problemlösen in PISA 2015: Deutschland im Fokus

Collaborative problem solving in PISA 2015: focusing on Germany

  • Allgemeiner Teil
  • Published:
Zeitschrift für Erziehungswissenschaft Aims and scope Submit manuscript

Zusammenfassung

Dieser Beitrag fokussiert die Ergebnisse in Deutschland zum internationalen Vergleich kollaborativer Problemlösekompetenz bei Fünfzehnjährigen im Programme for International Student Assessment (PISA) 2015 und berichtet Ergebnisse einer Kreuzvalidierung der Skalierung. Eingesetzt wurde ein neuer computerbasierter Test, der die Schülerinnen und Schüler mit simulierten Gruppenmitgliedern Probleme lösen lässt. Daten von n = 124.994 Fünfzehnjährigen aus 51 Staaten zur kollaborativen Problemlösekompetenz wurden erhoben. Die Schülerinnen und Schüler in Deutschland weisen eine überdurchschnittliche Kompetenz auf (525 Punkte), liegen eine viertel Standardabweichung unter dem OECD-Spitzenstaat Japan (552 Punkte) und eine viertel Standardabweichung über dem OECD-Schnitt (500 Punkte). In allen Staaten weisen Mädchen höhere Werte auf als Jungen. Während der Anteil hochkompetenter Jugendlicher in Deutschland vergleichbar hoch mit den Spitzenstaaten ausfällt, erreichen 21 % nur Kompetenzstufe I oder bleiben darunter, doppelt so viele wie in Japan. Der Beitrag präsentiert zudem nationale Ergebnisse, liefert empirische Evidenz zur Qualität des Tests und diskutiert diesen kritisch.

Abstract

Focusing on Germany, this article presents results from the international comparison of fifteen-year-olds in collaborative problem solving and a cross validation of the scaling in the Programme for International Student Assessment (PISA) 2015. A new computer-based test was used requesting students to solve a problem jointly with simulated group members. Data from collaborative problem solving of fifteen-year-olds (n = 124,994) in 51 countries were assessed. The German mean competence level (525 points) is a quarter standard deviation above the OECD average (500 points) and a quarter standard deviation below the OECD’s top performing country Japan (552 points). In all participating countries, girls outperform boys. While the percentage of top-performing students in Germany is comparable to proportions in the best-performing OECD countries, 21% of the students in Germany only reach competence level I or below, twice as many as in Japan. National results are presented as well as empirical evidence on the quality of the test, which is critically discussed.

This is a preview of subscription content, log in via an institution to check access.

Access this article

Log in via an institution

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Instant access to the full article PDF.

Institutional subscriptions

Abb. 1
Abb. 2
Abb. 3
Abb. 4

Notes

  1. Weitere ins Deutsche übersetzte Items finden sich im Internet: http://www.pisa.tum.de/beispielaufgaben/.

  2. Die Populationsabdeckung für Malaysia war nicht ausreichend, sodass die Vergleichbarkeit nicht gewährleistet ist (vgl. OECD 2017b).

  3. Die Standardabweichung der Skala kombiniert die Streuungen innerhalb und zwischen den OECD-Staaten. Daher ist eine Standardabweichung innerhalb der Staaten unter 100 Punkten erwartungsgemäß.

  4. Es handelt sich somit also um etwa 95,4-Prozent-Konfidenzintervalle.

  5. Man beachte, dass die Domäne nicht in allen OECD-Mitgliedsstaaten erhoben wurde. Der besseren Lesbarkeit wegen spricht dieser Beitrag aber zumeist von den OECD-Staaten statt von den untersuchten OECD-Staaten.

Literatur

  • Andelfinger, V. P., & Hänisch, T. (Hrsg.) (2017). Industrie 4.0. Wiesbaden: Springer. https://doi.org/10.1007/978-3-658-15557-5.

    Book  Google Scholar 

  • Autor, D. H., Levy, F., & Murnane, R. J. (2003). The skill content of recent technological change. An empirical exploration. The Quarterly journal of economics, 118(4), 1279–1333.

    Article  Google Scholar 

  • Chi, M. T. H., & Wylie, R. (2014). The ICAP framework. Linking cognitive engagement to active learning outcomes. Educational Psychologist, 49(4), 219–243. https://doi.org/10.1080/00461520.2014.965823.

    Article  Google Scholar 

  • Clark, D. B., D’Angelo, C. M., & Menekse, M. (2009). Initial structuring of online discussions to improve learning and argumentation. Incorporating students’ own explanations as seed comments versus an augmented-preset approach to seeding discussions. Journal of Science Education and Technology, 18(4), 321–333. https://doi.org/10.1007/s10956-009-9159-1.

    Article  Google Scholar 

  • Von Davier, A. A. (2017). Computational psychometrics in support of collaborative educational assessments. Journal of Educational Measurement, 54(1), 3–11. https://doi.org/10.1111/jedm.12129.

    Article  Google Scholar 

  • Von Davier, M. (2005). A general diagnostic model applied to language testing data (ETS research report, Bd. RR-05-16). Princeton: ETS.

    Google Scholar 

  • Von Davier, M. (2007). Mixture distribution diagnostic models (ETS research report, Bd. RR-07-32). Princeton: ETS. https://doi.org/10.1002/j.2333-8504.2007.tb02074.x.

    Book  Google Scholar 

  • Dillenbourg, P., & Hong, F. (2008). The mechanics of CSCL macro scripts. International Journal of Computer-Supported Collaborative Learning, 3(1), 5–23. https://doi.org/10.1007/s11412-007-9033-1.

    Article  Google Scholar 

  • Dörner, D., & Funke, J. (2017). Complex problem solving. What it is and what it is not. Frontiers in Psychology, 8(1153), 1–11. https://doi.org/10.3389/fpsyg.2017.01153.

    Article  Google Scholar 

  • Fischer, F., Kollar, I., Stegmann, K., & Wecker, C. (2013). Toward a script theory of guidance in computer-supported collaborative learning. Educational Psychologist, 48(1), 56–66. https://doi.org/10.1080/00461520.2012.748005.

    Article  Google Scholar 

  • Funke, J., & Greiff, S. (2017). Dynamic problem solving. Multiple-item testing based on minimally complex systems. In D. Leutner, J. Fleischer, J. Grünkorn, & E. Klieme (Hrsg.), Competence assessment in education. Research, models and instruments. Methodology of educational measurement and assessment (S. 427–443). Cham: Springer.

    Chapter  Google Scholar 

  • Goos, M., Manning, A., & Salomons, A. (2009). Job polarization in Europe. The American Economic Review, 99(2), 58–63.

    Article  Google Scholar 

  • Graesser, A. C., Cai, Z., Morgan, B., & Wang, L. (2017a). Assessment with computer agents that engage in conversational dialogues and trialogues with learners. Computers in Human Behavior, 76, 607–616. https://doi.org/10.1016/j.chb.2017.03.041.

    Article  Google Scholar 

  • Graesser, A. C., Dowell, N., & Clewley, D. (2017b). Assessing collaborative problem solving through conversational agents. In A. A. von Davier, M. Zhu, & P. C. Kyllonen (Hrsg.), Innovative assessment of collaboration. Methodology of educational measurement and assessment. (S. 65–80). Cham: Springer.

    Chapter  Google Scholar 

  • Greiff, S., & Fischer, A. (2013). Der Nutzen einer komplexen Problemlösekompetenz. Theoretische Überlegungen und empirische Befunde. Zeitschrift für Pädagogische Psychologie, 27(1-2), 27–39.

    Article  Google Scholar 

  • Griffin, P., McGaw, B., & Care, E. (Hrsg.) (2012). Assessment and teaching of 21st century skills. Dordrecht: Springer.

    Google Scholar 

  • Hao, J., Chen, L., Flor, M., Liu, L., & von Davier, A. A. (2017). CPS-rater. Automated sequential annotation for conversations in collaborative problem-solving activities (ETS research report, Bd. RR-17-58). Princeton: ETS. https://doi.org/10.1002/ets2.12184.

    Book  Google Scholar 

  • He, Q., von Davier, M., Greiff, S., Steinhauer, E. W., & Borysewicz, P. B. (2017). Collaborative problem solving measures in the Programme for International Student Assessment (PISA). In A. A. von Davier, M. Zhu, & P. C. Kyllonen (Hrsg.), Innovative assessment of collaboration. Methodology of educational measurement and assessment (S. 95–111). Cham: Springer.

    Chapter  Google Scholar 

  • Heine, J.-H., Mang, J., Borchert, L., Gomolka, J., Kröhne, U., & Goldhammer, F. (2016). Kompetenzmessung in PISA 2015. In K. Reiss, C. Sälzer, A. Schiepe-Tiska, E. Klieme, & O. Köller (Hrsg.), PISA 2015. Eine Studie zwischen Kontinuität und Innovation (S. 383–430). Münster: Waxmann.

    Google Scholar 

  • Herborn, K., Stadler, M., Mustafić, M., & Greiff, S. (2018). The assessment of collaborative problem solving in PISA 2015: Can computer agents replace humans? Computers in Human Behavior. https://doi.org/10.1016/j.chb.2018.07.035.

    Article  Google Scholar 

  • Hermann, T., Hirschle, S., Kowol, D., Rapp, J., Resch, U., & Rothmann, J. (2017). Auswirkungen von Industrie 4.0 auf das Anforderungsprofil der Arbeitnehmer und die Folgen im Rahmen der Aus- und Weiterbildung. In V. P. Andelfinger & T. Hänisch (Hrsg.), Industrie 4.0 (S. 239–253). Wiesbaden: Springer. https://doi.org/10.1007/978-3-658-15557-5_15.

    Chapter  Google Scholar 

  • Hüffmeier, J., & Hertel, G. (2011). When the whole is more than the sum of its parts. Group motivation gains in the wild. Journal of Experimental Social Psychology, 47(2), 455–459. https://doi.org/10.1016/j.jesp.2010.12.004.

    Article  Google Scholar 

  • King, A. (2007). Scripting collaborative learning processes. A cognitive perspective. In F. Fischer, J. M. Haake, I. Kollar, & H. Mandl (Hrsg.), Scripting computer-supported collaborative learning. Cognitive, computational and educational perspectives. Computer-supported collaborative learning (S. 13–37). Boston: Springer.

    Chapter  Google Scholar 

  • KMK (2012). Medienbildung in der Schule, Beschluss der Kultusministerkonferenz vom 8. März 2012. http://www.kmk.org/fileadmin/Dateien/veroeffentlichungen_beschluesse/2012/2012_03_08_Medienbildung.pdf. Zugegriffen: 13. Juli 2017.

    Google Scholar 

  • KMK (2016). Strategie der Kultusministerkonferenz „Bildung in der digitalen Welt“, Beschluss der Kultusministerkonferenz vom 08.12.2016. https://www.kmk.org/fileadmin/Dateien/pdf/PresseUndAktuelles/2016/Bildung_digitale_Welt_Webversion.pdf. Zugegriffen: 13. Juli 2017.

    Google Scholar 

  • Kozlowski, S. W. J., & Ilgen, D. R. (2006). Enhancing the effectiveness of work groups and teams. Psychological Science in the Public Interest, 7(3), 77–124.

    Article  Google Scholar 

  • Kretzschmar, A., Neubert, J. C., Wüstenberg, S., & Greiff, S. (2016). Construct validity of complex problem solving. A comprehensive view on different facets of intelligence and school grades. Intelligence, 54, 55–69. https://doi.org/10.1016/j.intell.2015.11.004.

    Article  Google Scholar 

  • Kulms, P., & Kopp, S. (2016). The effect of embodiment and competence on trust and cooperation in human-agent interaction. Intelligent Virtual Agents, 75–84. https://doi.org/10.1007/978-3-319-47665-0_7.

    Article  Google Scholar 

  • Kyllonen, P. C., Zhu, M., & von Davier, A. A. (2017). Introduction. Innovative assessment of collaboration. In A. A. von Davier, M. Zhu, & P. C. Kyllonen (Hrsg.), Innovative assessment of collaboration. Methodology of educational measurement and assessment (S. 1–18). Cham: Springer.

    Google Scholar 

  • Leutner, D., Fleischer, J., Wirth, J., Greiff, S., & Funke, J. (2012). Analytische und dynamische Problemlösekompetenz im Lichte internationaler Schulleistungsvergleichsstudien. Psychologische Rundschau, 63(1), 34–42. https://doi.org/10.1026/0033-3042/a000108.

    Article  Google Scholar 

  • Levy, F., & Murnane, R. J. (2013). Dancing with robots. Human skills for computerized work, third way. http://content.thirdway.org/publications/714/Dancing-With-Robots.pdf. Zugegriffen: 13. Juli 2017.

    Google Scholar 

  • Liu, L., Hao, J., von Davier, A. A., Kyllonen, P., & Zapata-Rivera, D. (2016). A tough nut to crack. In Y. Rosen, S. Ferrara, & M. Mosharraf (Hrsg.), Handbook of research on technology tools for real-world skill development (S. 344–359). Hershey: IGI Global. https://doi.org/10.4018/978-1-4666-9441-5.ch013.

    Chapter  Google Scholar 

  • Mayrberger, K., & Bettinger, P. (2014). Entgrenzung akademischen Lernens mit mobilen Endgeräten. Nutzungspraktiken Studierender in ihrer persönlichen Lernumgebung. In R. Kammerl, A. Unger, P. Grell, & T. Hug (Hrsg.), Jahrbuch Medienpädagogik 11 (S. 155–172). Wiesbaden: Springer. https://doi.org/10.1007/978-3-658-06462-4_9.

    Chapter  Google Scholar 

  • Müller, K., & Ehmke, T. (2016). Soziale Herkunft und Kompetenzerwerb. In K. Reiss, C. Sälzer, A. Schiepe-Tiska, E. Klieme, & O. Köller (Hrsg.), PISA 2015. Eine Studie zwischen Kontinuität und Innovation (S. 285–316). Münster: Waxmann.

    Google Scholar 

  • Muraki, E. (1992). A generalized partial credit model. Application of an EM algorithm. Applied Psychological Measurement, 16(2), 159–176. https://doi.org/10.1177/014662169201600206.

    Article  Google Scholar 

  • Nold, D. (2010). Sozioökonomischer Status von Schülerinnen und Schülern 2008. Wirtschaft und Statistik, 2, 138–149.

    Google Scholar 

  • OECD (2013). PISA 2012 assessment and analytical framework. Mathematics, reading, science, problem solving and financial literacy. Paris: OECD Publishing. Programme for International Student Assessment

    Book  Google Scholar 

  • OECD (2014). PISA 2012 results. Creative problem solving (Bd. 5). Paris: OECD Publishing. https://doi.org/10.1787/9789264208070-en.

    Book  Google Scholar 

  • OECD (2015). PISA 2015 released field trial cognitive items. https://www.oecd.org/pisa/test/PISA2015-Released-FT-Cognitive-Items.pdf

    Google Scholar 

  • OECD (2017a). PISA 2015 assessment and analytical framework. Science, reading, mathematic, financial literacy and collaborative problem solving. Paris: OECD Publishing. https://doi.org/10.1787/9789264281820-en.

    Book  Google Scholar 

  • OECD (2017b). PISA 2015 results. Collaborative problem solving (Bd. 5). Paris: OECD Publishing. https://doi.org/10.1787/9789264285521-en.

    Book  Google Scholar 

  • OECD (2017c). PISA 2015 technical teport. Paris: OECD Publishing.

    Google Scholar 

  • O’Neil, H. F., Chuang, S. S., & Baker, E. L. (2010). Computer-based feedback for computer-based collaborative problem solving. In N. M. Seel, P. Pirnay-Dummer, & D. Ifenthaler (Hrsg.), Computer-based diagnostics and systematic analysis of knowledge (1. Aufl., S. 261–279). Heidelberg: Springer. https://doi.org/10.1007/978-1-4419-5662-0_14.

    Chapter  Google Scholar 

  • Reiss, K., Sälzer, C., Schiepe-Tiska, A., Klieme, E., & Köller, O. (Hrsg.) (2016). PISA 2015. Eine Studie zwischen Kontinuität und Innovation. Münster: Waxmann.

    Google Scholar 

  • Rosen, Y. (2017). Assessing students in human-to-agent settings to inform collaborative problem-solving learning. Journal of Educational Measurement, 54(1), 36–53. https://doi.org/10.1111/jedm.12131.

    Article  Google Scholar 

  • Rosen, Y., & Mosharraf, M. (2016). Computer agent technologies in collaborative assessments. In Y. Rosen, S. Ferrara, & M. Mosharraf (Hrsg.), Handbook of research on technology tools for real-world skill development (S. 319–343). Hershey: IGI Global. https://doi.org/10.4018/978-1-4666-9441-5.ch012.

    Chapter  Google Scholar 

  • Rost, J. (2004). Lehrbuch Testtheorie Testkonstruktion (Bd. 2). Huber: Bern.

    Google Scholar 

  • Salas, E., Dickinson, T. L., Converse, S. A., & Tannenbaum, S. I. (1992). Toward an understanding of team performance and training. In R. E. Swezey & E. Salas (Hrsg.), Teams: Their training and performance (S. 3–29). Norwood NJ: Ablex Publ.

    Google Scholar 

  • Salas, E., Cooke, N. J., & Rosen, M. A. (2008). On teams, teamwork, and team performance. Discoveries and developments. Human Factors, 50(3), 540–547. https://doi.org/10.1518/001872008X288457.

    Article  Google Scholar 

  • Salas, E., Reyes, D. L., & Woods, A. L. (2017). The assessment of team performance. Observations and needs. In A. A. von Davier, M. Zhu, & P. C. Kyllonen (Hrsg.), Innovative assessment of collaboration. Methodology of educational measurement and assessment (S. 21–36). Cham: Springer.

    Chapter  Google Scholar 

  • Sälzer, C., & Reiss, K. (2016). PISA 2015 – die aktuelle Studie. In K. Reiss, C. Sälzer, A. Schiepe-Tiska, E. Klieme, & O. Köller (Hrsg.), PISA 2015. Eine Studie zwischen Kontinuität und Innovation (S. 13–44). Münster: Waxmann.

    Google Scholar 

  • Scoular, C., Care, E., & Hesse, F. W. (2017). Designs for operationalizing collaborative problem solving for automated assessment. Journal of Educational Measurement, 54(1), 12–35. https://doi.org/10.1111/jedm.12130.

    Article  Google Scholar 

  • Sharan, S. (1994). Handbook of cooperative learning methods (The Greenwood educators’ reference collection). Westport: Greenwood Press.

    Google Scholar 

  • Stadler, M., Becker, N., Gödker, M., Leutner, D., & Greiff, S. (2015). Complex problem solving and intelligence. A meta-analysis. Intelligence, 53, 92–101. https://doi.org/10.1016/j.intell.2015.09.005.

    Article  Google Scholar 

  • Tucker, R. (2017). Eliud Kipchoge 2:00:25. http://sportsscientists.com/2017/05/eliud-kipchoge-20025/. Zugegriffen: 13. Juli 2017.

    Google Scholar 

  • Vogel, F., Wecker, C., Kollar, I., & Fischer, F. (2017). Socio-cognitive scaffolding with collaboration scripts: A meta-analysis. Educational Psychology Review, 29(3), 477–511. https://doi.org/10.1007/s10648-016-9361-7.

    Article  Google Scholar 

  • Webb, N. M., Franke, M. L., De, T., Chan, A. G., Freund, D., Shein, P., & Melkonian, D. K. (2009). “Explain to your partner”: Teachers’ instructional practices and students’ dialogue in small groups. Cambridge Journal of Education, 39(1), 49–70.

    Article  Google Scholar 

  • Weis, M., Zehner, F., Sälzer, C., Strohmaier, A., Artelt, C., & Pfost, M. (2016). Lesekompetenz in PISA 2015. Ergebnisse, Veränderungen und Perspektiven. In K. Reiss, C. Sälzer, A. Schiepe-Tiska, E. Klieme, & O. Köller (Hrsg.), PISA 2015. Eine Studie zwischen Kontinuität und Innovation (S. 249–283). Münster: Waxmann.

    Google Scholar 

  • World Economic Forum (2015). New vision for education. Unlocking the potential of technology. http://www3.weforum.org/docs/WEFUSA_NewVisionforEducation_Report2015.pdf. Zugegriffen: 13. Juli 2017.

    Google Scholar 

  • Xu, X., & von Davier, M. (2006). Cognitive diagnosis for NAEP proficiency data (ETS research report, Bd. RR-06-08). Princeton: ETS.

    Google Scholar 

  • Zehner, F., Weis, M., Vogel, F., Leutner, D., & Reiss, K. (2017). Kollaboratives Problemlösen in PISA 2015. Befundhöhepunkte rund um Deutschland. München: Technische Universität München. https://doi.org/10.14459/2017md1401788.

    Book  Google Scholar 

  • Zentrum für Internationale Bildungsvergleichsstudien (2017). Beispielaufgabe Kollaboratives Problemlösen. http://www.pisa.tum.de/fileadmin/w00bgi/www/PISA_2015_FT_CPS.pdf. Zugegriffen: 9. Mai 2018.

    Google Scholar 

Download references

Danksagung

Das Autorenteam bedankt sich bei dem österreichischen PISA-Zentrum am Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens (bifie) in Salzburg, Österreich, für die Kooperation bei der Übersetzung der Fachterminologie der OECD-Veröffentlichungen ins Deutsche. Diese Passagen sind daher intendiert ähnlich zu den österreichischen Veröffentlichungen.

Author information

Authors and Affiliations

  1. Zentrum für technologiebasiertes Assessment (TBA), DIPF | Leibniz-Institut für Bildungsforschung und Bildungsinformation, Rostocker Straße 6, 60323, Frankfurt am Main, Deutschland

    Fabian Zehner

  2. TUM School of Education, Zentrum für Internationale Bildungsvergleichsstudien (ZIB), Technische Universität München, München, Deutschland

    Mirjam Weis &  Kristina Reiss

  3. University of Nottingham, Wollaton Road, NG8 1BB, Nottingham, Großbritannien

    Freydis Vogel

  4. Fakultät für Bildungswissenschaften, Lehrstuhl für Lehr-Lernpsychologie, Universität Duisburg-Essen, Universitätsstraße 11, 45117, Essen, Deutschland

    Detlev Leutner

Authors
  1. Fabian Zehner
    View author publications

    You can also search for this author in PubMed Google Scholar

  2. Mirjam Weis
    View author publications

    You can also search for this author in PubMed Google Scholar

  3. Freydis Vogel
    View author publications

    You can also search for this author in PubMed Google Scholar

  4. Detlev Leutner
    View author publications

    You can also search for this author in PubMed Google Scholar

  5. Kristina Reiss
    View author publications

    You can also search for this author in PubMed Google Scholar

Corresponding author

Correspondence to Fabian Zehner.

Anhang

Anhang

Abb. 5
figure 5

Mittelwerte, Streuungen und Perzentile der kollaborativen Problemlösekompetenz

Full size image

Rights and permissions

Reprints and permissions

About this article

Check for updates. Verify currency and authenticity via CrossMark

Cite this article

Zehner, F., Weis, M., Vogel, F. et al. Kollaboratives Problemlösen in PISA 2015: Deutschland im Fokus. Z Erziehungswiss 22, 617–646 (2019). https://doi.org/10.1007/s11618-019-00874-4

Download citation

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s11618-019-00874-4

Schlüsselwörter

Keywords

Search

Navigation