Advertisement

Zeitschrift für Erziehungswissenschaft

, Volume 22, Issue 3, pp 617–646 | Cite as

Kollaboratives Problemlösen in PISA 2015: Deutschland im Fokus

  • Fabian ZehnerEmail author
  • Mirjam Weis
  • Freydis Vogel
  • Detlev Leutner
  • Kristina Reiss
Allgemeiner Teil

Zusammenfassung

Dieser Beitrag fokussiert die Ergebnisse in Deutschland zum internationalen Vergleich kollaborativer Problemlösekompetenz bei Fünfzehnjährigen im Programme for International Student Assessment (PISA) 2015 und berichtet Ergebnisse einer Kreuzvalidierung der Skalierung. Eingesetzt wurde ein neuer computerbasierter Test, der die Schülerinnen und Schüler mit simulierten Gruppenmitgliedern Probleme lösen lässt. Daten von n = 124.994 Fünfzehnjährigen aus 51 Staaten zur kollaborativen Problemlösekompetenz wurden erhoben. Die Schülerinnen und Schüler in Deutschland weisen eine überdurchschnittliche Kompetenz auf (525 Punkte), liegen eine viertel Standardabweichung unter dem OECD-Spitzenstaat Japan (552 Punkte) und eine viertel Standardabweichung über dem OECD-Schnitt (500 Punkte). In allen Staaten weisen Mädchen höhere Werte auf als Jungen. Während der Anteil hochkompetenter Jugendlicher in Deutschland vergleichbar hoch mit den Spitzenstaaten ausfällt, erreichen 21 % nur Kompetenzstufe I oder bleiben darunter, doppelt so viele wie in Japan. Der Beitrag präsentiert zudem nationale Ergebnisse, liefert empirische Evidenz zur Qualität des Tests und diskutiert diesen kritisch.

Schlüsselwörter

Computerbasierte Erhebung Kollaboration Kollaborative Problemlösekompetenz Problemlösen Szenarienbasiertes Assessment 

Collaborative problem solving in PISA 2015: focusing on Germany

Abstract

Focusing on Germany, this article presents results from the international comparison of fifteen-year-olds in collaborative problem solving and a cross validation of the scaling in the Programme for International Student Assessment (PISA) 2015. A new computer-based test was used requesting students to solve a problem jointly with simulated group members. Data from collaborative problem solving of fifteen-year-olds (n = 124,994) in 51 countries were assessed. The German mean competence level (525 points) is a quarter standard deviation above the OECD average (500 points) and a quarter standard deviation below the OECD’s top performing country Japan (552 points). In all participating countries, girls outperform boys. While the percentage of top-performing students in Germany is comparable to proportions in the best-performing OECD countries, 21% of the students in Germany only reach competence level I or below, twice as many as in Japan. National results are presented as well as empirical evidence on the quality of the test, which is critically discussed.

Keywords

Computer-Based Assessment Collaboration Collaborative Problem Solving Problem Solving Scenario-Based Assessment 

Notes

Danksagung

Das Autorenteam bedankt sich bei dem österreichischen PISA-Zentrum am Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens (bifie) in Salzburg, Österreich, für die Kooperation bei der Übersetzung der Fachterminologie der OECD-Veröffentlichungen ins Deutsche. Diese Passagen sind daher intendiert ähnlich zu den österreichischen Veröffentlichungen.

Supplementary material

Literatur

  1. Andelfinger, V. P., & Hänisch, T. (Hrsg.) (2017). Industrie 4.0. Wiesbaden: Springer.  https://doi.org/10.1007/978-3-658-15557-5.CrossRefGoogle Scholar
  2. Autor, D. H., Levy, F., & Murnane, R. J. (2003). The skill content of recent technological change. An empirical exploration. The Quarterly journal of economics, 118(4), 1279–1333.CrossRefGoogle Scholar
  3. Chi, M. T. H., & Wylie, R. (2014). The ICAP framework. Linking cognitive engagement to active learning outcomes. Educational Psychologist, 49(4), 219–243.  https://doi.org/10.1080/00461520.2014.965823.CrossRefGoogle Scholar
  4. Clark, D. B., D’Angelo, C. M., & Menekse, M. (2009). Initial structuring of online discussions to improve learning and argumentation. Incorporating students’ own explanations as seed comments versus an augmented-preset approach to seeding discussions. Journal of Science Education and Technology, 18(4), 321–333.  https://doi.org/10.1007/s10956-009-9159-1.CrossRefGoogle Scholar
  5. Von Davier, A. A. (2017). Computational psychometrics in support of collaborative educational assessments. Journal of Educational Measurement, 54(1), 3–11.  https://doi.org/10.1111/jedm.12129.CrossRefGoogle Scholar
  6. Von Davier, M. (2005). A general diagnostic model applied to language testing data (ETS research report, Bd. RR-05-16). Princeton: ETS.Google Scholar
  7. Von Davier, M. (2007). Mixture distribution diagnostic models (ETS research report, Bd. RR-07-32). Princeton: ETS.  https://doi.org/10.1002/j.2333-8504.2007.tb02074.x.CrossRefGoogle Scholar
  8. Dillenbourg, P., & Hong, F. (2008). The mechanics of CSCL macro scripts. International Journal of Computer-Supported Collaborative Learning, 3(1), 5–23.  https://doi.org/10.1007/s11412-007-9033-1.CrossRefGoogle Scholar
  9. Dörner, D., & Funke, J. (2017). Complex problem solving. What it is and what it is not. Frontiers in Psychology, 8(1153), 1–11.  https://doi.org/10.3389/fpsyg.2017.01153.CrossRefGoogle Scholar
  10. Fischer, F., Kollar, I., Stegmann, K., & Wecker, C. (2013). Toward a script theory of guidance in computer-supported collaborative learning. Educational Psychologist, 48(1), 56–66.  https://doi.org/10.1080/00461520.2012.748005.CrossRefGoogle Scholar
  11. Funke, J., & Greiff, S. (2017). Dynamic problem solving. Multiple-item testing based on minimally complex systems. In D. Leutner, J. Fleischer, J. Grünkorn, & E. Klieme (Hrsg.), Competence assessment in education. Research, models and instruments. Methodology of educational measurement and assessment (S. 427–443). Cham: Springer.CrossRefGoogle Scholar
  12. Goos, M., Manning, A., & Salomons, A. (2009). Job polarization in Europe. The American Economic Review, 99(2), 58–63.CrossRefGoogle Scholar
  13. Graesser, A. C., Cai, Z., Morgan, B., & Wang, L. (2017a). Assessment with computer agents that engage in conversational dialogues and trialogues with learners. Computers in Human Behavior, 76, 607–616.  https://doi.org/10.1016/j.chb.2017.03.041.CrossRefGoogle Scholar
  14. Graesser, A. C., Dowell, N., & Clewley, D. (2017b). Assessing collaborative problem solving through conversational agents. In A. A. von Davier, M. Zhu, & P. C. Kyllonen (Hrsg.), Innovative assessment of collaboration. Methodology of educational measurement and assessment. (S. 65–80). Cham: Springer.CrossRefGoogle Scholar
  15. Greiff, S., & Fischer, A. (2013). Der Nutzen einer komplexen Problemlösekompetenz. Theoretische Überlegungen und empirische Befunde. Zeitschrift für Pädagogische Psychologie, 27(1-2), 27–39.CrossRefGoogle Scholar
  16. Griffin, P., McGaw, B., & Care, E. (Hrsg.) (2012). Assessment and teaching of 21st century skills. Dordrecht: Springer.Google Scholar
  17. Hao, J., Chen, L., Flor, M., Liu, L., & von Davier, A. A. (2017). CPS-rater. Automated sequential annotation for conversations in collaborative problem-solving activities (ETS research report, Bd. RR-17-58). Princeton: ETS.  https://doi.org/10.1002/ets2.12184.CrossRefGoogle Scholar
  18. He, Q., von Davier, M., Greiff, S., Steinhauer, E. W., & Borysewicz, P. B. (2017). Collaborative problem solving measures in the Programme for International Student Assessment (PISA). In A. A. von Davier, M. Zhu, & P. C. Kyllonen (Hrsg.), Innovative assessment of collaboration. Methodology of educational measurement and assessment (S. 95–111). Cham: Springer.CrossRefGoogle Scholar
  19. Heine, J.-H., Mang, J., Borchert, L., Gomolka, J., Kröhne, U., & Goldhammer, F. (2016). Kompetenzmessung in PISA 2015. In K. Reiss, C. Sälzer, A. Schiepe-Tiska, E. Klieme, & O. Köller (Hrsg.), PISA 2015. Eine Studie zwischen Kontinuität und Innovation (S. 383–430). Münster: Waxmann.Google Scholar
  20. Herborn, K., Stadler, M., Mustafić, M., & Greiff, S. (2018). The assessment of collaborative problem solving in PISA 2015: Can computer agents replace humans? Computers in Human Behavior.  https://doi.org/10.1016/j.chb.2018.07.035.CrossRefGoogle Scholar
  21. Hermann, T., Hirschle, S., Kowol, D., Rapp, J., Resch, U., & Rothmann, J. (2017). Auswirkungen von Industrie 4.0 auf das Anforderungsprofil der Arbeitnehmer und die Folgen im Rahmen der Aus- und Weiterbildung. In V. P. Andelfinger & T. Hänisch (Hrsg.), Industrie 4.0 (S. 239–253). Wiesbaden: Springer.  https://doi.org/10.1007/978-3-658-15557-5_15.CrossRefGoogle Scholar
  22. Hüffmeier, J., & Hertel, G. (2011). When the whole is more than the sum of its parts. Group motivation gains in the wild. Journal of Experimental Social Psychology, 47(2), 455–459.  https://doi.org/10.1016/j.jesp.2010.12.004.CrossRefGoogle Scholar
  23. King, A. (2007). Scripting collaborative learning processes. A cognitive perspective. In F. Fischer, J. M. Haake, I. Kollar, & H. Mandl (Hrsg.), Scripting computer-supported collaborative learning. Cognitive, computational and educational perspectives. Computer-supported collaborative learning (S. 13–37). Boston: Springer.CrossRefGoogle Scholar
  24. KMK (2012). Medienbildung in der Schule, Beschluss der Kultusministerkonferenz vom 8. März 2012. http://www.kmk.org/fileadmin/Dateien/veroeffentlichungen_beschluesse/2012/2012_03_08_Medienbildung.pdf. Zugegriffen: 13. Juli 2017.Google Scholar
  25. KMK (2016). Strategie der Kultusministerkonferenz „Bildung in der digitalen Welt“, Beschluss der Kultusministerkonferenz vom 08.12.2016. https://www.kmk.org/fileadmin/Dateien/pdf/PresseUndAktuelles/2016/Bildung_digitale_Welt_Webversion.pdf. Zugegriffen: 13. Juli 2017.Google Scholar
  26. Kozlowski, S. W. J., & Ilgen, D. R. (2006). Enhancing the effectiveness of work groups and teams. Psychological Science in the Public Interest, 7(3), 77–124.CrossRefGoogle Scholar
  27. Kretzschmar, A., Neubert, J. C., Wüstenberg, S., & Greiff, S. (2016). Construct validity of complex problem solving. A comprehensive view on different facets of intelligence and school grades. Intelligence, 54, 55–69.  https://doi.org/10.1016/j.intell.2015.11.004.CrossRefGoogle Scholar
  28. Kulms, P., & Kopp, S. (2016). The effect of embodiment and competence on trust and cooperation in human-agent interaction. Intelligent Virtual Agents, 75–84.  https://doi.org/10.1007/978-3-319-47665-0_7.CrossRefGoogle Scholar
  29. Kyllonen, P. C., Zhu, M., & von Davier, A. A. (2017). Introduction. Innovative assessment of collaboration. In A. A. von Davier, M. Zhu, & P. C. Kyllonen (Hrsg.), Innovative assessment of collaboration. Methodology of educational measurement and assessment (S. 1–18). Cham: Springer.Google Scholar
  30. Leutner, D., Fleischer, J., Wirth, J., Greiff, S., & Funke, J. (2012). Analytische und dynamische Problemlösekompetenz im Lichte internationaler Schulleistungsvergleichsstudien. Psychologische Rundschau, 63(1), 34–42.  https://doi.org/10.1026/0033-3042/a000108.CrossRefGoogle Scholar
  31. Levy, F., & Murnane, R. J. (2013). Dancing with robots. Human skills for computerized work, third way. http://content.thirdway.org/publications/714/Dancing-With-Robots.pdf. Zugegriffen: 13. Juli 2017.Google Scholar
  32. Liu, L., Hao, J., von Davier, A. A., Kyllonen, P., & Zapata-Rivera, D. (2016). A tough nut to crack. In Y. Rosen, S. Ferrara, & M. Mosharraf (Hrsg.), Handbook of research on technology tools for real-world skill development (S. 344–359). Hershey: IGI Global.  https://doi.org/10.4018/978-1-4666-9441-5.ch013.CrossRefGoogle Scholar
  33. Mayrberger, K., & Bettinger, P. (2014). Entgrenzung akademischen Lernens mit mobilen Endgeräten. Nutzungspraktiken Studierender in ihrer persönlichen Lernumgebung. In R. Kammerl, A. Unger, P. Grell, & T. Hug (Hrsg.), Jahrbuch Medienpädagogik 11 (S. 155–172). Wiesbaden: Springer.  https://doi.org/10.1007/978-3-658-06462-4_9.CrossRefGoogle Scholar
  34. Müller, K., & Ehmke, T. (2016). Soziale Herkunft und Kompetenzerwerb. In K. Reiss, C. Sälzer, A. Schiepe-Tiska, E. Klieme, & O. Köller (Hrsg.), PISA 2015. Eine Studie zwischen Kontinuität und Innovation (S. 285–316). Münster: Waxmann.Google Scholar
  35. Muraki, E. (1992). A generalized partial credit model. Application of an EM algorithm. Applied Psychological Measurement, 16(2), 159–176.  https://doi.org/10.1177/014662169201600206.CrossRefGoogle Scholar
  36. Nold, D. (2010). Sozioökonomischer Status von Schülerinnen und Schülern 2008. Wirtschaft und Statistik, 2, 138–149.Google Scholar
  37. OECD (2013). PISA 2012 assessment and analytical framework. Mathematics, reading, science, problem solving and financial literacy. Paris: OECD Publishing. Programme for International Student AssessmentCrossRefGoogle Scholar
  38. OECD (2014). PISA 2012 results. Creative problem solving (Bd. 5). Paris: OECD Publishing.  https://doi.org/10.1787/9789264208070-en.CrossRefGoogle Scholar
  39. OECD (2015). PISA 2015 released field trial cognitive items. https://www.oecd.org/pisa/test/PISA2015-Released-FT-Cognitive-Items.pdf Google Scholar
  40. OECD (2017a). PISA 2015 assessment and analytical framework. Science, reading, mathematic, financial literacy and collaborative problem solving. Paris: OECD Publishing.  https://doi.org/10.1787/9789264281820-en.CrossRefGoogle Scholar
  41. OECD (2017b). PISA 2015 results. Collaborative problem solving (Bd. 5). Paris: OECD Publishing.  https://doi.org/10.1787/9789264285521-en.CrossRefGoogle Scholar
  42. OECD (2017c). PISA 2015 technical teport. Paris: OECD Publishing.Google Scholar
  43. O’Neil, H. F., Chuang, S. S., & Baker, E. L. (2010). Computer-based feedback for computer-based collaborative problem solving. In N. M. Seel, P. Pirnay-Dummer, & D. Ifenthaler (Hrsg.), Computer-based diagnostics and systematic analysis of knowledge (1. Aufl., S. 261–279). Heidelberg: Springer.  https://doi.org/10.1007/978-1-4419-5662-0_14.CrossRefGoogle Scholar
  44. Reiss, K., Sälzer, C., Schiepe-Tiska, A., Klieme, E., & Köller, O. (Hrsg.) (2016). PISA 2015. Eine Studie zwischen Kontinuität und Innovation. Münster: Waxmann.Google Scholar
  45. Rosen, Y. (2017). Assessing students in human-to-agent settings to inform collaborative problem-solving learning. Journal of Educational Measurement, 54(1), 36–53.  https://doi.org/10.1111/jedm.12131.CrossRefGoogle Scholar
  46. Rosen, Y., & Mosharraf, M. (2016). Computer agent technologies in collaborative assessments. In Y. Rosen, S. Ferrara, & M. Mosharraf (Hrsg.), Handbook of research on technology tools for real-world skill development (S. 319–343). Hershey: IGI Global.  https://doi.org/10.4018/978-1-4666-9441-5.ch012.CrossRefGoogle Scholar
  47. Rost, J. (2004). Lehrbuch Testtheorie Testkonstruktion (Bd. 2). Huber: Bern.Google Scholar
  48. Salas, E., Dickinson, T. L., Converse, S. A., & Tannenbaum, S. I. (1992). Toward an understanding of team performance and training. In R. E. Swezey & E. Salas (Hrsg.), Teams: Their training and performance (S. 3–29). Norwood NJ: Ablex Publ.Google Scholar
  49. Salas, E., Cooke, N. J., & Rosen, M. A. (2008). On teams, teamwork, and team performance. Discoveries and developments. Human Factors, 50(3), 540–547.  https://doi.org/10.1518/001872008X288457.CrossRefGoogle Scholar
  50. Salas, E., Reyes, D. L., & Woods, A. L. (2017). The assessment of team performance. Observations and needs. In A. A. von Davier, M. Zhu, & P. C. Kyllonen (Hrsg.), Innovative assessment of collaboration. Methodology of educational measurement and assessment (S. 21–36). Cham: Springer.CrossRefGoogle Scholar
  51. Sälzer, C., & Reiss, K. (2016). PISA 2015 – die aktuelle Studie. In K. Reiss, C. Sälzer, A. Schiepe-Tiska, E. Klieme, & O. Köller (Hrsg.), PISA 2015. Eine Studie zwischen Kontinuität und Innovation (S. 13–44). Münster: Waxmann.Google Scholar
  52. Scoular, C., Care, E., & Hesse, F. W. (2017). Designs for operationalizing collaborative problem solving for automated assessment. Journal of Educational Measurement, 54(1), 12–35.  https://doi.org/10.1111/jedm.12130.CrossRefGoogle Scholar
  53. Sharan, S. (1994). Handbook of cooperative learning methods (The Greenwood educators’ reference collection). Westport: Greenwood Press.Google Scholar
  54. Stadler, M., Becker, N., Gödker, M., Leutner, D., & Greiff, S. (2015). Complex problem solving and intelligence. A meta-analysis. Intelligence, 53, 92–101.  https://doi.org/10.1016/j.intell.2015.09.005.CrossRefGoogle Scholar
  55. Tucker, R. (2017). Eliud Kipchoge 2:00:25. http://sportsscientists.com/2017/05/eliud-kipchoge-20025/. Zugegriffen: 13. Juli 2017.Google Scholar
  56. Vogel, F., Wecker, C., Kollar, I., & Fischer, F. (2017). Socio-cognitive scaffolding with collaboration scripts: A meta-analysis. Educational Psychology Review, 29(3), 477–511.  https://doi.org/10.1007/s10648-016-9361-7.CrossRefGoogle Scholar
  57. Webb, N. M., Franke, M. L., De, T., Chan, A. G., Freund, D., Shein, P., & Melkonian, D. K. (2009). “Explain to your partner”: Teachers’ instructional practices and students’ dialogue in small groups. Cambridge Journal of Education, 39(1), 49–70.CrossRefGoogle Scholar
  58. Weis, M., Zehner, F., Sälzer, C., Strohmaier, A., Artelt, C., & Pfost, M. (2016). Lesekompetenz in PISA 2015. Ergebnisse, Veränderungen und Perspektiven. In K. Reiss, C. Sälzer, A. Schiepe-Tiska, E. Klieme, & O. Köller (Hrsg.), PISA 2015. Eine Studie zwischen Kontinuität und Innovation (S. 249–283). Münster: Waxmann.Google Scholar
  59. World Economic Forum (2015). New vision for education. Unlocking the potential of technology. http://www3.weforum.org/docs/WEFUSA_NewVisionforEducation_Report2015.pdf. Zugegriffen: 13. Juli 2017.Google Scholar
  60. Xu, X., & von Davier, M. (2006). Cognitive diagnosis for NAEP proficiency data (ETS research report, Bd. RR-06-08). Princeton: ETS.Google Scholar
  61. Zehner, F., Weis, M., Vogel, F., Leutner, D., & Reiss, K. (2017). Kollaboratives Problemlösen in PISA 2015. Befundhöhepunkte rund um Deutschland. München: Technische Universität München.  https://doi.org/10.14459/2017md1401788.CrossRefGoogle Scholar
  62. Zentrum für Internationale Bildungsvergleichsstudien (2017). Beispielaufgabe Kollaboratives Problemlösen. http://www.pisa.tum.de/fileadmin/w00bgi/www/PISA_2015_FT_CPS.pdf. Zugegriffen: 9. Mai 2018.Google Scholar

Copyright information

© The Editors of the Journal 2019

Authors and Affiliations

  1. 1.Zentrum für technologiebasiertes Assessment (TBA)DIPF | Leibniz-Institut für Bildungsforschung und BildungsinformationFrankfurt am MainDeutschland
  2. 2.TUM School of Education, Zentrum für Internationale Bildungsvergleichsstudien (ZIB)Technische Universität MünchenMünchenDeutschland
  3. 3.University of NottinghamNottinghamGroßbritannien
  4. 4.Fakultät für Bildungswissenschaften, Lehrstuhl für Lehr-LernpsychologieUniversität Duisburg-EssenEssenDeutschland

Personalised recommendations