Advertisement

Datenqualität umfragebasierter Workload-Messungen: Eine Mixed-Methods-Studie auf Grundlage von Learning Analytics und kognitiven Interviews

Chapter
  • 539 Downloads

Zusammenfassung

Diese Studie untersucht die Qualität studentischer Selbstangaben zum zeitlichen Aufwand anhand von Learning Analytics und kognitiven Interviews im Rahmen eines berufsbegleitenden online-basierten Fernstudiengangs. Die Selbsteinschätzung des Zeitaufwands wurde mittels einer wöchentlichen webbasierten Umfrage über ein ganzes Semester hinweg erhoben. Die Online-Lernumgebung des Studienprogramms erlaubte eine nichtreaktive Messung des Workloads mittels Videoansicht-Logs in Echtzeit und deren Verknüpfung mit den Umfragedaten. Die Ergebnisse zeigen, dass sich die Schätzungen auf Grundlage von Logs und Umfragedaten deutlich unterscheiden. Im Durchschnitt liegen die Selbstangaben deutlich über den Log-basierten Werten. Die Korrelation zwischen beiden Messungen ist sehr schwach und bivariate Regressionsmodelle deuten darauf hin, dass die umfragebasierten Selbstangaben ein statistisch signifikanter, jedoch schwacher Prädiktor des anhand Learning Analytics geschätzten Workloads sind. Die kognitiven Interviews zeigen ergänzend dazu, dass Erinnerungs- und Urteilsfehler zentrale Ursachen für Verzerrungen in den studentischen Angaben darstellen.

Supplementary material

Literatur

  1. Bates, D., Maechler, M., Bolker, B., und S. Walker. 2015. „Fitting Linear Mixed-Effects Models Using lme4.“ Journal of Statistical Software, 67(1): 1–48.CrossRefGoogle Scholar
  2. Berger, R., und B. Baumeister. 2016. “Messung von Studentischem Workload: Methodische Probleme Und Innovationen.” In Evaluation von Studium Und Lehre, Hrsg. D. Großmann und T. Wolbring, 185–223. Wiesbaden: Springer VS.Google Scholar
  3. Boase, J., und R. Ling. 2013. “Measuring Mobile Phone Use: Self-Report versus Log Data.” Journal of Computer- Mediated Communication 18: 508–519.Google Scholar
  4. Croissant, Y., und G. Millo. 2008. Panel data econometrics in R: The plm package. Journal of Statistical Software 27 (2): 1–43.CrossRefGoogle Scholar
  5. Drachsler, H., und W. Greller. 2016. Privacy and analytics — it’s a DELICATE issue: A checklist to establish trusted learning analytics. Proceedings of the 6th International Conference on Learning Analytics and Knowledge: 89–96.Google Scholar
  6. Ericsson, K. A., und H. A. Simon. 1984. Protocol Analysis: Verbal Reports as Data. Cambridge: MIT Press.Google Scholar
  7. Ferguson, R. 2012. “Learning Analytics: Drivers, Developments and Challenges.” International Journal of Technology Enhanced Learning 4 (5/6): 304–317.CrossRefGoogle Scholar
  8. Gilbert, E., A. Conolly, S. Tietz, L. Calderwood, und N. Rose. 2017. “Measuring Young People’s Physical Activity Using Accelerometers in the UK Millennium Cohort Study.” Centre for Longitudinal Studies Working Paper.Google Scholar
  9. Golder, S. A., und M. W. Macy. 2014. “Digital Footprints: Opportunities and Challenges for Online Social Research.” Annual Review of Sociology 40 (1): 129–159.CrossRefGoogle Scholar
  10. Groves, R.M. 2011. “Three Eras of Survey Research.” Public Opinion Quarterly 75 (5): 75(5), 861–871.Google Scholar
  11. Groves, R.M., Floyd J. Fowler, M. Couper, J.M. Lepkowski, E. Singer, und R. Tourangeau. 2009. Survey Methodology. 2nd ed. Hoboken: Wiley.Google Scholar
  12. Greller, W. und U. Hoppe, Hrsg. 2017. Learning Analytics: Implications for Higher Education. Zeitschrift Für Hochschulentwicklung 12 (1).Google Scholar
  13. Japec, L., F. Kreuter, M. Berg, P. Biemer, P. Decker, C. Lampe, J. Lane, C. O‘Neil, und A. Usher. 2015. “Big Data in Survey Research. AAPOR Task Force Report.” Public Opinion Quarterly 79 (4): 839–880.CrossRefGoogle Scholar
  14. Järvelä, S., und K. A. Renninger. 2014. Designing for learning: Interest, motivation, and engagement. In The Cambridge Handbook of the learning sciences, Hrsg. R. K. Sawyer, 668–685. New York: Cambridge University Press.Google Scholar
  15. Junco, R. 2013. “Comparing Actual and Self-Reported Measures of Facebook Use.” Computers in Human Behavior 29: 626–631.CrossRefGoogle Scholar
  16. Keller, J.M. 2009. Motivational design for learning and performance: The ARCS model approach. New York: Springer.Google Scholar
  17. Kizilcec, R. F., Piech, C., und E. Schneider. 2013. Deconstructing Disengagement: Analyzing Learner Subpopulations in Massive Open Online Courses. Proceedings of the Third International Conference on Learning Analytics and Knowledge, LAK 2013: 170–179.Google Scholar
  18. Kreuter, F., Keusch, F., Samoilova, E., und K. Frößinger. 2018. „International Program in Survey and Data Science.” In Big Data. Chancen, Risiken, Entwicklungstendenzen, Hrsg. C. König, J. Schröder, und E. Wiegand. Wiesbaden: Springer 27–41.Google Scholar
  19. Krosnick, J. A. 1991. “Response Strategies for Coping with the Cognitive Demands of Attitude Measures in Surveys.” Applied Cognitive Psychology 5: 213–236.CrossRefGoogle Scholar
  20. Long, P., und G. Siemens. 2011. “Penetrating the Fog: Analytics in Learning and Education.” EDUCAUSE Review 46 (5): 31–40.Google Scholar
  21. Massey, Douglas S., und R. Tourangeau. 2012. “Introduction: New Challenges to Social Measurement.” The ANNALS of the American Academy of Political and Social Science 645 (1): 6–22.CrossRefGoogle Scholar
  22. Niemi, D., Rea, R., Saxberg, B., und R. Clark, Hrsg. 2018. Learning Analytics in Education. Charlotte, NC: Information Age Publishing.Google Scholar
  23. Ohly, S., Sonnentag, S., Niessen, C., und D. Zapf. 2010. „Diary studies in organizational research.” Journal of Personnel Psychology. 9(2):79–93CrossRefGoogle Scholar
  24. R Core Team. 2018. R: A language and environment for statistical computing. R Foundation for Statistical Computing,Google Scholar
  25. Vienna, Austria. URL https://www.R-project.org/.
  26. Samoilova, E., Keusch, F., und F. Kreuter. 2018. Integrating survey and learning analytics data for a better understanding of engagement in MOOCs. In Data Analytics and Psychometrics: Informing Assessment Practices, Hrsg. H. Jiao, R.W. Lissitz, und A. Van Wie. Charlotte, NC: Information Age Publishing, 247–261.Google Scholar
  27. Samoilova, E., Keusch, F., und T. Wolbring. 2017. “Learning Analytics and Survey Data Integration in Workload Research.” Zeitschrift für Hochschulentwicklung 12 (1): 65–78.CrossRefGoogle Scholar
  28. Stier, S., Breuer, J., Siegers, P., und K. Thorson, Hrsg. 2019, “Integrating Survey Data and Digital Trace Data.” Special issue, Social Science Computer Review.Google Scholar
  29. Tourangeau, R. 1984. Cognitive science and survey methods. In Cognitive aspects of survey methodology: Building a bridge between disciplines, Hrsg. T. Jabine, M. Straf, J. Tanur, und R. Tourangeau, Washington, DC: National Academy Press, 73 – 100.Google Scholar
  30. Tourangeau, R., L. J. Rips, und K. Rasinski. 2000. The Psychology of Survey Response. Cambridge: Cambridge University Press.CrossRefGoogle Scholar
  31. Tourangeau, R., und T. Yan. 2007. “Sensitive Questions in Surveys.” Psychological Bulletin 133: 859–883.CrossRefGoogle Scholar
  32. Wang, R., G.M. Harari, P. Hao, X. Zhou, und A. Campbell. 2015. “Smart GPA: How Smartphones Can Assess and Predict Academic Performance of College Students.” In Proceedings of the 2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing, Hrsg. K. Mase, M. Langheinrich, D. Gatica-Perez, H. Gellersen, T. Choudhury, and K. Yatani, 295–306. New York: Association for Computing Machinery.Google Scholar
  33. Webb, E., Campbell, D., Schwartz, R., und L. Sechrest. 2000. Unobtrusive measures, revised edition. Thousand Oaks, CA: Sage.Google Scholar
  34. Willis, G. B. 1999. Cognitive interviewing: A “How To” guide. Research Triangle Institute. Meeting of the American Statistical Association. Research Triangle Park, NC: Research Triangle Institute.Google Scholar
  35. Willis, G. B. 2005. Cognitive Interviewing. A Tool for Improving Questionnaire Design. Thousand Oaks, CA: Sage.CrossRefGoogle Scholar
  36. Willis, G. B. 2015. Analysis of the Cognitive Interview in Questionnaire Design. Oxford: Oxford University Press.Google Scholar

Copyright information

© Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2020

Authors and Affiliations

  1. 1.Filmuniversität Babelsberg Konrad WolfPotsdamDeutschland
  2. 2.Friedrich-Alexander-Universität Erlangen-NürnbergNürnbergDeutschland
  3. 3.Universität MannheimMannheimDeutschland

Personalised recommendations