Zusammenfassung
Diese Studie untersucht die Qualität studentischer Selbstangaben zum zeitlichen Aufwand anhand von Learning Analytics und kognitiven Interviews im Rahmen eines berufsbegleitenden online-basierten Fernstudiengangs. Die Selbsteinschätzung des Zeitaufwands wurde mittels einer wöchentlichen webbasierten Umfrage über ein ganzes Semester hinweg erhoben. Die Online-Lernumgebung des Studienprogramms erlaubte eine nichtreaktive Messung des Workloads mittels Videoansicht-Logs in Echtzeit und deren Verknüpfung mit den Umfragedaten. Die Ergebnisse zeigen, dass sich die Schätzungen auf Grundlage von Logs und Umfragedaten deutlich unterscheiden. Im Durchschnitt liegen die Selbstangaben deutlich über den Log-basierten Werten. Die Korrelation zwischen beiden Messungen ist sehr schwach und bivariate Regressionsmodelle deuten darauf hin, dass die umfragebasierten Selbstangaben ein statistisch signifikanter, jedoch schwacher Prädiktor des anhand Learning Analytics geschätzten Workloads sind. Die kognitiven Interviews zeigen ergänzend dazu, dass Erinnerungs- und Urteilsfehler zentrale Ursachen für Verzerrungen in den studentischen Angaben darstellen.
This is a preview of subscription content, log in via an institution to check access.
Access this chapter
Tax calculation will be finalised at checkout
Purchases are for personal use only
Similar content being viewed by others
Notes
- 1.
- 2.
Die Technik des lauten Denkens wurde ursprünglich von Psychologen entwickelt, um Gedankenprozesse bei Problemlösungsaufgaben zu erfassen (Ericsson und Simon 1984). In kognitiven Interviews (siehe Willis 2005) wird der Begriff think-aloud verwendet, um eine ganz bestimmte Methode zu beschreiben, bei der die Probanden ausdrücklich angewiesen werden, bei der Beantwortung der Umfragefragen laut zu denken. Die Interviewerin ist bei dieser Technik primär passiv. Laut Willis (1999) hat diese Methode sowohl Stärken als auch Schwächen. Zu den Hauptvorteilen dieser Methode gehören: 1. relative Freiheit von Interventionen des Interviewers und 2. die Befragten können durch das offene Format unvorhersehbare Informationen liefern. Der Hauptmangel besteht darin, dass die befragte Person üben muss, laut zu denken, da diese Methode keine übliche Tätigkeit ist. Ein weiteres Problem ist, dass die Person dazu gebracht werden könnte, mehr zu denken als im eigentlichen Prozess der Beantwortung einer Frage.
Literatur
Bates, D., Maechler, M., Bolker, B., und S. Walker. 2015. „Fitting Linear Mixed-Effects Models Using lme4.“ Journal of Statistical Software, 67(1): 1–48.
Berger, R., und B. Baumeister. 2016. “Messung von Studentischem Workload: Methodische Probleme Und Innovationen.” In Evaluation von Studium Und Lehre, Hrsg. D. Großmann und T. Wolbring, 185–223. Wiesbaden: Springer VS.
Boase, J., und R. Ling. 2013. “Measuring Mobile Phone Use: Self-Report versus Log Data.” Journal of Computer- Mediated Communication 18: 508–519.
Croissant, Y., und G. Millo. 2008. Panel data econometrics in R: The plm package. Journal of Statistical Software 27 (2): 1–43.
Drachsler, H., und W. Greller. 2016. Privacy and analytics — it’s a DELICATE issue: A checklist to establish trusted learning analytics. Proceedings of the 6th International Conference on Learning Analytics and Knowledge: 89–96.
Ericsson, K. A., und H. A. Simon. 1984. Protocol Analysis: Verbal Reports as Data. Cambridge: MIT Press.
Ferguson, R. 2012. “Learning Analytics: Drivers, Developments and Challenges.” International Journal of Technology Enhanced Learning 4 (5/6): 304–317.
Gilbert, E., A. Conolly, S. Tietz, L. Calderwood, und N. Rose. 2017. “Measuring Young People’s Physical Activity Using Accelerometers in the UK Millennium Cohort Study.” Centre for Longitudinal Studies Working Paper.
Golder, S. A., und M. W. Macy. 2014. “Digital Footprints: Opportunities and Challenges for Online Social Research.” Annual Review of Sociology 40 (1): 129–159.
Groves, R.M. 2011. “Three Eras of Survey Research.” Public Opinion Quarterly 75 (5): 75(5), 861–871.
Groves, R.M., Floyd J. Fowler, M. Couper, J.M. Lepkowski, E. Singer, und R. Tourangeau. 2009. Survey Methodology. 2nd ed. Hoboken: Wiley.
Greller, W. und U. Hoppe, Hrsg. 2017. Learning Analytics: Implications for Higher Education. Zeitschrift Für Hochschulentwicklung 12 (1).
Japec, L., F. Kreuter, M. Berg, P. Biemer, P. Decker, C. Lampe, J. Lane, C. O‘Neil, und A. Usher. 2015. “Big Data in Survey Research. AAPOR Task Force Report.” Public Opinion Quarterly 79 (4): 839–880.
Järvelä, S., und K. A. Renninger. 2014. Designing for learning: Interest, motivation, and engagement. In The Cambridge Handbook of the learning sciences, Hrsg. R. K. Sawyer, 668–685. New York: Cambridge University Press.
Junco, R. 2013. “Comparing Actual and Self-Reported Measures of Facebook Use.” Computers in Human Behavior 29: 626–631.
Keller, J.M. 2009. Motivational design for learning and performance: The ARCS model approach. New York: Springer.
Kizilcec, R. F., Piech, C., und E. Schneider. 2013. Deconstructing Disengagement: Analyzing Learner Subpopulations in Massive Open Online Courses. Proceedings of the Third International Conference on Learning Analytics and Knowledge, LAK 2013: 170–179.
Kreuter, F., Keusch, F., Samoilova, E., und K. Frößinger. 2018. „International Program in Survey and Data Science.” In Big Data. Chancen, Risiken, Entwicklungstendenzen, Hrsg. C. König, J. Schröder, und E. Wiegand. Wiesbaden: Springer 27–41.
Krosnick, J. A. 1991. “Response Strategies for Coping with the Cognitive Demands of Attitude Measures in Surveys.” Applied Cognitive Psychology 5: 213–236.
Long, P., und G. Siemens. 2011. “Penetrating the Fog: Analytics in Learning and Education.” EDUCAUSE Review 46 (5): 31–40.
Massey, Douglas S., und R. Tourangeau. 2012. “Introduction: New Challenges to Social Measurement.” The ANNALS of the American Academy of Political and Social Science 645 (1): 6–22.
Niemi, D., Rea, R., Saxberg, B., und R. Clark, Hrsg. 2018. Learning Analytics in Education. Charlotte, NC: Information Age Publishing.
Ohly, S., Sonnentag, S., Niessen, C., und D. Zapf. 2010. „Diary studies in organizational research.” Journal of Personnel Psychology. 9(2):79–93
R Core Team. 2018. R: A language and environment for statistical computing. R Foundation for Statistical Computing,
Vienna, Austria. URL https://www.R-project.org/.
Samoilova, E., Keusch, F., und F. Kreuter. 2018. Integrating survey and learning analytics data for a better understanding of engagement in MOOCs. In Data Analytics and Psychometrics: Informing Assessment Practices, Hrsg. H. Jiao, R.W. Lissitz, und A. Van Wie. Charlotte, NC: Information Age Publishing, 247–261.
Samoilova, E., Keusch, F., und T. Wolbring. 2017. “Learning Analytics and Survey Data Integration in Workload Research.” Zeitschrift für Hochschulentwicklung 12 (1): 65–78.
Stier, S., Breuer, J., Siegers, P., und K. Thorson, Hrsg. 2019, “Integrating Survey Data and Digital Trace Data.” Special issue, Social Science Computer Review.
Tourangeau, R. 1984. Cognitive science and survey methods. In Cognitive aspects of survey methodology: Building a bridge between disciplines, Hrsg. T. Jabine, M. Straf, J. Tanur, und R. Tourangeau, Washington, DC: National Academy Press, 73 – 100.
Tourangeau, R., L. J. Rips, und K. Rasinski. 2000. The Psychology of Survey Response. Cambridge: Cambridge University Press.
Tourangeau, R., und T. Yan. 2007. “Sensitive Questions in Surveys.” Psychological Bulletin 133: 859–883.
Wang, R., G.M. Harari, P. Hao, X. Zhou, und A. Campbell. 2015. “Smart GPA: How Smartphones Can Assess and Predict Academic Performance of College Students.” In Proceedings of the 2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing, Hrsg. K. Mase, M. Langheinrich, D. Gatica-Perez, H. Gellersen, T. Choudhury, and K. Yatani, 295–306. New York: Association for Computing Machinery.
Webb, E., Campbell, D., Schwartz, R., und L. Sechrest. 2000. Unobtrusive measures, revised edition. Thousand Oaks, CA: Sage.
Willis, G. B. 1999. Cognitive interviewing: A “How To” guide. Research Triangle Institute. Meeting of the American Statistical Association. Research Triangle Park, NC: Research Triangle Institute.
Willis, G. B. 2005. Cognitive Interviewing. A Tool for Improving Questionnaire Design. Thousand Oaks, CA: Sage.
Willis, G. B. 2015. Analysis of the Cognitive Interview in Questionnaire Design. Oxford: Oxford University Press.
Author information
Authors and Affiliations
Corresponding author
Editor information
Editors and Affiliations
Anhang
Anhang
Boxplots des Workloads in Minuten über Wochen in den drei Kursen
Rights and permissions
Copyright information
© 2020 Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature
About this chapter
Cite this chapter
Samoilova, E., Wolbring, T., Keusch, F. (2020). Datenqualität umfragebasierter Workload-Messungen: Eine Mixed-Methods-Studie auf Grundlage von Learning Analytics und kognitiven Interviews . In: Großmann, D., Engel, C., Junkermann, J., Wolbring, T. (eds) Studentischer Workload. Springer VS, Wiesbaden. https://doi.org/10.1007/978-3-658-28931-7_8
Download citation
DOI: https://doi.org/10.1007/978-3-658-28931-7_8
Published:
Publisher Name: Springer VS, Wiesbaden
Print ISBN: 978-3-658-28930-0
Online ISBN: 978-3-658-28931-7
eBook Packages: Social Science and Law (German Language)