Advertisement

Supporting Stakeholders with Learning Analytics to Increase Study Success

A Case Study
  • Miriam Hommel
  • Armin Egetenmeier
  • Ulrike MaierEmail author
Chapter

Abstract

The reduction of dropout rates, i.e., the increase of study success, and the improvement of teaching quality are main topics at universities of applied sciences (UAS). In order to achieve these goals, the Study Support Center (SSC) at Aalen UAS was founded in 2011 to assist first-year students of all faculties and in particular to improve their mathematical skills. Other goals of the SSC are the identification of trends in students’ participation behavior and in learning processes, as well as the expansion of existing or introduction of new supportive measures. In an accompanying research, data from the support measures are collected and combined with sociodemographic data from the university administration. The results of this research build the basis of a Learning Analytics framework.

The chapter describes the benefits of this Learning Analytics framework for different levels of stakeholders. In particular, the contribution presents how the framework enables the SSC to quantify the impact of its support measures. The analysis of exam results, for instance, has shown that participation in supportive measures, such as preparatory course and tutorials, helps students to pass the first math exam. In addition, consideration of the educational biographies has given a deeper insight helpful for decision-makers. Furthermore, the chapter describes a feedback system addressed to different levels of stakeholders (e.g., feedback emails to students and reports for lecturers, faculty, and course facilitators).

Keywords

Stakeholder Study success First-year students Feedback Study entry phase Evaluation 

Notes

Acknowledgments

The project AkaMikon is funded by the German Federal Ministry of Education and Research (BMBF) under grant number 01PL16015 as part of the Teaching Quality Pact (http://www.qualitaetspakt-lehre.de). The responsibility for the content of this publication lies with the author.

References

  1. Arnold, K. E., & Pistilli, M. D. (2012). Course signals at Purdue: Using learning analytics to increase student success. In S. Dawson, C. Haythornthwaite, S. Buckingham Shum, D. Gašević, & R. Ferguson (Eds.), ICPS, Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK 2012): University of British Columbia, Vancouver, Canada, April 29–May 02, 2012 (pp. 267–270). New York, NY: ACM.Google Scholar
  2. Avella, J. T., Kebritchi, M., Nunn, S. G., & Kanai, T. (2016). Learning analytics methods, benefits, and challenges in higher education: A systematic literature review. Online Learning, 20(2), 13.Google Scholar
  3. Baas, M., Buitendijk, S., van Elk, L., Filius, R., van Hees, J., Hobbes, H. J., … van der Woert, N. (2015). Perspectives on Developments in Dutch Higher Education: 2015 Open and Online Education Trend Report.Google Scholar
  4. Bebermeier, S., & Nussbeck, F. W. (2014). Heterogenität der Studienanfänger/innen und Nutzung von Unterstützungsmaßnahmen. Zeitschrift für Hochfrequenztechnik, 9(5), 83–100.Google Scholar
  5. Biehler, R., Hochmuth, R., Fischer, P. R., & Wassong, T. (2011). Transition von Schule zu Hochschule in der Mathematik: Probleme und Lösungsansätze. In R. Haug & L. Holzäpfel (Eds.), Beiträge zum Mathematikunterricht 2011: Vorträge auf der 45. Tagung für Didaktik der Mathematik (pp. 111–114). Münster, Germany: WTM Verlag für wissenschaftliche Texte und Medien.Google Scholar
  6. Brown, M. (2011). Learning analytics: The coming third wave. EDUCAUSE Learning Initiative Brief, 1, 1–4.Google Scholar
  7. Charleer, S., Vande Moere, A., Klerkx, J., Verbert, K., & Laet, T. d. (2017). Learning analytics dashboards to support adviser-student dialogue. IEEE Transactions on Learning Technologies, 11, 389–399.  https://doi.org/10.1109/TLT.2017.2720670 CrossRefGoogle Scholar
  8. Chatti, M. A., Lukarov, V., Thüs, H., Muslim, A., Yousef, A. M. F., Wahid, U., … Schroeder, U. (2014). Learning analytics: Challenges and future research directions. Retrieved from https://eleed.campussource.de/archive/10/4035
  9. Clow, D. (2012). The learning analytics cycle: Closing the loop effectively. In S. Dawson, C. Haythornthwaite, S. Buckingham Shum, D. Gašević, & R. Ferguson (Eds.), ICPS, Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK 2012): University of British Columbia, Vancouver, Canada, April 29–May 02, 2012 (pp. 134–138). New York, NY: ACM.Google Scholar
  10. Corrin, L., & de Barba, P. (2014). Exploring students’ interpretation of feedback delivered through learning analytics dashboards. In B. Hegarty, J. McDonald, & S.-K. Loke (Eds.), Rhetoric and Reality: Critical perspectives on educational technology. Proceedings ascilite Dunedin 2014 (pp. 629–633).Google Scholar
  11. Daberkow, A., Löffler, A., Egetenmeier, A., König-Birk, J., Knaak, W., Pitsch, S., … Saftenberger, S. (2015). Physikgrundlagen medial - ein simultanes Testexperiment von 7 Hochschulen. In Zentrum für Hochschuldidaktik (DiZ) (Ed.), Tagungsband zum 2. HDMINT Symposium 2015: 24./25. September (pp. 192–197). Nuremberg, Germany: Technische Hochschule Nürnberg.Google Scholar
  12. Dell’mour, R., & Landler, F. (2002). Akademische Grade zwischen Traum und Wirklichkeit: Einflussfaktoren auf den Studienerfolg. Schriften des Instituts für Demographie der Österreichischen Akademie der Wissenschaften: Vol. 17. Wien, Austria: Verlag der Österreichischen Akademie der Wissenschaften.Google Scholar
  13. Derr, K., Hübl, R., & Podgayetskaya, T. (2015). Formative Evaluation und Datenanalysen als Basis zur schrittweisen Optimierung eines Online-Vorkurses Mathematik. In N. Nistor & S. Schirlitz (Eds.), Medien in der Wissenschaft: Vol. 68. Digitale Medien und Interdisziplinarität: Herausforderungen, Erfahrungen, Perspektiven (pp. 186–196). Münster, Germany: Waxmann.Google Scholar
  14. Deutsches Zentrum für Luft- und Raumfahrt e. V. (DLR). (2014). Reader zur Fachtagung „Studieneingangsphase“: Qualitätspakt Lehre. Bonn, Germany: Köln. Retrieved from https://www.mintgruen.tu-berlin.de/fileadmin/user_upload/documents/MINTgruen/Veroeffentlichungen/QPLehre2014Fachtagung-Reader.pdf
  15. Deutsches Zentrum für Luft- und Raumfahrt e. V. (DLR). (2015). Reader zur Fachtagung „Lehr- und Lernformen“: Qualitätspakt Lehre. Bonn, Germany. Retrieved from https://slidex.tips/downloadFile/qualittspakt-lehre-reader-zur-fachtagung-lehr-und-lernformen
  16. Drachsler, H., & Greller, W. (2016). Privacy and analytics – It’s a DELICATE issue: A checklist for trusted learning analytics. In D. Gašević, G. Lynch, S. Dawson, H. Drachsler, & C. Penstein Rosé (Eds.), ICPS, Proceedings of the 6th International Conference on Learning Analytics and Knowledge (LAK 2016): The University of Edinburgh, Edinburgh, United Kingdom, April 25–29, 2016 (pp. 89–98). New York, NY: The Association for Computing Machinery.  https://doi.org/10.1145/2883851.2883893
  17. Dürrschnabel, K., & Wurth, R. (2015). Cosh – Cooperation Schule–Hochschule. Mitteilungen der Deutschen Mathematiker-Vereinigung, 23(3), 181.  https://doi.org/10.1515/dmvm-2015-0067 CrossRefGoogle Scholar
  18. Dyckhoff, A. L., Zielke, D., Bültmann, M., Chatti, M. A., & Schröder, U. (2012). Design and implementation of a learning analytics toolkit for teachers. Educational Technology & Society, 15(3), 58–76.Google Scholar
  19. Eckhardt, T. (2017). The education system in the Federal Republic of Germany 2014/2015: A descript ion of the responsibilities, structures and developments in education policy for the exchange of information in Europe. Retrieved from https://www.kmk.org/fileadmin/Dateien/pdf/Eurydice/Bildungswesen-engl-pdfs/dossier_en_ebook.pdf
  20. Egetenmeier, A., Krieg, S., Hommel, M., Maier, U., & Löffler, A. (2018). (R)Evolution in der Datenauswertung: Durch Digitalisierung neue Impulse für die Evaluation schaffen. In S. Harris-Huemmert, P. Pohlenz, & L. Mittauer (Eds.), Digitalisierung der Hochschullehre: Neue Anforderungen an die Evaluation (pp. 15–28). Münster, Germany: Waxmann Verlag GmbH.Google Scholar
  21. Egetenmeier, A., Oder, B., Maier, U., Hommel, M., Nagengast, V., & Löffler, A. (2016). (Keine) Angst vor dem Datenschutz?! Begleitforschung im Hochschulkontext. In U. Lucke, A. Schwill, & R. Zender (Eds.), Vol. volume P-262. GI-Edition - lecture notes in informatics (LNI) Proceedings, 14. E-Learning Fachtagung Informatik der Gesellschaft für Informatik e.V (DeLFI 2016): Potsdam, Deutschland, 11.-14. September, 2016 (pp. 245–256). Bonn, Germany: Gesellschaft für Informatik.Google Scholar
  22. Erdel, B. (2010). Welche Determinanten beeinflussen den Studienerfolg? Eine empirische Analyse zum Studienerfolg der ersten Kohorte der Bachelorstudenten in der Assessmentphase am Fachbereich Wirtschaftswissenschaften der Friedrich-Alexander-Universität Erlangen-Nürnberg (Berichte des Lehrstuhls für Soziologie und Empirische Sozialforschung No. 2010–2). Retrieved from Universität Erlangen-Nürnberg website: http://nbn-resolving.de/urn:nbn:de:0168-ssoar-220222
  23. Erdmann, M., & Mauermeister, S. (2016). Studienerfolgsforschung: Herausforderungen in einem multidisziplinären Forschungsbereich. Handbuch Qualität in Studium und Lehre (58, pp. 1–28).Google Scholar
  24. Fortenbacher, A., Beuster, L., Elkina, M., Kappe, L., Merceron, A., Pursian, A., …Wenzlaff, B. (2013). LeMo: A learning analytics application focussing on user path analysis and interactive visualization. In Proceedings of the 7th International Conference on Intelligent Data Acquisition and Advanced Computing Systems (IDAACS 2013): Berlin, Germany, 12–14 September, 2013 (pp. 748–753). Piscataway, NJ: IEEE.Google Scholar
  25. Govaerts, S., Duval, E., Verbert, K., & Pardo, A. (2012). The student activity meter for awareness and self-reflection. In Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems (CHI EA’12) (pp. 869–884). New York, NY: ACM Press.  https://doi.org/10.1145/2212776.2212860
  26. Greller, W., & Drachsler, H. (2012). Translating learning into numbers: A generic framework for learning analytics. Educational Technology & Society, 15(3), 42–57.Google Scholar
  27. Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81–112.  https://doi.org/10.3102/003465430298487 CrossRefGoogle Scholar
  28. Heiss, C., & Embacher, F. (2016). Effizienz von Mathematik-Vorkursen an der Fachhochschule Technikum Wien: ein datengestützter Reflexionsprozess. In A. Hoppenbrock, R. Biehler, R. Hochmuth, & H.-G. Rück (Eds.), Konzepte und Studien zur Hochschuldidaktik und Lehrerbildung Mathematik. Lehren und Lernen von Mathematik in der Studieneingangsphase: Herausforderungen und Lösungsansätze (1st ed., pp. 277–294). Wiesbaden, Germany: Springer Spektrum.Google Scholar
  29. Heublein, U., Ebert, J., Hutzsch, C., Isleib, S., König, R., Richter, J., & Woisch, A. (2017a). Motive und Ursachen des Studienabbruchs an baden-württembergischen Hochschulen und beruflicher Verbleib der Studienabbrecherinnen und Studienabbrecher: Wichtigste Ergebnisse und Handlungsfelder (No. 6|2017). Hannover, Germany: DZHW Deutsches Zentrum für Hochschul- und Wissenschaftsforschung. Retrieved from https://mwk.baden-wuerttemberg.de/fileadmin/redaktion/m-mwk/intern/dateien/pdf/Studium_und_Lehre/Studie_Motive_und_Ursachen_des_Studienabbruchs_an_baden-württembergischen_Hochschulen_Kurzversion.pdf
  30. Heublein, U., Ebert, J., Hutzsch, C., Isleib, S., König, R., Richter, J., & Woisch, A. (2017b). Zwischen Studienerwartungen und Studienwirklichkeit: Ursachen des Studienabbruchs, beruflicher Verbleib der Studienabbrecherinnen und Studienabbrecher und Entwicklung der Studienabbruchquote an deutschen Hochschulen. Forum Hochschule: Vol. 2017, 1. Hannover, Germany: DZHW Deutsches Zentrum für Hochschul- und Wissenschaftsforschung. Retrieved from https://www.dzhw.eu/pdf/pub_fh/fh-201701.pdf
  31. Heublein, U., Hutzsch, C., Schreiber, J., Sommer, D., & Besuch, G. (2010). Ursachen des Studienabbruchs in Bachelor- und in herkömmlichen Studiengängen: Ergebnisse einer bundesweiten Befragung von Exmatrikulierten des Studienjahres 2007/08. Forum Hochschule No. 2010, 2. Hannover, Germany: DZHW Deutsches Zentrum für Hochschul- und Wissenschaftsforschung. Retrieved from http://www.dzhw.eu/pdf/21/studienabbruch_ursachen.pdf
  32. Heublein, U., Richter, J., Schmelzer, R., & Sommer, D. (2012). Die Entwicklung der Schwund- und Studienabbruchquoten an den deutschen Hochschulen: Statistische Berechnungen auf der Basis des Absolventenjahrgangs 2010. Forum Hochschule: Vol. 2012, 3. Hannover, Germany: DZHW Deutsches Zentrum für Hochschul- und Wissenschaftsforschung. Retrieved from https://www.dzhw.eu/pdf/pub_fh/fh-201203.pdf
  33. Heublein, U., Richter, J., Schmelzer, R., & Sommer, D. (2014). Die Entwicklung der Studienabbruchquoten an den deutschen Hochschulen: Statistische Berechnungen auf der Basis des Absolventenjahrgangs 2012. Forum Hochschule: Vol. 2014, 4. Hannover, Germany: DZHW Deutsches Zentrum für Hochschul- und Wissenschaftsforschung. Retrieved from http://www.dzhw.eu/pdf/pub_fh/fh-201404.pdf
  34. Heublein, U., & Wolter, A. (2011). Studienabbruch in Deutschland. Definition, Häufigkeit, Ursachen, Maßnahmen. ZfPaed (Zeitschrift für Pädagogik), 57(2), 214–236.Google Scholar
  35. Hinkelmann, M., Maucher, J., & Seidl, T. (2016). Softwaregestützte Studienverlaufsanalyse zur frühzeitigen gezielten Studienberatung. die hochschullehre, 2, 1–11.Google Scholar
  36. Hoppenbrock, A., Biehler, R., Hochmuth, R., & Rück, H.-G. (Eds.). (2016). Lehren und Lernen von Mathematik in der Studieneingangsphase: Herausforderungen und Lösungsansätze (1. Aufl. 2016). Konzepte und Studien zur Hochschuldidaktik und Lehrerbildung Mathematik. Wiesbaden, Germany: Springer Spektrum.Google Scholar
  37. Ifenthaler, D. (2015). Learning analytics. In J. M. Spector (Ed.), The SAGE encyclopedia of educational technology (Vol. 2, pp. 447–451). Thousand Oaks, CA: SAGE Publications.  https://doi.org/10.4135/9781483346397.n187 CrossRefGoogle Scholar
  38. Ifenthaler, D., Mah, D.-K., & Yau, J. Y.-K. (2017). Studienerfolg mittels Learning Analytics. Retrieved from https://www.e-teaching.org/etresources/pdf/erfahrungsbericht_2017_ifenthaler-et-al_studienerfolg-mittels-learning-analytics.pdf
  39. Ifenthaler, D., & Widanapathirana, C. (2014). Development and validation of a learning analytics framework: Two case studies using support vector machines. Technology, Knowledge and Learning, 19(1-2), 221–240.  https://doi.org/10.1007/s10758-014-9226-4 CrossRefGoogle Scholar
  40. Kluger, A. N., & DeNisi, A. (1996). The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin, 119(2), 254–284.CrossRefGoogle Scholar
  41. Krieg, S., Egetenmeier, A., Maier, U., & Löffler, A. (2017). Der Weg zum digitalen Bildungs(t)raum – Durch digitale Aufgaben neue Lernumgebungen schaffen. In C. Igel (Ed.), Vol. 72. Medien in der Wissenschaft, Bildungsräume: Proceedings der 25. Jahrestagung der Gesellschaft für Medien in der Wissenschaft: 5. bis 8. September 2017 in Chemnitz (pp. 96–102). Münster, Germany: Waxmann.Google Scholar
  42. Kuh, G. D., Kinzie, J., Buckley, J. A., Bridges, B. K., & Hayek, J. C. (2006). What matters to student success: A review of the literature. Commissioned Report for the National Symposium on Postsecondary Student Success: Spearheading a Dialog on Student Success.Google Scholar
  43. Leitner, P., Khalil, M., & Ebner, M. (2017). Learning analytics in higher education—A literature review. In A. Peña-Ayala (Ed.), Studies in systems, decision and control: V.94. Learning analytics: Fundament, applications, and trends: A view of the current state of the art to enhance e-learning (pp. 1–23). Cham, Switzerland: Springer International Publishing.  https://doi.org/10.1007/978-3-319-52977-6_1 CrossRefGoogle Scholar
  44. Long, P., & Siemens, G. (2011). Penetrating the fog: Analytics in learning and education. Educause Review, 46(5), 31–40. Retrieved from http://er.educause.edu/~/media/Files/Article-Downloads/ERM1151.pdf Google Scholar
  45. Macfadyen, L. P., & Dawson, S. (2012). Numbers are not enough. Why e-learning analytics failed to inform an institutional strategic plan. Educational Technology & Society, 15(3), 149–163.Google Scholar
  46. Maier, U., Hommel, M., & Egetenmeier, A. (2018). Evidenzorientierte Begleitforschung in der Studieneingangsphase und ihr Beitrag zur Qualitätsverbesserung in der Lehre. Handbuch Qualität in Studium und Lehre (64, pp. 65–90).Google Scholar
  47. Nagengast, V., Hommel, M., & Löffler, A. (2013). Studieneingangsphase an der Hochschule Aalen – fachlich förden und Defizite analysieren. In Zentrum für Hochschuldidaktik (DiZ) (Ed.), HDMINT.MINTTENDRIN Lehre erleben. Tagungsband zum 1. HDMINT Symposium 2013: Nürnberg, 7./8.11.2013 (pp. 200–208). Nuremberg, Germany: Technische Hochschule Nürnberg.Google Scholar
  48. Nagengast, V., Hommel, M., Maier, U., Egetenmeier, A., & Löffler, A. (2017). Studieneingangsphase an der Hochschule Aalen – Entwicklungen und Erfahrungen. In Zentrum für Hochschuldidaktik (DiZ) (Ed.), Tagungsband zum 3. Symposium zur Hochschullehre in den MINT-Fächern: 25./26.September 2017 (pp. 129–135). Nuremberg, Germany: Technische Hochschule Nürnberg.Google Scholar
  49. Narciss, S. (2013). Designing and evaluating tutoring feedback strategies for digital learning environments on the basis of the interactive tutoring feedback model. Digital Education Review (23), 7–26. Retrieved from https://www.phil.uni-passau.de/fileadmin/dokumente/lehrstuehle/narciss/Narciss__S.__2013_._Designing_and_Evaluating_Tutoring_Feedback_Strategies.pdf
  50. Papamitsiou, Z., & Economides, A. A. (2014). Learning analytics and educational data mining in practice: A systematic literature review of empirical evidence. Educational Technology & Society, 17(4), 49–64.Google Scholar
  51. Pohlenz, P., Ratzlaff, O., & Seyfried, M. (2012). Studiengang Fact Sheets für eine evidenzbasierte Steuerung von Lehre und Studium. HM (Hochschulmanagement) (3, pp. 83–88).Google Scholar
  52. Reinmann, G. (2015). Heterogenität und forschendes Lernen: Hochschuldidaktische Möglichkeiten und Grenzen. In B. Klages, M. Bonillo, S. Reinders, & A. Bohmeyer (Eds.), Gestaltungsraum Hochschullehre: Potenziale nicht-traditionell Studierender nutzen (pp. 121–137). Berlin, Germany: Budrich UniPress Ltd.Google Scholar
  53. Rindermann, H., & Oubaid, V. (1999). Auswahl von Studienanfängern durch Universitäten - Kriterien, Verfahren und Prognostizierbarkeit des Studienerfolgs. Zeitschrift für Differentielle und Diagnostische Psychologie, 20(3), 172–191.  https://doi.org/10.1024//0170-1789.20.3.172 CrossRefGoogle Scholar
  54. Romero, C., & Ventura, S. (2013). Data mining in education. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 3(1), 12–27.  https://doi.org/10.1002/widm.1075 CrossRefGoogle Scholar
  55. Sclater, N., Peasgood, A., & Mullan, J. (2016). Learning analytics in higher education: A review of UK and international practice. Full report. Bristol.Google Scholar
  56. Siemens, G. (2012). Learning analytics: Envisioning a research discipline and a domain of practice. In S. Dawson, C. Haythornthwaite, S. Buckingham Shum, D. Gašević, & R. Ferguson (Eds.), ICPS, Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK 2012): University of British Columbia, Vancouver, Canada, April 29–May 02, 2012 (pp. 4–8). New York, NY: ACM.Google Scholar
  57. Tempelaar, D., Rienties, B., & Nguyen, Q. (2017). Adding dispositions to create pedagogy-based Learning Analytics. Zeitschrift für Hochschulentwicklung, 12(1), 15–35.CrossRefGoogle Scholar
  58. Vigentini, L., Kondo, E., Samnick, K., Liu, D. Y. T., King, D., & Bridgeman, A. J. (2017). Recipes for institutional adoption of a teacher-driven learning analytics tool: Case studies from three Australian universities. In H. Partridge, K. Davis, & J. Thomas (Eds.), Me, Us, IT! Proceedings ASCILITE2017: 34th International Conference on Innovation, Practice and Research in the Use of Educational Technologies in Tertiary Education (pp. 422–432).Google Scholar
  59. Willis, J. E., Slade, S., & Prinsloo, P. (2016). Ethical oversight of student data in learning analytics: A typology derived from a cross-continental, cross-institutional perspective. Educational Technology Research and Development, 64(5), 881–901.  https://doi.org/10.1007/s11423-016-9463-4 CrossRefGoogle Scholar
  60. Wise, A. F. (2014). Designing pedagogical interventions to support student use of learning analytics. In M. Pistilli, J. Willis, D. Koch, K. Arnold, S. Teasley, & A. Pardo (Eds.), ICPS, Proceedings of the 4th International Conference on Learning Analytics and Knowledge (LAK 2014): Indianapolis, IN, USA, March 24–28, 2014 (pp. 203–211). New York, NY: Association for Computing Machinery.  https://doi.org/10.1145/2567574.2567588
  61. Wong, B. T. M. (2017). Learning analytics in higher education: An analysis of case studies. Asian Association of Open Universities Journal, 12(1), 21–40.  https://doi.org/10.1108/AAOUJ-01-2017-0009 CrossRefGoogle Scholar

Copyright information

© Springer Nature Switzerland AG 2019

Authors and Affiliations

  • Miriam Hommel
    • 1
  • Armin Egetenmeier
    • 1
  • Ulrike Maier
    • 1
    Email author
  1. 1.Study Support CenterAalen University of Applied SciencesAalenGermany

Personalised recommendations