Zusammenfassung
International entwickelte sich unter dem Begriff „Learning Analytics“ in den letzten Jahren ein Forschungsfeld, das sich auf das Sammeln, Auswerten und Anwenden komplexer, häufig multi-modaler und digitaler Verhaltensspuren fokussiert. Diese Verhaltensspuren, die Lernende und Lehrende in digitalen Kontexten hinterlassen, werden mit Hilfe computerbasierter Modelle oder mittels Verfahren des maschinellen Lernens ausgewertet, um Erkenntnisse über Lehr- und Lernprozesse zu gewinnen. Die Lehr-Lernforschung nähert sich derzeit langsam dem Feld der Learning Analytics an. Ein Potenzial von Learning Analytics für die Lehr-Lernforschung wurde demnach bereits erkannt, sodass ein Weiterdenken an dieser Stelle äußerst lohnenswert erscheint. Der vorliegende Beitrag skizziert daher die inzwischen bereits stark fortgeschrittene Forschung zu Learning Analytics und stellt anhand konkreter Beispiele das Potenzial von Learning-Analytics-Ansätzen für die Weiterentwicklung von Lern- und Instruktionstheorien dar. Insbesondere wird hier auf selbstreguliertes und kooperatives Lernen eingegangen sowie auf die Gestaltung von Lernumgebung und Unterstützung von Lehrkräften. Dabei mit- und weitergedacht werden sowohl Risiken und Herausforderungen von Learning Analytics (wie fehlende Kopplung zwischen Theorie und Empirie sowie ethische Aspekte) als auch Chancen (wie Erfassung der Komplexität und Zeitlichkeit von Lehr-Lernprozessen) von Learning Analytics für die Unterrichtswissenschaft und -praxis.
Abstract
For several years, “learning analytics” have been growing as an international research field that focuses on collecting, analyzing and using complex and often multi-model digital trace-data produced by learners and teachers in digital learning settings; employing computational analyses or machine learning tools, these data are used to generate insights into processes of learning and instruction. The scientific community in the area of learning and instruction is currently exploring these developments. However, as researchers have started to recognize the potential of learning analytics, it seems worthwhile to think further about how adopting learning analytics approaches may benefit the field. In this paper, we provide insights into the flourishing area of learning analytics research and provide concrete examples how such approaches can help to expand existing theories on learning and instruction. We focus on self-regulated and collaborative learning on the one hand, and on the other hand on instructional design and teacher support based on learning analytics. We also consider risks and challenges that come with learning analytics (such as missing links between available data and scientific constructs, as well as ethical issues) but also benefits for research on learning and instruction as well as practitioners (such as ways to account for the complexity and temporality of processes during learning and instruction).
Avoid common mistakes on your manuscript.
1 Die Rolle von Lehr-Lern-Prozessdaten in der Unterrichtswissenschaft
Im Zuge der zunehmenden Digitalisierung eröffnen sich neue Wege zur Erfassung und Analyse von Lehr-Lernprozessen, die etablierte Methoden wie das Videographieren und anschließende manuelle Kodieren der Daten anhand von Kodierschemata sinnvoll ergänzen und erweitern können. Beispielsweise fallen bei der Nutzung von Lernplattformen und digitalen Geräten für Lehr-Lernzwecke digitale Verhaltensspuren an, die sich recht ökonomisch sammeln lassen. Dies erlaubt es, Lehr-Lernprozesse in wesentlich größeren Stichproben zu betrachten, als es beim klassischen Vorgehen der Unterrichtsforschung möglich ist, wie etwa im Rahmen ressourcenaufwendiger Videostudien. Forschungsansätze, die auf Prozessdaten aus digitalen Lehr-Lernsettings fokussieren und diese anhand computerbasierter Modelle oder mittels Machine-Learning-Verfahren auswerten, werden unter dem Begriff Learning Analytics zusammengefasst.
Renkl (2023) beschreibt im Jubiläumsheft der Unterrichtswissenschaft das Potenzial von Learning Analytics. Gleichzeitig weist er auf den großen Bedarf an empirisch bewährten Theorien über Lernprozesse und deren Förderung hin, die deren Komplexität gerecht werden und insbesondere das Zusammenspiel von Lehr- und Lernprozessen, von sozialer und individueller Ebene sowie die Kontextabhängigkeit von Lernen berücksichtigen. Auch wenn Learning Analytics nicht automatisch mit Theoriebildung einhergehen, bieten sie zumindest großes Potenzial, belastbare empirische Grundlagen für eine solche Theoriebildung zu Lernprozessen liefern zu können.
In der Lehr-Lernforschung erfolgt die Annäherung an Learning Analytics allerdings bislang noch eher zurückhaltend. Erste Ansätze zeigen sich beispielsweise im Bereich der Kompetenzmodellierung, wo an einer Brückenbildung zwischen Learning Analytics und Psychometrie gearbeitet wird (Drachsler und Goldhammer 2020). Insbesondere für die Erkenntnisgewinnung über Lehr-Lernprozesse und deren Förderung bleibt bislang jedoch noch viel Potenzial ungenutzt.
Dieser Beitrag beschäftigt sich daher aus Perspektive der Lernprozessforschung mittels Learning Analytics mit den drei Fragen, die dieses Weiterdenkheft prägen. Durch eine Einführung in das Feld der Learning Analytics und ihren aktuellen internationalen Stand wird in Kap. 2 zunächst die Frage bearbeitet, wie die Forschung darauf reagiert, dass sich die Rahmenbedingungen für Lehren und Lernen so rapide verändern. In Kap. 3 wird die Frage aufgegriffen, wie learning-analytics-basierte Forschung zu einem besseren Verständnis von Lehr-Lernprozessen und den damit verbundenen Wirkmechanismen beitragen kann. Hierfür wird anhand von Beispielen skizziert, wie Learning Analytics die Weiterentwicklung von Lern- und Instruktionstheorien bereichern können. Unter Berücksichtigung von Aspekten, die aus unterrichtswissenschaftlicher Perspektive bei der Anwendung von Learning Analytics wichtig sind (Kap. 4), wird im Fazit die zentrale Frage diskutiert, wie wir unsere bisherigen Forschungsfragen und -zugänge mit Hilfe von Learning Analytics verändern können, um zukünftigen Anforderungen adäquat zu begegnen.
2 Was die internationale Learning-Analytics-Forschung bietet
International entwickelte sich unter dem Begriff Learning Analytics in der letzten Dekade ein Forschungsfeld, das sich auf das Sammeln, Auswerten und Anwenden komplexer, digitaler Verhaltensspuren fokussiert, die Lernende und Lehrende in digitalen Umgebungen hinterlassen (Lang et al. 2022). Diese Daten werden mit computerbasierten statistischen Modellen oder Verfahren aus dem Bereich des maschinellen Lernens ausgewertet, um einerseits Erkenntnisse über Lehr- und Lernprozesse zu gewinnen, andererseits aber auch, um Lehr- und Lernprozesse zu unterstützen (Gašević et al. 2017; Long & Siemens 2011).
Digitale Verhaltensspuren entstehen, wenn Personen mit einer digitalen Lernumgebung (z. B. einem Lernmanagement System wie Moodle) bzw. deren Inhalten (z. B. Videos, Texten, Simulationen) oder mit Menschen in dieser Umgebung interagieren (Siemens 2013). Diese Daten können verhaltensbezogen, physiologisch oder kontextuell sein. Beispiele für häufig untersuchte Verhaltensdaten sind Mausbewegungen und -klicks, Zugriffe auf Ressourcen in der Lernumgebung, Navigationsverhalten (Seitenaufrufe, Vor- und Zurückspulen in Videos, Scroll-Position auf dem Bildschirm) oder Eingaben (getippter Text, Textmarkierungen, Auswahl von Antwortoptionen). Zunehmend werden auch Sensordaten genutzt, die neben Verhalten im physischen Raum (z. B. Position, Handbewegungen, Gesichtsausdruck oder Augenbewegung) auch physiologische Maße wie Puls oder Hautleitwiderstand umfassen (Schneider et al. 2021) oder kontextuelle Daten wie Zeiten und Orte der Interaktion mit Elementen der Lernumgebungen und mit Lerntechnologien (Aljohani und Davis 2012). Beispielsweise untersuchten Eberle et al. (2021) den Integrationsprozess von Promovierenden in Wissenschaftsnetzwerken mit Hilfe von sociometric badges, die erfassen, wann und wie lange sich Personen in physischer Nähe zueinander aufhalten. Sociometric badges sind RFID-Sensoren, die am Körper befestigt Personen eindeutig identifizieren und über elektromagnetische Wellen berührungslos erkennen, wenn zwei sociometric badges sich im nahen Umkreis befinden, sofern die Wellen nicht durch menschliche Körper oder Ähnliches abgeschirmt werden. Daten, die für Learning Analytics verwendet werden, zeichnen sich dadurch aus, dass es pro Untersuchungseinheit (z. B. Schüler:in) zahlreiche verhaltensnahe Datenpunkte gibt, die in Form von Zeitreihen vorliegen (Reimann 2009); beispielsweise eine Reihe von Zugriffen auf Lernressourcen, für die jeweils ein Zeitstempel vorliegt. Diese Daten erlauben es, Lehr-Lernprozesse in ihrer Komplexität und Zeitlichkeit zu beobachten, statt lediglich punktuell Zustände zu erfassen, wie es etwa bei der Untersuchung von Pre-Post-Unterschieden der Fall ist. Werden mehrere Arten von digitalen Datenspuren synchronisiert und in Kombination analysiert, wird von multimodalen Learning Analytics gesprochen (Ochoa 2022).
In Kombination mit etablierten unterrichtswissenschaftlichen Verfahren und Herangehensweisen bieten Learning Analytics eine hervorragende Möglichkeit, auf die zunehmende Digitalisierung von informellen und formellen Lehr-Lernkontexten zu reagieren und die damit einhergehenden neuen Arten von Daten und Auswertungsmöglichkeiten sowohl für die Untersuchung von Lehr-Lernprozessen zu nutzen und entsprechende Theorien zu erweitern als auch darauf basierend neue instruktionale Ansätze zu entwickeln.
3 Beiträge von Prozessforschung mittels Learning Analytics zu Instruktions- und Lerntheorien
Mit Blick auf Lern- und Instruktionstheorien zeichnet sich in der Zeitschrift für Unterrichtswissenschaft bislang kein großer Einfluss von Learning Analytics ab. Erst seit 2019 taucht in einzelnen Beiträgen der Begriff Learning Analytics auf. Insgesamt (Stand: Oktober 2023) sind es lediglich sechs Beiträge, die sich mit der Thematik auseinandersetzen bzw. entsprechende Ansätze nutzen. Unter diesen sechs Beiträgen findet sich, neben einer kurzen Einschätzung zum Potenzial von (unter anderem) Learning Analytics für die unterrichtswissenschaftliche Forschung und Theoriebildung von Renkl (2023), ein Beitrag, in dem ein Learning-Analytics-naher Educational-Data-Mining-Ansatz verwendet wird, um aus großen Datenmengen Prognosen über Studienabbrüche abzuleiten (Scheidig und Holmeier 2023). Die übrigen Beiträge umfassen empirische Studien (Swidan et al. 2019; Wiedmann et al. 2019; van Leeuwen und Rummel 2022) sowie ein Literaturreview (van Leeuwen und Rummel 2019), in denen die instruktionale Nutzung von Learning Analytics thematisiert wird. Erste Beiträge der Prozessforschung mittels Learning Analytics im Bereich der Instruktionstheorien sind somit schon vorhanden. In Bezug auf die Weiterentwicklung von Lerntheorien bergen die Learning Analytics hingegen noch bislang unausgeschöpftes Potenzial. Im Rahmen dieses Kapitels soll daher ein Einblick in die aktuelle Situation der Prozessforschung mittels Learning Analytics gegeben werden und wie diese bereits zur Weiterentwicklung von Lern- und Instruktionstheorien beitragen konnten, um Ideen für weitere Forschung in der Unterrichtswissenschaft anzuregen.
3.1 Beiträge zu Lerntheorien
Für die Weiterentwicklung von Lerntheorien bieten Learning Analytics insbesondere dadurch großes Potenzial, dass sie Prozesse des Lernens abbilden und so zur Forschung über Regulationsprozesse beim individuellen, aber auch beim kooperativen Lernen beitragen können. In digitalen Lernumgebungen hinterlassen Lernende Verhaltensspuren, die genutzt werden können, um solche Selbstregulationsprozesse zu untersuchen. Järvelä und Bannert (2021) beschreiben Regulation als komplexen, zyklischen Prozess, der die Anpassung von Kognition, Metakognition, Motivation, Emotionen und Verhalten umfasst. Die Abfolge von lernrelevanten Aktivitäten, insbesondere die Reihenfolge dieser Aktivitäten, ist dabei ein zentrales Merkmal, das entscheidend für die Qualität des Regulationsprozesses ist (vgl. Molenaar et al. 2023). Der Beitrag geht daher im Folgenden auf das Potenzial der Prozessforschung mittels Learning Analytics in Bezug auf Regulationsprozesse beim individuellen Lernen und beim kooperativen Lernen ein und führt jeweils konkrete Beispiele an.
Im Forschungsfeld des individuellen selbstregulierten Lernens besteht derzeit eine große Herausforderung darin, die Validität der Messung von relevanten Konstrukten sicherzustellen. So sind Selbstberichte über selbstreguliertes Lernen wenig verlässlich (Spörer und Brunstein 2006) und verbreitete Arten der Verhaltensbeobachtung, wie die Videographie, nur wenig hilfreich, da die Selbstregulation größtenteils internal stattfindet.
Die Prozessforschung mittels Learning Analytics bietet hier einen hilfreichen Ansatz zum Verständnis von Lernverhalten beim selbstregulierten Lernen in digitalen Lernumgebungen. Während bisher zahlreiche Studien auf die Analyse von digitalen Lernprozessen im Hochschulkontext fokussierten, gibt es wesentlich weniger Forschung im Schulkontext. Dies hängt vermutlich mit strengeren rechtlichen Auflagen zusammen, die für die Forschung mit Kindern und Jugendlichen gelten, aber auch mit der geringeren Nutzung von digitalen Lernumgebungen. Ein interessantes Beispiel aus dem schulischen Bereich bietet die Studie von Er et al. (2024), in der untersucht wurde, wie sich die Lernaktivitäten innerhalb einer in der Türkei landesweit eingesetzten, fächerübergreifenden E‑Learning-Plattform zwischen Schülerinnen und Schülern verschiedener Klassenstufen unterscheidet. Dafür wurden Logfiles der Lernaktivitäten auf der E‑Learning-Plattform im Zeitraum von einem Monat ausgewertet, wobei Daten der Klassenstufen 1 bis 8 aus 26.742 Klassen zugrunde lagen. Die Plattform umfasst zahlreiche thematische Module, die jeweils Video-Lektionen, Übungsaufgaben, Tests und Lernspiele enthalten. Es zeigte sich, dass die Videolektionen am häufigsten genutzt wurden (ca. 777.000 Nutzungen) und die Lernspiele am seltensten (ca. 271.000 Nutzungen). Eine Cluster-Analyse ergab sieben verschiedene Lernaktivitätsprofile, deren Vorkommen sich zwischen den Klassenstufen unterscheidet. Während beispielsweise in Klassenstufe 1 das Profil „traditional comprehensive learners“, bei dem vorranging Video-Lektionen, Übungsaufgaben und Tests verwendet werden, noch gar nicht zu finden ist, ist ab Klassenstufe 6 das Profil „theory-into-game learners“, bei dem vor allem Video-Lektionen und Lernspiele genutzt werden, nicht mehr zu beobachten. Das Beispiel zeigt wie aufgrund von großen Stichproben und Datensätze durch Learning-Analytics-Prozessmessungen belastbare und gut generalisierbare Erkenntnisse über Lernprozesse entstehen können.
Die Schwerpunkte der Learning Analytics-Forschung im Bereich des selbstregulierten Lernens liegen derzeit darin, die Validität von Learning-Analytics-Maßen wie den von Er et al. (2024) verwendeten Nutzungshäufigkeiten als Indikatoren für Lernprozesse sicherzustellen (z. B. Fan et al. 2022; Gašević et al. 2017) und die Umstände zu identifizieren, unter denen effektive Selbstregulation stattfindet, wie sich verschiedene Selbstregulationsaktivitäten gegenseitig beeinflussen und wie sie mit Lernleistung zusammenhängen (Järvelä und Bannert 2021).
Bei der Untersuchung von kooperativen Lernsituationen spielt die Betrachtung von Regulationsprozessen innerhalb der Gruppe schon länger eine zentrale Rolle (vgl. Dillenbourg et al. 1996; Järvelä et al. 2018). Finden diese in computergestützten kooperativen Lern- oder Problemlösesettings statt, können bei der Prozessforschung mittels Learning Analytics digitale Verhaltensspuren oder Sensordaten der kooperativen Prozesse ausgewertet und zur Erweiterung von sozialen Lerntheorien herangezogen werden. Strauß und Rummel (2021b) konnten beispielsweise auf Basis einer theoriegeleiteten Kodierung von Forenbeiträgen beim computerunterstützten kooperativen Lernen verschiedene Cluster von Kleingruppen identifizieren, die sich hinsichtlich ihres gemeinsamen Regulationsverhaltens unterschieden. Die Clusterzugehörigkeit stand im Zusammenhang mit dem Grad an Ausgeglichenheit der individuellen Beteiligung und der Zufriedenheit der Lernenden mit der Zusammenarbeit. Ouyang et al. (2023) fanden zudem in einer Studie mit multimodalen Learning Analytics Zusammenhänge zwischen verschiedenen verhaltensbezogenen Clustern von Kleingruppen und dem Grad des Lernerfolgs.
Während die Studien von Ouyang et al. (2023) und Strauß und Rummel (2021b) korrelativer Natur waren und lediglich Erkenntnisse über Zusammenhänge zwischen Eigenschaften des Kooperationsprozesses und relevanten Ergebnissen oder Zuständen der Gruppen erlauben, können Learning Analytics auch in experimentellen Studien eingesetzt werden, um Kausalzusammenhänge zu untersuchen, wie etwa zu Auslösern für Regulationsprozesse (z. B. Dang et al. 2023).
3.2 Beiträge zu Instruktionstheorien
Erkenntnisse aus der Prozessforschung mittels Learning Analytics tragen nicht nur zur Weiterentwicklung von Lerntheorien bei, sondern ermöglichen es auch, lehrtheoretische Fragen einerseits in Bezug auf die Gestaltung von Lernumgebungen und Instruktionen für Lernende in individuellen und kooperativen Lernsettings zu untersuchen. Andererseits können auch Fragen zur optimalen Unterstützung für Lehrenden untersucht werden, damit diese (selbstreguliertes) Lernen und Kooperieren effektiv fördern zu können. Studien in diesem Bereich können dann wiederum zu Instruktionstheorien beitragen. Der folgende Abschnitt geht zunächst auf Instruktionsforschung in Bezug auf die Unterstützung von individuellem und kooperativem Lernen ein und gibt Beispiele für Forschung zu adaptiver Instruktion mittels Learning Analytics. Im Anschluss wird als neues Feld der Instruktionsforschung die learning-analytics-basierte Unterstützung von Lehrkräften vorgestellt.
Hinsichtlich der Forschung zur Gestaltung von Lernumgebungen für individuelles und kooperatives Lernen eröffnen Learning Analytics die Möglichkeit, digitale Verhaltensspuren bereits während des Lernens automatisiert auszuwerten und instruktional zu nutzen. So können insbesondere Fragen zur Mikro-Adaption von Instruktion bzw. adaptiven Lernsystemen, sowohl beim individuellen als auch beim kooperativen Lernen, untersucht werden. Der Einsatz von Learning Analytics in adaptiven Lernsystemen ermöglicht instruktionale Unterstützung auf unterschiedlichen Ebenen für verschiedene Instruktionsziele, die das „S/vL“-Framework beschreibt (Aleven et al. 2023). Eine digitale Lernumgebung wird dabei als ein Regulationskreislauf verstanden, in dem die Leistung der Lernenden mit einem vorgegebenen Zielzustand verglichen wird und die Unterstützung sich an das vorhandene Wissen der Lernenden anpasst, um deren Leistung näher an den Zielzustand zu bringen. Dabei kann instruktionale Unterstützung entweder in Form von statisch unterstützten selbstregulativen Aktivitäten (keine individualisierte Unterstützung), Mirroring (Widerspiegeln der eigenen Leistung), formativem Feedback (Widerspiegeln der eigenen Leistung im Vergleich zum Zielzustand) oder in Form von Coaching (Widerspiegeln der eigenen Leistung im Vergleich zum Zielzustand mit Strategievorschlag oder Anpassung von Lernaufgabe/-kontext) erfolgen.
Der Einsatz von Learning Analytics ermöglicht somit bisherige Instruktionsforschungen, z. B. zur Gestaltung und Wirkung von Feedback, Prompts und Scaffolds, gewinnbringend zu ergänzen und zu erweitern. Darüber hinaus eröffnen sich durch die schnelle Zugänglichkeit von Prozessauswertungen mittels Learning Analytics aber auch völlig neue instruktionstheoretische Fragen, insbesondere in Bezug auf das Mirroring, da den Lernenden die eigenen Lernprozessdaten zeitnah widergespiegelt werden können, um damit wenig-direktiv und gleichzeitig stark autonomieunterstützend auf Regulationsprozesse einzuwirken. Ein prominentes Beispiel für diese Form der instruktionalen Unterstützung in kooperativen Lernsettings sind Group-Awareness-Tools (Bodemer et al. 2018), durch die Gruppenprozesse für alle Gruppenmitglieder sichtbar und damit diskutierbar und veränderbar gemacht werden. Dies ist insbesondere hilfreich, um soziale Störfaktoren im Gruppenprozess besser regulierbar zu machen, die dem eigentlichen kooperativen Lernprozess im Wege stehen. In diesem Kontext untersuchten beispielsweise Strauß und Rummel (2021b) mit verhältnismäßig wenig technischem Aufwand die Wirkung eines Group-Awareness-Tools, in dem studentischen Kleingruppen in einem Online-Kurs Informationen über die Beteiligung der einzelnen Gruppenmitglieder widergespiegelt wurde. Hiermit wird ein zentraler Faktor für Unzufriedenheit von Lernendenseite beim kooperativen Lernen aufgegriffen (Strauß und Rummel 2021a). Weiterhin untersuchen Schnaubert und Bodemer (2019) die Visualisierung kognitiver und metakognitiver Informationen in einem Group-Awareness-Tool und fanden durch diese Intervention relevante Auswirkungen auf Regulationsaktivitäten in der Gruppe.
Eine weiteres, erst durch schnell verfügbare Lernprozessauswertungen mittels Learning Analytics entstandenes Feld der Instruktionsforschung ist die Unterstützung von Lehrkräften bei der adaptiven Instruktion innerhalb selbstregulierter und kooperativer Lehr-Lern-Settings. Die Wahrnehmung lernrelevanter Ereignisse im Klassenzimmer durch Lehrkräfte gilt als Schlüsselkompetenz für eine wirksame pädagogische Praxis (Blömeke et al. 2015; Loibl et al. 2020; van Es und Sherin 2021) und ist nachweislich wichtig für das Lernen und die Erfahrungen der Schülerinnen und Schüler (Kersting et al. 2012). Gleichzeitig ist die Aufmerksamkeitskapazität von Lehrkräften in der Komplexität des Klassenzimmers jedoch begrenzt. In Klassenräumen mit KI-Tutoren, die Lernprozessdaten sammeln und auswerten, können Lehrkräfte auf relevante Lernprozesse und Ereignisse im Klassenzimmer aufmerksam gemacht werden. Holstein et al. (2018) konnten zeigen, dass learning-analytics-basierte KI-Tools die Echtzeitwahrnehmung von Lehrkräften unterstützen können und sich als so wirksame Instruktionsunterstützung erweisen, dass sich positive Effekte auf das Lernen von Schülerinnen und Schüler zeigen. Karumbaiah et al. (2023b) konnten dementsprechend das Teacher-Noticing-Framework für KI-unterstützte Lehr-Lernsettings (van Es und Sherin 2021), das den Prozess der Wahrnehmung, Interpretation und dem Heranziehen zusätzlicher Informationen einer problematischen Lernsituation durch eine Lehrkraft bis hin zu deren Intervention beschreibt, adäquat operationalisieren und weiter ausdifferenzieren. Sie fanden beispielsweise, dass Lehrkräfte durch den tieferen Einblick in das Lerngeschehen mit mixed reality glasses, gezielter ihre Aufmerksamkeit den Lernenden mit dem aktuell größten Unterstützungsbedarf widmen konnten (Karumbaiah et al. 2023a). Mixed reality glasses sind dabei Teacher-Awareness-Tools, d. h. eine Form von Teacher-Dashboards, die Lehrkräften relevante Daten über den Stand ihrer Lernenden widerspiegeln, sowie bei Bedarf zusätzliche, tiefergehende Analysen bereitstellen. Derzeit werden verschiedene Formen solcher Teacher-Dashboards und darüberhinausgehender Teacher-Orchestration-Tools erprobt sowie Untersuchungen über ihre bestmögliche Gestaltung, ihre Akzeptanz bei Lehrkräften und ihren Einfluss auf Lernerfolge bei Schülerinnen und Schülern durchgeführt (z. B. van Leeuwen und Rummel 2022).
Mit Hilfe empirischer Erkenntnisse über die Wirkweise solch wenig-direktiver instruktionaler Maßnahmen und über instruktionales Vorgehen von Lehrkräften können Instruktionstheorien entscheidend dahingehend erweitert werden, an welcher Stelle ein Eingriff von außen tatsächlich notwendig ist und an welcher Stelle Lernende eher in ihrer Autonomie beim Lernen gefördert werden können.
4 Was ist aus unterrichtswissenschaftlicher Perspektive bei der Nutzung von Learning Analytics wichtig
Wie die oben genannten Beispiele zeigen, bietet die Prozessforschung mittels Learning Analytics zahlreiche Möglichkeiten, die unterrichtswissenschaftliche Forschung zu bereichern und zu neuen Lern- und Lehrtheorien beizutragen. Gleichzeitig geht sie jedoch mit Herausforderungen einher, die es zu meistern gilt, um tatsächlich eine gute Datenbasis für die von Renkl (2023) geforderten empirisch-fundierten Theorien zu Lehr-Lernprozessen und deren Förderung entwickeln zu können.
Obwohl es zahlreiche Gemeinsamkeiten zwischen der Unterrichtsforschung und der Learning-Analytics-Forschung gibt und in beiden Disziplinen deduktive und induktive Ansätze genutzt werden, ist die oft beobachtete fehlenden Kopplung zwischen Theorie und Empirie derzeit eine zentrale Herausforderung für Learning Analytics. Häufig werden bei der Datengewinnung die Daten genutzt, die vorhanden und zugänglich sind, ohne sie zu theoretischen Konstrukten in Bezug zu setzen. Zwar werden diese Daten recht objektiv erhoben (z. B. die Verweildauer auf einer Webseite), sie sind jedoch häufig konzeptuell weit von den avisierten (latenten) Konstrukten (z. B. kognitive Anstrengung) entfernt. Dies widerspricht dem in den Unterrichtswissenschaften vorherrschenden Ansatz, bei dem theoriebasiert eine Operationalisierung von Konstrukten stattfindet, die dann erhoben und analysiert werden (wobei hier der teilweise schwierige Zugang zu Daten häufig ein limitierender Faktor ist). Allerdings zeigen sich bereits Bestrebungen innerhalb der Learning-Analytics-Community, hier bessere Kopplungen zwischen Theorie und Empirie vorzunehmen, wie sich in der Bewegung „from clicks to constructs“ (Knight und Buckingham-Shum 2017; Wise und Shaffer 2015) zeigt.
Auch die oben beschriebenen Beispiele für gelungene Prozessforschung mittels Learning Analytics zeigen, dass ein theoriegeleitetes Vorgehen bei der Anwendung von Learning Analytics sehr gut möglich ist. In der interdisziplinären Zusammenarbeit mit der Unterrichtswissenschaft ist ein solches Vorgehen sicherlich wünschenswert. Studien wie etwa Fan et al. (2022) machen Vorschläge für die Validierung von Learning-Analytics-Indikatoren für Lehr-Lern-Prozesse, verdeutlichen gleichzeitig aber auch, dass dies ein herausforderndes Unterfangen ist.
Als zweiter kritischer Punkt sind ethische Aspekte zu nennen. Auch aus politischer Sicht, wie etwa im EU AI-Act, wird die Nutzung künstlicher Intelligenz im Bildungsbereich, wie sie Learning-Analytics-basierter Prozessforschung zugrunde liegt, einerseits als sehr wichtig für die Entwicklung guter digitaler Lehre und den Erwerb zentraler Kompetenzen, aber andererseits gleichzeitig als hochriskant eingestuft, da sie massiven Einfluss auf Bildungs- und Karriereverläufe nehmen und bei ungünstiger Implementierung Diskriminierung fördern kann (Coreper 2024). Durch Prozessforschung mittels Learning Analytics lassen sich Profile von Lernenden erstellen und automatisierte didaktische oder gar schullaufbahnbezogene Entscheidungen treffen. Dies bringt zum einen die Gefahr der übersteigerter Datengläubigkeit mit sich, in dem Sinne, dass automatisiert erstellte Einschätzungen über Lernstände nicht nur zur Unterstützung von Lernenden und Lehrkräften verwendet werden, die diese im Kontext der jeweils individuellen Situation interpretieren. Stattdessen könnten sie als „objektive Wahrheit“ interpretiert werden, aus der unreflektiert Konsequenzen gezogen werden (Lankau 2020). Daher sind bei der Gestaltung von Fördermaßnahmen, basierend auf Learning Analytics, Vorsicht und Umsicht geboten und entsprechende Aufklärung ist notwendig. Zum anderen entstehen beim Einsatz von Learning Analytics sehr viel mehr personenbezogene Daten als bei klassischen Forschungsansätzen, die auch von wirtschaftlichem Interesse sein können und daher besonders geschützt werden müssen, damit sie nicht missbraucht werden (Lankau 2020). Zudem können durch die Sichtbarmachung von Lernenden-Daten neue Machtstrukturen unter Lernenden, aber auch über das Klassenzimmer hinaus, entstehen (Jornitz und Macgilchrist 2021), die bislang erst wenig in den Blick genommen wurden. Der Schutz solcher Daten, die bei der Nutzung von Learning Analytics-basierten Tools in Lehr-Lern-Situationen entstehen, ist daher sehr ernst zu nehmen. Hierfür werden bereits vielfältige technische Lösungen exploriert wie beispielsweise Federated-Machine-Learning-Ansätze. Solche Ansätze basieren darauf, dass einzelne Datensätze dezentral, also z. B. direkt auf den Nutzergeräten, gespeichert und verarbeitet werden, so dass die sensiblen Daten das Gerät nicht verlassen müssen (Yang et al. 2019). Zudem ist die Autonomie über die Nutzung der eigenen Daten und wie genau diese in Algorithmen ausgewertet werden, etwas, das thematisiert und transparent behandelt werden muss (Gigerenzer et al. 2018).
5 Fazit: Das Potenzial von Learning Analytics für die Unterrichtswissenschaft
Trotz einiger zu berücksichtigender kritischer Punkte beim Einsatz von Learning-Analytics für die Messung und Gestaltung von Lehr- und Lernprozessen, lässt sich das Potenzial dieses international bereits florierenden Forschungszugangs für die Unterrichtswissenschaft nicht leugnen. Durch die zunehmende Digitalisierung formaler, non-formaler und informeller Lernsituationen, die mit einer zunehmenden Bedeutung von selbstreguliertem und kooperativem Lernen einhergeht, entstehen für die Unterrichtswissenschaft neue Felder, die durch den Einsatz von Learning Analytics, ergänzend zu altbewährten Forschungszugängen, vielversprechend bearbeitet werden können. Durch die Nutzung digitaler Datenspuren, die entweder automatisch in digitalen Lernkontexten entstehen oder leicht durch wenig-invasive Sensoren gewonnen werden können, sind neue Einblicke in Wirkungsweisen von Lernen und Instruktion möglich, die bestehende Theorien ergänzen und erweitern können. Anhand von Beispielen haben wir versucht, einen Einblick in dieses Potenzial zu geben.
Für die Zukunft der unterrichtswissenschaftlichen Forschung sehen wir durch den Einsatz von Learning Analytics Möglichkeiten für eine noch tiefergehende Auseinandersetzung mit Lernprozessen sowie für die Gestaltung einer Lehr-Lernkultur, die mehr Autonomie auf Seiten der Lernenden ermöglicht und Lehrkräften die Chance gibt, auf die Heterogenität ihrer Lernenden besser reagieren zu können und individualisiertes Lernen noch leichter zu ermöglichen.
Literatur
Aleven, V., Mavrikis, M., McLaren, B. M., Nguyen, H. A., Olsen, J. K., & Rummel, N. (2023). Chapter 9: six instructional approaches supported in AIED systems. In B. du Boulay, A. Mitrovic & K. Yacef (Hrsg.), Handbook of artificial intelligence in education (S. 184–228). Edward Elgar. https://doi.org/10.4337/9781800375413.00019.
Aljohani, N. R., & Davis, H. C. (2012). Learning analytics in mobile and ubiquitous learning environments. In 11th World Conference on Mobile and Contextual Learning: mLearn 2012. Helsinki. http://eprints.soton.ac.uk/id/eprint/342971.
Blömeke, S., Gustafsson, J.-E., & Shavelson, R. J. (2015). Beyond dichotomies. Zeitschrift für Psychologie, 223(1), 3–13. https://doi.org/10.1027/2151-2604/a000194.
Bodemer, D., Janssen, J., & Schnaubert, L. (2018). Group awareness tools for computer-supported collaborative learning. In F. Fischer, C. E. Hmelo-Silver, S. R. Goldman & P. Reimann (Hrsg.), International Handbook of the Learning Sciences (S. 351–358). Milton: Routledge.
Committee of the Permanent Representatives of the Governments of the Member States to the European Union (Coreper I). (2024, February 2). Proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act) and amending certain Union legislative acts—Analysis of the final compromise text with a view to agreement (Recital 35). https://www.euaiact.com/recital/35
Dang, B., Nguyen, A., & Järvelä, S. (2023). Clustering deliberation sequences through regulatory triggers in collaborative learning. In 2023 IEEE international conference on advanced learning technologies (ICALT) (S. 158–160). Orem: IEEE. https://doi.org/10.1109/ICALT58122.2023.00052.
Dillenbourg, P., Baker, M. J., Blaye, A., & O’Malley, C. (1996). The evolution of research on collaborative learning. In E. Spada & P. Reimann (Hrsg.), Learning in humans and machine: towards an interdisciplinary learning science (S. 189–211). Oxford: Elsevier.
Drachsler, H., & Goldhammer, F. (2020). Learning analytics and eAssessment—Towards computational psychometrics by combining psychometrics with learning analytics. In D. Burgos (Hrsg.), Book #1: radical solutions & learning analytics (S. 67–80). Heidelberg: Springer. https://doi.org/10.1007/978-981-15-4526-9_5.
Eberle, J., Stegmann, K., Barrat, A., Fischer, F., & Lund, K. (2021). Initiating scientific collaboration across career levels and disciplines—a network analysis on behavioral data. International Journal of Computer-Supported Collaborative Learning, 16(2), 151–184. https://doi.org/10.1007/s11412-021-09345-7.
Er, E., Silik, S., & Cansiz, S. (2024). Uncovering engagement profiles of young learners in K–8 education through learning analytics. Journal of Learning Analytics, 11(1), 101–115. https://doi.org/10.18608/jla.2024.8133.
van Es, E., & Sherin, M. (2021). Expanding on prior conceptualizations of teacher noticing. ZDM mathematics education, 53, 17–27. https://doi.org/10.1007/s11858-020-01211-4.
Fan, Y., van der Graaf, J., Lim, L., Raković, M., Singh, S., Kilgour, J., Moore, J., Molenaar, I., Bannert, M., & Gašević, D. (2022). Towards investigating the validity of measurement of self-regulated learning based on trace data. Metacognition and Learning, 17, 949–987. https://doi.org/10.1007/s11409-022-09291-1.
Gašević, D., Jovanovic, J., Pardo, A., & Dawson, S. (2017). Detecting learning strategies with analytics: links with self-reported measures and academic performance. Journal of Learning Analytics, 4(2), 113–128. https://doi.org/10.18608/jla.2017.42.10.
Gigerenzer, G., Rebitschek, F. G., & Wagner, G. G. (2018). Eine vermessene Gesellschaft braucht Transparenz. Wirtschaftsdienst, 12, 860–868.
Holstein, K., McLaren, B. M., & Aleven, V. (2018). Student learning benefits of a mixed-reality teacher awareness tool in AI-enhanced classrooms. In C. R. Penstein, R. Martínez-Maldonado, H. U. Hoppe, R. Luckin, M. Mavrikis, K. Porayska-Pomsta, B. McLaren & B. Du Boulay (Hrsg.), Lecture notes in computer science. Artificial intelligence in education (Bd. 10947, S. 154–168). Springer. https://doi.org/10.1007/978-3-319-93843-1_12.
Järvelä, S., & Bannert, M. (2021). Temporal and adaptive processes of regulated learning—What can multimodal data tell? Learning and Instruction, 72, 101268. https://doi.org/10.1016/j.learninstruc.2019.101268.
Järvelä, S., Hadwin, A., Malmberg, J., & Miller, M. (2018). Contemporary perspectives of regulated learning in collaboration. In F. Fischer, C. E. Hmelo-Silver, S. R. Goldman & P. Reimann (Hrsg.), International handbook of the learning sciences (S. 127–113). New York: Routledge.
Jornitz, S., & Macgilchrist, F. (2021). Datafizierte Sichtbarkeiten: vom Panopticon zum Panspectron in der schulischen Praxis. MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung, 45, 98–122.
Karumbaiah, S., Borchers, C., Shou, T., Falhs, A.-C., Liu, P., & Nagashima, T., et al. (2023a). A spatiotemporal analysis of teacher practices in supporting student learning and engagement in an AI-enabled classroom. In N. Wang, G. Rebolledo-Mendez, N. Matsuda, O. C. Santos & V. Dimitrova (Hrsg.), Artificial intelligence in education (S. 450–462). Cham: Springer. https://doi.org/10.1007/978-3-031-36272-9_37.
Karumbaiah, S., Borchers, C., Falhs, A.-C., Holstein, K., Rummel, N., & Aleven, V. (2023b). Teacher noticing and student learning in human-AI partnered classrooms: a multimodal analysis. In P. Blikstein, J. Van Aalst, R. Kizito & K. Brennan (Hrsg.), Building knowledge and sustaining our community, proceedings of the 17th international conference of the learning sciences (ICLS) (S. 1042–1045). Montreal: International Society of the Learning Sciences.
Kersting, N. B., Givvin, K. B., Thompson, B. J., Santagata, R., & Stigler, J. W. (2012). Measuring usable knowledge: teachers’ analyses of mathematics classroom videos predict teaching quality and student learning. American Educational Research Journal, 49(3), 568–589.
Knight, S., & Buckingham Shum, S. (2017). Theory and learning analytics. In C. Lang, G. Siemens, A. Wise & D. Gašević (Hrsg.), Handbook of learning analytics (S. 17–22). https://doi.org/10.18608/hla17.001.
Lang, C., Wise, A. F., Merceron, A., Gašević, D., & Siemens, G. (2022). What is learning analytics? In C. Lang, G. Siemens, A. F. Wise, D. Gašević & A. Merceron (Hrsg.), The handbook of learning analytics (S. 8–18). SoLAR.
Lankau, R. (2020). Herausforderungen und Gefahren der digitalen Bildung in Deutschland. In R. A. Fürst (Hrsg.), Digitale Bildung und Künstliche Intelligenz in Deutschland: Nachhaltige Wettbewerbsfähigkeit und Zukunftsagenda (S. 349–372). Wiesbaden: Springer.
van Leeuwen, A., & Rummel, N. (2019). Kooperative Unterrichtssettings: Technologische Tools zur Unterstützung von Lehrkräften. Unterrichtswissenschaft, 47(2), 137–141. https://doi.org/10.1007/s42010-019-00051-w.
van Leeuwen, A., & Rummel, N. (2022). The function of teacher dashboards depends on the amount of time pressure in the classroom situation: Results from teacher interviews and an experimental study. Unterrichtswissenschaft, 50, 561–588. https://doi.org/10.1007/s42010-022-00156-9.
Loibl, K., Leuders, T., & Dörfler, T. (2020). A framework for explaining teachers’ diagnostic judgements by cognitive modeling (DiacoM). Teaching and Teacher Education, 91, 103059. https://doi.org/10.1016/j.tate.2020.103059.
Long, P., & Siemens, G. (2011). Penetrating the fog: Analytics in learning and education. EDUCAUSE Review, 46(5), 30.
Molenaar, I., de Mooij, S., Azevedo, R., Bannert, M., Järvelä, S., & Gašević, D. (2023). Measuring self-regulated learning and the role of AI: five years of research using multimodal multichannel data. Computers in Human Behavior, 139, 107540. https://doi.org/10.1016/j.chb.2022.107540.
Ochoa, X. (2022). Multimodal learning analytics-rationale, process, examples, and direction. In C. Lang, G. Siemens, A. F. Wise, D. Gašević & A. Merceron (Hrsg.), The handbook of learning analytics (S. 54–65). https://doi.org/10.18608/hla22.006.
Ouyang, F., Xu, W., & Cukurova, M. (2023). An artificial intelligence-driven learning analytics method to examine the collaborative problem-solving process from the complex adaptive systems perspective. International Journal of Computer-Supported Collaborative Learning, 18, 39–66. https://doi.org/10.1007/s11412-023-09387-z.
Reimann, P. (2009). Time is precious: variable- and event-centred approaches to process analysis in CSCL research. International Journal of Computer-Supported Collaborative Learning, 4(3), 239–257. https://doi.org/10.1007/s11412-009-9070-z.
Renkl, A. (2023). Lernprozesse und deren Förderung theoretisch verstehen: von kleinen Fortschritten, von gegenwärtig priorisierten, aber nicht ausreichenden Abhilfen und von einem Wunschzettel. Unterrichtswissenschaft, 51(1), 39–62. https://doi.org/10.1007/s42010-023-00167-0.
Scheidig, F., & Holmeier, M. (2023). Prognose von Studienabbrüchen angehender Lehrkräfte mit Maschinellem Lernen: Potenziale der Nutzung von Studierenden- und Studienverlaufsdaten aus dem Campus-Management-System. Unterrichtswissenschaft, 50, 561–588. https://doi.org/10.1007/s42010-023-00182-1.
Schnaubert, L., & Bodemer, D. (2019). Providing different types of group awareness information to guide collaborative learning. International journal of computer-supported collaborative learning, 14, 7–51. https://doi.org/10.1007/s11412-018-9293-y.
Schneider, B., Sung, G., Chng, E., & Yang, S. (2021). How can high-frequency sensors capture collaboration? A review of the empirical links between multimodal metrics and collaborative constructs. Sensors, 21(24), 8185. https://doi.org/10.3390/s21248185.
Siemens, G. (2013). Learning analytics: the emergence of a discipline. American Behavioral Scientist, 57(10), 1380–1400. https://doi.org/10.1177/0002764213498851.
Spörer, N., & Brunstein, J. C. (2006). Erfassung selbstregulierten Lernens mit Selbstberichtsverfahren: Ein Überblick zum Stand der Forschung. Zeitschrift für pädagogische Psychologie, 20(3), 147–160. https://doi.org/10.1024/1010-0652.20.3.147.
Strauß, S., & Rummel, N. (2021a). Problematic interaction patterns during online-collaboration. A library and a survey. In C. E. Hmelo-Silver, B. De Wever & J. Oshima (Hrsg.), Proceedings of the 14th international conference on computer-supported collaborative learning—CSCL 2021 (S. 19–26). Bochum: International Society of the Learning Sciences.
Strauß, S., & Rummel, N. (2021b). Promoting regulation of equal participation in online collaboration by combining a group awareness tool and adaptive prompts. But does it even matter? International Journal of Computer-Supported Collaborative Learning, 16(1), 67–104. https://doi.org/10.1007/s11412-021-09340-y.
Swidan, O., Prusak, N., Livny, A., Palatnik, A., & Schwarz, B. (2019). Fostering teachers’ understanding of progression of multiple groups towards the orchestration of conceptual learning. Unterrichtswissenschaft, 47, 159–176. https://doi.org/10.1007/s42010-019-00050-x.
Wiedmann, M., Kaendler, C., Leuders, T., Spada, H., & Rummel, N. (2019). Measuring teachers’ competence to monitor student interaction in collaborative learning settings. Unterrichtswissenschaft, 47, 177–199. https://doi.org/10.1007/s42010-019-00047-6.
Wise, A. F., & Shaffer, D. W. (2015). Why theory matters are than ever in the age of big data. Journal of learning analytics, 2(5), 5–13. https://doi.org/10.18608/jla.2015.22.2.
Yang, Q., Liu, Y., Chen, T., & Tong, Y. (2019). Federated machine learning: Concept and applications. ACM Transactions on Intelligent Systems and Technology, 10(2), 1–19.
Funding
Open access funding provided by Paris Lodron University of Salzburg.
Author information
Authors and Affiliations
Corresponding author
Additional information
Hinweis des Verlags
Der Verlag bleibt in Hinblick auf geografische Zuordnungen und Gebietsbezeichnungen in veröffentlichten Karten und Institutsadressen neutral.
Rights and permissions
Open Access Dieser Artikel wird unter der Creative Commons Namensnennung 4.0 International Lizenz veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Artikel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
Weitere Details zur Lizenz entnehmen Sie bitte der Lizenzinformation auf http://creativecommons.org/licenses/by/4.0/deed.de.
About this article
Cite this article
Eberle, J., Strauß, S., Nachtigall, V. et al. Analyse prozessbezogener Verhaltensdaten mittels Learning Analytics: Aktuelle und zukünftige Bedeutung für die Unterrichtswissenschaft. Unterrichtswiss (2024). https://doi.org/10.1007/s42010-024-00205-5
Received:
Revised:
Accepted:
Published:
DOI: https://doi.org/10.1007/s42010-024-00205-5
Schlüsselwörter
- Learning Analytics
- Lernprozesse
- Instruktionale Prozesse
- Lehr-Lern-Forschungsansatz
- Künstliche Intelligenz