Schlüsselwörter

1 Einführung

Dieser Beitrag fokussiert sich auf die Überwindung einer Hürde, vor der alle Online-Lernplattformen stehen, die langfristig erfolgreich eingesetzt werden sollen: die systematische Optimierung und Anpassung der Plattform an die genutzten Endgeräte sowie die damit zusammenhängenden individuellen Arbeits- und Nutzungsweisen sowie Erwartungshaltungen und Ansprüche der Nutzer:innen. Dieser Beitrag führt hierfür die konstante Evaluation von Usability-Erhebungen sowie technischen Trackingdaten an, um neben der hohen Qualität und Wirksamkeit der Inhalte auch eine benutzerfreundliche, zielorientierte Benutzeroberfläche zu schaffen, die mit den individuellen Arbeitsweisen und Endgeräten kompatibel ist. Es wird aufgezeigt, welche Komponenten notwendig sein können, um dies zu erreichen.

Die Videoanalyseplattform ViviAn (Videovignetten zur Analyse von Unterrichtsprozessen) umfasst zahlreiche Videovignetten zur Förderung der Diagnosekompetenz von Lehramtsstudierenden. Die Videosequenzen der Vignetten bestehen aus videographierten Sequenzen aus dem Mathematik-Labor „Mathe ist mehr“ für die Bereiche Flächen- und Rauminhalte, Funktionen sowie Bruchzahlen (Roth 2018). Die Wirksamkeit von ViviAn wurde über mehrere Projekte und Dissertationen hinweg evaluiert und bestätigt (Enenkiel 2022; Enenkiel et al. 2022; Walz 2020). Diese Sequenzen zeigen Gruppenarbeitsprozesse von Schüler:innen bei der Bearbeitung von Lernmaterialien. Die Oberfläche der Vignettenumgebung wurde in einem Re-Design-Prozess so umgestaltet, dass Nutzer:innen die Plattform an ihre individuellen Arbeitsbedürfnisse anpassen können (Scherb et al. 2023). So kann beispielsweise die gesamte Oberfläche des genutzten Webbrowsers zur Positionierung der Vignettenfenster genutzt werden (siehe Abb. 1).

Abb. 1
figure 1

Vignetten-Oberfläche ViviAn. Von links nach rechts: Materialfenster, Videosequenz, Diagnoseauftrag

Full size image

Die Vignetten sind mit relevanten Informationen angereichert, die zur Bearbeitung der Diagnoseaufträge benötigt werden. Diese Informationen umfassen den Arbeitsauftrag, die jeweils in der Szene genutzten Materialien, die Abbildungen der in der Szene erarbeiteten Dokumente, die Schüler:innenprofile sowie eine zeitliche und thematische Einordnung. Die Diagnoseaufträge enthalten grundsätzlich vier zu bearbeitende Aspekte. Es müssen (1) die Arbeitsaufträge der Schüler:innen selbst bearbeitet, (2) die im Video wahrgenommenen Aspekte beschrieben, (3) diese Wahrnehmungen interpretiert und (4) daraus Konsequenzen für ein mögliches Unterrichtshandeln abgeleitet werden (Roth 2018). Diese Aspekte wurden durch die Teilkomponenten der diagnostischen Fähigkeiten – Beschreiben, Deuten, Ursachen finden und Konsequenzen ableiten – operationalisiert (Enenkiel et al. 2022). Am Ende der Bearbeitung können die gegebenen Antworten innerhalb der Diagnoseaufträge mit Expert:innenantworten abgeglichen werden. Seit 2017 wird ViviAn darüber hinaus an der Rheinland-Pfälzischen Technischen Universität Kaiserslautern-Landau (RPTU) in Landau erfolgreich im Rahmen von E-Klausuren eingesetzt.

Die Plattform ist öffentlich zugänglich und bietet derzeit drei Vignettenbereiche, die in der Didaktik der Mathematik der Sekundarstufen (DMS) zum Einsatz kommen: Bruchzahlen, Funktionen sowie Flächen- und Rauminhalte. Es besteht die Option, sich als Kursleiter:in oder Kursteilnehmer:in zu registrieren. Als Kursleiter:in ist es möglich, eigene Kurse in den drei Bereichen zu eröffnen, sodass die Teilnehmer:innen sich dort anmelden können. Die Kurse besitzen eine eigene Administrationsoberfläche, in der die Vignetten des jeweiligen Bereichs flexibel für den gesamten Kurs oder für individuelle Teilnehmer:innen freigeschaltet werden können. Ebenso ist es möglich, den Fortschritt der einzelnen Teilnehmer:innen einzusehen, um den Arbeitsfortschritt mit den Kursinhalten besser abgleichen zu können. ViviAn wird im internationalen deutschsprachigen Raum von Mathematikdidaktiker:innen in vielfältigen Kontexten wie etwa Studienseminaren, universitären Seminaren sowie begleitend zu Vorlesungen in Großveranstaltungen (>150 Studierende) genutzt.

Um einen dauerhaften Erfolg der Plattform sicherstellen zu können, müssen verschiedene Aspekte (z. B. technische, didaktische etc.) in den Fokus gerückt und miteinander verknüpft werden. Dabei steht die Qualitätssicherung der Inhalte an oberster Stelle. Die Darbietungen der Inhalte müssen an die schnell voranschreitende Technik und die immer diverser werdende Medienlandschaft angepasst werden. Hierfür ist die Kenntnis der genutzten Endgeräte sowie der Arbeitsweisen der Nutzer:innen notwendig. Ohne Informationen zu den zuvor genannten Aspekten sind dauerhafte, systematische Weiterentwicklungen sowie Anpassungen nur schwer möglich. Es muss der Schritt über die Grenze der fachdidaktischen Inhalte sowie der Zielebene der Vignetten gegangen und neue Erhebungsmethoden implementiert werden. Dies ermöglicht ebenfalls die Entwicklung innovativer Applikationen, die das Funktionsspektrum der Plattform erweitern, wie zum Beispiel interaktive Bereiche zur Besprechung der Lerninhalte. Um dies zu erreichen, nutzt das Projekt einen Design-Based Research (DBR) Ansatz, der verschiedene theoretische Hintergründe vereinen kann und eine zielgerichtete, dauerhafte Weiterentwicklung der Lernplattform durch methodische Vielfalt ermöglicht. Das zentrale Ziel des Forschungsprojekts ist dabei die Integration einer digitalen Feedbackkultur, die sowohl qualitatives als auch quantitatives Feedback zur Weiterentwicklung der Plattform generiert.

2 Theorie

Wie bereits dargestellt, ist es für die Weiterentwicklung einer digitalen Videoanalyseplattform entscheidend, dass das Forschungsspektrum neben fachdidaktischen Perspektiven auch Usability-Aspekte umfasst. Vor diesem Hintergrund wird zunächst der theoretische Rahmen zur Kompetenzentwicklung durch Videovignetten skizziert (Abschn. 2.1) und im Anschluss die Bedeutsamkeit von Usability (Abschn. 2.2) und Feedback (Abschn. 2.3) aufgezeigt.

2.1 Videovignetten zur Kompetenzentwicklung

Um Schüler:innen gezielt und individuell fördern zu können, sind folgerichtige Diagnosen von Lehrkräften essenziell (Leuders et al. 2018). Die Diagnosekompetenzen, die zur Bearbeitung der Diagnoseaufträge der Videovignetten zur Mathematik gelehrt werden, werden im Kontinuum-Modell nach Blömeke et al. (2015) verortet. Die dort gestellten Aufgaben wurden nach einem Diagnoseprozessmodell nach Beretz et al. (2017) entwickelt und in die Diagnoseaufträge der Vignetten übertragen. Videovignetten helfen dabei, die Theorie-Praxis-Kluft im Studium zu überwinden und die in Vorlesungen vermittelten theoretischen Grundlagen zu illustrieren (Enenkiel et al. 2022). Diese Überwindung ist wichtig, denn Lehrkräfte und Lehramtsstudierende mit geringer unterrichtspraktischer Erfahrung sind weniger kompetent, wenn es darum geht, Ursachen des Schüler:innenverhaltens festzustellen, als Lehrkräfte mit Praxiserfahrung (Seidel und Prenzel 2008; Sabers et al. 1991). Mit ViviAn können so Kompetenzen, die später in der Berufspraxis essenziell sind, schon früh erworben und trainiert werden.

2.2 Usability

Verfahren der Usability-Evaluation ermöglichen es, Systeme hinsichtlich ihrer Gebrauchstauglichkeit zu untersuchen und zu beurteilen. Dabei wird analysiert, inwiefern das Bezugssystem es den Nutzer:innen erlaubt, gesetzte Ziele (z. B. Trainieren der Diagnosekompetenz anhand von Videovignetten, Abschn. 2.1) möglichst „effektiv, effizient und zufriedenstellend zu erreichen“ (Sarodnik und Brau 2016, S. 20). Hinsichtlich möglicher Verfahren kann dichotom zwischen formativer und summativer Usability-Evaluation unterschieden werden: Während die formative Usability-Evaluation prozessbegleitend erfolgt, bezieht sich die summative Usability-Evaluation auf eine bereits abgeschlossene Entwicklung und steht am Ende eines Entwicklungsprozesses (Sarodnik und Brau 2016).

Usability-Evaluationen werden häufig parallel zur Entwicklung kommerzieller Software und analoger Bedienelemente (z. B. im Automobilbereich) eingesetzt, um die Gebrauchstauglichkeit der Produkte zu überprüfen und diese möglichst früh im Entwicklungszyklus zu steigern (Rubin und Chisnell 2008). Davon abweichend lassen sich nur sehr wenige Veröffentlichungen zu Usability-Evaluationen von Online-Lernplattformen finden (Debevc und Bele 2008; Scherb et al. 2023) obwohl der Lernprozess der Nutzer:innen wesentlich durch die Gebrauchstauglichkeit einer solcher Plattform beeinflusst werden kann (Meiselwitz und Sadera 2008). Ein Erklärungsansatz hierfür könnte sein, dass bestehende Instrumente der Usability-Evaluation häufig softwarespezifisch sind und sich nur bedingt auf Online-Lernplattformen anwenden lassen (Scherb et al. 2023).

Insbesondere die formative, also prozessbegleitende Usability-Evaluation bietet sich an, um möglichen Fehlern frühzeitig entgegenzuwirken und die Gebrauchstauglichkeit kontinuierlich Feedback-basiert zu verbessern. Eine iterative Forschungsmethodik, die sich in diesem Zusammenhang anbietet, wird nachfolgend vorgestellt.

2.3 Feedback

Im Kontext von Lern- und Videoanalyseplattformen wird Feedback fast ausschließlich im Sinne des Lernfeedbacks verwendet, also eines Feedbacks, das Lernende aufgrund ihrer Eingaben erhalten. Bislang gibt es noch keine (empirisch fundierten) Quellen, die Hinweise dazu liefern, wie ein Feedback von Lernenden und Lehrenden hin zu Entwickelnden zweckdienlich stattfinden kann. Um Videoanalyseplattformen nachhaltig zu entwickeln und zu warten reicht es nicht aus, nur Funktionen und Interaktionen zu ermöglichen und zu programmieren, um diese dann für die Nutzer:innen bereitzustellen. Es bedarf einer umgedrehten Feedbackstruktur, bei der die Entwickelnden sowohl quantitatives als auch qualitatives Feedback der Nutzer:innen erhalten, um Funktionen und Interaktionen stetig anpassen und weiterentwickeln zu können. So ist zum einen das Feedback der Lehrenden wichtig, welches beispielsweise Informationen zum genauen Einsatz der Plattform (Gruppengrößen, Lehr-Lernformate etc.) liefert, zum anderen das der Lernenden, da diese als Endnutzer:innen den zeitlich längsten Umgang mit der Plattform haben. Ihr Feedback sollte zum Beispiel Nutzungsweisen, verwendete Endgeräte und Wünsche für individuelle Funktionen zu bestimmten Lerninhalten umfassen. Nur durch eine kontinuierliche und systematische Feedbackkultur kann auch eine konstante Weiterentwicklung gelingen, die an den Bedürfnissen sowohl der Lehrenden als auch der Lernenden ausgerichtet ist. Werden mögliche Systemhürden abgebaut, ist anzunehmen, dass dies dem Lernerfolg zuträglich ist, da die Auseinandersetzung mit den Inhalten der Lernplattform gemäß der Usability-Definition (Abschn. 2.2) effektiver, effizienter und zufriedenstellender erfolgen kann.

Ein Studiendesign, das sich für die Etablierung einer solchen kontinuierlichen und systematischen Feedbackkultur eignet, wird nachfolgend im Zusammenhang mit der Lernplattform ViviAn erläutert.

3 Forschungsdesign

Zur systematischen Weiterentwicklung einer Lernplattform ist es zweckdienlich auf einen Design-Based Research Ansatz zurückzugreifen, da er in der Lage ist, vielfältige Forschungsmethoden miteinander zu kombinieren, um gezielt Design- und Forschungsziele prozessbegleitend und praxisnah zu erreichen.

3.1 Design-Based Research

Design-Based Research ist ein innovationsorientiertes Forschungsdesign, das eine praxisnahe Erforschung und Entwicklung ermöglicht. Die unterschiedlichen Facetten des Untersuchungskontextes können dadurch differenzierter berücksichtigt werden (Schäfer und Diezemann 2017). Mit einem Makro- und mehreren iterativ durchlaufenen Mikrozyklen wird das Design und seine Anwendung systematisch überprüft. Der Ablauf der Zyklen gliedert sich in Design, Erprobung, Evaluation und dem eventuell anschließenden Re-Design (Reinmann 2017). Re-Design meint das Umgestalten des zuvor getesteten Entwicklungsstands auf Basis der erhobenen Werte und der gewonnenen Erkenntnisse. Das Forschungsvorhaben orientiert sich am Makrozyklus nach Euler (2014).

3.2 Forschungsfragen

Am Anfang eines Design-Based Research Projektes stehen auf der Theorie fußende Forschungsfragen, die das gesamte Projekt umfassen. Innerhalb der iterativen Mikrozyklen können z. B. Design-Hypothesen aufgestellt werden, um die Designelemente näher zu untersuchen. Die grundlegende Forschungsfrage lautet:

Welchen Gestaltungsprinzipien muss man folgen, um eine Feedbackstruktur für Online-Videoplattformen zu integrieren?

Zunächst wurden die notwendigen Theorien betrachtet (Kap. 2) und grundlegende Elemente herauskristallisiert. Darauf aufbauend werden im Folgenden Mikrozyklen durchgeführt, in denen Designelemente sukzessive untersucht und gegebenenfalls erweitert werden. Basierend auf den gewonnenen Erkenntnissen innerhalb der Mikrozyklen, können weiterführende Theorien und Forschungsformate herangezogen werden, um die Designelemente in weiteren Zyklen auszuschärfen.

3.3 Datenerhebung und Datenauswertung

Die Erhebung der Daten wurde in der Vorlesung Fachdidaktische Grundlagen im Fach Mathematik des Studiengangs Bachelor of Education der RPTU in Landau durchgeführt. Die Studierenden setzten sich in der Vorlesung zunächst mit der fachdidaktischen Theorie zur Diagnosekompetenz sowie zum Lehren und Lernen im Themengebiet Flächen- und Rauminhalte auseinander und bearbeiteten anschließend auf der Videoanalyseplattform ViviAn die Vignetten im Vignettenbereich Flächen- und Rauminhalte. Nach Abschluss der letzten Vignette beantworteten die Studierenden verschiedene Skalen. Die Umfrage wurde mit dem Online-Fragebogentool LimeSurvey realisiert. Eingesetzt wurde der Usability-Fragebogen Din EN ISO 9241-110 nach Prümper und Anft (1993), der die sieben Aspekte der Usability abdeckt. Dabei handelt es sich um die Aspekte Aufgabenangemessenheit, Selbstbeschreibungsfähigkeit, Erwartungskonformität, Lernförderlichkeit, Steuerbarkeit, Fehlertoleranz und Individualisierbarkeit. Ebenso wurden Plattform-spezifische Skalen eingesetzt, die von Bartel und Roth (2020) entwickelt wurden: Interesse an der Arbeit mit ViviAn, wahrgenommene Relevanz der Arbeit mit ViviAn, wahrgenommene Schwierigkeiten, wahrgenommene Realitätsnähe sowie Gestaltung der Lernumgebung. Zusätzlich wurde eine Gesamtbewertung erfragt, die zum einen die Arbeit mit den Vignetten, zum anderen die Arbeit mit der Homepage exklusive der Vignettenebene umfasst. Ebenfalls wurden Freitextfragen gestellt, die folgende Aspekte adressierten: Welche Zusatzinformationen haben bei der Vignettenarbeit geholfen? Was ist bei der Arbeit mit den Videos positiv aufgefallen? Welche Wünsche an das System sowie sonstige Anmerkungen zum Umgang mit ViviAn oder dem Fragebogen gibt es? Die quantitative Datenauswertung fand mit R und die qualitative mit MAXQDA statt.

3.4 Mikrozyklen

In iterativ durchlaufenen Mikrozyklen werden einzelne Aspekte und Funktionen der Plattform genau untersucht und gegebenenfalls weiterentwickelt oder angepasst. Hier können vielfältige Methoden eingesetzt werden, um passgenaue Untersuchungsformate für die zu untersuchenden Aspekte ermöglichen zu können. Nachfolgend werden die Mikrozyklen 0, 1a, 1b und 1c vorgestellt. Die Ergebnisse zu Mikrozyklus 0 sind in diesem Beitrag nur überblickshaft und in Scherb et al. (2023) ausführlich dargestellt. Die Zyklen 1a und 1b befinden sich noch in der Planungs- und Pilotierungsphase, weshalb nur die bereits ausgewerteten Ergebnisse von Zyklus 1c vorgestellt werden. Alle Mikrozyklen zusammen bilden die unterschiedlichen Bereiche und Herangehensweisen ab, die notwendig sind, um eine umfassende Feedbackstruktur zu etablieren.

3.4.1 Mikrozyklus 0

Mikrozyklus 0 stellt den Startpunkt des Projektes dar. In ihm wurde ViviAn in einem aufwendigen Re-Designprozess überarbeitet. Das eigenständige System von ViviAn wurde in die Open-Source Software WordPress integriert. Es ermöglicht so die Gestaltung von Webseiteinhalten (FAQ, Übersichtsseiten etc.) ohne Programmierkenntnisse und ebnete den Weg für die Wartung und Gestaltung der Verwaltungsstrukturen des Systems in einem größeren Team. Durch die Implementation von responsiven, also sich an die Auflösung verschiedener Endgeräte anpassenden, Designs wird so auch die Arbeit mit unterschiedlichen Endgeräten ermöglicht.

Ein weiteres Hauptziel des Überarbeitungsprozesses bestand in der Überarbeitung der Vignettenebene. Sie wurde von einem initial statischen in ein flexibles, d. h. bedarfsorientiert veränderbares, Layout umgestaltet. Alle Inhalte sind nun auf der je nach Auflösung des Endgerätes variierenden Browserseite frei positionierbar. So wird gewährleistet, dass alle Nutzer:innen während der Vignettenarbeit die Arbeitsoberfläche an ihre individuellen Bedürfnisse anpassen können.

Um die Nutzung der Webseite nachvollziehen und Schwachstellen aufdecken zu können, wurde in diesem Zyklus das Analysetool Matomo Analytics genutzt. So konnte nachvollzogen werden, ob sich die Nutzer:innen in der neuen Struktur der Videoanalyseplattform zurechtfanden, wie die Funktionen der neuen Vignettenoberfläche genutzt wurden und ob es Überarbeitungsbedarf gab.

Nach der Umgestaltung wurden sowohl die neue Webseite als auch das Vignettensystem einer ersten Usability-Evaluation unterzogen, um den Status Quo und damit den Start des Projekts abbilden zu können. Die in Abschn. 3.3 angeführten Skalen wurden von Teilnehmer:innen der Vorlesungen Fachdidaktische Grundlagen und Didaktik der Zahlbereichserweiterung ausgefüllt. Dort wird ViviAn systematisch in jedem Studienjahr eingesetzt, was die Grundlage für ein konstantes Monitoring der Werte darstellt. Dadurch können neue Trends und Bearbeitungsbedürfnisse frühzeitig erkannt und das System kann dementsprechend angepasst werden.

Die Proband:innen (N = 168) sollten die Lernplattform auf einer Schulnotenskala von 1–6 bewerten: Insgesamt wurde die Arbeit mit der Vignettenoberfläche mit 1,89 (SD = 0,72) und die Homepage ohne den Vignettenbereich mit 2,02 (SD = 0,72) bewertet. Die ausführliche Ergebnisdarstellung erfolgt in Scherb et al. (2023) und wird hier nicht in Gänze ausgeführt. Zur vergleichenden Darstellung der Mikrozyklen (Kap. 4) werden die hierfür relevanten quantitativen Ergebnisse vorgestellt. Alle in diesem Beitrag genutzten Skalen verwenden eine Likertskala von 1–7. Die sieben Aspekte der Usability tragen die Labels 1 (−−−), 2 (−−), 3 (−), 4 (−/+), 5 (+), 6 (++), 7 (+++) und alle weiteren Skalen 1 = „trifft nicht zu“ sowie 7 = „trifft voll zu“.

Ein Ergebnis, dass aus dem qualitativen Teil der Erhebung hervorging, war der verstärkte Wunsch der Nutzer:innen nach einem individuelleren Feedback auf ihre gegebenen Antworten. Dies wurde unter anderem in Mikrozyklus 1 vertieft betrachtet.

3.4.2 Mikrozyklus 1

Mikrozyklus 1 kann in mehrere eigene Unterzyklen unterteilt werden, da die Ergebnisse von Mikrozyklus 0 Optimierungsbedarf an mehreren Stellen aufgezeigt haben und eigene, unabhängige Untersuchungen erfordern, die aber noch innerhalb der Sphäre und dem Zeitrahmen von Mikrozyklus 1 stattfinden und keine aufeinander aufbauenden Zyklen darstellen. Die fortlaufende Nummerierung der Unterzyklen muss in weiteren Mikrozyklen äquivalent fortgesetzt werden.

3.4.2.1 Mikrozyklus 1a: Individuelles Feedback

Es wurde auf Basis des qualitativen Feedbacks aus Mikrozyklus 0 eine Schnittstelle zwischen ViviAn und dem Fragebogentool LimeSurvey entwickelt, die es ermöglicht, die gegebenen Antworten direkt in einem eigenständigen Bereich innerhalb von ViviAn gefiltert nach Kursen und Vignetten einzusehen. Dies bildet das Grundgerüst einer interaktiven Oberfläche, auf der die gegebenen Antworten im Plenum besprochen und mit dem Expert:innenfeedback abgeglichen werden können. Derzeit befindet sich dieser Bereich mit vielfältigen Funktionen, einem Administrationspanel zur Moderation durch die Kursleiter:innen und eine Live-Aktualisierung in der Pilotierung (siehe Abb. 2). Abb. 2 zeigt einen Screenshot eines frühen Prototyps dieses Bereichs. Oberhalb der Arbeitsoberfläche sind Buttons zu sehen, mit denen die Kursleiter:innen erste Administrationsmöglichkeiten haben, wie etwa die Expert:innenantworten auszublenden, oder die Möglichkeit, Notizen zu erstellen, ein- oder auszuschalten. Auf der Arbeitsoberfläche ist in einem Block die erste Frage einer Umfrage zu sehen. Darunter befindet sich eine von Kursteilnehmer:innen gegebene Antwort („Testantwort“). Die Kursleiter:innen haben nun die Möglichkeit, pro gegebener Antwort eine Notiz anzuheften. Die Aktionen der Administration und die eingegebenen Notizen werden bei allen Kursteilnehmer:innen sekündlich aktualisiert, sodass eine synchrone Arbeit ermöglicht wird. Unter dem Block mit der gegebenen Testantwort befindet sich das Expert:innenfeedback. Dieser Mikrozyklus ist noch nicht abgeschlossen.

Abb. 2
figure 2

(© Die Autoren)

Prototyp des interaktiven Bereichs aus Sicht der Kursleiter:innen. Angeheftete Kursantworten an der Fragestellung mit interaktiver Notizfunktion und Expert:innenfeedback. Basierend auf der speziell für ViviAn programmierten Schnittstelle zwischen ViviAn und LimeSurvey.

Full size image
3.4.2.2 Mikrozyklus 1b: Bearbeitungsmuster und Passgenauigkeit

Ein wesentliches weiteres Ziel bestand darin, die Passgenauigkeit zwischen E-Klausur und Trainingsbereich zu überprüfen. In Mikrozyklus 0 wurde bereits Matomo Analytics unter anderem für diesen Zweck eingesetzt. Es zeigte sich jedoch, dass die erhobenen Daten von Matomo Analytics keine für ViviAn ausreichende individualisierte quantitative Auswertung zuließen. Aus diesem Grund wurde es notwendig, ein eigenes Trackingtool zu programmieren, das die Bearbeitungsmuster der Nutzer:innen nachvollziehbar und quantitativ auswertbar macht – sowohl für den Trainings-, als auch den E-Klausurbereich. Die generierten Daten sollen dazu genutzt werden, die Bearbeitungsmuster der Nutzer:innen im Trainingsbereich zu analysieren und mit denen der Prüfungssituationen abzugleichen. Da die E-Klausur auf speziell dafür eingerichteten und abgesicherten Laptops stattfindet, ist es umso wichtiger, dass die individuellen Vorbereitungen und der antrainierte Umgang mit dem System aufgegriffen werden, um für jede:n Klausurteilnehmende:n eine gewohnte und optimale Arbeitsumgebung bieten zu können. Durch Tracking der Öffnungszeiten der Material- und Informationsfenster in der Ansicht der Vignettenbearbeitung kann ihre Nutzung überprüft werden. Es können so gezielt ungenutzte Hilfsmittel identifiziert und häufig genutzte Hilfestellungen optimiert werden. Dieser Mikrozyklus ist noch nicht abgeschlossen.

3.4.2.3 Mikrozyklus 1c: Monitoring der Usability-Daten zur Qualitätssicherung

In diesem Unterzyklus wurden die Usability-Daten zweier Kohorten (Sommersemester 2021 und 2022) vergleichend untersucht, um die Qualität der Bereiche sicherzustellen. Auch konnte dadurch der Frage nachgegangen werden, welche aus der Vielfalt der möglichen Endgeräte (PC mit großem Bildschirm über Tablets bis hin zu Smartphones) von den Nutzer:innen tatsächlich in welcher Häufigkeit eingesetzt werden. Dies ermöglicht es, vorausschauend auf Trends hinsichtlich der bei den Nutzer:innen präferierten Endgeräte einzugehen. Dies ist gerade auch vor dem Hintergrund wesentlich, dass das Training mit den Vignetten von den Kursteilnehmenden individuell und nicht in Lehrveranstaltungen durchgeführt wird. Diese Erkenntnisse ermöglichen es, Schwierigkeiten zu identifizieren und auf Grundlage des Feedbacks der Nutzer:innen Systemhürden abzubauen, die die Nutzung unvorteilhaft beeinflussen bzw. beeinträchtigen. Die Befunde aus Mikrozyklus 1c werden nachfolgend detailliert berichtet, da bereits deutliche Ergebnisse vorliegen, die die Notwendigkeit des Monitorings unterstreichen.

4 Ergebnisse: Mikrozyklus 1c

Zunächst werden die von den Nutzer:innen anhand des Schulnotensystems gegebenen Gesamtbewertungen der Plattform sowie des Vignettensystems herangezogen und verglichen. Tab. 1 zeigt eine Verschlechterung beider Noten: Die Bewertung der Arbeit mit den Vignetten verschlechtert sich von 1,89 auf 2,07 und die der Plattform ohne das Vignettensystem von 2,0 auf 2,36. Es liegen zwar alle ermittelten Durchschnittsnoten in einem guten Wertebereich, aber die durchschnittliche Beurteilung des zweiten Messzeitpunkts fällt jeweils geringer aus.

Tab. 1 Vergleich der gegebenen Noten auf einer Schulnotenskala (1–6) der Kohorten 2021 und 2022 (M = Mittelwert, SD = Standardabweichung). (© Die Autoren)
Full size table

Die Statistik der Gerätenutzung zeigt, dass die Nutzung von mobilen Endgeräten in der Kohorte 2022 vermehrt vorkam. So stieg die Tablet-Nutzung von 10,6 auf 35,7 und die Handynutzung von 0 auf 3,1 Prozentpunkte an. Die Verwendung von Desktop-PCs sank von 17,9 auf 13,2 und die von Laptops von 70,2 auf 48 Prozentpunkte (Tab. 2).

Tab. 2 Vergleich der genutzten Endgeräte zwischen Kohorte 2021 und 2022. (© Die Autoren)
Full size table

Die genutzten Bildschirmgrößen zeigen eine deutliche Verschiebung hin zu kleineren Bildschirmdiagonalen mit kleiner als 11, 11 bis 13 und 13 bis 15 Zoll (Abb. 3). Größere Bildschirmdiagonalen zeigen dementsprechend einen Rückgang.

Abb. 3
figure 3

(© Die Autoren)

Bildschirmgröße der Kohorten 2021 und 2022 in %.

Full size image

Der Vergleich zwischen den sieben Aspekten der Usability nach Prümper und Anft (1993) zeigt ebenfalls eine Verschlechterung der Werte aller Skalen (Tab. 3). Aufgrund der deutlichen Verschiebung der Endgerätenutzung wurden die einzelnen Items der Skalen hinsichtlich eines möglichen Einflusses durch die nicht für eine Nutzung mit Tablets optimierte ViviAn-Oberfläche untersucht. Für jedes Item wurde analysiert, ob ein konkreter Bezug zur Endgerätenutzung herzustellen ist und ob eine Tablet-Nutzung die Bewertung des Items beeinflusst. Es zeigte sich, dass die Skalen Aufgabenangemessenheit, Erwartungskonformität, Steuerbarkeit und Individualisierbarkeit Items beinhalten, die durch die Nutzung von ViviAn mit einem Tablet direkt oder indirekt beeinflusst werden.

Tab. 3 Vergleich der sieben Aspekte der Usability zwischen Kohorte 2021 und 2022 (M = Mittelwert, SD = Standardabweichung). (© Die Autoren)
Full size table

Durch den deskriptiven Rückgang des Mittelwerts (vgl. Tab. 3) und den daraus resultierenden kleinen Effekten (vgl. Tab. 4) wird deutlich, dass nur die Skalen, die solche Items enthalten, eine negative statistische Ausprägung besitzen und das mit kleinen Effekten.

Tab. 4 t-Test der sieben Aspekte der Usability zwischen den Kohorten 2021 und 2022. (© Die Autoren)
Full size table

Es werden zwei weitere Skalen hinzugezogen, die die Usability ergänzen. Die Skala Umgang mit ViviAn wurde von Bartel und Roth (2020) entwickelt und beinhaltet spezifische Items für die Arbeit mit ViviAn. Auch hier ist ein deutlicher Rückgang von 5,59 auf 4,89 zu beobachten (vgl. Tab. 5). Bestätigt wird der deskriptive Rückgang durch einen t-Test mit mittlerem Effekt (vgl. Tab. 6). Im generellen Umgang mit dem Computern schätzen sich beide Kohorten mit 4,69 und 4,68 nahezu identisch ein.

Tab. 5 Vergleich der Skalen Umgang mit ViviAn und Umgang mit dem Computer zwischen den Kohorten 2021 und 2022 (M = Mittelwert, SD = Standardabweichung). (© Die Autoren)
Full size table
Tab. 6 t-Tests der Skalen Umgang mit ViviAn und Umgang mit dem Computer. (© Die Autoren)
Full size table

5 Diskussion und Ausblick

Das hier vorgestellte Forschungsprojekt erfasst eine Vielzahl an unterschiedlichen Facetten, die für das Gelingen von Videoanalyseplattformen entscheidend sind. Sowohl die Qualitätssicherung der Inhalte als auch deren Nutzung auf den Endgeräten und die einheitliche Bearbeitungsweise für Training sowie E-Klausur stehen im Fokus. Die ersten Ergebnisse des Monitorings zeigen auf, wie wichtig eine Erfassung und Auswertung dieser Daten ist, um langfristig den Erfolg der Plattform zu ermöglichen.

Die Vignettenoberfläche wurde unter anderem so konzipiert und gestaltet, dass sie eine hohe Passung zu den in der E-Klausur verwendeten Laptops bietet. Die in Kap. 4 dargestellten Ergebnisse bestärken die Vermutung, dass womöglich mangelnde Usability die Gesamtbewertung beeinflusst haben könnte, da die Vignettenoberfläche initial nicht für die Arbeit mit Tablets optimiert wurde, es aber einen Trend hin zur Nutzung von ViviAn mit Tablets zu geben scheint. Dieser Nutzungstrend wäre ohne das Monitoring und den Vergleich der Usability-Evaluationen verborgen geblieben. Durch die identische Einschätzung im Umgang mit dem Computer lässt sich eine mögliche fehlende Kompetenz im Umgang mit den Endgeräten als Grund für das Absinken der Werte ausschließen. Im klaren Kontrast hierzu hat die Skala Umgang mit ViviAn mit einem mittleren Effekt (d = 0,69) abgenommen. Vor dem Hintergrund der erhöhten Tablet-Nutzung und der durch den Tablet-Einsatz negativ beeinflussten Usability-Skalen legt dies die Schlussfolgerung nahe, dass der verstärkte Tablet-Einsatz maßgeblich zu dieser Verschlechterung beiträgt. Idealerweise erlaubt ein initial entwickeltes responsives Design die Nutzung auf verschiedensten Endgeräten. Im Falle komplexerer Videoanalyseplattformen, wie z. B. ViviAn, lässt sich dies insbesondere in Hinblick auf Smartphones nicht zwangsläufig realisieren, da bestenfalls mehrere Fenster nebeneinander geöffnet sein sollten, um den Lernprozess zu unterstützen.

Die Designentscheidung ein permanentes Usability-Monitoring einzuführen, um eine umgedrehte Feedbackkultur zu etablieren, erlaubt es, wie hier am Beispiel der Nutzung der Endgeräte gezeigt wurde, mögliche Trends in der Nutzung zu identifizieren und potenzielle Probleme aufzudecken. Es gilt nun, diese Struktur fest in die Plattform zu integrieren, sodass die Entwickler:innen kontinuierliches Feedback der Nutzer:innen, also der Lehrenden und der Lernenden, erhalten und für die Weiterentwicklung der Plattform nutzen können.

Da das generell hohe Interesse an der Videoanalyseplattform ViviAn vermehrt Wünsche nach interaktiven Funktionen aufkommen lässt, ist die Weiterentwicklung des interaktiven Bereichs für Tutorien und Übungen (Mikrozyklus 1a) derzeit am umfangreichsten. Der bereits bestehende Prototyp zur Einsicht in die Antworten der Lernenden für die Lehrenden und die Lernenden selbst, wird aufwendig überarbeitet und in Übungen zur Vorlesung Didaktik der Zahlbereichserweiterung an der Rheinland-Pfälzischen Technischen Universität Kaiserslautern-Landau (RPTU) in Landau pilotiert. Es steht die Implementierung von interaktiven Bearbeitungsmöglichkeiten im Vordergrund, die mit Feedback von Studierenden und Kursleiter:innen entwickelt werden. So soll auf die genauen Bedarfe aller Nutzer:innen eingegangen werden können. Es wird versucht, eine Infrastruktur zu schaffen, die verschiedene Feedbackformen in sich vereint: zum einen den Ausbau der Feedbackmöglichkeiten der Lehrenden an die Lernenden, zum anderen die Integration von aktivem Feedback der Lernenden an die Entwickelnden sowie passivem Feedback wie z. B. Trackingdaten. Ferner soll den Kursleiter:innen ermöglicht werden, durch eine interaktive Arbeitsoberfläche individuelleres Feedback geben zu können. Gleichzeitig soll die umgedrehte Feedbackstruktur implementiert werden, die die verschiedenen Bedürfnisse und Arbeitsweisen der Nutzer:innen aufnimmt und für das Monitoring und die Weiterentwicklung qualitativ als auch quantitativ bereitstellt.

Allgemein kann festgehalten werden, dass durch die Kombination aus Usability-Monitoring und anonymisierten Trackingdaten frühzeitig Nutzungstrends erkannt werden können, die sich negativ auf die Arbeitsweise und den Umgang mit Lern- bzw. Videoanalyseplattformen auswirken könnten. Empirische Untersuchungen der Nutzungsweisen und zu von Nutzer:innen eingesetzten Endgeräten, lassen Rückschlüsse darauf zu, ob die Funktionen und Inhalte der Plattformen durch technischen Gegebenheiten ggf. nicht angemessen genutzt werden können. Durch die Erweiterung dieses Monitorings um eine generelle Feedbackstruktur können auch latente Missstände schnell identifiziert werden. Offene Fragenformate können in diesem Kontext die Basis für eine qualitative Evaluation darstellen, um bestehende Funktionen evidenzbasiert zu erweitern oder fehlende Funktionen, die den Lernprozess der Nutzer:innen unterstützen können, hinzuzufügen. Die Entwicklungen der Endgeräte schreiten stetig voran und der Markt wird immer diverser. Es ergeben sich ständig neue Möglichkeiten, Lerninhalte zu nutzen. Die Betreiber einer Plattform, deren Nutzung dauerhaft gewährleistet werden und die nicht nach wenigen Jahren untauglich sein soll, sollten solche Entwicklungen bei den eigenen Nutzer:innen aufmerksam verfolgen und die Gestaltung der Plattform an die veränderten Arbeitsweisen der Nutzer:innen anpassen.