1 Einleitung

In der Wirtschaftsinformatik sowie verschiedenen Nachbardisziplinen ist die konzeptuelle Modellierung ein wesentlicher Kernbestandteil des Curriculums. Sie ist daher beispielsweise fester Bestandteil sowohl der Empfehlung der internationalen Fachgesellschaft Association for Computing Machinery (ACM) für Curricula verschiedener IT-Disziplinen (Association for Computing Machinery 2021) als auch der Rahmenempfehlung der Gesellschaft für Informatik (GI) für die Ausbildung in Wirtschaftsinformatik an Hochschulen (Gesellschaft für Informatik 2017). Bei der grafischen, konzeptuellen Modellierung werden z. B. Diagramme für den Datenbank- und Softwareentwurf erstellt oder Geschäftsprozessmodelle entworfen, die einen bestehenden oder geplanten Wirklichkeitsausschnitt einer Organisation wiedergeben.

Für die Lehre in diesen Fächern gilt – genauso wie für alle anderen Bereiche der Hochschulausbildung – seit vielen Jahren die Forderung nach einem Perspektivenwechsel von einer dozenten- hin zu einer studierendenzentrierten Lehre. Demnach sollen zum einen die Problemlöse- und Selbstlernkompetenzen der Studierenden gestärkt werden, zum anderen sollten die Dozierenden verstärkt die Rolle als Begleitende des Lernprozesses einnehmen und ausüben. Die Umsetzung dieses „Shift from Teaching to Learning“ (Berendt 1998) scheitert bislang insbesondere in Lehrveranstaltungen mit hohen Teilnehmendenzahlen aufgrund der nicht ausreichenden personellen Ressourcen für die zeitintensive persönliche Begleitung von Studierenden in ihrem individuellen Lernprozess. Hierzu zählen unter anderem Erstellung, Korrektur und Feedback zu kompetenzorientierten Übungs- und Prüfungsaufgaben. Dies betrifft insbesondere jene Aufgaben, die höhere Niveaustufen von Lernzielen adressieren und nicht über klassische Multiple-Choice-Wissensabfragen oder andere geschlossene Aufgabenformate abgehandelt werden können. Gerade die konzeptuelle Modellierung ist von dieser Einschränkung stark betroffen, da es hier nicht nur auf theoretisches Wissen, sondern auch auf die praktische Anwendung von Modellierungsmethoden und -werkzeugen ankommt. Aufgrund der Komplexität des Themas kann in Vorlesungen und Übungen mit hohen Teilnehmendenzahlen jedoch keine individuelle Betreuung während des Lösens von Modellierungsaufgaben ermöglicht werden. Die Erreichung von Lernzielen mit höheren Niveaustufen, welche die Kompetenzorientierung betonen, wird dementsprechend insbesondere in der Lernphase selten angemessen überprüft. Zudem verschließt sich die Modellierung schon alleine deshalb der einfachen Überprüfung mit geschlossenen Aufgabenformaten, weil es häufig verschiedene Lösungsalternativen zu einer Modellierungsaufgabe geben kann. Gerade dieser Aspekt macht das individuelle Coaching – das heißt individuelle Rückmeldung zur Aufgabenlösung – im Kontext der Modellierungslehre so bedeutsam und notwendig.

An genau dieser Stelle können kompetenzorientierte E‑Assessments helfen, indem die gestiegenen Anforderungen an das Prüfungsformat erfüllt und gleichzeitig die Dozierenden entlastet werden können, so dass mehr Kapazität für die individuelle Begleitung frei wird und dadurch die Qualität der Lehre insgesamt gesteigert werden kann. Entsprechende, digitalisierte und automatisch korrigierte Übungs- sowie Klausuraufgaben zur Modellierung wurden im letzten Jahrzehnt an verschiedenen Hochschulen entwickelt und eingesetzt. Um bestehende Insellösungen miteinander zu integrieren und es damit Studierenden wie Dozierenden zu ersparen, in jeder Lehrveranstaltung und für jede Modellierungssprache jeweils verschiedene eigenständige Systeme zu nutzen, möchte das Projekt KEA-Mod eine E‑Assessment-Plattform aufsetzen, die bestehende technische Anwendungen zur grafischen Modellierung in einem einheitlichen digitalen Fachkonzept zusammenführt, so dass eine breite Abdeckung relevanter Modellierungssprachen erfolgen kann. Diese Plattform soll anschließend an mehreren Standorten exemplarisch angewendet und evaluiert werden. Die Plattform ist darauf ausgelegt, anhand offener Schnittstellen, Parametrisierung und Modularisierung (i) die Erweiterung auf zusätzliche Modellierungssprachen sowie (ii) eine individuelle Anpassung an die Ausprägung der Anforderungen am jeweiligen Standort zu ermöglichen.

2 Die Forschungsagenda des KEA-Mod-Projekts

Um eine verbesserte und umfassend einsetzbare E‑Assessment-Plattform entwickeln und in regulären Vorlesungen einsetzen zu können, sollen im Laufe des Projekts vier Leitfragen beantwortet werden (siehe auch Striewe et al. (2020)).

Die erste Frage betrifft das Verhältnis zwischen den geforderten Modellierungskompetenzen in der praktischen, beruflichen Anwendung und den Lernzielen in den Lehrplänen der Hochschulen. Die Betrachtung nur einer der beiden Seiten kann dazu führen, dass relevante Aspekte übersehen oder falsche Schwerpunkte gesetzt werden. Eine der ersten Forschungsaktivitäten im KEA-Mod-Projekt ist daher, durch die Analyse von Modul- und Vorlesungsbeschreibungen bzw. Lernzielbeschreibungen und Fachliteratur mit Bezug zur Modellierung sowie auf Basis bildungswissenschaftlicher Ansätze ein vorläufiges Kompetenzmodell für die betrachteten Aspekte der Modellierung zu erstellen und dieses durch eine Expertenbefragung u. a. mit Anwendern aus der Praxis zu validieren. Auf diese Weise können sowohl Erkenntnisse dazu gewonnen werden, welche praktisch relevanten Modellierungskompetenzen in den Lernzielbeschreibungen verschiedener universitärer Lehrveranstaltungen nicht vertreten sind, als auch welche praktische Relevanz den vorhandenen bzw. identifizierten Lernzielen bzw. Kompetenzaspekten zugeschrieben wird.

Die zweite Frage zielt darauf ab, herauszufinden, welche kompetenzorientierten Formate und Aufgabentypen an welcher Stelle im Lehr‑/Lernzyklus derzeit bereits zur Förderung und Überprüfung von Modellierungskompetenzen eingesetzt werden. Dabei können mehrere Aufgabentypen geeignet sein, eine bestimmte Teilkompetenz der grafischen Modellierung (im Folgenden als „Kompetenzfacette“ bezeichnet) zu messen. Gleichzeitig ist es aufgrund der Komplexität von Modellierungsaufgaben sehr unwahrscheinlich, dass ein Aufgabentyp genau eine einzige Kompetenzfacette misst/anspricht. Folglich müssen die bestehenden Abhängigkeiten sorgfältig analysiert werden. Dazu werden Prüfungs- und Übungsmaterialien, die derzeit in der Hochschulbildung verwendet werden, mit dem oben genannten Kompetenzmodell abgeglichen. Auch hier kommt wieder eine Expertenbefragung zum Einsatz, bei der diesmal Lehrende beurteilen, welche Aufgabentypen welche Kompetenzfacetten für die Modellierung abdecken.

Die dritte Frage untersucht, welche Aufgabentypen höhere kognitive Niveaustufen (Anwenden, Analysieren, Bewerten, Erstellen) in geeigneter Weise ansprechen. Da möglicherweise manche der existierenden Aufgabentypen nicht relevant oder technisch nicht für die Automatisierung geeignet sind, muss ferner analysiert werden, welche Kompetenzfacetten durch Aufgabentypen gefördert werden können, die (i) individuell und adaptiv generiert und (ii) vollständig automatisch geprüft werden können. Insbesondere ist es nicht das Ziel des Forschungsprojekts, die Aufgaben so zu verändern, dass sie zu den aktuellen technischen Möglichkeiten bestehender E‑Assessment-Tools passen (z. B. Einsatz von Multiple-Choice Aufgaben). Stattdessen sind die Funktionen der E‑Assessment-Plattform so zu gestalten, dass sie möglichst alle relevanten Aufgabentypen und Kompetenzfacetten zur konzeptuellen grafischen Modellierung so weit wie möglich abdecken. Falls sich herausstellt, dass bestehende Übungs- und Prüfungsaufgaben bzw. deren Bewertungskriterien und -verfahren die für diesen Bereich relevanten Lernziele und Kompetenzfacetten nicht ausreichend erfassen bzw. nicht zu dessen Messung geeignet sind, muss die zusätzliche Frage beantwortet werden, wie Bewertungsverfahren/-kriterien verändert oder modifiziert werden können, um die gewünschte Übereinstimmung zwischen Lernzielen und Kompetenzfacetten einerseits und entsprechenden Aufgabentypen andererseits herzustellen.

Mit der durch die dritte Frage entwickelten Sammlung von Kompetenzfacetten und zugehörigen Aufgabentypen, ist die vierte und letzte Frage, wie man individuelles und detailliertes Feedback jeweils passend für verschiedene Lehr‑/Lernszenarien in automatisierter Form erzeugen kann.

Über die vorgestellten Fragen hinaus ist die Gebrauchstauglichkeit bzw. Usability einer E‑Assessment-Plattform ein weiteres wichtiges Thema. Aus mediendidaktischer Sicht kann es beispielsweise wichtig sein, dass die Funktionalität der Plattform in die den Studierenden bekannte, technische Umgebung (z. B. die dort vorhandene Lernplattform) der jeweiligen Hochschule eingebettet wird, um einen Medienbruch zu vermeiden. Um dies zu erreichen, wird die Plattform auf der Basis einer Microservice-Systemarchitektur realisiert, die eine Integration in bestehende technische Lösungen vereinfachen soll. Darüber hinaus sind so die Grundvoraussetzungen für eine modulare Anpassung und Wartung gegeben, so dass alle Systemkomponenten erweitert oder ausgetauscht werden können, ohne die Funktionalität des Gesamtsystems zu gefährden.

3 Theoretische Ergebnisse

Naturgemäß gelten die Modellbildung (das, was gemeinhin unter Modellierung verstanden wird) und das Modellverstehen als Kernkompetenzen der Modellierung. Dies wird auch durch die von Glinz (2008) vorgeschlagenen Lernziele für die Modellierung in der Lehre an Hochschulen ausgedrückt, wonach Studierende „[…] sowohl das Lesen und Verstehen bestehender Modelle als auch die Bildung von Modellen“ lernen sollen. Dazu sollen sie „[…] geeignete Modellierungssprachen in dem Umfang erlernen, der sie zur Anwendung des Konzeptwissens über Modellierung befähigt“. Ordnet man diese Lernziele in die (nach Bloom überarbeitete) Taxonomie von Anderson und Krathwohl (2001) ein, so befinden sich diese auf den auf höheren und kompetenzorientierten Ebenen bzw. Kategorien des „Anwenden“ und „Analysieren“. Auch überprüfbare Lernziele für die Modellierung zu den beiden höchsten Stufen „Evaluieren“ und „Erschaffen“ dieser Taxonomie sind grundsätzlich im digitalen Fachkonzept von KEA-Mod zu berücksichtigen.

Nachfolgend werden zunächst die bisherigen Forschungsergebnisse zu Modellierungskompetenzen kurz zusammengefasst. Anschließend werden zwei typische Beispiele für kompetenzorientierte Modellierungsaufgaben für den Übungs- oder Prüfungskontext zu den Kernkompetenzen Modellbildung und Modellverstehen erläutert, die im Projekt KEA-Mod umgesetzt werden sollen. Anschließend wird auf Eingabewerkzeuge und derzeit bereits vorhandene, automatische Bewertungswerkzeuge eingegangen.

3.1 Kompetenzen

Entsprechend der Forschungsagenda des KEA-Mod-Projekts wurde ein vorläufiges Kompetenzmodell für die grafische, konzeptuelle Modellierung erstellt (Soyka et al. 2021), welches als Grundlage für die Entwicklung kompetenzbasierter Übungs- und Prüfungsaufgaben dienen soll. Es basiert auf der etablierten, zweidimensionalen Lernzieltaxonomie von Anderson und Krathwohl (2001) sowie ähnlichen Ansätzen, welche die Taxonomie für spezifische Kontexte und Zwecke angepasst haben, wie z. B. Schaper et al. (2013). Kernstück des Modells bildet eine Matrix aus fünf Inhaltsbereichen und fünf Prozessstufen (siehe Abb. 1).

Abb. 1
figure 1

Übersicht über das Kompetenzmodell. (Für die mit Sternchen gekennzeichneten Kompetenzbereiche wurden keine Kompetenzfacetten definiert)

Full size image

Die Prozessdimension auf der horizontalen Achse des Kompetenzmodells unterscheidet von links nach rechts die Prozessstufen „Erinnern“, „Verstehen“, „Anwenden und Übertragen“, „Analysieren und Bewerten“ sowie „Erschaffen“ und dient der Beschreibung und Einordnung von Kompetenzfacetten auf unterschiedlichen kognitiven Niveaustufen, die tendenziell in ihrem kognitiven Anspruch und ihrer Komplexität zunehmen. Auf der vertikalen Achse des Kompetenzmodells befindet sich die Inhaltsdimension. In Anlehnung an die Kompetenzdefinition nach Weinert (2001) umfasst die Inhaltsdimension des Kompetenzmodells neben den kognitiven Aspekten der Kompetenz auch motivationale, volitionale und wertbezogene Aspekte sowie soziale Fähigkeiten. Die kognitiven Kompetenzen werden durch die beiden Inhaltsbereiche „Modellverstehen und -interpretieren“ sowie „Modellbilden und -modifizieren“ repräsentiert. Dazu gehören domänenspezifisches Wissen und Fähigkeiten zum Lesen und Verstehen bestehender grafischer Modelle und zum Erstellen neuer Modelle oder Modellteile. Darüber hinaus definiert das Kompetenzmodell fachübergreifende Kompetenzaspekte bzw. Querschnittskompetenzen in den Bereichen Werte, Haltungen und Überzeugungen, metakognitives Wissen und Fähigkeiten sowie sozial-kommunikative Fähigkeiten, die für die grafische Modellierung relevant sind.

Diese zweidimensionale Struktur erlaubt es, die für die grafische, konzeptuelle Modellierung relevanten Kompetenzfacetten jeweils genau einer Zelle der Matrix und damit einem bestimmten Inhaltsbereich und einer Prozessstufe zuzuordnen. Dabei kann eine Zelle mehrere Kompetenzfacetten enthalten. Insgesamt umfasst das Kompetenzmodell 75 Kompetenzfacetten: Davon 20 im Inhaltsbereich Modellverstehen und -interpretieren, 28 im Bereich Modellbilden und -modifizieren, 8 im Bereich Werte, Einstellungen, Überzeugungen, 10 im Bereich metakognitive Kenntnisse und Fähigkeiten und 8 Kompetenzfacetten im Inhaltsbereich sozial-kommunikative Fähigkeiten. Die einzelnen Kompetenzfacetten sind als Lernziele formuliert und bestehen aus einem inhaltlichen und einem handlungs- bzw. prozessbezogenen Aspekt. Aufgrund des großen Umfangs können diese hier nicht im Detail diskutiert werden. Um nur ein Beispiel zu nennen: Die Kompetenzfacette „MB 4.03: Die Lernenden können auf Basis bekannter Richtlinien oder Konventionen verständliche und gut lesbare Modelle erstellen.“ ist dem Inhaltsbereich „Modellbilden und -modifizieren“ zugeordnet und auf der Prozessebene „Erschaffen“ angesiedelt (d. h. in der Zelle „MB4“).

Das Kompetenzmodell bietet somit eine Hilfestellung, um eine umfassende Förderung und Überprüfung von Modellierungskompetenzen in unterschiedlichen Inhaltsbereichen und auf verschiedenen Prozessstufen sicherzustellen.

3.2 Aufgabenstellungen

Modellierungsaufgaben werden in der Lehre sowohl formativ zur Förderung und Entwicklung der Modellierungskompetenzen eingesetzt, als auch summativ um den Kompetenzerwerb zu überprüfen. Bei der Entwicklung der Aufgabenstellungen ist es erforderlich, dass sie die intendierten Kompetenzfacetten tatsächlich ansprechen und somit messbar machen.

Eine typische Aufgabe im Inhaltsbereich „Modellbilden und -modifizieren“ ist eine Aufgabe der Art „Modell erstellen“. Eine solche Aufgabe besteht in der Regel aus der Angabe eines Textes mit einer Situationsbeschreibung, die vom Studierenden unter Verwendung einer festgelegten Modellierungssprache in ein Modell übersetzt werden soll. Dabei sind neben der Beherrschung der Modellierungssprache auch kognitive Fähigkeiten wie Textverständnis und Abstraktion eine wesentliche Grundvoraussetzung für das erfolgreiche Lösen. Aufgaben dieses Typs sind manuell nur mit hohem Zeitaufwand überprüfbar und dabei durch Inkonsistenzen und Flüchtigkeitsfehler bei der Korrektur mit einer gewissen Fehlerquote behaftet. Hier kann eine (teil)automatisierte Überprüfung der Lösungen die Fehlerquote verringern bzw. eine einheitliche Korrektur gewährleisten. Aktuell werden Lösungen zudem überwiegend noch schriftlich auf Papier gezeichnet. Das entspricht zum einen nur teilweise dem tatsächlichen Praxiseinsatz, wo Modelle spätestens zur maschinellen Verarbeitung mit einem Modellierungswerkzeug erstellt werden; zum anderen ist die Lesbarkeit erschwert und somit der Korrekturaufwand für die Bewertenden zusätzlich erhöht.

Im Inhaltsbereich „Modellverstehen und -interpretieren“ werden üblicherweise Aufgaben zu konkreten Modellen gestellt. Beispielsweise wird bei Aufgaben der Art „Fehler im Modell finden“ nach der syntaktischen Korrektheit eines Modells gefragt oder nach der inhaltlichen Korrektheit, d. h. ob eine bestimmte Faktenaussage durch das Modell abgedeckt wird. Dieser Aufgabentyp lässt sich im Rahmen einer automatisierten Bewertung auch durch Multiple-Choice-Fragen abdecken. Hierbei liegt der Vorteil darin, dass sich studentische Antworten grundsätzlich eindeutig automatisiert überprüfen lassen. Darüber hinaus kann auch die Aufgabenstellung durch die maschinelle Generierung von Antwortmöglichkeiten automatisiert werden, so dass individualisierte, adaptive Prüfungsformate ermöglicht werden.

3.3 Eingabewerkzeuge

Für die Eingabe von digitalen studentischen Lösungen in Form von Modellen steht bereits eine Fülle an verschiedenen Modellierungswerkzeugen zur Verfügung. Diese bieten in den meisten Fällen eine Modellierungsunterstützung an, welche wesentliche syntaktische Regeln der eingesetzten Modellierungssprachen direkt überprüfen beziehungsweise Regelverstöße konstruktiv verhindern. Um zu überprüfen, ob Studierende die syntaktischen Regeln einer Modellierungssprache beherrschen ist eine solche Funktionalität allerdings hinderlich und entspräche dem (absurden) Szenario, das Lernziel der Beherrschung von Rechtschreibregeln unter Einsatz eines Werkzeugs mit automatischer Rechtschreibprüfung testen zu wollen. Deshalb wird im Rahmen von KEA-Mod eine Eingabemöglichkeit erstellt, bei welcher solche Kontrollen eingeschränkt werden können, so dass auch syntaktische Fehleingaben möglich sind.

3.4 E-Assessment-Werkzeuge

Im Rahmen einer umfangreichen, systematischen Literaturanalyse wurden rund 110 wissenschaftliche Publikationen aus dem Kontext von E‑Assessment-Werkzeugen für die grafische, konzeptuelle Modellierung daraufhin untersucht, welche Aspekte von diesen Werkzeugen überprüft werden und wie ausgeprägt die Bezüge zu Modellierungskompetenzen sind (Ullrich et al. 2021b). Dabei wurde festgestellt, dass die meisten der untersuchten Publikationen über E‑Assessment-Werkzeuge berichten, die semantische und syntaktische Aspekte adressieren. Pragmatische Aspekte, wie z. B. die Verständlichkeit von Modellen aufgrund einer gut lesbaren Anordnung von Elementen oder der Verwendung aussagekräftiger Benennungen, spielen dagegen eine eher untergeordnete Rolle. Aufgrund der großen Bedeutung pragmatischer Aspekte für die menschliche Kommunikation in Organisationen oder in Entwicklungsprojekten, gibt es demnach noch sehr viel Potenzial, pragmatische Aspekte in Bezug auf Modelle in die Lehre (und entsprechend in E‑Assessment-Werkzeuge) einzubeziehen.

Die Literaturanalyse führte ferner zur Identifikation zahlreicher Methoden und Techniken, die zur technischen Realisierung einer automatisierten Bewertung eingesetzt werden. Dabei wurde allerdings deutlich, dass ein präzises Kategoriensystem der existierenden Methoden und eine Metastudie, die die Genauigkeit der einzelnen Methoden analysiert, wünschenswert sind. Eine solche Wissensbasis würde es erlauben, geeignete und vielversprechende Ansätze für Anwendungszwecke in Lehr- und Lernszenarien zu identifizieren und weiterzuentwickeln mit dem Ziel, leistungsfähigere Werkzeuge zur automatisierten Bewertung konzeptueller Modelle zu schaffen.

Vielfach fehlt es den untersuchten Publikationen auch an expliziten Verbindungen zwischen E‑Assessment-Werkzeugen einerseits und pädagogischen Szenarien und Theorien andererseits. Eine große Anzahl von Beiträgen stellt keine expliziten und tiefen Bezüge zu didaktischen bzw. Instruktionstheorien her, ebenso sind die meisten Werkzeuge nicht spezifisch für ein bestimmtes Szenario vorgesehen, wie z. B. dem Einsatz im Übungsbetrieb oder als E‑Prüfung. Vielmehr wird die Entwicklung von E‑Assessment-Werkzeugen oft mit der Arbeitsbelastung der Lehrenden motiviert, ohne auf den möglichen didaktischen Wert einer automatischen Bewertung einzugehen. Daher sind an dieser Stelle weitere Untersuchungen notwendig, um herauszufinden, welche Modellierungskompetenzen bereits mit automatisierten Systemen bewertet werden können und wie das mit den Szenarien übereinstimmt, die tatsächlich verwendet werden, um diese Kompetenzen zu vermitteln.

Die mangelhafte Berücksichtigung von Modellierungskompetenzen bei der automatisierten Bewertung zeigt sich auch im Feedback, das von E‑Assessment-Werkzeugen erzeugt wird. Es wird zwar eine Vielzahl verschiedener Feedbackarten (grafisch, textuell oder numerisch) verzeichnet, aber ein großer Teil der Systeme gibt Feedback lediglich auf Basis der gefundenen Fehler. Es scheint ein Mangel an E‑Assessment-Werkzeugen zu bestehen, die Feedback unter Berücksichtigung des Lernstandes oder der zu erlernenden Kompetenzen geben.

4 Die KEA-Mod-Plattform

Die Erkenntnisse zeigen, dass bislang keine den Anforderungen des Projekts KEA-Mod entsprechende E‑Assessment-Plattform existiert. Um dennoch im Rahmen des KEA-Mod-Projektes einen substanziellen Fortschritt in den oben genannten Bereichen erzielen und neue Konzepte in der Praxis erproben zu können, ist demnach die Entwicklung einer neuen, flexiblen und erweiterbaren E‑Assessment-Plattform notwendig. Diese Plattform soll es erlauben, verschiedene Aufgabentypen, Bewertungsdienste und Feedbackarten miteinander zu kombinieren, so dass eine möglichst hohe Abdeckung der Kompetenzfacetten aus dem vorstellten Kompetenzmodell sowohl in den Aufgabenstellungen als auch in den Rückmeldungen des Systems erreicht werden kann. Gleichzeitig sind auch die in der Forschungsagenda genannten weiteren Ziele als nicht-funktionale Anforderungen an die Plattform zu berücksichtigen. Im Frühjahr 2020 wurde mit der technischen Entwicklung der Plattform begonnen, um im Herbst 2021 mit dem ersten Release in den Probebetrieb zu starten.

Einen Überblick über die Bestandteile der KEA-Mod-Plattform gibt das in Abb. 2 dargestellte UML-Komponentendiagramm. Die Plattform-Architektur weist eine Microservice-Struktur auf, die verschiedene interoperable Komponenten und Systeme miteinander vereint. Die Plattform gliedert sich in die Kernanwendung bestehend aus Frontend und Backend, separate Bewertungsdienste in beliebiger Anzahl sowie Standardsoftwarekomponenten wie die Datenbank und die Bewertungsqueue (grau gefärbt). Zudem ist der Anschluss externer Systeme vorgesehen. In den folgenden Abschnitten werden die zentralen Komponenten der Plattformarchitektur näher beschrieben (für Details siehe auch Ullrich et al. (2021a)).

Abb. 2
figure 2

Überblick über die Plattform-Architektur

Full size image

4.1 Frontend

Das Frontend besteht aus drei Komponenten, die jeweils als unabhängige Webanwendung realisiert sind: die Dozierenden UI und die Studierenden UI als Benutzeroberflächen zum Anlegen, Verwalten und Bearbeiten von Aufgaben sowie der Modellierungseditor. Die Dozierenden UI realisiert die folgenden drei, zentralen Use Cases der Plattform aus Sicht von Lehrenden:

  • Aufgaben und Bewertungsschemata erstellen

  • Aufgabenreihen für Studierende bereitstellen

  • Einreichungen von Studierenden sowie dazugehörige Bewertungen einsehen

Die Studierenden UI realisiert analog dazu die zentralen Use Cases aus Sicht von Lernenden:

  • Aufgaben bearbeiten und zur Bewertung einreichen

  • Feedback einsehen

Die strikte Trennung dieser drei Komponenten hat mehrere Vorteile: In beiden Benutzeroberflächen steht der Modellierungseditor direkt zur Verfügung, um diesen als eigenständige Komponente nutzen zu können. Zudem ist es möglich, den Modellierungseditor als eigenständige Anwendung für Schulungs- oder Produktionszwecke zu nutzen, ganz ohne sich vorher an der Plattform anmelden zu müssen. Damit wird auch ein Use Case „freies Modellieren“ unterstützt. Weiterhin bieten die getrennten Benutzeroberflächen für die beiden Hauptbenutzergruppen der Plattform eine klare Aufteilung der Rollen und ihrer jeweiligen Aktionen, so dass ein Minimum an Berechtigungsprüfungen erforderlich ist.

Das Frontend soll verschiedene Aufgabentypen ermöglichen, die jeweils in Bezug zu den Inhaltsbereichen des Kompetenzmodells stehen. Im ersten Release der Plattform steht je ein Aufgabentyp für die Inhaltsbereiche „Modellverstehen und -interpretieren“ und „Modellbilden und -modifizieren“ zur Verfügung. Weitere Aufgabentypen sollen in nachfolgenden Releases ergänzt werden, um eine möglichst weitgehende Abdeckung der Kompetenzfacetten zu erreichen.

4.2 Backend

Die zentrale Komponente des Backends bildet die REST-Schnittstelle, welche die über die Frontend-Komponenten eingehenden Anfragen verarbeitet. Die Authentifizierung und Autorisierung eingehender Anfragen nutzt die Identitätsprovider der teilnehmenden Hochschulen. Dabei wird lediglich die Speicherung eines pseudonymisierten Identifikators in der Datenbank der Plattform vorgenommen, so dass ein Personenbezug nur schwer wieder herstellbar ist. Dies ermöglicht es nebenbei, die gewonnenen Daten gegebenenfalls auch für weitere Forschung zu nutzen.

Der Bewertungsinitialisierer nimmt das Bewertungsschema zu einer Modellierungsaufgabe und die Einreichung eines Studierenden als Eingabe, um die automatisierte Bewertung mit den gemäß Schema gewählten Bewertungsdiensten anzustoßen. Um eine möglichst hohe Flexibilität der Plattform in Bezug auf die Integration weiterer Analyseverfahren zu gewährleisten, werden die Bewertungsverfahren nicht direkt im Backend implementiert, sondern in separate Bewertungsdienste ausgelagert (siehe Abschnitt 4.3), die über die Bewertungsqueue mit der Kernanwendung kommunizieren. Sobald alle Ergebnisse der Bewertungsdienste zur Verfügung stehen, wird vom Bewertungsverarbeiter eine Gesamtbewertung zu einer Einreichung auf der Grundlage der im Bewertungsschema angegebenen Bewertungsvorgaben ermittelt. Die aggregierten Ergebnisse sowie das generierte individuelle Feedback der einzelnen Bewertungsdienste werden schließlich zurück in die Datenbank geschrieben und können über die Benutzeroberflächen von Dozierenden und Studierenden eingesehen werden. Von den Dozierenden können bei Bedarf vor Veröffentlichung der Ergebnisse für Studierende zunächst verschiedene Bewertungsschemata zu einer Aufgabe erprobt und die jeweiligen Ergebnisse miteinander verglichen werden. Ein final ausgewähltes Bewertungsschema wird dann für alle Einreichungen verwendet.

4.3 Bewertungsdienste

Ein Bewertungsdienst ist eine eigenständige Anwendung, die eine bestimmte Analyse für eine Einreichung durchführt und die Ergebnisse (numerische Punktzahl und Feedbackliste, wobei Feedbacktexte auch einzelnen Modellelementen zugeordnet werden können) wieder an die Bewertungsqueue zurückgibt. Während einige Bewertungsdienste nur auf bestimmte Modelltypen anwendbar sind, können andere für mehrere Modelltypen verwendet werden. Beispiele sind pragmatische Qualitätsmetriken, die die Verständlichkeit von Diagrammen messen, indem sie z. B. Kantenkreuzungen zählen oder prüfen, ob die räumliche Anordnung von Kanten innerhalb eines Prozessmodells in einer konsistenten Flussrichtung erfolgt. Der Umfang der Bewertungsdienste reicht von einfachen Diensten, die z. B. nur die syntaktische Korrektheit von Diagrammen prüfen, bis hin zu komplexen Diensten, die z. B. ein studentisches Modell auf semantische Korrektheit prüfen, was den Vergleich mit einer oder sogar mehreren Musterlösungen oder festgelegte Regeln erforderlich macht.

Diese Flexibilität und Granularität der Bewertungsdienste erlaubt es, mit einzelnen Diensten zielgerichtet zu überprüfen, welche der durch eine Aufgabe angesprochenen Kompetenzfacetten bei den Studierenden wie stark ausgeprägt sind. So kann spezifisches Feedback erzeugt werden, das die Ergebnisse dieser Überprüfung sichtbar macht und zur Förderung der entsprechenden Kompetenzfacetten beitragen kann. Beispielsweise können bei einer Aufgabe zur Modellerstellung ein oder mehrere Bewertungsdienste die oben in Kapitel 3 beispielhaft genannte Kompetenzfacette MB 4.03 beleuchten und somit in ihrem Feedback auf Defizite in der Verständlichkeit und Lesbarkeit der Einreichung hinweisen, während andere Bewertungsdiente beispielsweise die inhaltliche oder syntaktische Korrektheit des eingereichten Modells analysieren. Je nach Kontext der Aufgabe wird das entstehende Feedback auf Basis des Bewertungsschemas (siehe oben in Abschnitt 4.2) passend zusammengefasst, um einen möglichst hohen Nutzen im Rahmen der jeweiligen Lehrveranstaltung zu erzielen.

5 Erprobung und Ausblick

Neben der Entwicklung der vorgestellten Plattform ist auch der Transfer in die praktische Anwendung eine wichtige Aufgabe des Projekts KEA-Mod. In der laufenden Pilotphase wird die Plattform in verschiedenen Kursen der beteiligten Projektpartner eingesetzt. Weitere Institutionen haben bereits Interesse signalisiert, die Plattform in der abschließenden Transferphase des Projekts zu nutzen. Eine der größten Herausforderungen, die hier erwartet wird, ist die Integration der Plattform in bestehende Lernmanagementsysteme oder andere E‑Assessment-Systeme.

Darüber hinaus können die über die Plattform erhobenen Daten unter Berücksichtigung strenger Datenschutzmaßnahmen Gegenstand weiterer Forschung sein. Eine Möglichkeit ist die Untersuchung des Modellierungsprozesses, der durch den Modellierungseditor beobachtet und protokolliert werden kann. Darüber hinaus birgt die Anwendung von Machine-Learning-Ansätzen ein enormes Potenzial für die Entwicklung von intelligenten Bewertungsdiensten. Hier könnten automatisch generierte Bewertungsergebnisse (die manuell überprüft und freigegeben wurden) als Trainingsdaten dienen.

Eine weitere mögliche Ergänzung sind Aufgabengeneratoren für parametrisierte Aufgaben zum Modellverstehen. Damit können beispielsweise automatisch Antwortoptionen für Multiple-Choice-Fragen passend zu einem bestimmten Diagramm generiert werden. Dies erspart stundenlange, mühsame Handarbeit, wenn Lehrende eine größere Menge an Variationen ähnlicher Aufgaben erstellen möchten und ermöglicht es perspektivisch zudem, Fragen individuell zu zuvor von den Studierenden eingereichten Lösungen zu stellen.

Parallel zur technischen Weiterentwicklung und Evaluation der Plattform wird auch das vorläufige Kompetenzmodell für die grafische, konzeptuelle Modellierung in verschiedenen Untersuchungen (z. B. Cognitive Labs: Methode des lauten Denkens zur Untersuchung der kognitiven Prozesse bei der Bearbeitung von Modellierungsaufgaben) weiter validiert und auf dieser Basis weiterentwickelt.