Zusammenfassung
Hintergrund
Mehr als 60 Jahre nach dem Erlass der ersten Approbationsordnung für Zahnärzte (ZÄPrO) trat im Jahr 2020 eine neue Approbationsordnung für Zahnärzte und Zahnärztinnen (ZApprO) in Kraft. Ziele dieser Untersuchung waren die Evaluation und ein Vergleich der auf den unterschiedlichen gesetzlichen Grundlagen basierenden Lehrveranstaltungen „Kurs der Technischen Propädeutik“ (TPK) und „Zahnmedizinische Propädeutik mit Schwerpunkt Dentale Technologie“ (ZPDT).
Methoden
Nach Abschluss der Veranstaltungen wurden folgende Parameter untersucht: (1.) theoretisches und praktisches Wissen, (2.) reguläre fachbereichsinterne Evaluation durch die Lernenden, (3.) spezielle Evaluation der Lernbedingungen aus Sicht der Lernenden und (4.) aus Sicht der Lehrenden. Die theoretischen und praktischen Prüfungen und die Fragebögen wurden hinsichtlich ihrer teststatistischen Kenngrößen (Schwierigkeit, Trennschärfe, interne Konsistenz) analysiert. Gruppenvergleiche zwischen TPK und ZPDT erfolgten durch t‑Tests für unabhängige Gruppen.
Ergebnisse
Lediglich bei der Evaluation zur Erfassung der speziellen Lernbedingungen aus Sicht der Lernenden konnten signifikante Unterschiede festgestellt werden, wobei die theoretische und praktische Wissensvermittlung im TPK niedriger als im ZPDT bewertet wurde.
Diskussion
Die vergleichbaren Ergebnisse der Wissensüberprüfungen und der regulären Evaluation, trianguliert mit der umfangreichen Evaluation durch Lernende und Lehrende, ermöglichten eine umfassende Beurteilung beider Veranstaltungen. Die ermittelten signifikanten Unterschiede eröffnen Möglichkeiten zur Optimierung des neu implementierten ZPDT-Kurses.
Abstract
Background
More than 60 years after the enactment of the first Licensing Regulations for Dentists (ZÄPrO), a new Licensing Regulations for Dentists, the ZApprO, was implemented in 2020. The aims of this study were to evaluate and compare the “Course in Technical Propaedeutics” (TPK) with the course “Dental Propaedeutics with a Focus on Dental Technology” (ZPDT), which are based on different legal foundations.
Methods
The following parameters were compared after completion of the courses: (1) theoretical and practical knowledge, (2) regular department-internal learner evaluation, and (3) special evaluation of learning conditions by the learners and (4) by the instructors. The theoretical and practical exams and the questionnaires were analyzed in terms of their test-statistical characteristics (difficulty, discrimination index, internal consistency). Group comparisons between TPK and ZPDT were conducted using t‑tests for independent groups.
Results
Significant differences were only detected in the students’ evaluation of their learning conditions, with theoretical and practical knowledge transfer being rated lower in the TPK than in the ZPDT.
Discussion
The comparable results of the knowledge assessments and the regular learner evaluation, triangulated with the comprehensive learner and instructor evaluation, allowed a broad assessment of both courses. The significant differences identified provide opportunities for optimization of the newly implemented ZPDT course.
Avoid common mistakes on your manuscript.
Hintergrund
Die von der Deutschen Gesellschaft für Zahn‑, Mund- und Kieferheilkunde (DGZMK) und den zahnärztlichen Körperschaften vorangetriebene Neubeschreibung der Zahnheilkunde mit einer stärkeren Hinwendung zur Prävention innerhalb der vergangenen 20 Jahre ist in der zahnärztlichen Praxis längst Realität geworden. Mehr als 60 Jahre nach Erlass der ersten Prüfungs- beziehungsweise Approbationsordnung für Zahnärzte (ZÄPrO) im Jahr 1955 folgte der Verordnungsgeber am 01.10.2020 den Forderungen nach einer zeitgemäßen, am heutigen Stand der zahnmedizinischen Wissenschaft orientierten Ausbildungsordnung [1, 2].
Die aktuelle Approbationsordnung für Zahnärzte und Zahnärztinnen (ZApprO) beinhaltet einige neue Schwerpunkte, die vor allem mit dem o. g. Präventionsgedanken, der steigenden Notwendigkeit von Interdisziplinarität und der zunehmenden Technisierung bzw. Digitalisierung in der Zahnmedizin zu erklären sind [3, 4]. Diese gilt es, prozedural möglichst breitflächig umzusetzen und das Erreichen der Ziele „regelmäßig und systematisch“ zu bewerten [1].
Die Evaluation von Curricula, deren Änderungen und direkten bzw. indirekten Auswirkungen wurden häufig in der Literatur thematisiert [4,5,6,7,8,9,10,11,12,13,14,15,16]. So gab es im Falle der ZApprO die Ansichten, dass der grundlegende Unterschied zwischen bisheriger und aktueller Approbationsordnung in der Neuorientierung an zahnärztlichen Behandlungsschritten, nicht aber in einer „Aufgabe zahnmedizinischer Studieninhalte“ liege. Ziel sei eine frühe, fachspezifische Kompetenzentwicklung bereits ab Studienbeginn [4]. Letzteres wurde auch durch die Entwicklung des Nationalen Kompetenzbasierten Lernzielkataloges Zahnmedizin (NKLZ) seit 2015 unterstützt [3, 16, 17].
Gleichzeitig wurden Bedenken an der ZApprO laut, insbesondere bezüglich einer vermuteten Reduzierung von Studieninhalten speziell im Bereich der Anfertigung von Zahnersatz, wobei als mögliche Vor-Ort-Lösung der Hinweis auf die jeweiligen Studienordnungen der einzelnen Universitäten deklariert wurde [2, 4].
Den Autorinnen und Autoren dieses Beitrags sind zum jetzigen Zeitpunkt keine Vergleichsuntersuchungen zwischen bisherigen und aktuellen sogenannten Propädeutikkursen im ersten Abschnitt des Zahnmedizinstudiums bekannt. Genau diese Lücke soll die vorliegende Studie mit dem Vergleich der Lehrveranstaltungen „Kurs der Technischen Propädeutik“ (TPK) nach der alten und der Lehrveranstaltung „Zahnmedizinische Propädeutik mit Schwerpunkt Dentale Technologie“ (ZPDT) nach der neuen Approbationsordnung schließen.
Folgende Parameter wurden verglichen:
-
1.
theoretische und praktische Prüfungsergebnisse,
-
2.
fachbereichsinterne Evaluation zur Erfassung genereller Rahmenbedingungen aus Sicht der Lernenden,
-
3.
Evaluation zur Erfassung der speziellen Lehr- und Lernbedingungen aus Sicht der Lernenden mit Bezug zu spezifischen Themen wie Digitalisierung, Interdisziplinarität sowie Anatomie-Einführungskursen, die im ZPDT erstmals unmittelbar vor der Lehrveranstaltung stattfanden,
-
4.
Evaluation aus Sicht der Lehrenden.
Hauptfragestellung der vorliegenden Untersuchung war somit, ob sich Unterschiede in der Bewertung der beiden Lehrveranstaltungen bezüglich der oben genannten Parameter feststellen lassen.
Die gewonnenen Erkenntnisse sollen dazu dienen, die Lehrveranstaltung ZPDT gegebenenfalls gezielt zu optimieren.
Methoden
Die Datenerhebung fand von Juli bis Dezember 2022 im Zentrum für Zahn‑, Mund- und Kieferheilkunde (Carolinum) der Goethe-Universität Frankfurt am Main statt. An der Lehrveranstaltung TPK nahmen 39 Lernende (26 weiblich, 13 männlich) mit einem Durchschnittsalter von 24,10 (±4,24) Jahren teil, die überwiegend dem 5. und 6. Fachsemester (ZÄPrO) zuzuordnen waren. Sie befanden sich somit nicht mehr in der Regelstudienzeit. Der ZPDT-Kurs bestand aus 45 Lernenden (32 weiblich, 13 männlich) mit einem Durchschnittsalter von 19,96 (±1,17) Jahren, welche das Studium gerade begonnen hatten und sich somit im 1. Fachsemester befanden (ZApprO). Die Ein- und Ausschlusskriterien sind der Tab. 1 im Onlinematerial zu entnehmen.
Allgemeiner Aufbau sowie Besonderheiten der Lehrveranstaltungen
Beide Veranstaltungen (Tab. 1) beinhalteten jeweils eine Vorlesung sowie ein Praktikum und schlossen mit einer summativen Prüfung ab, welche aus einem theoretischen (schriftlichen) und einem praktischen Teil bestand [18, 19]. Alle den Prüfungen zugrunde liegenden Items wurden an vorher definierten NKLZ-Lernzielen orientierend konzipiert. Voraussetzung für die Prüfungszulassung war, alle praktischen, in einem Testatheft nachzuweisenden Arbeitsschritte absolviert zu haben. Bei allen Prüfungen war eine einmalige Wiederholung möglich.
Die Lehrveranstaltung TPK basierte auf der alten ZÄPrO und fand innerhalb von 7 Semesterwochen mit jeweils 40 Semesterwochenstunden (SWS) von Anfang August bis Mitte September 2022 statt. Somit ergab sich eine Gesamtzeit von 280 Semesterstunden [18].
In der neuen Studienordnung sind der modulare Aufbau und die Ausweisung der Lehrveranstaltungen nach Maßstäben des europäischen Credit-Transfer-Systems vorgegeben [19]. Die Lehrveranstaltung ZPDT wurde interdisziplinär und kompetenzorientiert (NKLZ-basiert) erstellt. Hierzu gehörte die Etablierung einer Curriculums-Arbeitsgruppe (CA), die aus 8 Mitgliedern aus den Bereichen Prothetik (2), Zahnerhaltung, inkl. Parodontologie (2), Oralchirurgie (1), Kieferorthopädie (1) sowie Studierenden der Fachgruppe Zahnmedizin (2) bestand.
Erstellt wurde die Lehrveranstaltung während insgesamt 9 Sitzungen der CA, die von August bis Dezember 2021 stattfanden. Zusätzlich wurde erstmalig ein Anatomie-Einführungskurs zu Beginn angeboten. Im TPK hingegen wurde der Anatomiekurs schon über 3 Semester gelehrt.
Die Lehrveranstaltung fand innerhalb von 14 Semesterwochen mit jeweils 5 SWS (2 SWS für die Vorlesung + 3 SWS für das Praktikum) von Mitte April bis Mitte Juli 2022 statt. Somit belief sich die Gesamtzeit der Semesterstunden in Präsenz auf 70.
Zusätzlich wurden Selbststudienzeiten definiert, welche für die Vorlesung (51) und das Praktikum (76) insgesamt 127 Semesterstunden umfassten. Dadurch betrug die Gesamtzeit der Lehrveranstaltung 197 Semesterstunden. Im Rahmen des Selbststudiums wurden praktische und theoretische Aufgaben erledigt, die seitens der Lehrenden mit einem kontinuierlichen Feedback unterstützt wurden.
Evaluation der Wissensüberprüfungen (Parameter 1)
In beiden Kursen wurde eine schriftliche Prüfung im Einfach-Wahl-Verfahren (Single Choice) durchgeführt, wobei entweder 45 Fragen in 70 min (TPK) oder 30 Fragen in 45 min (ZPDT) zu beantworten waren. 14 der Klausurfragen waren in beiden Prüfungen identisch und bildeten die Grundlage der späteren Gegenüberstellung der erreichten Ergebnisse.
Den 14 gemeinsamen Klausurfragen wurde jeweils ein entsprechendes NKLZ-Lernziel zugeordnet. In Abhängigkeit von der Selbsteinschätzung der Lernenden hinsichtlich des entsprechenden Lernziels in der nachfolgenden Evaluation und den zugeordneten Resultaten in der Klausur (richtige oder falsche Antwort) war es somit möglich, Aussagen über die Übereinstimmung von Selbst- und Fremdeinschätzung (Bewertung durch Lehrende) zu treffen.
Die praktische Wissensüberprüfung beinhaltete in beiden Kursen die Präparation des Zahnes 11 im Phantomkopf zur Aufnahme einer vestibulär verblendeten Verblendmetallkrone innerhalb von 2 h. Diese bildete die Grundlage der späteren Gegenüberstellung der erreichten Ergebnisse. Zusätzlich musste in der TPK-Prüfung der Zahn 26 aus 250 g Plastilin-Knetmasse in Übergröße modelliert werden (Prüfungszeit 3 h), während in der ZPDT-Prüfung der gleiche Zahn im Labor aus Modellierwachs in natürlicher Größe modelliert werden sollte (Prüfungszeit 2,5 h).
Bewertet wurden alle praktischen Prüfungen anhand objektiver Bewertungskriterien durch dieselben kalibrierten Prüfenden, bestehend aus Zahnärztinnen und -ärzten der Poliklinik für Zahnärztliche Prothetik (siehe Abb. 1–3 im Onlinematerial). Es war obligatorisch, beide Prüfungsteile erfolgreich zu absolvieren, um die praktische Prüfung insgesamt zu bestehen. Auch im Rahmen der praktischen Wissensüberprüfung konnten unter Bezugnahme auf die Selbsteinschätzung hinsichtlich entsprechender praktischer Lernziele Aussagen über Selbst- und Fremdeinschätzung getroffen werden.
Fachbereichsinterne Evaluation zur Erfassung genereller Rahmenbedingungen aus Sicht der Lernenden (Parameter 2)
Die nach jeder Lehrveranstaltung regulär stattfindende, fachbereichsinterne Evaluation aus Sicht der Lernenden fand jeweils am Ende des ZPDT- und TPK-Kurses anonym statt. Sie bestand aus 4 Abschnitten:
-
A.
Angaben zur Organisation,
-
B.
Angaben zur Lehrveranstaltung,
-
C.
Ergänzung digitale Lehre und
-
D.
Angaben zur Person bzw. zum aktuellen Studiengang (siehe Tab. 2 im Onlinematerial).
Fragebogen zur Erfassung der speziellen Lehr- und Lernbedingungen aus Sicht der Lernenden (Parameter 3)
Zur Erfassung der speziellen Lehr- und Lernbedingungen wurde ein mehrteiliges Evaluationsinstrument nach der Delphi-Methode erarbeitet [20, 21]. Basierend auf Fragebögen aus ähnlichen Publikationen wurde ein initiales Instrument entwickelt [22,23,24,25,26,27,28,29,30]. Dieses wurde anschließend sukzessive in 23 Delphi-Runden optimiert und inhaltlich an die beiden Lehrveranstaltungen angepasst. Der finale Fragebogen bestand aus 5 Abschnitten:
-
E.
allgemeine Angaben zu Stammdaten für das Zahnmedizinstudium,
-
F.
theoretische Wissensvermittlung (sowohl in der Vorlesung als auch im Praktikum),
-
G.
praktische Vermittlung von Kompetenzen,
-
H.
sonstige Angaben (u. a. Angaben zur Einschätzung der Relevanz eines Anatomiekurses),
-
I.
subjektive Einschätzung der erzielten Kompetenzen anhand theoretischer und praktischer NKLZ-Lernziele (siehe Abb. 4–10 im Onlinematerial).
In einem Pretest wurde der Fragebogen an einer Referenzgruppe (5 über die Studie informierte Lernende aus den Fachsemestern 5–9, ZÄPrO) vorab online getestet. Das Meeting wurde mit der Zustimmung aller aufgezeichnet. Dieser Pretest wurde anhand der Think-aloud-Methode durchgeführt [31] und im Anschluss die finale Version des Fragebogens konstruiert.
Der Einsatz der Fragebögen zur Erfassung der speziellen Lehr- und Lernbedingungen erfolgte in beiden Kohorten nach Abschluss der theoretischen und praktischen Wiederholungsprüfungen digital (Software „Sosci-Survey“ 3.2.44, München). Die Befragung begann am 14.10.2022. Im Abstand von je 2 Wochen wurden die Lernenden in 3 Erinnerungs-E-Mails zur Teilnahme gebeten. Um die Rücklaufquote zu erhöhen, wurden die Teilnehmenden in der 48. und 51. Kalenderwoche im Rahmen von Lehrveranstaltungen nochmals direkt an die Bearbeitung der ausgeteilten Bögen erinnert, welche dann pseudonymisiert bearbeitet und anonym ausgewertet wurden.
Fragebogen zur Erfassung der speziellen Lehr- und Lernbedingungen aus Sicht der Lehrenden (Parameter 4)
Um zusätzlich eine Evaluation aus Sicht der Lehrenden zu erhalten, wurde ein Fragebogen (angelehnt an den Fragebogen zur Erfassung spezieller Lehr- und Lernbedingungen der Lernenden) erstellt, welcher am Ende der jeweiligen Kurse anonym von den Personen bearbeitet wurde, die an diesen mitgewirkt hatten (siehe Abb. 11–12 im Onlinematerial).
Die statistische Auswertung fand in Zusammenarbeit mit der Abteilung „Qualitätssicherung Prüfungen“ der Medizinischen Fakultät Heidelberg statt. Nach einer explorativen Analyse der erhobenen Daten (Mittelwerte (MW), Standardabweichungen, Mediane, Minima, Maxima) erfolgten die Bestimmung teststatistischer Kennwerte sowie Gruppenvergleiche mittels Welch-t-Test für unabhängige Stichproben. Es wurden die Software SAS for Windows 9.3 (SAS Institute, Cary, NC, USA) und R 4.2.1 (The R Foundation for Statistical Computing, Wien, Austria) verwendet.
Ergebnisse
Eine Übersicht der Ergebnisse befindet sich in Tab. 2.
Ergebnisse der Wissensüberprüfungen
In Tab. 2 befinden sich die MW der erreichten Punktzahlen der Wissensüberprüfung. Eine Übersicht der internen Konsistenzen und der Gütekriterien ist Tab. 3 zu entnehmen. Ein Vergleich der Prüfungskohorten ist als Flussdiagramm in den Abb. 1 und 2 dargestellt.
Die Durchfallquote der ersten theoretischen Prüfung betrug 29 % im TPK versus 8 % im ZPDT. Nach der Wiederholungsprüfung lagen die finalen Durchfallquoten in beiden Lehrveranstaltungen bei 0 %.
Die Durchfallquote der ersten praktischen Prüfung betrug 44 % im TPK versus 29 % im ZPDT. Die finalen Durchfallquoten lagen im TPK bei 3 % und im ZPDT bei 5 %. Am häufigsten führten die Leistungen bei der Zahnpräparation zum Nichtbestehen (11 von 16 im TPK vs. 10 von 11 im ZPDT).
Für die Gegenüberstellung der Selbsteinschätzung der Lernenden (subjektiv eingeschätzte theoretische und praktische Kompetenzen) und der Fremdeinschätzung der Lehrenden (objektiv bewertete Prüfungsergebnisse) wurden die Angaben bzgl. der Lernziele auf dem Evaluationsbogen den korrespondierenden Prüfungsergebnissen gegenübergestellt.
In ihren theoretischen Kompetenzen schätzten sich die Teilnehmenden der Lehrveranstaltung TPK zu 64,3 % übereinstimmend mit den objektiv bewerteten Prüfungsergebnissen ein, für die Teilnehmenden der Lehrveranstaltung ZPDT lag dieser Wert bei 69,6 %. Bezüglich der praktischen Kompetenzen ergab die Selbsteinschätzung der Teilnehmenden der Lehrveranstaltung TPK einen Wert von 69,8 %, während für die Lehrveranstaltung ZPDT ein Wert von 82,5 % ermittelt werden konnte.
Generelle Rahmenbedingungen aus Sicht der Lernenden
Die fachbereichsinterne Evaluation wurde im TPK von 56 % und im ZPDT von 27 % der Lernenden vollständig ausgefüllt. Signifikante Unterschiede ergaben sich hinsichtlich der Beantwortung einzelner Fragen (siehe Tab. 2 im Onlinematerial). So wurde die Frage, ob der/die Lehrende hilfreiches Feedback auf die Beiträge der Studierenden gebe, von Lernenden des ZPDT signifikant niedriger bewertet als vom TPK (MW: 3,2 im TPK vs. 2,4 im ZPDT, p = 0,0285; 1 = stimme voll und ganz zu bis 6 = stimme überhaupt nicht zu). Auf der anderen Seite wurde die Frage, ob die Stoffmenge zum zeitlichen Rahmen der Veranstaltung passe, vom TPK signifikant niedriger bewertet (MW: 3,2 im TPK vs. 4,7 im ZPDT, p = 0,0015).
Spezielle Lehr- und Lernbedingungen aus Sicht der Lernenden und Lehrenden
29 Lernende des TPK und 22 Lernende des ZPDT bearbeiteten den Fragebogen vollständig (Rücklaufquoten von 76 % bzw. 56 %). Die statistische Auswertung der internen Konsistenz (Cronbachs Alpha) ergab einen Wert von 0,95.
Insgesamt wurde die jeweilige Lehrveranstaltung vom TPK signifikant niedriger bewertet als vom ZPDT (MW: 2,3 im TPK vs. 2,6 im ZPDT, p = 0,0119; 1 = sehr gut/stimme voll zu bis 5 = mangelhaft/stimme gar nicht zu). Ebenfalls statistisch signifikante Unterschiede zeigte die getrennte Bewertung der theoretischen (MW: 2,2 im TPK vs. 2,5 im ZPDT, p = 0,0015) und praktischen (MW: 1,9 im TPK vs. 3,1 im ZPDT, p < 0,00001) Wissensvermittlung.
Aus der Subgruppenanalyse ergaben sich keine signifikanten Unterschiede hinsichtlich der Bewertung der theoretischen (Frage 12 „Situationsabformung und Modellherstellung – konventionell und digital“ mit einem MW von 1,8 im TPK vs. 2,0 im ZPDT, p = 0,4845) und praktischen (Frage 52 „Digitale Abformung und Design der Restauration“ mit einem MW von 2,5 im TPK vs. 3,1 im ZPDT, p = 0,1265) Vermittlung digitaler Kompetenzen.
Das Erreichen der lernzielbasierten Kompetenzen insgesamt wurde vom TPK und ZPDT ähnlich bewertet (MW: 2,6 im TPK vs. 2,5 im ZPDT, p = 0,4654). Signifikant unterschiedlich hingegen wurde die Relevanz des Anatomiekurses als Vorbereitung für die Lehrveranstaltung bewertet (MW: 2,3 im TPK vs. 1,5 im ZPDT, p = 0,0027). Weitere Ergebnisse befinden sich in Tab. 3 im Onlinematerial.
Der Fragebogen an die Lehrenden wurde im TPK mit einer Rücklaufquote von 90 % (9 von 10) und im ZPDT von 43 % (9 von 21) bearbeitet. Die statistische Auswertung der internen Konsistenz (Cronbachs Alpha) ergab einen Wert von 0,79. Insgesamt gab es keine signifikanten Unterschiede in der Evaluation durch die Lehrenden. Jedoch wurden Fragen, in denen es um die zur Verfügung stehende Zeit im Rahmen der Lehrveranstaltung ging, für den TPK signifikant niedriger bewertet als für den ZPDT (Frage 32 „Die curricular vorgegebene Anzahl von im Mittel … SWS für das Praktikum war zum Erlernen der praktischen Fertigkeiten angemessen“ mit einem MW von 1,4 im TPK vs. 4,2 im ZPDT, p = 0,0004). Weitere Ergebnisse zu den einzelnen Fragen befinden sich in Tab. 4 im Onlinematerial.
Bezüglich der Vergleichsparameter 1, 2 und 4 gab es in der Gesamtbetrachtung keine signifikanten Unterschiede zwischen beiden Veranstaltungen. Der Vergleichsparameter 3 wurde hingegen insgesamt signifikant niedriger von Lernenden des TPK-Kurses bewertet.
Diskussion
Die Evaluation von Lehrveranstaltungen ist in der Literatur umfangreich beschrieben [5,6,7,8,9,10,11, 32]. In der vorliegenden Studie wurden quantitative (Prüfungen und Fragebögen) und qualitative (Freitextkommentare) Daten erhoben. Zusätzlich erfolgte die Evaluation unterschiedlicher Parameter. Die Erhebung und Interpretation dieser Daten ermöglichten ein wie von Fraenkel et al. beschriebenes [5] trianguliertes Design der Evaluation. Im Rahmen dieser Studie wurden die Evaluationsinstrumente zur Erfassung der speziellen Lehr- und Lernbedingungen (Parameter 3 und 4) neu entwickelt und sowohl Lernende als auch Lehrende einbezogen.
Bezüglich der Wissensprüfungen finden sich ähnliche finale Durchfallquoten in der Literatur (5 % für theoretische und 1 % für praktische Prüfungen; [33]). Bezüglich der gemeinsamen Prüfungsteile (14 identische Fragen in der Theorie, Präparationsprüfung in der Praxis) bestanden zwar keine signifikanten Unterschiede, jedoch fällt auf, dass Lernende des ZPDT final häufiger wegen der Präparationsprüfung durchfielen als Lernende des TPK. Dies könnte damit zusammenhängen, dass die Studierenden im TPK länger die Möglichkeiten hatten, Präparationsübungen vor Ort durchzuführen.
Die Prüfungen waren nahezu identisch. Lediglich die Theorieprüfung wurde im TPK analog und im ZPDT digital auf Tablets bearbeitet. Anlehnend an Studien von Bloomfield kann dieser Unterschied ebenfalls zu Problemen in der Vergleichbarkeit führen [34]. Alle anderen Evaluationsinstrumente (Parameter 2–4) wurden hingegen identisch implementiert.
Die Gegenüberstellung der Selbst- und Fremdeinschätzung beider Kohorten bzgl. der theoretischen und praktischen Kompetenzen unterschied sich nur geringfügig und war nicht signifikant. Vergleichbare Gegenüberstellungen wurden bereits für Studierende der Humanmedizin beschrieben [35].
Die Rücklaufquoten der Parameter 2 bis 4 (74 % im TPK vs. 42 % im ZPDT) lagen vor dem Hintergrund des verwendeten Online-Befragungsmodus nah am durchschnittlichen Rücklauf von 44,1 %, der in der Publikation von Wu et al. beschrieben wurde [36]. Um die Rücklaufquote der Evaluation der speziellen Lehr- und Lernbedingungen aus Sicht der Lernenden (Parameter 3) zu erhöhen, wurde jeweils in beiden Veranstaltungen eine zweite und dritte analoge Runde durchgeführt, orientierend an den Veröffentlichungen von Cottrell et al. sowie Weston et al. [37, 38].
Es gab zahlreiche signifikante Unterschiede in der Evaluation der Lehrveranstaltung TPK und ZPDT (siehe Tab. 3 im Onlinematerial). Auch hier gibt es möglicherweise einen Zusammenhang zu dem unterschiedlichen zeitlichen Rahmen der Lehrveranstaltungen vor Ort: TPK-Studierende hatten ca. 4‑mal so viel Zeit für die Lehrveranstaltung verglichen mit Studierenden des ZPDT (280 SWS vs. 70 SWS). Dafür wurde erstmalig im ZPDT ein Selbststudium, inkl. Feedback, eingeführt. Die Gesamtkurszeit betrug somit 280 Semesterstunden im TPK vs. 197 im ZPDT (Tab. 1). Nichtsdestotrotz wurde der Faktor „Zeit“ auch in den Freitextantworten aufgenommen (Tab. 4). Als wesentliche Punkte in diesem Kontext wurden Probleme in Bezug auf „Praktika“ und „Betreuung“ erwähnt, deren Relevanz auch in der Publikation von Nasser et al. beschrieben wurde [39]. Diese Erkenntnisse unterstreichen die Wichtigkeit von regelmäßigem Feedback in Zusammenhang mit dem Selbststudium. Die Auswirkung des Feedbackzeitpunktes wurde von Kehrer et al. untersucht [40]. Die hohe Bedeutung des Feedbacks für Zahnmedizinstudierende in curricularen Lehrveranstaltungen wurde bereits von Zaric et al. beschrieben [41].
Die Selbsteinschätzung der Kompetenzen im Abschnitt „Lernziele“ unterschied sich in beiden Kohorten insgesamt nicht. Signifikant niedriger (wobei 1 = sehr gut/stimme voll zu bis 5 = mangelhaft/stimme gar nicht zu) waren jedoch die Selbsteinschätzungen der Lernenden des ZPDT in Bezug auf kieferorthopädische und implantologische Kompetenzen (Lernziele 97 und 101). Diese Ergebnisse könnten Ausdruck der systematischen Umsetzung der NKLZ-basierten Lernziele und der daraus resultierenden Interdisziplinarität im ZPDT sein. Dabei spielt die neue Approbationsordnung (ZApprO) eine entscheidende Rolle für die entsprechende Implementierung, wie auch in der Veröffentlichung von Kahl-Nieke et al. beschrieben [3].
Fragen, die sich auf Aspekte der Digitalisierung beziehen (digitale Abformung, CAD[„Computer-Aided Design“]/CAM[„Computer-Aided Manufacturing“]-Prinzipien), wurden in beiden Lehrveranstaltungen ähnlich bewertet. Dies lässt sich am ehesten damit erklären, dass diese schon in der Lehrveranstaltung TPK implementiert wurden, noch bevor die ZApprO in Kraft trat.
Der Nutzen eines Anatomiekurses vor der Lehrveranstaltung wurde im ZPDT signifikant niedriger bewertet als im TPK. Dies könnte mit dem zeitlichen Kontext begründet werden. Im TPK fand dieser Kurs verteilt auf 3 Semester statt, im ZPDT unmittelbar vor der Lehrveranstaltung in Form eines Einführungskurses. Der Nutzen von Anatomiekursen für Zahnmedizinstudierende generell wird auch in der Literatur beschrieben [42, 43].
Die fachbereichsinterne Evaluation und die der Lehrenden unterschieden sich insgesamt in beiden Kursen nicht. Einzelne Ergebnisse spiegeln jedoch die Einschätzung der Lernenden des ZPDT wider, wonach die für die Lehrveranstaltung zur Verfügung stehende Zeit als zu niedrig empfunden wurde.
Limitationen
Die Teilnehmenden der vorliegenden Studie gehörten 2 unterschiedlichen Semestern (Kohorten) an. Weiterhin erfolgte keine randomisierte Zuteilung. Die Lernenden des TPK waren zudem im Schnitt 4 Jahre älter als die des ZPDT, hatten bereits mindestens 4 Semester des Zahnmedizinstudiums absolviert und befanden sich somit nicht mehr in Regelstudienzeit. Diese Limitation war durch die unterschiedlichen Studienordnungen vorgegeben. Eine entsprechende Harmonisierung wurde in mehreren Studien gefordert, dies war jedoch in der vorliegenden Untersuchung nicht umsetzbar [5, 44, 45]. Die genannten Faktoren gehen mit unterschiedlichen Erfahrungen mit dem Studium der Zahnmedizin einher. Die Studierenden des TPK verfügen über mehr Lebens- und Bildungserfahrung, was sich auf ihre Fähigkeiten, ihr Wissen oder ihre Motivation auswirken könnte. Dies limitiert die Vergleichsmöglichkeit und Generalisierbarkeit.
Ein Abbruch der Lehrveranstaltung erfolgte durch 1 (3 %) TPK- bzw. 4 (9 %) ZPDT-Lernende. In keinem der Fälle wurde der Abbruch begründet, die Lernenden nahmen weder an der Prüfung noch an den Evaluationen teil. Lernende, die nicht zur Prüfung zugelassen wurden oder nicht antraten, verringerten die Fallzahl ebenfalls. Dies traf jedoch nur auf den ZPDT zu (2 von 45, 4 %).
Die in der Studie verglichenen Lehrveranstaltungen fanden zu unterschiedlichen Zeiten statt (ZPDT: April bis Juli 2022, TPK: August bis September 2022). Dementsprechend fanden die Prüfungen und die fachbereichsinterne Evaluation ebenfalls nicht zeitgleich statt. Die hier evaluierte Lehrveranstaltung TPK wurde letztmalig durchgeführt, sodass erneute Vergleichsmöglichkeiten entfallen. Da die Lehrinhalte jedoch auch von den Studienordnungen der Universitäten abhängen [4], können die Lehrveranstaltungen TPK und ZPDT zwischen den Standorten variieren. Um die Generalisierbarkeit der Evaluationsergebnisse der Lehrveranstaltung ZPDT zu erhöhen, sind zukünftige multizentrische Untersuchungen empfehlenswert [46].
Fazit
Am Universitätsstandort Frankfurt am Main erfolgte ein Vergleich der Lehrveranstaltung „Zahnmedizinische Propädeutik mit Schwerpunkt Dentale Technologie“ (ZPDT), die nach der aktuellen Approbationsordnung (ZApprO) im ersten Studienabschnitt implementiert wurde, mit der Lehrveranstaltung „Kurs der Technischen Propädeutik“ (TPK), die entsprechend der alten Approbationsordnung für Zahnärzte (ZÄPrO) vor der zahnärztlichen Vorprüfung stattfand. Der Kohortenvergleich zeigte eine ausgewogene Bewertung der Parameter „Wissensüberprüfung“, „fachbereichsinterne Evaluation zur Erfassung genereller Rahmenbedingungen aus Sicht der Lernenden“ sowie „Evaluation zur Erfassung spezieller Lehr- und Lernbedingungen aus Sicht der Lehrenden“. Lediglich die „Evaluation zur Erfassung spezieller Lehr- und Lernbedingungen aus Sicht der Lernenden“ fiel signifikant zugunsten des TPK aus, insbesondere im Hinblick auf die theoretische und praktische Wissensvermittlung. Die hier formulierte Hauptforschungsfrage, ob es bezüglich der untersuchten Parameter Unterschiede zwischen den beiden Lehrveranstaltungen gibt, muss somit differenziert beantwortet werden: Es zeigt sich eine Diskrepanz zwischen subjektiver Beurteilung der Wissensvermittlung und objektiv bewerteten Prüfungsergebnissen. Letztere könnten Ausdruck der neu implementierten Selbststudienzeiten in Kombination mit korrektivem Feedback im ZPDT sein. Diese sollten aus Sicht der Autorenschaft weiterhin angeboten werden. Für die Zukunft erscheint es relevant, die zahnmedizinische Ausbildungsforschung auf konkrete Faktoren zu fokussieren, die die Ausbildungsqualität der Lernenden möglicherweise beeinflussen, wie z. B. die benannten Selbststudienzeiten oder die Bedeutung von gezieltem Feedback. Der fakultätsübergreifende Einsatz der speziell für die Anwendung im Rahmen der ZApprO entwickelten Evaluationsinstrumente könnte dabei hilfreich sein.
Literatur
ZApprO – Approbationsordnung für Zahnärzte und Zahnärztinnen. https://www.gesetze-im-internet.de/zappro/BJNR093310019.html. Zugegriffen: 15. Mai 2023
Biffar R (2020) Neue Approbationsordnung verändert Studieninhalte. Quintessenz Zahntech. https://www.quintessence-publishing.com/gbr/de/article/830882/quintessenz-zahntechnik/2020/04/neue-approbationsordnung-veraendert-studieninhalte. Zugegriffen: 15. Mai 2023
Kahl-Nieke B, Vonneilich N (2018) Reformbemühungen in der Zahnmedizin – nationale und internationale Ansätze. Bundesgesundheitsblatt 61:154–162. https://doi.org/10.1007/s00103-017-2680-0
Jäger C (2021) Sturm im Wasserglas? BDIZ EDI. https://bdizedi.org/wp-content/uploads/aktuell/sturm-im-wasserglas.pdf. Zugegriffen: 20. Mai 2023
Fraenkel J, Wallen N, Hyun H (2011) How to design and evaluate research in education. McGraw-Hill, New York
Frye AW, Hemmer PA (2012) Program evaluation models and related theories: AMEE guide no. 67. Med Teach 34:e288–e299. https://doi.org/10.3109/0142159X.2012.668637
Goldie J (2006) AMEE Education Guide no. 29: evaluating educational programmes. Med Teach 28:210–224. https://doi.org/10.1080/01421590500271282
DeGEval DeGEval-Standards Standards für Evaluation. https://www.degeval.org/degeval-standards/standards-fuer-evaluation/. Zugegriffen: 18. Mai 2023
Kunz K, Martin A, Köpper H, Giesler M (2018) Toolbox Evaluation kompetenzorientierter Lehre im Medizinstudium: Teil 1 Handbuch zur kompetenzorientierten Evaluation. https://www.merlin-bw.de/fileadmin/eigene_dateien/navigation/produkte/qualitaetsmanagement/toolbox/2019-12-16_Handbuch-Teil_1_fv.pdf. Zugegriffen: 18. Mai 2023
Kunz K, Martin A, Köpper H, Giesler M (2018) Toolbox Evaluation kompetenzorientierter Lehre im Medizinstudium: Teil 2 Messinstrumente zur Evaluation kompetenzorientierter Lehre. https://docplayer.org/208866453-Toolbox-evaluation-kompetenzorientierter-lehre-im-medizinstudium-teil-2-messinstrumente-zur-evaluation-kompetenzorientierter-lehre.html. Zugegriffen: 18. Mai 2023
Schiekirka S, Feufel MA, Herrmann-Lingen C, Raupach T (2015) Evaluation in medical education: a topical review of target parameters, data collection tools and confounding factors. Ger Med Sci 13:Doc15. https://doi.org/10.3205/000219
Reis S (2018) Curriculum reform: why? what? how? and how will we know it works? Isr J Health Policy Res 7:30. https://doi.org/10.1186/s13584-018-0221-4
Empfehlungen zur Weiterentwicklung der Zahnmedizin an den Universitäten in Deutschland (Drs. 6436-05), Januar 2005. https://www.wissenschaftsrat.de/download/archiv/6436-05.pdf?__blob=publicationFile&v=1. Zugegriffen: 15. Mai 2023
Hugger A, Hugger S, Kordaß B (2011) Die zahnärztliche Ausbildung. Bundesgesundheitsbl 54:1046–1051. https://doi.org/10.1007/s00103-011-1328-8
Eickholz P (2020) Kann man so machen, wird dann halt nix! Zahnarztl Mitt. https://www.zm-online.de/artikel/2020/online-terminbuchung-gut-fuer-die-patienten-und-fuer-mich/kann-man-so-machen-wird-dann-halt-nix. Zugegriffen: 15. Mai 2023
Pressemitteilung Medizinischer Fakultätentag (2021) Das Zahnmedizinstudium der Zukunft. https://medizinische-fakultaeten.de/wp-content/uploads/2021/06/MFT-Positionspapier-Zahnmedizinstudium-der-Zukunft_Mai-2021.pdf. Zugegriffen: 20. Mai 2023
Nationaler Kompetenzbasierter Lernzielkatalog Zahnmedizin. http://www.nklz.de/files/nklz_katalog_final_20151204.pdf
Goethe-Universität Frankfurt Studienordnung Zahnmedizin. https://www.uni-frankfurt.de/78422328/Zahnmedizin_2019_05_29.pdf. Zugegriffen: 15. Mai 2023
Goethe-Universität Frankfurt Studienordnung Zahnmedizin. https://www.uni-frankfurt.de/101800628/2021_05_31_Zahnmedizin.pdf. Zugegriffen: 15. Mai 2023
Skulmoski GJ, Hartman FT, Krahn J The Delphi method for graduate research. J Inf Technol Educ Res 6:1–21
Thangaratinam S, Redman CW (2005) The Delphi technique. Obstet Gynecol 7:120–125. https://doi.org/10.1576/toag.7.2.120.27071
Field J, Stone S, Orsini C et al (2018) Curriculum content and assessment of pre-clinical dental skills: a survey of undergraduate dental education in europe. Eur J Dent Educ 22:122–127. https://doi.org/10.1111/eje.12276
Khami MR (2007) Preventive dentistry and dental education in Iran. Dissertation, University of Helsinki
Sacha SR, Sonntag D, Burmeister U et al (2021) A multicentric survey to evaluate preclinical education in endodontology in German-speaking countries. Int Endod J 54:1957–1964. https://doi.org/10.1111/iej.13584
Wiesemann A, Engeser P, Barlet J et al (2003) Was denken Heidelberger Studierende und Lehrärzte über frühzeitige Patientenkontakte und Aufgaben in der Hausarztpraxis? Gesundheitswesen 65:572–578. https://doi.org/10.1055/s-2003-42999
Pentzek M, Abholz H‑H, Mortsiefer A, Weyers S, Wilm S, Rotthoff T (2014) Unterrichtskonzepte für die Berufsfelderkundung: Bewertung durch Studierende des ersten Semesters. ZFA 2014; 90 (6). https://opus.bibliothek.uni-augsburg.de/opus4/files/48987/48987.pdf. Zugegriffen: 15. Mai 2023
Deutscher Bundestag. Wissenschaftliche Dienste, Dokumentation WD 8‑3000-125/18 (2018) Deutsche Sprachniveaustufen nach dem Gemeinsamen Europäischen Referenzrahmen. https://www.bundestag.de/resource/blob/589206/bf023f8e83e7b1f8dcb2825da688cc85/WD-8-125-18-pdf-data.pdf. Zugegriffen: 15. Mai 2023
Petropoulos VC, Weintraub A, Weintraub GS (1998) Predoctoral fixed prosthodontics curriculum survey. J Prosthodont 7:183–191. https://doi.org/10.1111/j.1532-849x.1998.tb00202.x
Smith W, Rafeek R, Marchan S, Paryag A (2012) The use of video-clips as a teaching aide. Eur J Dent Educ 16:91–96. https://doi.org/10.1111/j.1600-0579.2011.00724.x
Ciardo A (2016) Evaluation der subjektiv eingeschätzten Zahnmedizinischen Kompetenz anhand des Nationalen Kompetenzbasierten Lernzielkatalogs Zahnmedizin vor und nach dem ersten klinischen Semester im Fach Zahnerhaltungskunde. Dissertation, Johann Wolfgang Goethe-Universität Frankfurt a. M.
Someren M, Barnard Y, Sandberg J (1994) The think aloud method—A practical guide to modelling cognitiveprocesses. Academic Press, London
Artino AR, La Rochelle JS, Dezee KJ, Gehlbach H (2014) Developing questionnaires for educational research: AMEE Guide No. 87. Med Teach 36:463–474. https://doi.org/10.3109/0142159X.2014.889814
Godderidge JG, Wall BE, Franklin SA (2019) Creating an efficient learning model: students’ perceptions and outcomes of an active learning fixed prosthodontics course. J Dent Educ 83:1076–1080. https://doi.org/10.21815/JDE.019.107
Bloomfield A, Groves JF (2008) A tablet-based paper exam grading system. In: Proceedings of the 13th annual conference on Innovation and technology in computer science education. Association for Computing Machinery, New York, S 83–87
Woolliscroft JO, TenHaken J, Smith J, Calhoun JG (1993) Medical students’ clinical self-assessments: comparisons with external measures of performance and the students’ self-assessments of overall performance and effort. Acad Med 68:285–294. https://doi.org/10.1097/00001888-199304000-00016
Wu M‑J, Zhao K, Fils-Aime F (2022) Response rates of online surveys in published research: a meta-analysis. Comput Hum Behav Rep 7:100206. https://doi.org/10.1016/j.chbr.2022.100206
Cottrell E, Roddy E, Rathod T et al (2015) Maximising response from GPs to questionnaire surveys: do length or incentives make a difference? BMC Med Res Methodol 15:3. https://doi.org/10.1186/1471-2288-15-3
Weston D, Parsons V, Ntani G et al (2017) Mixed contact methods to improve response to a postal questionnaire. Occup Med 67:305–307. https://doi.org/10.1093/occmed/kqx032
Nassar HM, Tekian A (2020) Computer simulation and virtual reality in undergraduate operative and restorative dental education: a critical review. J Dent Educ 84:812–829. https://doi.org/10.1002/jdd.12138
Kehrer P, Kelly K, Heffernan N (2013) Does immediate feedback while doing homework improve learning? Grantee submission
Zaric S, Belfield LA (2015) Objective structured clinical examination (OSCE) with immediate feedback in early (Preclinical) stages of the dental curriculum. Creat Educ 06:585. https://doi.org/10.4236/ce.2015.66058
Cay M, Bakirci S (2019) The views of Usak University Dental Faculty academic staff on anatomy education. Ann Med Res 26:681–684
Chutinan S, Riedy CA, Park SE (2018) Student performance in a flipped classroom dental anatomy course. Eur J Dental Education 22:e343–e349. https://doi.org/10.1111/eje.12300
Higgins JP, Ramsay C, Reeves BC et al (2013) Issues relating to study design and risk of bias when including non-randomized studies in systematic reviews on the effects of interventions. Res Syn Meth 4:12–25. https://doi.org/10.1002/jrsm.1056
Lim C‑Y, In J (2019) Randomization in clinical studies. Korean J Anesthesiol 72:221–232. https://doi.org/10.4097/kja.19049
Sprague S, Matta JM, Bhandari M, Investigators* on B of the ATHAC (ATHAC) (2009) Multicenter collaboration in observational research: improving generalizability and efficiency. J Bone Joint Surg Am 91:80. https://doi.org/10.2106/JBJS.H.01623
Möltner A, Schellberg D, Jünger J (2006) Grundlegende quantitative Analysen medizinischer Prüfungen. GMS Z Med Ausbild 23:Doc53. https://www.egms.de/static/en/journals/zma/2006-23/zma000272.shtml. Zugegriffen: 15. Mai 2023
Gerhard-Szép S, Güntsch A, Pospiech P et al (2016) Assessment formats in dental medicine: An overview. GMS J Med Educ 33:Doc65. https://doi.org/10.3205/zma001064
Danksagung
Die Autorinnen und Autoren danken allen Studierenden der Lehrveranstaltungen TPK und ZPDT und denjenigen, die an der Entwicklung der Fragebögen beteiligt waren, insbesondere Paula Panthen und Soheil Parsaee. Der Fachgruppe Zahnmedizin und allen beteiligten Lehrenden des Fachbereiches gilt ein Dank für die Konzeption und Umsetzung der Lehrveranstaltungen.
Funding
Open Access funding enabled and organized by Projekt DEAL.
Author information
Authors and Affiliations
Corresponding author
Ethics declarations
Interessenkonflikt
D. Uzun, T. de Sousa, S. Görl, S. Brandt, M. Giraki, H. Petsos, T. Blauhut, S. Heitkamp, A. Begic, K. Obreja, B. Sayahpour, S. Bühling, N. Plein, A. Möltner, S. Gerhardt-Szép und T. Zahn geben an, dass kein Interessenkonflikt besteht.
Das Studienprotokoll wurde von der zuständigen Ethikkommission des Fachbereichs Medizin der Goethe-Universität mit der Geschäftsnummer 2013-1266 versehen und wie folgt bewertet: „Für die … Datenerhebung besteht keine Pflicht zur berufsrechtlichen Beratung durch die Ethikkommission des Fachbereiches Medizin der Goethe-Universität.“ Für die aufgeführten Studien gelten die jeweils dort angegebenen ethischen Richtlinien.
Additional information
Hinweis des Verlags
Der Verlag bleibt in Hinblick auf geografische Zuordnungen und Gebietsbezeichnungen in veröffentlichten Karten und Institutsadressen neutral.
Supplementary Information
103_2023_3788_MOESM1_ESM.docx
Ein- und Ausschlusskriterien, Parameter zur Prüfungsbewertung der praktischen Prüfung und die verwendeten Fragebögen inklusive der detaillierten Ergebnisse befinden sich im zusätzlichen Onlinematerial.
Rights and permissions
Open Access Dieser Artikel wird unter der Creative Commons Namensnennung 4.0 International Lizenz veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Artikel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
Weitere Details zur Lizenz entnehmen Sie bitte der Lizenzinformation auf http://creativecommons.org/licenses/by/4.0/deed.de.
About this article
Cite this article
Uzun, D., de Sousa, T., Görl, S. et al. ZApprO versus ZÄPrO: Ergebnisse einer ersten Vergleichsstudie. Bundesgesundheitsbl 66, 1397–1408 (2023). https://doi.org/10.1007/s00103-023-03788-z
Received:
Accepted:
Published:
Issue Date:
DOI: https://doi.org/10.1007/s00103-023-03788-z