Qualitätssicherungssystem zur Bewertung eines HNO-Facharztrepetitoriums

Quality management in a postgraduate refresher course in otolaryngology

Zusammenfassung

Hintergrund

Die Facharztweiterbildung ist häufig durch lokal geprägte Weiterbildungsschwerpunkte bestimmt, was zu einem heterogenen Weiterbildungsergebnis führen kann. Repetitorien vor Facharztprüfungen könnten dies harmonisieren.

Ziel der Arbeit

Ziel ist die Darstellung eines Qualitätssicherungssystems zur Bewertung eines Repetitoriums für HNO-Facharztkandidaten.

Material und Methoden

Die Lehreinheiten eines in Präsenz durchgeführten Facharztrepetitoriums wurde mittels Fragebogen evaluiert. Sowohl eine deskriptive Auswertung als auch eine multivariable binär-logistische Regressionsanalyse wurden durchgeführt. Zur Evaluation der Faktoren, die zu einer negativen Wahrnehmung einer Lehreinheit führen, erfolgte eine Fokussierung auf die schlechtesten 15 % aller Gesamtbewertungen. Für ein individuelles Dozentenfeedback wurde exemplarisch ein Stärken-Schwächen-Profil eines Dozenten erstellt.

Ergebnisse

Die Auswertung der Evaluationsergebnisse zeigte eine durchschnittlich sehr gute Gesamtbewertung von 12,8 (±2,4) bei maximal 15 möglichen Punkten. Die multivariable Regression bestimmte die Items „Freundlichkeit“, „Systematischer Aufbau“, „Eigene Mitarbeit“, „Vorwissen“ und „Unterrichtseinheit effizient“ als maßgeblich für eine Negativwahrnehmung einer Lehreinheit. Anhand des Dozentenprofils lassen sich in einer objektiven Form die Stärken und Schwächen des individuellen Dozenten aufzeigen.

Schlussfolgerung

Der entwickelte Fragebogen bildet eine gute Möglichkeit zur Qualitätssicherung einer Lehrveranstaltung in der Weiterbildung. Diese erfolgt zum einen über die Regressionsanalyse aller Fragebögen, zum anderen über die Erstellung eines individuellen Dozentenprofils, welches eine objektive Grundlage zur Verbesserung der einzelnen Lehreinheit durch ein detailliertes Feedback an den Dozenten ermöglicht.

Abstract

Background

Residency training is often characterized by locally influenced training content and focus, which can lead to heterogeneous training outcomes. Refresher courses before the speciality certificate examinations can harmonize the situation.

Objective

The current publication aims to present a quality management system for evaluation of a postgraduate refresher course for otolaryngology residents.

Materials and methods

The teaching sessions of a postgraduate course were evaluated using questionnaires. Descriptive statistics and multivariable binary logistic regression analysis were performed. To evaluate the factors leading to a negative perception of a teaching session, the focus was set on the worst 15% of all total ratings. An exemplary strength/weakness profile of a lecturer was created for individual feedback.

Results

Analysis of the evaluation results showed an overall average rating of 12.8 (±2.4) out of a maximum of 15 possible points. Multivariable regression determined the items “friendliness,” “systematic structure,” “own involvement,” “prior knowledge,” and “efficient teaching session” to be significant for a negative perception of a teaching session. Using the lecturer profile, the strengths and weaknesses of the individual lecturer can be shown in an objective manner.

Conclusion

The developed questionnaire represents a good tool for quality management of a postgraduate refresher course for otolaryngology residents. This is achieved by regression analysis and creation of an individual lecturer profile, which provides an objective basis for improving the individual teaching session through detailed feedback to the lecturer.

Die Hals-Nasen-Ohren-Heilkunde wird traditionell von Medizinstudierenden wie auch vielen Medizinern als eines der „kleinen Fächer“ angesehen. Vor diesem Hintergrund scheint die Weiterbildungszeit von 60 Monaten für den Facharzt/die Fachärztin für Hals-Nasen-Ohren-Heilkunde auf den ersten Blick ein vergleichsweise langes Zeitintervall [1]. Im Rahmen der Weiterbildung muss jedoch nicht nur der Umgang mit Patienten aller Altersklassen und Geschlechter erlernt werden, sondern auch eine Vielzahl diagnostischer Möglichkeiten und zahlreiche konservative Therapieoptionen. Darüber hinaus gehören qualitativ anspruchsvolle chirurgische Eingriffe zum Repertoire von HNO-Fachärzt(inn)en. Gerade aber das hohe Maß an diagnostischer und therapeutischer Diversität und eine hohe Erwartungshaltung von Patientenseite in Bezug auf einen Therapieerfolg können sich einerseits als Hemmschuh, andererseits aber auch als Katalysator in der Umsetzung einer strukturierten Weiterbildung erweisen. Neben der immer dominanter werdenden betriebswirtschaftlichen Komponente können der Personalschlüssel der Kliniken und Unterschiede im Behandlungsspektrum zwischen Universitätskliniken und Kliniken in städtischer, kirchlicher oder privater Trägerschaft einen weiteren Einflussfaktor darstellen [2].

In der Weiterbildungsordnung in Deutschland existiert, anders als beispielsweise in der schweizerischen HNO-Gesellschaft, keine festgeschriebene Rotation oder ein Austausch von Weiterbildungsassistent(inn)en zwischen verschiedenen Einrichtungen [1, 3]. Daher wird die Weiterbildung der Assistent(inn)en, entsprechend den Behandlungsschwerpunkten der Klinik, häufig durch lokal geprägte Weiterbildungsinhalte bestimmt. Dies betrifft sowohl das theoretische und diagnostische Vorgehen wie auch die therapeutischen Optionen. Um sich mit Inhalten außerhalb des Schwerpunkts der Ausbildungsklinik vertraut zu machen, ist ein hohes Maß an Motivation mit eigenverantwortlichem Studium von Lehrbüchern, Leitlinien oder Publikationen, die Teilnahme an gebührenpflichtigen Fortbildungen oder ein Arbeitsplatzwechsel notwendig [4].

Diese Inkongruenzen in der lokalen Weiterbildung kumulieren in unterschiedliche Erwartungs- und Anspruchshaltungen der Assistenten an kompakte Lehrformate zur Facharztvorbereitung wie z. B. Repetitorien [2]. Dieses Lehrformat soll in erster Linie einen großen Umfang an Lehrstoff kompakt, übersichtlich und in kurzer Zeitdauer präsentieren. Im Idealfall sollte eine derartige Veranstaltung jeden der Teilnehmer aus einer Gruppe mit heterogenem Vorwissen an seiner individuellen Position abholen und zum Ende der Veranstaltung den Wissensstand in der Gruppe weitestgehend nivellieren [5, 6]. Dieses Ziel ist in einer kompakten Veranstaltung wie einem Repetitorium nur unter Umsetzung einer entsprechenden medizindidaktischen Konzeption und mittels inkludierter Qualitätskontrolle erreichbar. Mit einer permanenten Qualitätskontrolle können die globale Veranstaltung wie auch die einzelnen Beiträge kritisch hinterfragt, eingeordnet und kontinuierlich zielgruppenorientiert verbessert werden [7]. Nur durch ein Feedback der Teilnehmer ist für Organisatoren und für die aus unterschiedlichen Einrichtungen stammenden Dozenten und Dozentinnen eine realistische Einschätzung der Gesamtveranstaltung wie auch der Teilbereiche zur Wissensvermittlung, Niveauregulation und Integration in die Weiterbildung möglich [8, 9].

Ziel dieser Arbeit ist die Darstellung eines Qualitätssicherungssystems mit dessen Einzelkomponenten zur Bewertung eines Repetitoriums für HNO-Facharztkandidaten.

Studiendesign und Untersuchungsmethoden

Evaluiert wurde ein 3‑tägiges Facharztrepetitorium, welches mit 40 Teilnehmern in Präsenz stattfand. Die Lehrinhalte wurden in Seminarform von insgesamt 20 Dozenten vermittelt. Direkt nach jeder Lehreinheit wurde diese durch die Teilnehmer mittels Fragebogen evaluiert. Der Fragebogen (s. elektronisches Zusatzmaterial online) umfasst spezifische Items zum Dozenten, zur Lehreinheit und zur Selbstwahrnehmung der Teilnehmer. Zusätzlich wurde der subjektive Lernzuwachs durch Einschätzung des eigenen Wissens vor und nach der Unterrichtseinheit ermittelt. Die Fragebogenitems wurden mithilfe einer Likert-Skala nach dem Schulnotensystem (1 = sehr gut bzw. trifft voll zu, 6 = ungenügend bzw. trifft überhaupt nicht zu) bewertet. Abschließend erfolgte eine globale Bewertung der Unterrichtseinheit nach dem gymnasialen Oberstufensystem von 0 bis 15 Punkte (15 Punkte = sehr gut; 0 Punkte = ungenügend). Die Werte der Fragebogenitems wurden in ordinalen Werten erfasst. Eine deskriptive Beschreibung erfolgte sowohl über Mittelwert und Standardabweichung als auch über Median mit Interquartilsabstand. Binäre Daten wurden über Gesamtzahl und Prozentwert am jeweiligen Kollektiv abgebildet. Unter der Annahme, dass fehlende Werte aus Sicht der Teilnehmenden eine nicht vorhandene Eigenschaft darstellten, die somit auch nicht bewertet werden konnte, wurden bei fehlenden Werten für Variablen die jeweils schlechteste Bewertung angenommen und der Zahlenwert 6 eingesetzt [10]. Ausgenommen von der Imputation waren die Variablen „Wissen vorher“, „Wissen nachher“ und „Wissensdifferenz“.

Für die vergleichenden Statistiken wurden die ordinalen Variablen zunächst mittels Kolmogorov-Smirnov- und Shapiro-Wilk-Test auf Normalverteilung geprüft. Bei Signifikanz einer der beiden Tests wurde eine nichtparametrische Verteilung angenommen. Die statistischen Gruppenvergleiche erfolgten für nichtparametrische Daten mit Wilcoxon-Rang-Summentest. Die dichotome Variable „Negativwahrnehmung“ wurde durch die schlechtesten 15 % der Bewertungen nach Gesamtnote definiert.

Die Ermittlung der Einflussgrößen auf den dichotomen Endpunkt „Negativwahrnehmung“ erfolgte zunächst mittels einer univariablen sowie nachfolgend mit einer multivariablen binären logistischen Regression. Die Ergebnisse sind entsprechend als Odds-Ratio-Schätzer und 95%-Konfidenzgrenzen dargestellt. Für das Rückwärtsverfahren („backward likelihood“), das als Teil der multivariablen Regressionsanalyse durchgeführt wurde, sind ergänzend die „receiver operating characteristics curves“ (ROC-Kurven) berechnet. Die Auswertung erfolgte mit SAS 9.4 Enterprise Guide (SAS Institute, Cary, NC, USA).

Ergebnisse

Von den insgesamt 800 ausgegebenen Fragebögen wurden 517 Fragebögen ausgefüllt zurückgegeben, was einer Rücklaufquote von 64,6 % entspricht. Wegen einer fehlenden Endnote mussten 23 Fragebögen ausgeschlossen werden, sodass 494 Fragebögen in die Auswertung eingeschlossen werden konnten. Die deskriptive Statistik mit Mittelwert und Standardabweichung bzw. Median mit Interquartilsabstand für das Gesamtkollektiv aller Lehrveranstaltungen und aller Fragebogenitems ist in Tab. 1 dargestellt. Inhaltlich wurden die Items einer der 3 Kategorien Dozent, Teilnehmer und Struktur zugeordnet.

Tab. 1 Deskriptive Statistik der Fragebogenitems; n = 494

Die globale Bewertung der Unterrichtseinheit analog zum deutschen Oberstufensystem zeigte eine deutliche Rechtsverschiebung mit einem Mittelwert von 12,8 ± 2,4 Punkten (Abb. 1). Von der Gesamtnote ausgehend wurden die 15 % schlechtesten Bewertungen ermittelt. Diese wurden als eine negative Wahrnehmung der einzelnen Unterrichtseinheit definiert und lagen bei einer Gesamtnote von 10 oder weniger Punkten. Die anderen 85 % der Fragebögen wurden als eine positive Wahrnehmung der Unterrichtseinheit definiert.

Abb. 1
figure1

Verteilung der Gesamtbewertungen aller Lehreinheiten. Bestmögliche Bewertung: 15 Punkte

Der deskriptive Vergleich zwischen der Gruppe mit einer positiven Wahrnehmung und einer negativen Wahrnehmung der jeweiligen Unterrichtseinheit ergab in allen Fragebogenitems bis auf die Pünktlichkeit (p = 0,6602) signifikante Unterschiede. Abgesehen von der Frage nach einem zu hohen Tempo (p = 0,0028) waren diese sogar hochsignifikant (p < 0,0001; Tab. 2).

Tab. 2 Subgruppenanalyse nach Negativ- bzw. Positivwahrnehmung

Die weitergehende Analyse wurde mittels multivariabler binär-logistischer Regression durchgeführt. Durch eine schrittweise Regression mit Anwendung des Rückwärtsverfahren (Backward-Eliminations-Methode) konnten die Variablen bestimmt werden, die maßgeblich zu einer negativen Wahrnehmung der Lehreinheit führen. Dies waren die Fragebogenitems „Freundlichkeit“, „Systematischer Aufbau“, „Eigene Mitarbeit“, „Vorwissen“ und „Unterrichtseinheit effizient“ (Tab. 3). Die AUROC-Analyse („area under the receiver operating characteristic“) als Maß für die diagnostische Güte ergab 0,929.

Tab. 3 Ergebnis der multivariablen binär-logistischen Regression

Für das individuelle Dozentenfeedback wurden die Werte des einzelnen Dozenten einem Vergleichskollektiv, bestehend aus allen anderen Dozenten mit einer guten Bewertung, gegenübergestellt und auf signifikante Unterschiede überprüft. Exemplarisch zeigt Tab. 4 die Mittelwerte und den Median der 23 Fragebögen eines Dozenten im Vergleich zu der Gruppe der gut bewerteten Dozenten.

Tab. 4 Exemplarische Subgruppenanalyse eines schlechter bewerteten Dozenten im Vergleich zu der Gruppe der gut bewerteten Dozenten

Die Analyse ergab in der Kategorie „Dozent“ bei den Fragebogenitems „Aufmerksamkeit erhalten“, „Mitarbeit gefördert“, „Anschauliche Beispiele“ und „Verständliche Erklärungen“ hochsignifikante (p < 0,0001) Unterschiede. In der Kategorie „Teilnehmer“ waren die Items „Eigene Mitarbeit“, „Vorwissen“, „Inhalt interessant“, „Inhalt relevant“ und „Unterrichtseinheit effizient“ hochsignifikant (p < 0,0001). In der Kategorie „Struktur“ konnten hochsignifikante (p < 0,0001) Unterschiede für die Fragebogenitems „Systematischer Aufbau“ und „Lernziele genannt“ gezeigt werden.

Signifikant mit niedrigerem Signifikanzniveau waren „Freundlichkeit“ (p = 0,014) und „Niveau zu hoch“ (p = 0,002).

Diskussion

In der HNO-Heilkunde endet die Weiterbildungszeit regelhaft mit dem Absolvieren einer Facharztprüfung. Hierfür müssen während der Weiterbildungszeit die im Logbuch aufgeführten diagnostischen und operativen Tätigkeiten erfüllt werden [1].

Lernziele bzw. Kompetenzen, die ein einheitliches Ziel der Facharztweiterbildung ermöglichen, werden im Logbuch nicht definiert [1].

Durch eine fehlende Standardisierung der Weiterbildung kann es, da die Facharztweiterbildung maßgeblich durch den Weiterbilder und die Weiterbildungseinrichtung geprägt wird, in unterschiedlichen Einrichtungen zu unterschiedlichen Ausbildungsständen der Kandidat(inn)en vor der Facharztprüfung kommen. Eine fehlende Standardisierung der Facharztprüfung in Deutschland hinsichtlich der Anforderungen und Wissensinhalte, wie sie z. B. in der europäischen Facharztprüfung existiert, verhindert zudem eine assessmentgetriggerte Ausbildung [11]. Ein unabhängiges Facharztrepetitorium kann dazu beitragen, die Prüflinge vor der Facharztprüfung auf ein einheitliches theoretisches Wissensniveau zu bringen. Um diese Aufgabe erfolgreich zu meistern, bedarf es einer zielgruppenorientierten Wissensvermittlung. Hierfür ist die Kenntnis der Bedürfnisse der Zielgruppe eine Schlüsselkomponente [8]. Eine Möglichkeit zur Erfassung der Bedürfnisse ist das Einholen eines Feedbacks nach einer Lehrveranstaltung [9, 12]. Dieses Feedback kann auf verschieden Arten erfolgen. Die Anforderungen an die Art des Feedbacks sollten eine einfache Anwendbarkeit und die Lieferung zuverlässiger Daten mit eindeutigen Informationen im Hinblick auf eine Verbesserung sein [12].

Fragebögen sind eine häufig verwendete Methode, um effizient und routinemäßig Feedback von einer größeren Gruppe zu erhalten [13,14,15]. Ein Problem von Feedback ist jedoch häufig die Subjektivität [16, 17]. Wenn die Stichprobengröße bei einer Erhebung mittels Fragebogen jedoch groß genug ist, können aus einem subjektiven Feedback die objektiven Informationen extrahiert werden. Eine systematische statistische und objektive Analyse und Interpretationen der Evaluationsdaten unterstützen eine gezielte Verbesserung der evaluierten Veranstaltung [7, 10]. Eine Verbesserung basierend auf Evaluationsdaten kann allerdings auch schwierig sein. Zunächst muss ein Fragebogen entwickelt werden, der die relevanten Fragen beinhaltet, deren Beantwortung zu einer Verbesserung führen [10, 18]. Darüber hinaus erfordern die Daten eine sorgfältige und umfassende Analyse, um Schlussfolgerungen für eine Verbesserung der Veranstaltung zu ermöglichen [10, 19,20,21]. Mithilfe der durchgeführten Datenanalysen war es möglich, die relevanten Faktoren zu ermitteln, die bei den Teilnehmern eine positive oder negative Wahrnehmung der Veranstaltung hervorrufen. Hierbei waren die Faktoren „Freundlichkeit“, „Systematischer Aufbau“, „Vorwissen“, „Eigene Mitarbeit“ und „Unterrichtseinheit effizient“ maßgeblich. Freundlichkeit ist eine Grundvoraussetzung für die Kommunikation mit einer Zielgruppe und daher ein wichtiges Element.

Durch eine gut strukturierte Lehrveranstaltung fällt es den Teilnehmern leichter, gedanklich zu folgen. Dies bildet die Grundlage, um neue Informationen aufzunehmen („Systematischer Aufbau“) [4, 6, 22]. Die Zielgruppenorientierung zeigt sich an dem Element „Vorwissen“. Um neue Inhalte einzuordnen und abzuspeichern, benötigt der Lernende ein gewisses Maß an Vorwissen [5, 6]. Um das neu zu vermittelnde Wissen an ihr Vorwissen anknüpfen zu können, ist eine Orientierung am meist unterschiedlichen Vorwissen der Teilnehmer wichtig für den Lernerfolg. Hierdurch kann einer Überforderung der Teilnehmer bei komplexen und umfangreichen Inhalten vorgebeugt werden. Dies kann sich natürlich bei einer großen heterogenen Gruppe schwierig gestalten. Die Variable „Eigene Mitarbeit“ ist ein Surrogat für die aktive Mitarbeit der Teilnehmer. Da Lernen ein aktiver Prozess ist, ist die aktive Mitarbeit eine Voraussetzung für den Lernprozess. Je aktiver der Lernende in den Lehrprozess involviert ist, desto größer ist sein Lernzuwachs [23, 24]. Damit die Teilnehmer aktiv mitarbeiten können, muss sich die jeweilige Unterrichtseinheit nicht nur am Vorwissen der Teilnehmer orientieren und den Inhalt gut strukturiert präsentieren, sondern auch aktiv zur Mitarbeit anregen und die Interaktion fördern. Der letzte Punkt „Unterrichtseinheit effizient“ spiegelt die Erwartung der Zielgruppe an das Format eines kompakten Repetitoriums als eine effiziente Wissensvermittlung wider.

Zusätzlich zu einer globalen Auswertung der Veranstaltung wurde eine Subgruppenanalyse nach Dozenten durchgeführt. Für einen dieser Dozenten wurde exemplarisch ein individuelles Profil von Stärken und Schwächen gezeigt. In der exemplarischen Dozentenauswertung zeigte sich in allen 3 Kategorien des Fragebogens „Dozent“, „Teilnehmer“ und „Struktur“ Verbesserungspotenzial.

In der Kategorie Dozent schnitten die Items „Aufmerksamkeit erhalten“, „Mitarbeit gefördert“, „Anschauliche Beispiele“ und „Verständliche Erklärungen“ im Vergleich zu den anderen Dozenten signifikant schlechter ab. Bei den strukturellen Aspekten der Lehrveranstaltung konnten die Variablen „systematischer Aufbau“ und „Lernziele genannt“ im Vergleich zu den anderen Dozenten ebenso als signifikant schlechter identifiziert werden. Darüber hinaus sahen die Teilnehmer die fehlende Möglichkeit zur Mitarbeit als Kritikpunkt.

Die Variablen „Vorwissen“ „Niveau zu hoch“, „Inhalt interessant“ und „Inhalt relevant“ unterschieden sich ebenfalls hochsignifikant vom Vergleichskollektiv. Das Thema schien für die Teilnehmer nicht interessant und wurde als nicht relevant bewertet. Das Niveau wurde im Verhältnis zum Vorwissen von den Teilnehmern als zu hoch eingestuft. Dies ist ein gutes Beispiel für ein schwieriges Thema einer Lehreinheit. Die Konstellation des geringen Vorwissens und der schwer nachvollziehbaren Relevanz des Themas stellt eine Herausforderung für den Dozenten dar. Die Relevanz des Themas zu vermitteln und das Interesse zu wecken, ist für den Lernerfolg der Teilnehmer eine wichtige Voraussetzung [25, 26]. In diesem Fall kam erschwerend hinzu, dass das Niveau der Lehreinheit nicht dem Vorwissen der Teilnehmer angepasst war.

Die Auswertung bildet eine objektive Grundlage für ein Verbesserungsgespräch mit dem Dozierenden, sodass in zukünftigen Lehreinheiten wichtige Aspekte wie z. B. die Struktur der Lehrveranstaltung angepasst und die Lernzielkommunikation erfolgen kann. Anhand der Variablen „Vorwissen“ und „Niveau zu hoch“ lässt sich der Inhalt der Lehreinheit zukünftig besser auf die Teilnehmer abstimmen.

Um eine kompakte Veranstaltung wie ein Facharztrepetitorium so effizient wie möglich zu gestalten, ist eine stetige Qualitätskontrolle unerlässlich. Der eingesetzte Fragebogen ermöglicht ein Feedback sowohl für den Veranstalter über die Gesamtveranstaltung als auch über die eingesetzten Dozenten. Durch das Feedback lassen sich nicht nur die Inhalte der Veranstaltung besser auf die Bedürfnisse der Teilnehmer abstimmen, sondern auch die präsentierten Inhalte in Art und Aufbereitung möglichst lernfördernd darstellen.

Methodenkritisch bleibt anzumerken, dass sich die vorliegende Arbeit auf die Wahrnehmung der Qualität der Unterrichtseinheit durch die Teilnehmer fokussiert. Es verbliebe noch die Möglichkeit der Messung des Lernerfolgs über eine Evaluation des Abschneidens der Teilnehmer in der Facharztprüfung. Hierbei sei aber auf die eingeschränkte Aussagekraft des Prüfungsergebnisses aufgrund einer fehlenden Standardisierung der Facharztprüfungen in Deutschland hingewiesen. Somit verbleibt die Messung der Qualität aus Sicht der Teilnehmer nach Ansicht der Autoren die am besten realisierbare Methode.

Fazit für die Praxis

  • Der vorgestellte Fragebogen ist in Kombination mit den aufgezeigten statistischen Verfahren eine zeit- und ressourcenschonende Möglichkeit für das Qualitätsmanagement des Facharztrepetitoriums als Gesamtveranstaltung sowie der individuellen Beiträge.

  • Die Fragebogenitems lassen sich hinsichtlich ihrer Relevanz hierarchisch ordnen und gegeneinander gewichten.

  • Durch die Ermittlung der Punkte mit dem größten Effekt auf die Negativwahrnehmung ist eine zielgruppenorientierte und effiziente Verbesserung der Gesamtveranstaltung möglich.

  • Die Dozentenanalyse ermöglicht die Erstellung eines individuellen Stärken- und Schwächenprofils der Dozenten, was als eine gute Grundlage für ein individuelles Feedback an jeden Dozenten dienen kann.

Literatur

  1. 1.

    Bundesärztekammer (2018) Musterweiterbildungsordnung

    Google Scholar 

  2. 2.

    Hahnenkamp K (2013) Finanzierung der Weiterbildung: Ein System kollabiert. Dtsch Arztebl Int 110:21

    Google Scholar 

  3. 3.

    SIWF Schweizerisches Institut für ärztliche Weiter- und Fortbildung | ISFM Institut suisse pour la formation médicale postgraduée et continue FMH (2000) Weiterbildungsordunung (WBO)

  4. 4.

    Rauch AK, Heuermann K, Leffers D et al (2020) Survey on current situation in otolaryngology residency. Laryngorhinootologie 99:391–399

    Article  Google Scholar 

  5. 5.

    Van Kesteren MT, Rijpkema M, Ruiter DJ et al (2014) Building on prior knowledge: schema-dependent encoding processes relate to academic performance. J Cogn Neurosci 26:2250–2261

    Article  Google Scholar 

  6. 6.

    Van Kesteren MT, Ruiter DJ, Fernandez G et al (2012) How schema and novelty augment memory formation. Trends Neurosci 35:211–219

    Article  Google Scholar 

  7. 7.

    Litzelman DK, Stratos GA, Marriott DJ et al (1998) Factorial validation of a widely disseminated educational framework for evaluating clinical teachers. Acad Med 73:688–695

    CAS  Article  Google Scholar 

  8. 8.

    Hortsch M (2019) How to make educational lemonade out of a didactic lemon: the benefits of listening to your students. Anat Sci Educ 12:572–576

    Article  Google Scholar 

  9. 9.

    Katz-Sidlow RJ, Baer TG, Gershel JC (2016) Providing rapid feedback to residents on their teaching skills: an educational strategy for contemporary trainees. Int J Med Educ 7:83–86

    Article  Google Scholar 

  10. 10.

    Ramackers W, Stupak JV, Marcheel IL et al (2020) Regression analyses of questionnaires in bedside teaching. BMC Med Educ 20:371

    Article  Google Scholar 

  11. 11.

    Luxenberger W, Ward VM, Nikolaou A et al (2016) The development and design of the European board of otorhinolaryngology-head and neck surgery examination (EBEORL-HNS). Eur Arch Otorhinolaryngol 273:1079–1093

    Article  Google Scholar 

  12. 12.

    Hattie JTH (2007) The power of feedback. Rev Educ Res 77:81–112

    Article  Google Scholar 

  13. 13.

    Muller T, Montano D, Poinstingl H et al (2017) Evaluation of large-group lectures in medicine—development of the SETMED‑L (Student Evaluation of Teaching in MEDical Lectures) questionnaire. BMC Med Educ 17:137

    Article  Google Scholar 

  14. 14.

    Ramsden P (1991) A performance indicator of teaching quality in higher education: the Course Experience Questionnaire. Stud High Educ 16:129–150

    Article  Google Scholar 

  15. 15.

    Spruijt A, Leppink J, Wolfhagen I et al (2014) Investigating teaching performance in seminars; a questionnaire study with a multi-level approach. BMC Med Educ 14:203

    Article  Google Scholar 

  16. 16.

    Emery C, Kramer T, Tian R (2003) Return to academic standards: a critique of student evaluations of teaching effectiveness. Qual Assur Educ 11:37–46

    Article  Google Scholar 

  17. 17.

    Shevlin M, Banyard P, Davies M et al (2000) The validity of student evaluation of teaching in higher education: love me, love my lectures? Assess Eval High Educ 25:397–405

    Article  Google Scholar 

  18. 18.

    Artino AR Jr., La Rochelle JS, Dezee KJ et al (2014) Developing questionnaires for educational research: AMEE Guide No. 87. Med Teach 36:463–474

    Article  Google Scholar 

  19. 19.

    Aiken LS, West SG, Reno RR (1991) Multiple regression : testing and interpreting interactions. SAGE, Newbury Park

    Google Scholar 

  20. 20.

    Hosmer D, Lemeshow S, Sturdivant R et al (2013) Applied Logistic Regression, 3. Aufl.

  21. 21.

    Kuhn M, Johnson K (2013) Applied predictive modeling

  22. 22.

    Ausubel D (1960) The use of advance organizers in the learning and retention of meaningful verbal material. J Educ Psychol 51:267–272

    Article  Google Scholar 

  23. 23.

    Chi MT (2009) Active-constructive-interactive: a conceptual framework for differentiating learning activities. Top Cogn Sci 1:73–105

    Article  Google Scholar 

  24. 24.

    Chi MTH, Wylie R (2014) The ICAP framework: linking cognitive engagement to active learning outcomes. Educ Psychol 49:219–243

    Article  Google Scholar 

  25. 25.

    Slavin RE (2012) Educational psychology : theory and practice. Pearson, Boston

    Google Scholar 

  26. 26.

    Ten Cate TJ, Kusurkar RA, Williams GC (2011) How self-determination theory can assist our understanding of the teaching and learning processes in medical education. AMEE guide No. 59. Med Teach 33:961–973

    Article  Google Scholar 

Download references

Funding

Open Access funding enabled and organized by Projekt DEAL.

Author information

Affiliations

Authors

Corresponding author

Correspondence to Dr. Tobias Albrecht.

Ethics declarations

Interessenkonflikt

T. Albrecht, T. Hildenbrand, J. Beneke, C. Offergeld und W. Ramackers geben an, dass kein Interessenkonflikt besteht.

Für diesen Beitrag wurden von den Autoren keine Studien an Menschen oder Tieren durchgeführt. Für die aufgeführten Studien gelten die jeweils dort angegebenen ethischen Richtlinien.

Supplementary Information

Rights and permissions

Open Access Dieser Artikel wird unter der Creative Commons Namensnennung 4.0 International Lizenz veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.

Die in diesem Artikel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.

Weitere Details zur Lizenz entnehmen Sie bitte der Lizenzinformation auf http://creativecommons.org/licenses/by/4.0/deed.de.

Reprints and Permissions

About this article

Verify currency and authenticity via CrossMark

Cite this article

Albrecht, T., Hildenbrand, T., Beneke, J. et al. Qualitätssicherungssystem zur Bewertung eines HNO-Facharztrepetitoriums. HNO (2021). https://doi.org/10.1007/s00106-021-01065-6

Download citation

Schlüsselwörter

  • Wissensmanagement
  • Assistenzzeit und Facharztausbildung
  • Facharztweiterbildung
  • Evaluation
  • Lernen

Keywords

  • Knowledge management
  • Internship and residency
  • Medical graduate education
  • Evaluation
  • Learning