CME-Fortbildungsangebote in medizinischen Fachzeitschriften: Strukturqualität der MC-Fragen als Erfolgskontrollen

Zusammenfassung

Hintergrund und Ziel:

Mit zunehmender Teilnahme der Ärzte an Continuing-Medical-Education-(CME-)Angeboten von medizinischen Fachzeitschriften stellt sich die Frage nach deren Qualität und Effektivität.

Methodik:

In der vorliegenden Studie wurde die Strukturqualität von Multiple-Choice-(MC-)Fragen zur Wissensüberprüfung im Rahmen von CME-Angeboten in drei medizinischen Fachzeitschriften (Der Internist, Deutsches Ärzteblatt, Deutsche Medizinische Wochenschrift) aus Deutschland untersucht. Hierzu erfolgte eine Analyse von 390 MC-Fragen im Hinblick auf evidenzbasierte Richtlinien zur Erstellung qualitätsvoller MC-Fragen. Die inhaltliche Qualität der Fragen oder der Beiträge wurde nicht überprüft.

Ergebnisse:

264 (67,7%) der 390 Fragen wurden als fehlerhaft eingestuft mit einer Gesamtanzahl an Formfehlern von 449. Der prozentuale Anteil fehlerhafter Fragen pro Fachzeitschrift betrug für das Deutsche Ärzteblatt 60,8%, für Der Internist 63,3% und für die Deutsche Medizinische Wochenschrift 77,9%. Die häufigste Formfehlerkategorie im Deutschen Ärzteblatt waren mit 33,8% ungewollte Lösungshinweise (Cues), in Der Internist mit 29,8% negativer Fragenstamm und in der Deutschen Medizinischen Wochenschrift mit 24,7% unfokussierter Fragenstamm.

Schlussfolgerung:

Das Problem formaler Fehler in MC-Fragen hat eine weitreichende, interdisziplinäre Bedeutung, wie die große Anzahl von Studien zu diesem Thema zeigt. Die Formfehleranzahl in der vorliegenden Studie lag mit 67,7% im Bereich der bisherigen Analysen. Bei der Betrachtung der Fehlerverteilung wurde deutlich, dass die Qualität der MC-Fragen durch einfache Maßnahmen effektiv gesteigert werden könnte.

Ausblick:

Unabhängig vom gesellschaftlichen Kontext ärztlicher Fortbildungsmaßnahmen ist die Qualität der Erfolgskontrolle ein entscheidender Faktor, um dem Vorwurf einer Trivialisierung der CME-Angebote entgegenzuwirken.

Abstract

Background and Purpose:

The participation of doctors in Continuing Medical Education (CME) activities provided by medical journals increases. Therefore, their quality and efficacy need to be evaluated.

Methods:

This study evaluated the quality of the multiple-choice questions (MCQs) as evaluation tool of CME activities in three German medical journals (Der Internist, Deutsches Ärzteblatt, Deutsche Medizinische Wochenschrift). In total, 390 MCQs were reviewed using evidence-based principles of effective item writing. The content quality of the MCQs was not evaluated in this study.

Results:

264 (67.7%) of 390 MCQs contained flaws with 449 flaws in total. The proportion of flawed items was 60.8% in Deutsches Ärzteblatt, 63.3% in Der Internist, and 77.9% in Deutsche Medizinische Wochenschrift. The most frequent flaws were clues (33.8%, Deutsches Ärzteblatt), negatively worded stems (29.8%, Der Internist), and unfocused stems (24.7%, Deutsche Medizinische Wochenschrift).

Schlussfolgerung:

The problem of formal flaws in MCQs has an extensive relevance, as seen by the large number of studies related to this topic. The frequency of flaws (67.7%) was similar to recent studies. The distribution of the flaws suggests that with minor editing the quality of the MCQs could be substantially improved.

Perspective:

The use of high-quality evaluation tools is essential to invalidate the accusation of the trivialization of CME activities, irrespective of their social context.