„Cues“ und „pseudocues“ in chirurgischen MC-Fragen des deutschen Staatsexamens
- 284 Downloads
Zusammenfassung
Hintergrund
Multiple-Choice(MC)-Fragen sind die meistverwendeten Fragetypen in medizinischen Examina. Die Gestaltung von MC-Fragen ist anspruchsvoll. „Cues“ und „pseudocues“, die das Antwortverhalten beeinflussen, müssen vermieden werden, um die Reliabilität nicht zu gefährden.
Fragestellung
Aufgrund der Examensfragen 2000 bis 2011 sollte die Häufigkeit solcher „cues“ und „pseudocues“ ermittelt werden.
Material und Methoden
Die chirurgischen Fragen der Staatsexamina 2000 bis 2011 wurden in eine Datenbank eingegeben. Anschließend wurden die Einträge von drei Studenten unterschiedlicher Vorkenntnisse und einem Arzt auf „cues“ und „pseudocues“ entlang 6 vorgegebener Kategorien untersucht.
Ergebnisse
Insgesamt 1014 Fragen wurden initial als ausschließlich chirurgisch gewertet und in die Untersuchung miteinbezogen. Es wurden in 15,2 % der Fragen „cues“ oder „pseudocues“ gefunden. 0,2 % der Fragen enthielten einen „cue“ Typ A (Unterbrechung des grammatischen Flusses), 6,5 % enthielten Typ-B- (signifikant unterschiedliche Antwortlänge oder -tiefe), 4 % Typ-C- (zwei oder mehr Antwortmöglichkeiten stehen in engem Bezug, „focus of attention“), 0,6 % Typ-D-Konvergenz-„Cues“ (Antwort mit den meisten Gemeinsamkeiten mit den Distraktoren), 0,7 % wiesen „verbal association cues“ auf (Typ E: ähnliche Wortverwendung wie im Fragestamm) und 1 % der Fragen enthielt Antworten mit Absolutbegriffen (Typ F). „Pseudocues“ wurden in 3,7 % der Fragen gefunden.
Diskussion
Die gefundenen Häufigkeiten der „cues“ und „pseudocues“ stellen eine Aufforderung zur Verbesserung dar, ihre Vermeidung erfordert spezifische Aufmerksamkeit im Fragegestaltungs- und Fragereviewprozess.
Schlussfolgerungen
„Cues“ und insbesondere „pseudocues“ kommen in relevanten Anteilen in den Fragen des Staatsexamens vor und sollten vermieden werden, um Validität und Reliabilität nicht zu gefährden.
Schlüsselwörter
Multiple Choice Fragen Cues Medizinische Ausbildung Chirurgische Ausbildung PrüfungCues and pseudocues in surgical multiple choice questions from the German state examination
Abstract
Aim
Multiple choice questions (MCQs) are the most common written test item in medical examinations. Writing MCQs is difficult and cues can decrease test validity. The aim of this article is to describe the prevalence and pattern of cues in surgical MCQs in the central German medical examination questions from 2000–2011.
Method
All surgical questions were entered into a database. The questions were reviewed for cues and pseudocues independently by three students of different academic background and one clinical physician.
Results
Initially, 1014 questions were included, 22 questions were not rated uniformly by the reviewers and 3 questions were excluded because no consensus could be reached. Overall 15.2 % of the questions analyzed contained some type of cue or pseudocue. Of the total questions 0.2 % contained type A cues (i.e. disruption of grammatical flow), 6.5 % contained type B cues (i.e. heterogeneous length or differentiation), 4.0 % contained type C cues (two or more answers described closely related topics, serving to focus attention), 0.6 % contained type D convergence cues (i.e. answers with the most items in common with distractors are correct), 0.7 % contained type E verbal association cues (i.e. connection in the use of words leading to the correct answer) and 1.0 % contained type F cues (i.e. answers with absolute terms). Pseudocues were found in 3.7 % of the questions.
Discussion
The proportion of questions that contained cues or pseudocues should lead to further efforts to avoid such factors compromising test reliability by specific attention in the process of question design and review.
Conclusion
Cues are still an important consideration in designing MCQs and are present in considerable numbers in medical state examination questions. Pseudocues should be explicitly avoided so as not to compromise validity and reliability.
Keywords
Multiple Choice Questions Cues Medical Education Surgical Education AssessmentNotes
Einhaltung ethischer Richtlinien
Interessenkonflikt
J. de Laffolie, D. Visser, M. Hirschburger und S. Turial geben an, dass kein Interessenkonflikt besteht.
Dieser Beitrag beinhaltet keine von den Autoren durchgeführten Studien an Menschen oder Tieren.
Literatur
- 1.Anderson J (1979) Assessment in medicine-the multiple choice question controversy. Med Teach 1:303CrossRefPubMedGoogle Scholar
- 2.Bloom B (1956) Cognitive domain. Taxonomy of educational objectives, Bd. I. McKay, New York, NYGoogle Scholar
- 3.Case SM (1998) Constructing written test questions for the basic and clinical sciences. National Board of Medical Examiners, PennsylvaniaGoogle Scholar
- 4.Collins J (2006) Education techniques for lifelong learning: writing multiple-choice questions for continuing medical education activities and self-assessment modules. Radiographics 26:543–551CrossRefPubMedGoogle Scholar
- 5.Davis B (1993) Multiple-choice and matching tests. In: Davis, Davis B (Hrsg) Tools for teaching. Jossey-Bass, San Francisco, S 262–271Google Scholar
- 6.Van Hoozer H (1987) The teaching process: Theory and practice in nursing. Appleton-Century-Crofts, Norwalk, ConnGoogle Scholar
- 7.Jozefowicz RF, Koeppen BM, Case S et al (2002) The quality of in-house medical school examinations. Acad Med 77:156–161CrossRefPubMedGoogle Scholar
- 8.Kemp JE, Morrison GR, Ross SM (1994) Developing evaluation instruments. In: Ross JE, Morrison GR, Ross SM (Hrsg) Designing effective instruction. MacMillan College Publishing, New York, NY, S 180–213Google Scholar
- 9.Kent TJJ, Schmeiser CB (1974) Some rules and guidelines for writing multiple choice test items. University of Iowa College of Medicine and American College Testing Program, Iowa City, IowaGoogle Scholar
- 10.Mccoubrie P (2004) Improving the fairness of multiple-choice questions: A literature review. Med Teach 26:709–712CrossRefPubMedGoogle Scholar
- 11.Mcmahan CA, Pinckard RN, Prihoda TJ et al (2013) Improving multiple-choice questions to better assess dental student knowledge: Distractor utilization in oral and maxillofacial pathology course examinations. J Dent Educ 77:1593–1609PubMedGoogle Scholar
- 12.National Board of Medical Examiners (NBME) (2002) Constructing written test questions for the basic and clinical sciences. National Board of Medical Examiners, Philadelphia, PAGoogle Scholar
- 13.Krebs R (2004) Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche AusbildungGoogle Scholar