Der Nervenarzt

, Volume 80, Issue 3, pp 324–328 | Cite as

Qualitätsverbesserung von Multiple-Choice-Prüfungen

In Psychiatrie, Psychosomatik, Psychotherapie und Neurologie
  • M. Weih
  • D. Harms
  • C. Rauch
  • L. Segarra
  • U. Reulbach
  • U. Degirmenci
  • M. de Zwaan
  • S. Schwab
  • J. Kornhuber
Originalien

Zusammenfassung

Es werden Verbesserungsschritte in Planung, Durchführung und Auswertung von Multiple-Choice-Prüfungen in den Fächern Psychiatrie, Psychosomatik, Psychotherapie und Neurologie beschrieben. 640 Fragen von 1419 Studierenden wurden über 4 Jahre analysiert. Veränderungen betrafen die Abschaffung problematischer Multiple-Choice-Fragetypen, Einführung von reformierten validen Multiple-Choice-Frageformaten, automatisiertes Einlesen und Auswerten der Antworten; Erweiterung der fallbasierten Fragen, Verlängerung der Fragenstämme, quantitative Auswertung der Fragen und Einführung eines Peer-review-Systems. Folgen waren eine Zunahme des Schweregrades um 18%, Zunahme der Trennschärfe um 67% und Abnahme der Auswertungszeiten auf wenige Stunden. Als Nachteil des Prozesses kam es durch das Peer-review-Verfahren zu einer Zunahme der Vorbereitungszeit, was jedoch von den Beteiligten als positiv empfunden wurde, da die Fragenqualität verbessert werden konnte.

Schlüsselwörter

Studentische Lehre Testtheorie Approbationsordnung Ausbildung Mehrfachantwortfragen 

Quality improvement of multiple choice examinations

In psychiatry, psychosomatic medicine, psychotherapy, and neurology

Summary

We describe a continuous improvement process in planning, performance, and evaluation of multiple choice examination questions in psychiatry, neurology, psychosomatic medicine, and psychotherapy. We analyzed 640 multiple choice questions of 1,419 students during a period of 4 years. Crucial changes concerned the abolishment of problematic question types, implementation of validated new question formats, extension of case-based questions, elongation of question stems, quantitive evaluation of item difficulty, discriminatory value, and the introduction of a peer review system. Consequences of these improvements were greater item difficulty (average 18%) and discriminatory value (average 67%) and reduced post hoc analysis times. Introduction of peer reviews resulted in longer preparation time, which was however appreciated by the peers due to a clear improvement in item quality.

Keywords

Medical education Test theory Medical legislation Undergraduate education Multiple choice questions 

Notes

Interessenkonflikt

Der korrespondierende Autor gibt an, dass kein Interessenkonflikt besteht.

Literatur

  1. 1.
    National Board of Mediacl Examinations NBME (2002) Constructing written test questions für the basic and clinical sciencesGoogle Scholar
  2. 2.
    Bloch R, Hofer D, Krebs R et al (1999) Kompetent prüfen: Handbuch zur Planung, Durchführung und Auswertung von Facharztprüfungen. Bern/WienGoogle Scholar
  3. 3.
    Case Sm, Swanson Db (2002) Constructing written test questions für the basic and clinical sciences. 3rd Edn (rev). PhiladelphiaGoogle Scholar
  4. 4.
    Case Sm, Swanson Db, Ripkey Dr (1994) Comparison of items in five-option and extended-matching formats for assessment of diagnostic skills. Acad Med 69:S1–3PubMedCrossRefGoogle Scholar
  5. 5.
    Coderre Sp, Harasym P, Mandin H et al (2004) The impact of two multiple-choice question formats on the problem-solving strategies used by novices and experts. BMC Med Educ 4:23PubMedCrossRefGoogle Scholar
  6. 6.
    Krebs R (1999) Use the Cues (UTC) Kurztest zum Erkennen ungewollter Lösungshinweise bei Multiple-Choice-Fragen. Materialien im Rahmen der MME-Ausbildung an der Universität BernGoogle Scholar
  7. 7.
    Kühne-Eversmann L, Nussbaum C, Reincke M et al (2007) CME activities of medical journals: quality of multiple-choice questions as evaluation tool. Using the example of the German medical journals Deutsches Arzteblatt, Deutsche Medizinische Wochenschrift, and Der Internist. Med Klin (Munich) 102:993–1001Google Scholar
  8. 8.
    Möltner A, Schellberg D, Jünger J (2006) Grundlegende quantitative Analysen medizinischer Prüfungen. GMS Z Med Ausbild 23Google Scholar
  9. 9.
    Rotthoff T, Soboll S (2006) Qualitätsverbesserung von MC Fragen: Ein exemplarischer Weg für eine medizinische Fakultät. GMS Z Med Ausbild 23Google Scholar
  10. 10.
    Weih M, Georg W, Schäfer M (2007) Kapitel 13: Prüfungen. In: Voderholzer U (Hrsg) Lehre im Fach Psychiatrie und Psychotherapie. Ein Handbuch. Kohlhammer, Stuttgart, S 222–250Google Scholar

Copyright information

© Springer Medizin Verlag 2008

Authors and Affiliations

  • M. Weih
    • 1
  • D. Harms
    • 2
  • C. Rauch
    • 3
  • L. Segarra
    • 4
  • U. Reulbach
    • 1
  • U. Degirmenci
    • 1
  • M. de Zwaan
    • 2
  • S. Schwab
    • 3
  • J. Kornhuber
    • 1
  1. 1.Psychiatrische und Psychotherapeutische KlinikUniversitätsklinikum ErlangenErlangenDeutschland
  2. 2.Psychosomatische und Psychotherapeutische AbteilungUniversitätsklinikum ErlangenErlangenDeutschland
  3. 3.Neurologische KlinikUniversitätsklinikum ErlangenErlangenDeutschland
  4. 4.Medizinisches Trainings- und Prüfungszentrum MTPZ; Medizinische KlinikUniversitätsklinikum ErlangenErlangenDeutschland

Personalised recommendations