Zusammenfassung
Die Empfehlungen für fakultätsinterne Prüfungen von GMA und MFT von 2014 stellen einen wichtigen Schritt zur Verbesserung der Prüfungen in der deutschsprachigen Medizinausbildung dar. Weil aber einige wichtige Aspekte von Prüfungen in den Empfehlungen nur angedeutet wurden, sind weitere Anstrengungen notwendig.
Von den internationalen Publikationen, die sich mit substanziellen Fragen zur Verbesserung von Tests beschäftigen, kommt dem theoretischen Rahmen, den Kane 2013 zur Validierung von Tests vorgeschlagen hat, besondere Bedeutung für Prüfungen im Medizinstudium zu. Aber seine konsequente Anwendung zur Verbesserung von Prüfungen in Studiengängen wie dem der Medizin steht noch aus. Der Beitrag versucht eine indirekte, allgemeine Antwort auf die Frage zu geben, was bei der Planung von Prüfungen im Zusammenhang mit einem Studiengang wie dem der Medizin zu beachten ist.
Summary
Although the publication of the recommendations of GMA and MFT in 2014 concerning the improvement of assessment quality in medical education had been an important step for the German-speaking faculties, it is still necessary to increase the efforts. There are still some aspects of assessments which were only intimated by the recommendations.
Kane’s framework for the validation of tests, published in 2013, is of special importance for assessments within medical studies. But the application of this framework hasn’t been consequent enough until now. The article tries to give an indirect, general answer to the question, what has to be considered, when assessments in medical education were planned.
Literatur
Bandaranayake RC. Setting and maintaining standards in multiple choice examinations. Dundee: Association for Medical Education in Europe; 2010.
Van Tartwijk J, Driessen EW. Portfolios for assessment and learning: AMEE Guide no. 45. Med Teach. 2009;31(9):790–801.
Norcini J, Burch V. Workplace-based assessment as an educational tool: AMEE Guide No. 31. Med Teach. 2007;29(9):855–71.
Bandaranayake RC. Setting and maintaining standards in multiple choice examinations: AMEE Guide No. 37. Med Teach. 2008;30(9–10):836–45.
Shumway JM, Harden RM. AMEE Guide No. 25: The assessment of learning outcomes for the competent and reflective physician. Med Teach. 2003;25(6):569–84.
Friedman Ben-David M. Standard setting in student assessment. Dundee: Association for Medical Education in Europe; 2000.
Cronbach LJ, Meehl PE. Construct validity in psychological tests. Psychol Bull. 1955;52(4):281–302.
Lienert GA. Testaufbau und Testanalyse. 4. Aufl. München: Psychologie Verlags Union; 1989.
Messick S. Validity. In: Linn RL, Hrsg. Educational measurement. New York: American Council on Education, Macmillan; 1989. S. 13–103.
Cook TD, Campbell DT. Quasi-Experimentation. Chicago: Rand McNally; 1979.
Schuwirth LWT, van der Vleuten CP. Programmatic assessment and Kane’s validity perspective. Med Educ. 2012;46:38–48.
Jünger J, Just I. Empfehlungen der Gesellschaft für Medizinische Ausbildung und des Medizinischen Fakultätentags für fakultätsinterne Leistungsnachweise während des Studiums der Human‑, Zahn- und Tiermedizin. Z Med Ausbild. 2014;31(3):doc34.
Gesellschaft für Medizinische Ausbildung, Kompetenzzentrum Prüfungen Baden-Württemberg, Fischer M. Leitlinie für Fakutäts-interne Leistungsnachweise während des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Pürfungen und des Kompetenzentrums Prüfungen Baden-Württemberg. Z Med Ausbild. 2008;25(1):Doc74.
Kirschstein T, Wolters A, Lenz J‑H, Fröhlich S, Hakenberg O, Kundt G, et al. Ein Algorithmus zur Berechnung von Klausurqualität als Bemessungsgrundlage für LOM-Lehre. GMS J Med Educ. 2016;33(3):Doc44.
Fischer V, Just I. Objectivity of written assessments: An approach to evaluate this criterion. 4th Research in Medical Education Symposium; 20.03.2015; München 2015.
ECTS User’s Guide. UK 2015. Available from: https://ec.europa.eu/education/sites/education/files/ects-users-guide_en.pdf
American Educational Research Association, American Psychological Association, National Council on Measurement education. Standards for educational and psychological testing. Washington, DC: AERA, APA, NCME; 2014.
Fischer V. Konzeptuelle Überlegungen für valide, reliable und faire Prüfungen. Jahrestagung der Gesellschaft für Medizinische Ausbildung; 23.9.2017; Münster. 2017.
Kane MT. Validating the interpretations and uses of test scores. J Educ Meas. 2013;50(1):1–73.
Kane MT. Current concerns in validity theory. J Educ Meas. 2001;38(4):319–42.
Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporay approach to validity arguments: a practical guide to Kane’s framework. Med Educ. 2015;49:560–75.
Kane MT. Validation as a pragmatic, scientific activity. J Educ Meas. 2013;50(1):115–22.
Kane MT. Validating high-stakes testing programs. Educ Meas Issues Pract. 2002;21(1):31–41.
Popper KR. Logik der Forschung. 7. Aufl. Tübingen: Mohr; 1982.
Kunnan AJ. Statistical analyses for test fairness. Rev Fr Linguist Appl. 2010;1(15):39–48.
Koretz D. Making the term “validity” useful. Assess Educ Princ Policy Pract. 2016;23(2):290–2.
Newton PE, Shaw SD. Disagreement over the best way to use the word “validity” and options for reaching consensus. Assess Educ Princ Policy Pract. 2016;23(2):178–97.
Newton PE. Two kinds of argument? J Educ Meas. 2013;50(1):105–9.
Moss PE. Validity in action: lessons from studies of data use. J Educ Meas. 2013;50(1):91–8.
Wolming S, Wikström C. The concept of validity in theory and practice. Assess Educ Princ Policy Pract. 2010;17(2):117–32.
Lindner MA, Strobel B, Köller O. Multiple-Choice-Prüfungen an Hochschulen? Ein Literaturüberblick und Plädoyer für mehr praxisorientierte Forschung. Z Padagog Psychol. 2015;29(3–4):133–49.
Tekian A, Norcini JJ. Overcome the 60 % passing score and improve the quality of assessment. Z Med Ausbild. 2015;32(4):Doc43.
Fischer V, Müller H, Just I. How differentiated are assessments in rating performance differences? A pragmatic method. 3rd Research in Medical Education Symposium; 25.3.2013; Berlin. 2013.
MacKay DG. Problems with popper: the initial goal is to develop viable theories, not disconfirm them. Conscious Cogn. 1992;1:231–40.
Schuwirth LW, van der Vleuten CP. General overview of the theories used in assessment. Dundee: Association for Medical Education in Europe (AMEE); 2008.
Author information
Authors and Affiliations
Corresponding author
Ethics declarations
Interessenkonflikt
V. Fischer erklärt, dass er keine finanziellen oder persönlichen Beziehungen zu Dritten hat, deren Interessen vom Inhalt des Manuskriptes positiv oder negativ betroffen sein könnten.
Ethische Standards
Diese Originalarbeit gibt keine Ergebnisse wissenschaftlicher oder sonstiger Forschung am Menschen wider, für die eine Einwilligung von Patienten eingeholt oder eine Bewilligung vor Projektbeginn durch die Ethikkommission der MHH eingeholt werden musste.
Rights and permissions
About this article
Cite this article
Fischer, V. Gütekriterien bei universitären Prüfungen im Lichte von Kanes Rahmenwerk. Wien Med Wochenschr 169, 110–118 (2019). https://doi.org/10.1007/s10354-018-0661-z
Received:
Accepted:
Published:
Issue Date:
DOI: https://doi.org/10.1007/s10354-018-0661-z