Skip to main content
Log in

Gütekriterien bei universitären Prüfungen im Lichte von Kanes Rahmenwerk

Quality criteria for academic assessments according to Kane’s framework

  • themenschwerpunkt
  • Published:
Wiener Medizinische Wochenschrift Aims and scope Submit manuscript

Zusammenfassung

Die Empfehlungen für fakultätsinterne Prüfungen von GMA und MFT von 2014 stellen einen wichtigen Schritt zur Verbesserung der Prüfungen in der deutschsprachigen Medizinausbildung dar. Weil aber einige wichtige Aspekte von Prüfungen in den Empfehlungen nur angedeutet wurden, sind weitere Anstrengungen notwendig.

Von den internationalen Publikationen, die sich mit substanziellen Fragen zur Verbesserung von Tests beschäftigen, kommt dem theoretischen Rahmen, den Kane 2013 zur Validierung von Tests vorgeschlagen hat, besondere Bedeutung für Prüfungen im Medizinstudium zu. Aber seine konsequente Anwendung zur Verbesserung von Prüfungen in Studiengängen wie dem der Medizin steht noch aus. Der Beitrag versucht eine indirekte, allgemeine Antwort auf die Frage zu geben, was bei der Planung von Prüfungen im Zusammenhang mit einem Studiengang wie dem der Medizin zu beachten ist.

Summary

Although the publication of the recommendations of GMA and MFT in 2014 concerning the improvement of assessment quality in medical education had been an important step for the German-speaking faculties, it is still necessary to increase the efforts. There are still some aspects of assessments which were only intimated by the recommendations.

Kane’s framework for the validation of tests, published in 2013, is of special importance for assessments within medical studies. But the application of this framework hasn’t been consequent enough until now. The article tries to give an indirect, general answer to the question, what has to be considered, when assessments in medical education were planned.

This is a preview of subscription content, log in via an institution to check access.

Access this article

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Instant access to the full article PDF.

Abb. 1
Abb. 2
Abb. 3

Literatur

  1. Bandaranayake RC. Setting and maintaining standards in multiple choice examinations. Dundee: Association for Medical Education in Europe; 2010.

    Google Scholar 

  2. Van Tartwijk J, Driessen EW. Portfolios for assessment and learning: AMEE Guide no. 45. Med Teach. 2009;31(9):790–801.

    Article  Google Scholar 

  3. Norcini J, Burch V. Workplace-based assessment as an educational tool: AMEE Guide No. 31. Med Teach. 2007;29(9):855–71.

    Article  Google Scholar 

  4. Bandaranayake RC. Setting and maintaining standards in multiple choice examinations: AMEE Guide No. 37. Med Teach. 2008;30(9–10):836–45.

    Article  Google Scholar 

  5. Shumway JM, Harden RM. AMEE Guide No. 25: The assessment of learning outcomes for the competent and reflective physician. Med Teach. 2003;25(6):569–84.

    Article  CAS  Google Scholar 

  6. Friedman Ben-David M. Standard setting in student assessment. Dundee: Association for Medical Education in Europe; 2000.

    Google Scholar 

  7. Cronbach LJ, Meehl PE. Construct validity in psychological tests. Psychol Bull. 1955;52(4):281–302.

    Article  CAS  Google Scholar 

  8. Lienert GA. Testaufbau und Testanalyse. 4. Aufl. München: Psychologie Verlags Union; 1989.

    Google Scholar 

  9. Messick S. Validity. In: Linn RL, Hrsg. Educational measurement. New York: American Council on Education, Macmillan; 1989. S. 13–103.

    Google Scholar 

  10. Cook TD, Campbell DT. Quasi-Experimentation. Chicago: Rand McNally; 1979.

    Google Scholar 

  11. Schuwirth LWT, van der Vleuten CP. Programmatic assessment and Kane’s validity perspective. Med Educ. 2012;46:38–48.

    Article  Google Scholar 

  12. Jünger J, Just I. Empfehlungen der Gesellschaft für Medizinische Ausbildung und des Medizinischen Fakultätentags für fakultätsinterne Leistungsnachweise während des Studiums der Human‑, Zahn- und Tiermedizin. Z Med Ausbild. 2014;31(3):doc34.

    Google Scholar 

  13. Gesellschaft für Medizinische Ausbildung, Kompetenzzentrum Prüfungen Baden-Württemberg, Fischer M. Leitlinie für Fakutäts-interne Leistungsnachweise während des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Pürfungen und des Kompetenzentrums Prüfungen Baden-Württemberg. Z Med Ausbild. 2008;25(1):Doc74.

    Google Scholar 

  14. Kirschstein T, Wolters A, Lenz J‑H, Fröhlich S, Hakenberg O, Kundt G, et al. Ein Algorithmus zur Berechnung von Klausurqualität als Bemessungsgrundlage für LOM-Lehre. GMS J Med Educ. 2016;33(3):Doc44.

    PubMed  PubMed Central  Google Scholar 

  15. Fischer V, Just I. Objectivity of written assessments: An approach to evaluate this criterion. 4th Research in Medical Education Symposium; 20.03.2015; München 2015.

  16. ECTS User’s Guide. UK 2015. Available from: https://ec.europa.eu/education/sites/education/files/ects-users-guide_en.pdf

  17. American Educational Research Association, American Psychological Association, National Council on Measurement education. Standards for educational and psychological testing. Washington, DC: AERA, APA, NCME; 2014.

    Google Scholar 

  18. Fischer V. Konzeptuelle Überlegungen für valide, reliable und faire Prüfungen. Jahrestagung der Gesellschaft für Medizinische Ausbildung; 23.9.2017; Münster. 2017.

    Google Scholar 

  19. Kane MT. Validating the interpretations and uses of test scores. J Educ Meas. 2013;50(1):1–73.

    Article  Google Scholar 

  20. Kane MT. Current concerns in validity theory. J Educ Meas. 2001;38(4):319–42.

    Article  Google Scholar 

  21. Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporay approach to validity arguments: a practical guide to Kane’s framework. Med Educ. 2015;49:560–75.

    Article  Google Scholar 

  22. Kane MT. Validation as a pragmatic, scientific activity. J Educ Meas. 2013;50(1):115–22.

    Article  Google Scholar 

  23. Kane MT. Validating high-stakes testing programs. Educ Meas Issues Pract. 2002;21(1):31–41.

    Article  Google Scholar 

  24. Popper KR. Logik der Forschung. 7. Aufl. Tübingen: Mohr; 1982.

    Google Scholar 

  25. Kunnan AJ. Statistical analyses for test fairness. Rev Fr Linguist Appl. 2010;1(15):39–48.

    Google Scholar 

  26. Koretz D. Making the term “validity” useful. Assess Educ Princ Policy Pract. 2016;23(2):290–2.

    Google Scholar 

  27. Newton PE, Shaw SD. Disagreement over the best way to use the word “validity” and options for reaching consensus. Assess Educ Princ Policy Pract. 2016;23(2):178–97.

    Google Scholar 

  28. Newton PE. Two kinds of argument? J Educ Meas. 2013;50(1):105–9.

    Article  Google Scholar 

  29. Moss PE. Validity in action: lessons from studies of data use. J Educ Meas. 2013;50(1):91–8.

    Article  Google Scholar 

  30. Wolming S, Wikström C. The concept of validity in theory and practice. Assess Educ Princ Policy Pract. 2010;17(2):117–32.

    Google Scholar 

  31. Lindner MA, Strobel B, Köller O. Multiple-Choice-Prüfungen an Hochschulen? Ein Literaturüberblick und Plädoyer für mehr praxisorientierte Forschung. Z Padagog Psychol. 2015;29(3–4):133–49.

    Google Scholar 

  32. Tekian A, Norcini JJ. Overcome the 60 % passing score and improve the quality of assessment. Z Med Ausbild. 2015;32(4):Doc43.

    Google Scholar 

  33. Fischer V, Müller H, Just I. How differentiated are assessments in rating performance differences? A pragmatic method. 3rd Research in Medical Education Symposium; 25.3.2013; Berlin. 2013.

    Google Scholar 

  34. MacKay DG. Problems with popper: the initial goal is to develop viable theories, not disconfirm them. Conscious Cogn. 1992;1:231–40.

    Article  Google Scholar 

  35. Schuwirth LW, van der Vleuten CP. General overview of the theories used in assessment. Dundee: Association for Medical Education in Europe (AMEE); 2008.

    Google Scholar 

Download references

Author information

Authors and Affiliations

Authors

Corresponding author

Correspondence to Volkhard Fischer.

Ethics declarations

Interessenkonflikt

V. Fischer erklärt, dass er keine finanziellen oder persönlichen Beziehungen zu Dritten hat, deren Interessen vom Inhalt des Manuskriptes positiv oder negativ betroffen sein könnten.

Ethische Standards

Diese Originalarbeit gibt keine Ergebnisse wissenschaftlicher oder sonstiger Forschung am Menschen wider, für die eine Einwilligung von Patienten eingeholt oder eine Bewilligung vor Projektbeginn durch die Ethikkommission der MHH eingeholt werden musste.

Rights and permissions

Reprints and permissions

About this article

Check for updates. Verify currency and authenticity via CrossMark

Cite this article

Fischer, V. Gütekriterien bei universitären Prüfungen im Lichte von Kanes Rahmenwerk. Wien Med Wochenschr 169, 110–118 (2019). https://doi.org/10.1007/s10354-018-0661-z

Download citation

  • Received:

  • Accepted:

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s10354-018-0661-z

Schlüsselwörter

Keywords

Navigation