Abstract
Purpose
In response to the Royal College’s request to improve the validity and reliability of oral examinations, the Examination Board in anesthesia proposed a structured oral examination format. Prior to its introduction, we studied this format in two residency programs to determine reliability of the examiners.
Methods
Twenty faculty and 26 residents from two Canadian residency programs participated (Sites A and B). Pairs of examiners scored five or six residents examined consecutively on two standardized questions using global rating scales with anchored performance criteria. Residents’ performances were scored independently during the examination (Time 1) and later from a videotaped recording (Time 2). Correlations between scores of the pairs of examiners and between scores of each examiner were determined.
Results
Correlations demonstrating inter-rater agreement between examiners at Site A ranged from -.324 to .915 (mean .506) at Time 1. At Time 2, correlations ranged from .64 to .887 (mean .791). At Site B correlations ranged from .279 to .989 (mean .707) at Time 1 and at Time 2 correlations ranged from - .271 to .924 (mean .477).
Correlations demonstrating intra-rater agreement of examiners at Site A ranged from .054 to .983 (mean .723) and at Site B correlations ranged from -.055 to .974 (mean .662).
Correlations > 0.4 were seen in 80% of the scores and > 0.7 in 50% indicating fair to good intra-rater and interrater reliability using this format.
Conclusions
Despite the limitations of our study our results compare favourably with those previously reported in anesthesia. We recommend the adoption of this format to the Royal College of Physicians and Surgeons of Canada Examination Board.
Résumé
Objectif
C’est à la demande du Collège royal, d’améliorer la validité et la fiabilité des examens oraux, que le Bureau des examinateurs en anesthésie a proposé un modèle d’examen oral structuré. Avant sa mise en application, nous l’avons testé dans deux programmes de résidence afin de déterminer la fiabilité des examinateurs.
Méthode
Vingt facultés et 26 résidents de deux programmes canadiens ont participé à l’étude (Sites A et B). Des paires d’examinateurs ont utilisé une échelle de notation globale comportant des critères de rendement définis pour évaluer cinq ou six résidents appelés à répondre consécutivement à deux questions normalisées. Les résultats des résidents ont été cotés séparément pendant l’examen (Temps 1) puis, à partir d’un enregistrement vidéo (Temps 2). Les corrélations entre les scores des paires d’examinateurs et entre les scores de chaque examinateur ont été établies.
Résultats
Les corrélations démontrant une concordance interexaminateurs au Site A sont de −0,324 à 0,915 (moyenne de 0,506) au Temps 1. Au Temps 2, de 0,64 à 0,887 (moyenne de 0,791). Au Site B, elles sont de 0,279 à 0,989 (moyenne 0,707) au Temps 1,et au Temps 2 de −0,271 à 0,924 (moyenne de 0,477). Les corrélations sur la l’accord intra-examinateurs au Site A sont de 0,054 à 0,983 (moyenne de 0,723) et au Site B de −0,055 à 0,974 (moyenne de 0,662). Les corrélations étaient > 0,4 dans 80 % des scores et > 0,7 dans 50 %; la fiabilité intra-examinateurs et interexaminateurs ainsi indiquée est de moyenne à bonne avec ce modèle.
Conclusion
Malgré les limites de notre étude, nos résultats se comparent favorablement avec ceux qui ont déjà été signalés en anesthésie. Nous recommandons l’adoption du modèle par le Bureau des examinateurs du Collège royal des médecins et chirurgiens du Canada.
Article PDF
Similar content being viewed by others
Avoid common mistakes on your manuscript.
References
Muzzin LJ, Hart L. Oral examinations.In: Neufeld VR, Norman GR (Eds.). Assessing Clinical Competence. New York: Springer Publishing Co., 1985: 71–93.
Harden RM, Gleeson FA. Assessment of clinical competence using an objective structured clinical examination (OSCE). Med Educ 1979; 13: 41–54.
Eagle CJ, Martineau R, Hamilton K. The oral examination in anaesthetic resident evaluation. Can J Anaesth 1993; 40: 947–53.
Pope WDB, Anesthesia oral examination (Editorial). Can J Anaesth 1993; 40: 907–10.
Schubert A, Tetzlaff JE, Tan M, Ryckman JV, Mascha E. Consistency, inter-rater reliability, and validity of 441 consecutive mock oral examinations in anesthesiology. Implications for use as a tool for assessment of residents. Anesthesiology 1999; 91: 188–98.
Anastakis DJ, Cohen R, Reznick RK. The structured oral examination as a method for assessing surgical residents. Am J Surg 1991; 162: 67–70.
Burchard KW, Rowland-Morin PA, Coe NPW, Garb JL. A surgery oral examination: Interrater agreement and the influence of rater characteristics. Acad Med 1995; 70: 1044–6.
Thomas CS, Mellsop G, Callender K, et al. The oral examination: a study of academic and non-academic factors. Med Educ 1992; 27: 433–9.
Streiner DL, Norman GR. Health Measurement Scales. A Practice Guide to Their Development and Use, 2nd ed. Oxford: Oxford University Press, 1995: 114–6.
Cohen R, Rothman AI, Poldre P, Ross J. Validity and generalizability of global ratings in an objective structured clinical examination. Acad Med 1991; 66: 545–8.
Regehr G, Freeman R, Robb A, Missiha N, Heisey R. OSCE performance evaluations made by standardized patients: comparing checklist and global rating scores. Acad Med 1999; 74: S135–7.
Hodges B, Regehr G, McNaughton N, Tiberius R, Hanson M. OSCE checklists do not capture increasing levels of expertise. Acad Med 1999; 74: 1129–34.
Author information
Authors and Affiliations
Corresponding author
Rights and permissions
About this article
Cite this article
Kearney, R.A., Puchalski, S.A., Yang, H.Y.H. et al. The inter-rater and intra-rater reliability of a new Canadian oral examination format in anesthesia is fair to good. Can J Anesth 49, 232–236 (2002). https://doi.org/10.1007/BF03020520
Accepted:
Issue Date:
DOI: https://doi.org/10.1007/BF03020520