Date: 19 Jan 2013

“GIOSAT”: a tool to assess CanMEDS competencies during simulated crises

Rent the article at a discount

Rent now

* Final gross prices may vary according to local VAT.

Get Access

Abstract

Purpose

Our objective was to develop and evaluate a Generic Integrated Objective Structured Assessment Tool (GIOSAT) to integrate Medical Expert and intrinsic (non-medical expert) CanMEDS competencies with non-technical skills for crisis simulation.

Methods

An assessment tool was designed and piloted using two pediatric anesthesia scenarios (laryngospasm and hyperkalemia). Following revision of the tool, we used previously recorded videos of anesthesia residents (n = 50) who managed one of two intraoperative advanced cardiac life support (ACLS) scenarios (ventricular tachycardia or ventricular fibrillation). Four independent trained raters, blinded to the residents’ level of training, analyzed the video recordings using the GIOSAT scale. Inter-rater reliability was calculated using intraclass correlations (ICCs) for single raters (single measure) and the average of the four raters (average measure), and construct validity was investigated by correlating GIOSAT scores with postgraduate year of residency (PGY).

Results

Total GIOSAT scores for the ACLS scenarios had single measure ICCs of 0.62 and average measure ICCs of 0.85. Inter-rater reliability was substantial for both Medical Expert and intrinsic competencies (single measure ICCs 0.69 and 0.62, respectively; average measure ICCs 0.90 and 0.82, respectively). We found significant correlations between PGY level and total GIOSAT score (r = 0.36; P = 0.011) and between PGY level and Medical Expert competencies (r = 0.42; P = 0.003); however, correlations were not found between PGY level and intrinsic CanMEDS competencies (r = 0.24; P = 0.09).

Conclusion

Inter-rater reliability of the total GIOSAT scores using four trained raters was substantial. Significant correlation between PGY and (i) total GIOSAT score and (ii) Medical Expert competencies supports construct validity. Evidence of validity was not obtained for intrinsic CanMEDS competencies.

Résumé

Objectif

Notre objectif était de mettre au point et d’évaluer un Outil d’évaluation structuré objectif intégré générique (GIOSAT - Generic Integrated Objective Structured Assessment Tool) afin d’intégrer les compétences CanMEDS d’expert médical et intrinsèques (autres que expert médical) à des habiletés non techniques pour la simulation de crise.

Méthode

Un outil d’évaluation a été conçu et mis au banc d’essai à l’aide de deux scénarios d’anesthésie pédiatrique (laryngospasme et hyperkaliémie). Après révision de l’outil, nous nous sommes servis de clips vidéo enregistrés auparavant de résidents en anesthésie (n = 50) qui avaient réussi un de deux scénarios d’ACLS (soins intensifs post-réanimation cardiaque) peropératoires (tachycardie ventriculaire ou fibrillation ventriculaire). Quatre évaluateurs formés indépendants, ne connaissant pas le niveau de formation des résidents, ont analysé les enregistrements vidéo à l’aide de l’échelle GIOSAT. La fiabilité inter-évaluateur a été calculée à l’aide de corrélations intraclasse (CIC) pour évaluateurs uniques (mesure unique) et de la moyenne des quatre évaluateurs (mesure moyenne), et la validité conceptuelle a été examinée en corrélant les scores de GIOSAT à l’année de résidence.

Résultats

Les scores GIOSAT totaux pour les scénarios d’ACLS ont eu des CIC de 0,62 en mesure unique et des CIC de 0,85 en mesure moyenne. La fiabilité inter-évaluateur était substantielle aussi bien pour les compétences d’expert médical que pour les compétences intrinsèques (CIC en mesure unique 0,69 et 0,62, respectivement; CIC en mesure moyenne de 0,90 et 0,82, respectivement). Nous avons observé des corrélations significatives entre l’année de résidence et le score total sur l’échelle de GIOSAT (r = 0,36; P = 0,011) et entre l’année de résidence et les compétences d’expert médical (r = 0,42; P = 0,003); toutefois, aucune corrélation n’a été observée entre l’année de résidence et les compétences CanMEDS intrinsèques (r = 0,24; P = 0,09).

Conclusion

La fiabilité inter-évaluateur des scores totaux sur l’échelle de GIOSAT en faisant appel à quatre évaluateurs formés était substantielle. Une corrélation significative entre l’année de résidence et (i) le score total GIOSAT et (ii) les compétences d’expert médical soutient la validité conceptuelle de notre outil. Aucune donnée probante de validité n’a été obtenue pour les compétences CanMEDS intrinsèques.

Author contributions

Victor M. Neira was the principal investigator and corresponding author. He was involved in data extraction and analysis, pilot study design, coordination and communication with the other investigators, and validation of the study. He contributed to the presentation, writing, editing, and correction of all drafts and the final paper. Stanley J. Hamstra was the senior investigator and guarantor. He was involved in the critical review and supervision in all steps of the investigation, including the development of the rating scale, pilot study, validation study, development of drafts and editions, and final paper presentation. Victor M. Neira and Hilary Writer were involved in the literature review. Hilary Writer was involved in the literature search and contributed to the design of the first version of the scale. Dylan M. Bould, Sylvain Boet, and Viren Naik were involved in the critical review of the pilot study results, the design of the second version of the scale, acquisition of data, and analysis and interpretation of the validation study. Amy Nakajima, Philipp Mossdorf, and Dermot Doherty were responsible for the conception and design of the first revision of the scale. Amy Nakajima, Philipp Mossdorf, Amy Roeske, Devin Sydor, Stephen Noseworthy, and Dermot Doherty were involved in the acquisition of the data (rater) and analysis and interpretation of the pilot study. Dylan M. Bould, Sylvain Boet, Viren Naik, Amy Nakajima, Philipp Mossdorf, Amy Roeske, Devin Sydor, Stephen Noseworthy, Dermot Doherty, and Hilary Writer were involved in critical revision of the paper content. Nicholas Barrowman was involved in the statistic analysis and the interpretation of the pilot and validation studies. He also contributed graphics for the final paper.