Emergency medicine resident perceptions of simulation-based training and assessment in competence by design

Abstract

Objectives

With the launch of competence by design (CBD) in emergency medicine (EM) in Canada, there are growing recommendations on the use of simulation for the training and assessment of residents. Many of these recommendations have been suggested by educational leaders and often exclude the resident stakeholder. This study sought to explore their experiences and perceptions of simulation in CBD.

Methods

Qualitative data were collected from November 2020 to May 2021 at McMaster University and the University of Toronto after receiving ethics approval from both sites. Eligible participants included EM residents who were interviewed by a trained interviewer using a semi-structured interview guide. All interviews were recorded, transcribed, coded, and collapsed into themes. Data analysis was guided by constructivist grounded theory.

Results

A total of seventeen residents participated. Thematic analysis revealed three major themes: 1) impact of CBD on resident views of simulation; 2) simulation’s role in obtaining entrustable professional activities (EPAs) and filling educational gaps; and 3) conflicting feelings on the use of high-stakes simulation-based assessment in CBD.

Conclusions

EM residents strongly support using simulation in CBD and acknowledge its ability to bridge educational gaps and fulfill specific EPAs. However, this study suggests some unintended consequences of CBD and conflicting views around simulation-based assessment that challenge resident perceptions of simulation as a safe learning space. As CBD evolves, educational leaders should consider these impacts when making future curricular changes or recommendations.

Résumé

Objectifs

Avec le lancement de la compétence par conception (CPC) en médecine d'urgence (MU) au Canada, il existe des recommandations croissantes sur l'utilisation de la simulation pour la formation et l'évaluation des résidents. Beaucoup de ces recommandations ont été suggérées par des leaders éducatifs et excluent souvent la partie prenante résidente. Cette étude visait à explorer leurs expériences et leurs perceptions de la simulation dans la CPC.

Méthodes

Des données qualitatives ont été collectées de novembre 2020 à mai 2021 à l'Université McMaster et à l'Université de Toronto après avoir reçu l'approbation éthique des deux sites. Les participants éligibles étaient des résidents en MU qui ont été interviewés par un interviewer formé à l'aide d'un guide d'entretien semi-structuré. Toutes les interviews ont été enregistrées, transcrites, codées et regroupées en thèmes. L'analyse des données a été guidée par la théorie ancrée constructiviste.

Résultats

Au total, dix-sept résidents ont participé. L'analyse thématique a révélé trois thèmes majeurs : (1) l'impact de la CPC sur les opinions des résidents sur la simulation ; (2) le rôle de la simulation dans l'obtention des activités professionnelles confiables (APC) et le comblement des lacunes éducatives ; et (3) des sentiments contradictoires sur l'utilisation de l'évaluation basée sur la simulation à hauts enjeux dans la CPC.

Conclusions

Les résidents en MU soutiennent fortement l'utilisation de la simulation dans la CPC et reconnaissent sa capacité à combler les lacunes éducatives et à remplir des APC spécifiques. Cependant, cette étude suggère quelques conséquences imprévues de la CPC et des opinions divergentes sur l'évaluation basée sur la simulation qui remettent en question les perceptions des résidents de la simulation comme un espace d'apprentissage sécuritaire. À mesure que la CPC évolue, les leaders éducatifs devraient tenir compte de ces impacts lorsqu'ils apportent des changements ou des recommandations curriculaires futurs.