Abstract
Purpose: Performance assessment using high fidelity simulation is problematic, due to the difficulty in developing valid and reliable evaluation tools. The Delphi technique is a consensus based content generation method used for multiple purposes such as policy development, best-evidence practice guidelines and competency assessments. The purpose of this study was to develop checklists using a modified Delphi technique to evaluate the performance of practicing anesthesiologists managing two simulated scenarios.
Methods: The templates for two simulation scenarios were emailed to five anesthesiologists who were asked to generate performance items. Data were collated anonymously and returned. Ana priori decision was made to delete items endorsed by ≤ 20% of participants. This process of collection, collation and re-evaluation was repeated until consensus was reached. Four independent raters used the checklist to assess three subjects managing the two simulation scenarios. Inter-rater reliability was assessed using average measures intraclass correlation (ICC) and repeated measures analysis of variance (ANOVA) was used to assess differences in difficulty between scenarios.
Results: The final checklists included 131 items for scenario 1 and 126 items for scenario 2. The mean inter-rater reliability was 0.921 for scenario 1 and 0.903 for scenario 2. Repeated measures ANOVA revealed no statistically significant difference in difficulty between scenarios.
Discussion: The Delphi technique can be very useful to generate consensus based evaluation tools with high content and face validity compared to subjective evaluative tools. Since there was no difference in scenario difficulty, these scenarios can be used to determine the effect of educational interventions on performance.
Résumé
Objectif: L’évaluation de la performance est problématique lorsqu’on a recours à une simulation de haute fidélité, ceci en raison de difficultés rencontrées lors du développement d’outils d’évaluation valables et fiables. La méthode Delphi est une méthode de génération de contenu qui se base sur un consensus ; elle est utilisée dans divers contextes tels que le développement de directives, des guides de pratique basés sur les meilleures données probantes, et l’évaluation des compétences. L’objectif de cette étude était de développer des listes de vérification en utilisant une méthode Delphi modifiée et ce, afin d’évaluer la performance des anesthésiologistes actifs gérant deux scénarios simulés.
Méthode: Les modèles pour deux scénarios de simulation ont été envoyés par courriel à cinq anesthésiologistes, auxquels on a demandé de générer des rubriques de performance. Les données ont été rassemblées de façon anonyme et renvoyées. Une décision a priori a été prise d’effacer les rubriques approuvées par ≤ 20 % des participants. Ce processus de récolte, de comparaison et de réévaluation a été répété jusqu’à ce que l’on atteigne un consensus. Quatre évaluateurs indépendants ont utilisé la liste de contrôle pour évaluer trois sujets prenant en charge les deux scénarios de simulation. La crédibilité inter-évaluateurs a été évaluée à l’aide de mesures de corrélation intraclasse (ICC) moyennes et des mesures répétées de l’analyse de variance (ANOVA) ont été utilisées afin d’évaluer les différences de difficulté entre les scénarios.
Résultats: Les listes de contrôle finales comprenaient 131 rubriques pour le scénario no. 1 et 126 rubriques pour le scénario no. 2. La crédibilité inter-évaluateurs moyenne était de 0,921 pour le scénario no. 1 et de 0,903 pour le scénario no. 2. Les mesures répétées ANOVA n’ont pas révélé de différence statistiquement significative de la difficulté entre les scénarios.
Discussion: La méthode Delphi peut être très utile pour générer des outils d’évaluation basés sur un consensus avec un contenu élevé et une validité apparente par rapport à des outils d’évaluation subjectifs. Etant donné qu’il n’y a pas eu de différence de difficulté entre les scénarios, ces derniers peuvent être utilisés pour déterminer l’effet d’interventions éducationnelles sur la performance.
Article PDF
Similar content being viewed by others
References
Clayton M. Delphi: a technique to harness expert opinion for critical decision-making tasks in education. Educ Psychol 1997; 17: 373–86.
Martino J. Technological Forecasting for Decision Making, 2nd ed. New York: North-Holland; 1983.
Lavis JN, Anderson GM. Appropriateness in health care delivery: definitions, measurement and policy implications. CMAJ 1996; 154: 321–8.
Brook RH, Kamberg CJ. Appropriateness of the use of cardiovascular procedures: a method and results of this application. Schweiz Med Wochenschr 1993; 123: 249–53.
Kahan J, Bernstein SJ, Leape LL, et al. Measuring the necessity of medical procedures. Med Care 1994; 32: 357–65.
Chopra V, Bovill JG, Spierdijk J, Koornneef F. Reported significant observations during anaesthesia: a prospective analysis over an 18-month period. Br J Anaesth 1992; 68: 13–7.
Evans C. The use of consensus methods and expert panels in pharmacoeconomic studies. Practical applications and methodological shortcomings. Pharmacoeconomics 1997; 12: 121–9.
Keeney S, Hasson F, McKenna H. Consulting the oracle: ten lessons from using the Delphi technique in nursing research. J Adv Nurs 2006; 53: 205–12.
Hassan F, Keeney S, McKenna H. Research guidelines for the Delphi survey technique. J Adv Nurs 2000; 32: 1008–15.
McKenna HP. The essential elements of a practitioners’ nursing model: a survey of clinical psychiatric nurse managers. J Adv Nurs 1994; 19: 870–7.
Kearney RA. Defining professionalism in anaesthesiology. Med Educ 2005; 39: 769–76.
Streiner D. Selecting the items.In: Streiner DL, Norman GR (Eds). Health Measurement Scales. A Practical Guide to Their Development and Use, 2nd ed. Oxford: Oxford University Press; 1995: 54–68.
Green B, Jones M, Hughes D, Williams A. Applying the Delphi technique in a study of GPs’ information requirements. Health Soc Care Community 1999; 7: 198–205.
Beech B. Studying the future: a Delphi survey of how multi-disciplinary clinical staff view the likely development of two community mental health centres over the course of the next two years. J Adv Nurs 1997; 25: 331–8.
Devitt JH, Kurrek MM, Cohen MM, Cleave-Hogg D. The validity of performance assessments using simulation. Anesthesiology 2001; 95: 36–42.
Morgan PJ, Cleave-Hogg D, DeSousa S, Tarshis J. High-fidelity patient simulation: validation of performance checklists. Br J Anaesth 2004; 92: 388–92.
Morgan PJ, Cleave-Hogg DM, Guest CB, Herold J. Validity and reliability of undergraduate performance assessments in an anesthesia simulator. Can J Anesth 2001; 48: 225–33.
Williams PL, Webb C. The Delphi technique: a methodological discussion. J Adv Nurs 1994; 19: 180–6.
Streiner DL, Norman GR. Validity.In: Streiner DL, Norman GR (Eds). Health Measurement Scales: A Practical Guide to Their Development and Use, 2nd ed. Oxford: Oxford University Press; 1995: 144–62.
Devitt JH, Kurrek MM, Cohen MM, et al. Testing the raters: inter-rater reliability of standardized anaesthesia simulator performance. Can J Anaesth 1997; 44: 924–8.
Keeney S, Hasson F, McKenna HP. A critical review of the Delphi technique as a research methodology for nursing. Int J Nurs Stud 2001; 38: 195–200.
Jairath N, Weinstein J. The Delphi methodology (part one): a useful administrative approach. Can J Nurs Adm 1994; 7: 29–42.
Author information
Authors and Affiliations
Corresponding author
Additional information
This study was supported by a grant from the Canadian Institutes of Health Research. The authors have no commercial or non-commercial affiliations, conflict of interest with this work nor any other associations such as consultancies.
Rights and permissions
About this article
Cite this article
Morgan, P.J., Lam-McCulloch, J., Herold-McIlroy, J. et al. Simulation performance checklist generation using the Delphi technique. Can J Anesth 54, 992–997 (2007). https://doi.org/10.1007/BF03016633
Accepted:
Issue Date:
DOI: https://doi.org/10.1007/BF03016633