Date: 02 Apr 2009

Validation of the Imperial College Surgical Assessment Device (ICSAD) for labour epidural placement

Abstract

Purpose

Technical proficiency in anesthesia has historically been determined subjectively. The purpose of this study was to establish the construct validity for the Imperial College Surgical Assessment Device (ICSAD), a measure of hand motion efficiency, as an objective assessment tool for technical skill performance, by examining its ability to distinguish between operators of different levels of experience performing a labour epidural. Concurrent validity for the ICSAD was investigated by comparison to a validated task specific checklist (CL) and global rating scale (GRS).

Methods

A single blinded, prospective, controlled study design compared three groups of subjects: novice residents (<30 epidurals), experienced residents (>100 epidurals), and staff anesthesiologists (>500 epidurals). Performance was measured using the ICSAD (number of movements, path length, time) and scores from a CL and GRS graded by examiners blinded to the level of training. Data were analyzed by multivariate analysis of variance (MANOVA).

Results

Twenty-nine subjects were recruited. Novice residents had longer path lengths compared to experienced residents (P = 0.031) and staff anesthesiologists (P = 0.0004), made more movements (P = 0.012) and took more time than staff (P = 0.009). Novice residents scored significantly worse on the GRS compared to experienced residents (P = 0.029) and staff (P = 0.01) and had significantly lower CL scores compared to staff (P = 0.003).

Conclusions

Construct and concurrent validity for the ICSAD was established for a regional anesthesia technique by demonstrating that it can distinguish between operators of different levels of experience and by comparing it to the current standards of technical skill assessment.

Résumé

Objectif

La compétence technique en anesthésie est traditionnellement évaluée de façon subjective. L’objectif de cette étude était d’établir la validité de la méthode sous-tendant le dispositif d’évaluation chirurgicale de l’Imperial College (ICSAD - Imperial College Surgical Assessment Device), une mesure de l’efficacité des mouvements de la main, en tant qu’outil d’évaluation objectif de la performance des compétences techniques. Pour ce faire, nous avons examiné la capacité du dispositif à faire la distinction entre les opérateurs de différents niveaux d’expérience réalisant une péridurale pour le travail obstétrical. La validité concomitante de l’ICSAD a été évaluée en comparant le dispositif à une liste de contrôle spécifique à la tâche validée (CL) et une échelle d’évaluation générale (GRS).

Méthode

Un concept d’étude contrôlée, prospective et en simple aveugle a comparé trois groupes : résidents novices (<30 péridurales), résidents expérimentés (>100 péridurales) et anesthésiologistes traitants (>500 péridurales). La performance était mesurée avec l’ICSAD (nombre de mouvements, longueur du parcours, temps) et des scores d’une CL et d’une GRS donnés par des évaluateurs ne connaissant pas le niveau de formation. Les données ont été analysées par analyse multivariée de la variance (MANOVA).

Résultats

Vingt-neuf sujets ont été recrutés. Les résidents novices avaient des parcours plus longs comparativement aux résidents expérimentés (P = 0,031) et aux anesthésiologistes traitants (P = 0,0004), faisaient plus de mouvements (P = 0,012) et ont pris plus de temps que les anesthésiologistes traitants (P = 0,009). Les résidents novices ont eu des scores considérablement moins bons sur l’échelle GRS comparativement aux résidents expérimentés (P = 0,029) et aux anesthésiologistes traitants (P = 0,01) et des scores sur la LC considérablement plus bas par rapport aux anesthésiologistes traitants (P = 0,003).

Conclusion

La validité de la méthode et la validité concomitante de l’ICSAD a été établie pour les techniques d’anesthésie régionale en démontrant que ce dispositif peut faire la distinction entre des opérateurs de différents niveaux d’expérience et en comparant le dispositif aux normes actuelles d’évaluation des compétences techniques.
Attributable to: SMART (St. Michael’s Anesthesia Research into Teaching) Group, Department of Anesthesiology, St. Michael’s Hospital, University of Toronto, 30 Bond St., Toronto, ON M5B 1W8, Canada and the Department of Anesthesia and Pain Medicine, Mount Sinai Hospital, University of Toronto, Canada.