Abstract
We originally developed and tested the Vancouver Sedative Recovery Scale (VSRS) to measure recovery from sedation following paediatric open heart surgery and reported excellent clinical inter-observer reliability. We now report a new study using videotape instruction of novice raters and videotaped case examples to determine whether the instruction produces adequate skill with the VSRS. Inter-rater reliability was assessed using videotapes of 16 children across a range of ages (six months to six years), and all levels of sedation (unresponsive to fully awake). Variably randomized subsets of six of the 16 test cases were randomly assigned to be rated by each of 16 video-instructed ICU staff volunteers, according to a balanced incomplete block design, such that every pair of raters assessed two children in common. The validity of the ratings from the video-instructed raters was assessed by comparison with “gold standard” scores from two experts who rated all 16 children clinically as the test cases were videotaped. The experts were in agreement themselves (intraclass correlation of 0.976). The correlation between the novice scores (average of six ratings per video) and the live clinical scores (average of two expert ratings) was 0.977 over the 16 test cases. On average, the mean expert rating was slightly higher, but the difference was negligible. (The differences between the mean ratings of the experts and novices for 13 of the 16 videos are very close to zero, while the other three differences, from technically less good videos, are two standard deviations away from zero). The VSRS, video instruction method and incomplete block design may be of use to other clinicians and investigators.
Résumé
Pour mesurer le réveil et la sédation après la chirurgie à coeur ouvert chez l’enfant, nous avons développé et vérifié l’échelle de réveil et de sédation de Vancouver (VSRS) dont nous avons déjà communiqué la fiabilité. Nous pulions maintenant une nouvelle étude au cours de laquelle nous utilisons une vidéocassette pour former les appréciateurs et des exemples sur vidéocassette pour déterminer si cette méthode suffit pour produire une compétence suffisante avec le VSRS. La variabilité entre appréciateurs est évaluée avec des vidéocassettes de 16 enfants d’âges différents (de six mois à six ans) et à tous les degrés de sédation (de l’insensibilité au réveil complet). Des souscatégories variables aléatoires de six des 16 observations expérimentales sont attribuées au hasard pour évaluation à chacun des 16 préposés volontaires déjà initiés à la vidéo à l’unité des soins intensifs, suivant un modèle de bloc équilibré incomplet de sorte que chaque paire d’appréciateurs doit évaluer deux enfants en commun. La validité des évaluations des appréciateurs formés par vidéo est établie par comparaison avec les scores de deux experts qui ont classifé par la clinique les 16 enfants au moment où on les enregistrait sur vidéo. Les experts sont d’accord entre eux (corrélation 0,976). La corrélation entre les appréciateurs novices (en moyenne six évaluationspar vidéo) et les scores de références mesurés sur le vif (moyenne de deux évaluations d’experts) est de 0,977 pour les 16 observations. Les évaluations moyennes des experts sont légèrement plus élevées, mais cette différence est négligeable. Pour 13 des 16 vidéos, la différence entre les évaluations des experts et des novices est très près de zéro, alors que les trois autres différences pour des vidéos de moins bonne qualité technique s’éloignent de deux écarts-types du zéro. Le VSRS, la formation par vidéo et le modèle de bloc équilibré incomplet peuvent être utiles à d’autres cliniciens et chercheurs.
Article PDF
Similar content being viewed by others
Avoid common mistakes on your manuscript.
References
Parr SM, Robinson BJ, Glover PW, Galletly DC. Level of consciousness on arrival in the recovery room and the de velopment of early respiratory morbidity. Anaesth Intensive Care 1991; 19: 369–72.
Wetchler BV. Outpatient anaesthesia. What are the prob lems in the recovery room? Can J Anaesth 1991; 38: 890–4.
Patel R, Rice LJ. Special considerations in recovery of children from anesthesia. Int Anesthesiol Clin 1991; 29: 55–68.
Macnab AJ, Levine M, Glick N, Susak L, Baker-Brown G. A research tool for measurement of recovery from se dation: The Vancouver Sedative Recovery Scale. J Pediatr Surg 1991; 26: 1263–7.
Cochran WG, Cox GM. Experimental Designs, 2nd ed, New York: John Wiley & Sons, 1957.
Shrout PE, Fleiss JL. Intraclass correlations: uses in as sessing rater reliability. Psychol Bull 1979; 86: 420–8.
Bartko JJ. The intraclass correlation coefficient as a meas ure of reliability. Psychol Rep 1966; 19: 3–11.
Fleiss JL. Balanced incomplete block designs for inter rater reliability studies. Applied Psychological Assessment 1981; 5: 105–12.
Bland JM, Altman DG. Statistical methods for assessing agreement between two methods of clinical measurement. Lancet 1986; 1: 307–10.
Altman DG, Bland MJ. Measurement in medicine: the analysis of method comparison studies. The Statistician 1983; 32: 307–17.
Lee J, Koh D, Ong CN. Statistical evaluation of agreement between two methods for measuring a quantitative variable. Comput Biol Med 1989; 19: 61–70.
Cleveland WS. The Elements of Graphing Data. Belmont CA: Brooks-Cole, 1985.
Chemik DA, Gillings D, Laine H, et al. Validity and relia bility of the observer’s assessment of alertness/sedation scale: study with intravenous midazolam. J Clin Psycho pharmacol 1990; 10: 244–51.
Steward DJ. A simplified scoring system for the postopera tive recovery room. Can Anaesth Soc J 1975; 22: 111–3.
Aldrete JA, Kroulik D A postanesthetic recovery score. Anesth Analg 1970; 49: 924–33.
Carignan G, Keeri-Szdnto M, Lavellee J-P. Postanesthetic scoring system. Anesthesiology 1964; 25: 396–7.
Teasdale G, Jennett B. Assessment of coma and impaired consciousness. A practical scale. Lancet 1974; 2: 81–4.
Simpson D, Reilly P. Paediatric coma scale (Letter). Lancet 1982; 2: 450.
Author information
Authors and Affiliations
Rights and permissions
About this article
Cite this article
Macnab, A.J., Levine, M., Glick, N. et al. The Vancouver sedative recovery scale for children: validation and reliability of scoring based on videotaped instruction. Can J Anaesth 41, 913–918 (1994). https://doi.org/10.1007/BF03010934
Accepted:
Issue Date:
DOI: https://doi.org/10.1007/BF03010934