The Vancouver sedative recovery scale for children: validation and reliability of scoring based on videotaped instruction

  • Andrew J. Macnab
  • Marc Levine
  • Ned Glick
  • Norman Phillips
  • Lark Susak
  • Mary Elliott
Reports of Investigation

Abstract

We originally developed and tested the Vancouver Sedative Recovery Scale (VSRS) to measure recovery from sedation following paediatric open heart surgery and reported excellent clinical inter-observer reliability. We now report a new study using videotape instruction of novice raters and videotaped case examples to determine whether the instruction produces adequate skill with the VSRS. Inter-rater reliability was assessed using videotapes of 16 children across a range of ages (six months to six years), and all levels of sedation (unresponsive to fully awake). Variably randomized subsets of six of the 16 test cases were randomly assigned to be rated by each of 16 video-instructed ICU staff volunteers, according to a balanced incomplete block design, such that every pair of raters assessed two children in common. The validity of the ratings from the video-instructed raters was assessed by comparison with “gold standard” scores from two experts who rated all 16 children clinically as the test cases were videotaped. The experts were in agreement themselves (intraclass correlation of 0.976). The correlation between the novice scores (average of six ratings per video) and the live clinical scores (average of two expert ratings) was 0.977 over the 16 test cases. On average, the mean expert rating was slightly higher, but the difference was negligible. (The differences between the mean ratings of the experts and novices for 13 of the 16 videos are very close to zero, while the other three differences, from technically less good videos, are two standard deviations away from zero). The VSRS, video instruction method and incomplete block design may be of use to other clinicians and investigators.

Key words

anaesthesia: paediatric education: videotape recovery: assessment 

Résumé

Pour mesurer le réveil et la sédation après la chirurgie à coeur ouvert chez l’enfant, nous avons développé et vérifié l’échelle de réveil et de sédation de Vancouver (VSRS) dont nous avons déjà communiqué la fiabilité. Nous pulions maintenant une nouvelle étude au cours de laquelle nous utilisons une vidéocassette pour former les appréciateurs et des exemples sur vidéocassette pour déterminer si cette méthode suffit pour produire une compétence suffisante avec le VSRS. La variabilité entre appréciateurs est évaluée avec des vidéocassettes de 16 enfants d’âges différents (de six mois à six ans) et à tous les degrés de sédation (de l’insensibilité au réveil complet). Des souscatégories variables aléatoires de six des 16 observations expérimentales sont attribuées au hasard pour évaluation à chacun des 16 préposés volontaires déjà initiés à la vidéo à l’unité des soins intensifs, suivant un modèle de bloc équilibré incomplet de sorte que chaque paire d’appréciateurs doit évaluer deux enfants en commun. La validité des évaluations des appréciateurs formés par vidéo est établie par comparaison avec les scores de deux experts qui ont classifé par la clinique les 16 enfants au moment où on les enregistrait sur vidéo. Les experts sont d’accord entre eux (corrélation 0,976). La corrélation entre les appréciateurs novices (en moyenne six évaluationspar vidéo) et les scores de références mesurés sur le vif (moyenne de deux évaluations d’experts) est de 0,977 pour les 16 observations. Les évaluations moyennes des experts sont légèrement plus élevées, mais cette différence est négligeable. Pour 13 des 16 vidéos, la différence entre les évaluations des experts et des novices est très près de zéro, alors que les trois autres différences pour des vidéos de moins bonne qualité technique s’éloignent de deux écarts-types du zéro. Le VSRS, la formation par vidéo et le modèle de bloc équilibré incomplet peuvent être utiles à d’autres cliniciens et chercheurs.

References

  1. 1.
    Parr SM, Robinson BJ, Glover PW, Galletly DC. Level of consciousness on arrival in the recovery room and the de velopment of early respiratory morbidity. Anaesth Intensive Care 1991; 19: 369–72.PubMedGoogle Scholar
  2. 2.
    Wetchler BV. Outpatient anaesthesia. What are the prob lems in the recovery room? Can J Anaesth 1991; 38: 890–4.PubMedCrossRefGoogle Scholar
  3. 3.
    Patel R, Rice LJ. Special considerations in recovery of children from anesthesia. Int Anesthesiol Clin 1991; 29: 55–68.PubMedCrossRefGoogle Scholar
  4. 4.
    Macnab AJ, Levine M, Glick N, Susak L, Baker-Brown G. A research tool for measurement of recovery from se dation: The Vancouver Sedative Recovery Scale. J Pediatr Surg 1991; 26: 1263–7.PubMedCrossRefGoogle Scholar
  5. 5.
    Cochran WG, Cox GM. Experimental Designs, 2nd ed, New York: John Wiley & Sons, 1957.Google Scholar
  6. 6.
    Shrout PE, Fleiss JL. Intraclass correlations: uses in as sessing rater reliability. Psychol Bull 1979; 86: 420–8.PubMedCrossRefGoogle Scholar
  7. 7.
    Bartko JJ. The intraclass correlation coefficient as a meas ure of reliability. Psychol Rep 1966; 19: 3–11.PubMedGoogle Scholar
  8. 8.
    Fleiss JL. Balanced incomplete block designs for inter rater reliability studies. Applied Psychological Assessment 1981; 5: 105–12.Google Scholar
  9. 9.
    Bland JM, Altman DG. Statistical methods for assessing agreement between two methods of clinical measurement. Lancet 1986; 1: 307–10.PubMedGoogle Scholar
  10. 10.
    Altman DG, Bland MJ. Measurement in medicine: the analysis of method comparison studies. The Statistician 1983; 32: 307–17.CrossRefGoogle Scholar
  11. 11.
    Lee J, Koh D, Ong CN. Statistical evaluation of agreement between two methods for measuring a quantitative variable. Comput Biol Med 1989; 19: 61–70.PubMedCrossRefGoogle Scholar
  12. 12.
    Cleveland WS. The Elements of Graphing Data. Belmont CA: Brooks-Cole, 1985.Google Scholar
  13. 13.
    Chemik DA, Gillings D, Laine H, et al. Validity and relia bility of the observer’s assessment of alertness/sedation scale: study with intravenous midazolam. J Clin Psycho pharmacol 1990; 10: 244–51.Google Scholar
  14. 14.
    Steward DJ. A simplified scoring system for the postopera tive recovery room. Can Anaesth Soc J 1975; 22: 111–3.PubMedCrossRefGoogle Scholar
  15. 15.
    Aldrete JA, Kroulik D A postanesthetic recovery score. Anesth Analg 1970; 49: 924–33.PubMedGoogle Scholar
  16. 16.
    Carignan G, Keeri-Szdnto M, Lavellee J-P. Postanesthetic scoring system. Anesthesiology 1964; 25: 396–7.PubMedCrossRefGoogle Scholar
  17. 17.
    Teasdale G, Jennett B. Assessment of coma and impaired consciousness. A practical scale. Lancet 1974; 2: 81–4.PubMedCrossRefGoogle Scholar
  18. 18.
    Simpson D, Reilly P. Paediatric coma scale (Letter). Lancet 1982; 2: 450.PubMedCrossRefGoogle Scholar

Copyright information

© Canadian Anesthesiologists 1994

Authors and Affiliations

  • Andrew J. Macnab
    • 1
  • Marc Levine
    • 2
  • Ned Glick
    • 3
  • Norman Phillips
    • 4
  • Lark Susak
    • 4
  • Mary Elliott
    • 5
  1. 1.Department of PaediatricsUniversity of British ColumbiaCanada
  2. 2.Department of Pharmaceutical SciencesUniversity of British ColumbiaCanada
  3. 3.Department of Health Care and EpidemiologyUniversity of British ColumbiaCanada
  4. 4.Susak Medical Research AssociatesCanada
  5. 5.Room 1M2, Intensive Care UnitBC’s Children’s HospitalVancouver

Personalised recommendations