Canadian Journal of Anesthesia

, Volume 53, Issue 1, pp 33–39

A multi source feedback program for anesthesiologists

Authors

    • Department of Community Health Sciencesthe Faculty of Medicine, University of Calgary; and the Office of Continuing Medical Education
    • Faculty of MedicineUniversity of Calgary
  • Claudio Violato
    • Department of Community Health Sciencesthe Faculty of Medicine, University of Calgary; and the Office of Continuing Medical Education
  • Herta Fidler
    • Faculty of MedicineUniversity of Calgary
General Anesthesia

DOI: 10.1007/BF03021525

Cite this article as:
Lockyer, J.M., Violato, C. & Fidler, H. Can J Anesth (2006) 53: 33. doi:10.1007/BF03021525

Abstract

Purpose

To assess the feasibility, validity, and reliability of a multi source feedback program for anesthesiologists.

Methods

Surveys with 11, 19, 29 and 29 items were developed for patients, coworkers, medical colleagues and self, respectively, using five-point scales with an ‘unable to assess’ category. The items addressed communication skills, professionalism, collegiality, continuing professional development and collaboration. Each anesthesiologist was assessed by eight medical colleagues, eight coworkers, and 30 patients. Feasibility was assessed by response rates for each instrument. Validity was assessed by rating profiles, the percentage of participants unable to assess the physician for each item, and exploratory factor analyses to determine which items grouped together into scales. Cronbach’s alpha and generalizability coefficient analyses assessed reliability.

Results

One hundred and eighty-six physicians participated. The mean number and percentage return rate of respondents per physician was 17.7 (56.2%) for patients, 7.8 (95.1%) for coworkers, and 7.8 (94.6%) for medical colleagues. The mean ratings ranged from four to five for each item on each scale. There were relatively few items with high percentages of ‘unable to assess’. The factor analyses revealed a two-factor solution for the patient, a two-factor solution for the coworker and a three-factor solution for the medical colleague survey, accounting for at least 70% of the variance. All instruments had a high internal consistency reliability (Cronbach’s α > 0.95). The generalizability coefficients were 0.65 for patients, 0.56 for coworkers and 0.69 for peers.

Conclusion

It is feasible to develop multi source feedback instruments for anesthesiologists that are valid and reliable.

Un programme de rétroaction multisources pour les anesthésiologistes

Résumé

Objectif

Évaluer la faisabilité, la validité et la fiabilité ďun programme de rétroaction multisources pour les anesthésiologistes.

Méthode

Des sondages comportant 11, 19, 29 et 29 éléments ont été élaborés pour les patients, les collègues de travail, les collègues médecins et nous-mêmes respectivement, en utilisant des échelles en cinq points dont une catégorie «impossible ďévaluer». Les éléments concernaient les habiletés de communications, le professionnalisme, la collégialité, la formation professionnelle continue et la collaboration. Chaque anesthésiologiste était évalué par huit médecins, huit collègues de travail et 30 patients. La faisabilité a été évaluée par les taux de réponses pour chaque instrument. La validité a été évaluée par les profils de cotation, le pourcentage des participants incapables ďévaluer le médecin pour chaque élément et les analyses factorielles exploratrices pour déterminer quels étaient les éléments regroupables avec ľusage ďune échelle. La fiabilité a été évaluée par les analyses du coefficient Alpha de Cronback et de généralisabilité.

Résultats

On a compté 186 médecins participants. Le nombre moyen de répondants et de pourcentage de questionnaires retournés par médecin a été de 17,7 (56,2 %) pour les patients, 7,8 (95,1 %) pour les collègues de travail et 7,8 (94,6 %) pour les collègues médecins. Les scores moyens étaient de quatre ou cinq pour chaque élément de chaque échelle. Il y a eu relativement peu ďéléments avec de hauts pourcentages de réponses «impossible ďévaluer». Les analyses factorielles ont révélé une solution bifactorielle au sondage des patients, une bifactorielle à celui des collègues de travail et une trifactorielle à celui des collègues médicaux, ce qui constitue au moins 70 % de la variance. Tous les instruments avaient une fiabilité de forte cohérence interne (coefficient α de Cronback > 0,95). Les coefficients de généralisabilité ont été de 0,65 pour les patients, 0,56 pour les collègues de travail et 0,69 pour les pairs.

Conclusion

Il est faisable ďélaborer des instruments valides et fiables de rétroaction multisources pour les anesthésiologistes.

Download to read the full article text

Supplementary material

TABLE III.pdf (84 kb)
Supplementary material, approximately 340 KB.
TABLE IV.pdf (86 kb)
Supplementary material, approximately 340 KB.

Copyright information

© Canadian Anesthesiologists 2006