Application of a modified surgical safety checklist: User beware!

Use of the Surgical Safety Checklist (SSC) has blossomed since a landmark publication showed improved morbidity and mortality with its implementation.1 Parallel to increasing use of the SSC is a growing body of research investigating the effect of the SSC on the safety of care delivered. Nevertheless, at least one study shows an inconsistent degree of effect on outcomes.2 Others have investigated the impact of modifications of the SSC tailored to different clinical settings, as Morgan et al. show in their study, “Surgical safety checklist: implementation in an ambulatory surgical facility”3, in this issue of the Journal.

The purpose of this study was “to add ambulatory care-specific items to the checklist, to assess adherence to safety checklist items, and to examine the impact of the SSC on safety attitudes and important patient outcomes” – all in an ambulatory surgical centre. On first thought, this is a logical concept, given that more and more procedures are being carried out on an ambulatory basis.4 What distinguishes this study from others that have investigated the impact of a SSC on various outcomes is the ambulatory scope and application of a modified SSC to this unique clinical environment. The primary outcome of the study consisted of two end points obtained through telephone interviews with patients on postoperative day one: (1) severity of pain (assessed on a scale of 1-10) and (2) incidence of postdischarge nausea/vomiting (PDNV). Secondary outcomes included the “incidence of perioperative antibiotic timing, use of regional anesthesia/analgesia, length of stay, and the number of hospital admissions”. Despite engaging a multidisciplinary team (consisting of nurses, surgeons, and anesthesiologists) to identify ambulatory-specific factors for inclusion on a modified SSC, clinically relevant differences in the primary and secondary outcomes were not achieved. Why did this occur?

The authors identify several possible reasons for lack of effect with their well-intentioned ambulatory SSC: too many additions creating an unwieldy tool, issues with perceived importance of the new items by perioperative staff using the modified SSC, and low rates of overall checklist completion. Though many possible explanations exist, one must ultimately question if the SSC — with its recognized effect on mortality — can be expected to influence ambulatory outcomes like pain scores and PDNV.

In their recent review of how and why checklists work, Weiser and Berry detail two main types of checklists.5 “Read-do”5 checklists are also known as “call-do-response”6 or “verbal action and confirmation”7. These checklists are used by one person to identify “items to consider or tasks to accomplish”, much like a grocery list or a “cook book”6. ‘‘Challenge-confirm”5 — also known as “verbal challenge and response”7 — checklists are generally more formalized and are used by two or more individuals, for example, a flight captain and co-pilot completing pre-takeoff checks. With this type of checklist, the reader of the checklist “challenges” another team member to “confirm” completion of each task in a communication format that is scripted to minimize confusion and maximize efficiency.

Many checklists in industry and healthcare are a combination of ‘‘read-do’’ and ‘‘challenge-confirm”, but use of a checklist (like the SSC) should be much more than simply “double checking”, which has been described as the use of “one fallible person (to) monitor the work of another imperfect person”8. Although reading a list, either silently or aloud, can add to situational awareness,7 there is also the possibility that reading without challenging can lead to omissions or incorrect actions, because “people tend to hear what they expect to hear and see what they expect to see”8. Thus, regardless of the type of checklist, “the ability to prompt dialogue” is a key functional property of a checklist. Indeed, Weiser and Berry contend that the verbalization and discussion that ensue through checklist completion are “tremendously important”, particularly in complex systems like the operating room. It is of interest, therefore, that Morgan et al. achieved < 10% verbalization of new checklist items, and 21 items were verbalized < 33% of the time in their study.3

Perhaps this result reflects the relative limitations of perioperative communication skills possessed by healthcare providers. According to Davies and Helmreich,9 recurrent practice of effective communication is essential to integrate and augment the obligatory human factors that influence outcomes in healthcare. Indeed, improved communication skills among operating room team members have been shown through simulation.10 Regardless, few perioperative healthcare workers receive regular structured educational opportunities, such as simulation, to learn strategies that promote effective operating room communication. In addition to the lack of communication training, most operating room personnel (and healthcare providers in general) have not had sufficient (if any) explanation of the theory of, rationale for, and use of checklists. Nor have operating room personnel, for the most part, been trained and socialized in an environment where checklists were an integral part of their practice. In general, expecting a tool, such as the SSC, to augment communication (and thereby improve perioperative outcome) is optimistic when the SSC users are not routinely provided the resources to recognize and minimize communication deficiencies in the operating room.

Even if communication training is offered to perioperative team members, bundling other care processes into an already time-critical period may have tested the limits of checklist performance in this context. Effective checklists integrate into the established workflow patterns. The key is balance between brevity and comprehensiveness5 to minimize disruption and achieve the best result. In their report detailing how human factors affect flight-deck checklist performance, Degani & Wiener identify that a “checklist must be well grounded within the present day operational environment”6. An important component of that environment is the sequence and timing with which checklist items are addressed. For example, the time to complete the pre-takeoff checklist is as an airplane leaves the gate before departure and before reaching the runway hold line, because of the natural nadir in crew workload. This seems analogous to the “Briefing — before the induction of anesthesia” segment of the SSC. As noted by Degani and Wiener, at this point in the departure sequence the “probability of successfully accomplishing the first item on the pre-takeoff checklist is highest. However, the probability of accomplishing the subsequent items slowly diminishes as time progresses, since there is more chance for interruptions and distractions to occur”6. This may provide some insight to the limited discussion described by Morgan et al., given that their modifications involved additions to the 12^th, 13^th, and 16^th checkboxes of the SSC Briefing section.

In a separate study detailing development and validation of the SURgical PAtient Safety System (SURPASS) checklist, de Vries et al. showed that frontline perioperative workers indicated that “lack of time” was the major factor in over one-third of the instances where a SSC was not completed before major surgery.11 When faced with time and production pressures, decisions to include certain actions (and omit others) when completing a checklist become priority-based.12 In the context of an ambulatory surgical setting, consideration of workflow and time efficiency is perhaps more relevant and influential than in other perioperative environments. By increasing the number of items to be addressed before anesthesia and surgery, the modified SSC used by Morgan et al. may have exceeded the processing limits of the healthcare providers in the ambulatory setting, possibly contributing to the results shown. These results match what has been shown in aviation, where a checklist is simply the “physical written document” associated with a series of actions, e.g., a check.7 Requiring completion of long and detailed checklists in a rapid high-turnover environment, such as short-haul flights (or day care surgery), may lead some individuals to deviate from the prescribed checklist and complete only what are thought to be the critical (or “killer”) items.6

Although alterations to the SSC are possible (and encouraged by the World Health Organization [WHO]),13 if modifications affect the ability to address anticipated safety issues before any surgical procedure, then checklist operators may view the items added to the SSC as a “nuisance”,¹ (Nagano – cited in Degani and Wiener)6 and be less inclined to complete the checklist. In their discussion, Morgan et al. mention how pilot testing the “initial adaptation of the checklist” might have identified, at an earlier point in time, the inconsistent degree with which added items were verbalized, permitting possible adjustments to the SSC.3 Indeed, such an iterative process —as alluded to by the authors — was described by Weiser et al. in relation to the successful modifications and implementation of the initial WHO Surgical Safety Checklist.14 Thus, one difference in checklist development methodologies between the current work presented by Morgan et al. and the efforts of Weiser et al. was that of a “2^nd Validation Stage (Pilot)” employed in the latter study.14

Finally, the fact that the “big ticket” items (such as correct patient, correct operation, correct side, and allergy identification) in Morgan et al.’s study were discussed in > 90% of cases3 highlights the strides made with specific safety-oriented behaviours in the last decade. These behaviours are a marker for a ‘shift to the right’ in a progressively improving safety culture. The SSC is now embedded as part of the ‘way things are done’ for perioperative patients. Though checklist use in healthcare is not as mature and established as in aviation and other safety-critical industries, compliance with checklists, a safety-related behaviour in healthcare, continues to evolve.

Counter to that, although successful quality improvement and patient safety initiatives share many fundamental principles, using the SSC to reinforce specific quality of care practices in the ambulatory setting (such as improving pain management and lessening of nausea/vomiting in the perioperative period) appears limited. The SSC checklist was designed as a safety tool and not as a quality improvement tool; we all need to be cautious about the validity of applying a tool for a purpose for which it was not designed.1 Analogous to this would be checklist use in aviation and its relation to on-time departures. On-time departures are not a goal of flight deck checklists, and erroneous conclusions could be drawn, for example, where completion of a checklist identified a mechanical discrepancy that required verification, thereby delaying departure.

We all like stories with a happy ending. An idea is synthesized, changes are made, a process is implemented, and improved results are observed. The authors are to be commended for attempting to use an established tool in the healthcare safety toolbox (the SSC) to improve common postoperative issues (pain and PDNV). Though the primary outcomes were not achieved through modification of the SSC in an ambulatory setting, there is further value in the message from Morgan et al. for all practitioners: consider the right tool for the right job at the right time in the right way, and in the right amount.

L’utilisation de la Liste de contrôle pour la sécurité chirurgicale (LCSC) a augmenté de façon considérable depuis la publication d’un article clé montrant une amélioration de la morbidité et de la mortalité grâce à la mise en œuvre de cette liste.1 En parallèle à l’utilisation croissante de la LCSC existe un corpus grandissant de recherches examinant l’effet de la LCSC sur la sécurité des soins prodigués. Pourtant, une étude au moins a observé des incohérences quant à son effet sur l’évolution des patients.2 D’autres auteurs ont étudié l’impact de modifications apportées à la LCSC afin de l’adapter à différents contextes cliniques. C’est le cas de Morgan et coll., dont l’étude, « La liste de contrôle pour la sécurité chirurgicale et sa mise en œuvre dans un centre de chirurgie ambulatoire »,3 est publiée dans ce numéro du Journal.

L’objectif de cette étude, réalisée dans un centre de chirurgie ambulatoire, était « d’ajouter des éléments spécifiques au contexte ambulatoire à la LCSC, d’évaluer le respect des éléments de cette liste, et d’examiner l’impact de la LCSC sur les attitudes face à la sécurité et les conséquences importantes pour les patients » . La logique de ce concept s’impose de prime abord : en effet, un nombre sans cesse croissant d’interventions sont réalisées dans un cadre ambulatoire.4 Les éléments distinguant cette étude des autres portant sur l’impact d’une LCSC sur différentes issues sont le cadre chirurgical et l’application d’une LCSC modifiée à cet environnement clinique particulier. Le critère d’évaluation principal de l’étude comportait deux résultats obtenus par entretien téléphonique des patients au premier jour postopératoire : (1) l’intensité de leur douleur (évaluée sur une échelle de 1 à 10) et (2) l’incidence de nausées et vomissements après le congé. Les critères d’évaluation secondaires comprenaient « l’incidence du moment d’administration périopératoire d’antibiotiques, le recours à l’anesthésie régionale / l’analgésie, la durée de séjour, et le nombre d’admissions à l’hôpital » . Malgré la participation d’une équipe pluridisciplinaire (composée d’infirmières, de chirurgiens et d’anesthésiologistes) pour identifier les facteurs spécifiques au cadre ambulatoire à inclure dans une LCSC modifiée, aucune différence pertinente d’un point de vue clinique n’a été observée en ce qui touchait aux critères d’évaluation primaires et secondaires. Pourquoi?

Les auteurs citent plusieurs raisons possibles pour le manque d’effet, malgré leurs bonnes intentions, de leur LCSC ambulatoire : trop d’éléments ajoutés, ce qui en fait un outil peu pratique; des problèmes touchant à l’importance perçue des nouveaux éléments par le personnel périopératoire utilisant la LCSC modifiée; et les faibles taux de respect global de la liste de contrôle. Bien qu’il existe de nombreuses explications possibles, il faut, en fin de compte, se poser la question de savoir si on peut s’attendre à ce que la LCSC – avec ses effets reconnus sur la mortalité – ait un impact sur l’évolution des patients ambulatoires, en particulier sur la douleur et sur les nausées et vomissements après le congé.

Dans leur compte rendu récent portant sur le pourquoi et le comment des bons résultats obtenus lors de l’utilisation de listes de contrôle, Weiser et Berry décrivent en détail deux types principaux de listes de contrôle.5 Les listes de contrôle « lire et faire »,5 aussi connues sous le nom de listes CDR (pour ‘call-do-response’) ou « action verbale et confirmation »,7 sont utilisées par une personne afin de déterminer les « éléments à envisager ou les tâches à accomplir » , comme une liste d’épicerie ou un « livre de recettes ».6 Les listes de contrôle « mettre au défi et confirmer »,5 aussi connues sous le nom de « défi verbal et réponse »7 sont en général plus formalisées et utilisées par deux personnes ou plus – par exemple, un capitaine et son copilote lorsqu’ils procèdent aux vérifications avant le décollage. Avec ce type de liste de contrôle, la personne lisant la liste « met au défi » un autre membre de l’équipe pour « confirmer » que chaque tâche a été accomplie; la communication se fait dans un format conçu de façon à minimiser la confusion et optimiser l’efficacité.

En fait, dans l’industrie et dans les soins de santé, de nombreuses listes de contrôle combinent ces deux types, soit les « lire et faire » et les « mettre au défi et confirmer » . Toutefois, l’utilisation d’une liste de contrôle comme la LCSC ne devrait pas se limiter à une double vérification – qu’on a décrit comme l’utilisation « d’une personne faillible pour surveiller le travail d’une autre personne imparfaite ».8 Bien que le fait de lire une liste, de façon silencieuse ou à haute voix, puisse contribuer à une meilleure sensibilisation à la situation,7 il est également possible que le fait de lire sans mettre au défi entraîne des omissions ou des actions incorrectes, parce qu’on « a tendance à entendre ce qu’on s’attend à entendre et à voir ce qu’on s’attend à voir ».8 Ainsi, indépendamment du type de liste de contrôle, « la capacité à stimuler le dialogue » est une propriété clé du bon fonctionnement d’une liste de contrôle. En effet, Weiser et Berry affirment que la verbalisation et la discussion qui suivent l’exécution de la liste de contrôle sont « extrêmement importantes » , particulièrement dans des systèmes complexes tels que la salle d’opération. Par conséquent, il est intéressant de relever que Morgan et coll. ont obtenu < 10 % de verbalisation des nouveaux éléments de la liste de contrôle, et que 21 éléments ont été verbalisés < 33 % du temps dans leur étude.3

Ce résultat reflète peut-être les limites relatives des compétences de communication périopératoire des divers fournisseurs de soins de santé. Selon Davies et Helmreich,9 la pratique récurrente d’une communication efficace est essentielle si l’on souhaite intégrer et étendre les facteurs humains incontournables qui influencent les devenirs des patients dans les soins de santé. En effet, une amélioration des compétences de communication entre les membres de l’équipe de la salle d’opération a été démontrée grâce à la simulation.10 Cela étant, rares sont les professionnels en soins de santé périopératoires qui bénéficient régulièrement de possibilités de formation structurée telles que la simulation, qui leur enseignerait des stratégies incitant une communication efficace en salle d’opération. Outre le manque de formation en communication, la plupart du personnel de la salle d’opération (et des professionnels en santé en général) n’a pas reçu d’explications suffisantes (s’il en a reçues) quant à la théorie sous-tendant les listes de contrôle, leur justification et leur utilisation. Qui plus est, le personnel de la salle d’opération n’a pas, en règle générale, reçu de formation dans un environnement où les listes de contrôle faisaient partie intégrante de leur pratique ou n’ont pas évolué dans un tel milieu. Il est optimiste de s’attendre à ce qu’un outil tel que la LCSC augmente la communication en salle d’opération (et ainsi améliore le devenir des patients) lorsque les utilisateurs de la LCSC n’ont pas habituellement à leur disposition les outils nécessaires pour reconnaître et minimiser les lacunes de communication qui existent en salle d’opération.

Même si l’on offrait une formation en communication aux membres de l’équipe périopératoire, le fait d’ajouter d’autres étapes aux soins à une période déjà très structurée et occupée pourrait avoir mis à l’épreuve les limites de performance des listes de contrôle. Une liste de contrôle efficace s’intègre dans la structure établie pour le déroulement des activités. Il faut trouver un équilibre entre brièveté et exhaustivité5 afin de minimiser les interruptions et d’obtenir les meilleurs résultats. Dans leur compte rendu détaillant la façon dont les facteurs humains affectent la performance d’une liste de contrôle dans le poste de pilotage d’un avion, Degani & Wiener concluent qu’une « liste de contrôle doit être bien ancrée dans l’environnement opérationnel d’aujourd’hui ».6 Une composante importante de cet environnement est le moment où l’on aborde les éléments de la liste de contrôle et leur déroulement. Par exemple, le temps consacré à passer en revue la liste de contrôle avant le décollage se retrouve entre le moment du départ de l’avion de la porte d’embarquement et celui de son arrivée dans la file d’attente pour le décollage, en raison du nadir naturel dans la charge de travail de l’équipage. Cela semble analogue au segment « Réunion préparatoire – avant l’induction de l’anesthésie » de la LCSC. Comme le notent Degani et Wiener, à ce moment précis de la séquence de départ, la « probabilité d’accomplir sans erreur le premier élément de la liste pré-décollage est la plus élevée. Toutefois, la probabilité d’accomplir les éléments suivants diminue lentement au fil du temps qui passe, étant donné que les interruptions et les distractions sont plus probables. »6 Cette citation nous offre quelques pistes pour mieux comprendre la discussion limitée décrite par Morgan et coll., étant donné que leurs modifications comprenaient des ajouts aux cases à cocher nos. 12, 13 et 16 de la section de Réunion préparatoire de la LCSC.

Dans une étude séparée détaillant la mise au point et la validation de la liste de contrôle SURPASS (SURgical PAtient Safety System), de Vries et coll. ont montré que les travailleurs périopératoires de première ligne indiquaient le « manque de temps » comme facteur principal dans plus d’un tiers des cas où une LCSC n’était pas complétée avant une chirurgie majeure.11 En cas de pressions au niveau du temps et de la production, la décision d’inclure certaines actions (et d’en omettre d’autres) lors de l’utilisation d’une liste de contrôle se fait alors selon les priorités.12 Dans le contexte de la chirurgie ambulatoire, il peut être particulièrement pertinent de tenir compte du flux de travail et de l’efficience au niveau du temps, car ces composantes ont un impact plus important que dans d’autres environnements périopératoires. En augmentant le nombre d’éléments à vérifier avant l’anesthésie et la chirurgie, la LCSC modifiée utilisée par Morgan et coll. pourrait avoir excédé les limites de traitement des informations des professionnels de la santé dans le cadre ambulatoire, ce qui pourrait avoir contribué aux résultats de l’étude. Ces résultats concordent avec ce qui a été démontré dans le domaine de l’aviation, où une liste de contrôle est simplement le « document écrit physique » associé à une série d’actions, par ex., une vérification.7 Le fait d’exiger de compléter des listes de contrôle longues et détaillées dans un environnement où la rapidité est cruciale, comme sur des vols court-courrier (ou lors de chirurgies d’un jour), pourrait pousser certaines personnes à dévier de la liste de contrôle assignée et à ne compléter que les éléments considérés comme étant cruciaux.6

Bien que des modifications à la LCSC soient possibles (et même encouragées par l’Organisation mondiale de la Santé [OMS]), si ces modifications affectent la capacité à vérifier les problèmes de sécurité anticipés avant toute intervention chirurgicale, les personnes devant compléter la liste de contrôle pourraient percevoir les éléments ajoutés comme une « nuisance » ,^A (Nagano, cité par Degani et Wiener)6 et être moins enclins à compléter la liste de contrôle. Dans leur discussion, Morgan et coll. mentionnent que si un essai pilote de « la première version modifiée de la liste de contrôle » avait été mené, il pourrait avoir identifié plus tôt les incohérences au niveau de la verbalisation des éléments ajoutés, ce qui aurait peut-être permis d’adapter la LCSC.3 En effet, un tel processus itératif – auxquels les auteurs font allusion – a été décrit par Weiser et coll. concernant les modifications et la mise en œuvre réussies de la Liste de contrôle pour la sécurité chirurgicale initiale de l’OMS.14 Ainsi, on observe une différence au niveau de la méthodologie utilisée dans la conception des listes de contrôle entre les travaux de Morgan et coll. et de Weiser et coll. : « une deuxième étape de validation (pilote) » , laquelle est employée dans la seconde étude.14

Enfin, le fait que les éléments essentiels (c.-à-d. le bon patient, la bonne opération, le bon côté, et l’identification des allergies) dans l’étude de Morgan et coll. aient été discutés dans > 90 % des cas souligne les progrès faits au niveau de comportements touchant spécifiquement à la sécurité au cours des dix dernières années. Ces comportements indiquent un « déplacement vers la droite » à l’intérieur d’une culture de la sécurité qui s’améliore petit à petit. La LCSC s’inscrit désormais dans la « façon de faire » pour les patients périopératoires. Bien que l’utilisation de listes de contrôle dans les soins de santé n’ait pas le même recul et ne soit pas aussi bien établie que dans l’aviation ou dans d’autres domaines où la sécurité est cruciale, le respect des listes de contrôle, qui est un comportement lié à la sécurité dans les soins de santé, ne cesse d’évoluer.

En contrepartie, bien que l’amélioration de la qualité et les initiatives visant à améliorer la sécurité des patients aient plusieurs principes fondamentaux en commun, l’utilisation de la LCSC pour renforcer certaines pratiques assurant la qualité des soins spécifiques au contexte ambulatoire (par ex., l’amélioration de la prise en charge de la douleur et la diminution des nausées/vomissements en période périopératoire) semble limitée. La LCSC a été conçue comme un outil de sécurité, et non comme un outil d’amélioration de la qualité; il faut faire attention lorsqu’on tente d’appliquer un outil à une tâche pour lequel il n’a pas été conçu.1 Une analogie sera l’utilisation d’une liste de contrôle en aviation et sa relation avec le départ à l’heure. Le départ à l’heure n’est pas un objectif de la liste de contrôle de la cabine de pilotage, et des conclusions erronées pourraient être tirées, par exemple, si en utilisant la liste de contrôle on identifiait une divergence mécanique nécessitant une vérification, entraînant ainsi un retard dans le départ.

Nous aimons tous les histoires qui finissent bien. Une idée est synthétisée, des changements sont apportés, un processus est mis en place, et une amélioration des résultats est observée. L’effort des auteurs, qui ont essayé d’utiliser un outil dont la place est bien établie dans l’arsenal des mesures de sécurité des soins de santé (la LCSC) afin d’améliorer des problèmes postopératoires courants (la douleur et les nausées/vomissements après le congé), est louable. Bien que les objectifs primaires n’aient pas été atteints par la modification de la LCSC dans un cadre ambulatoire, le message de Morgan et coll. comporte d’autres éléments précieux qui touchent tous les praticiens : prenez le bon outil pour réaliser le bon travail au bon moment, utilisez-le de la bonne façon et en quantité adaptée.