“[I]t has been said that democracy is the worst form of government except all those other forms that have been tried from time to time.”

Winston Churchill

Speech in the House of Commons (1947-11-11)

While most of us were enjoying the pleasures of an idle summer, a publication in Mayo Clinic Proceedings created a stir in the esoteric world of evidence-based medicine. The subject of interest was medical reversal, a phenomenon in which “a medical practice is found to be inferior to some lesser or prior standard of care”.1 Prasad et al. reviewed original articles published in the New England Journal of Medicine from 2001 to 2010 in their endeavour to determine if new evidence advanced, confirmed, or rejected current medical practices. Seven hundred fifty-six (56%) of the 1,344 manuscripts reviewed found a new therapy superior to an older treatment, 138 (10%) confirmed the utility of a current therapy, and 165 (12%) found new practices inferior to present care. One hundred forty-six (40%) of the 363 studies evaluating an existing medical practice found the current therapy inferior to a lesser or earlier standard of care.1 These rejections of current practice for an older treatment (or no treatment at all) cut across classes of medical care, including anesthesia. Cited examples from perioperative medicine included bispectral index monitoring, mild hypothermia for an intracranial aneurysm clipping, use of a pulmonary artery catheter for high-risk surgical patients, coronary revascularization before elective vascular surgery, epidurals in early labour, and use of aprotinin in cardiac surgery.

The reaction to Prasad’s findings was swift and critical. An accompanying editorial stated, “[T]he proportion of medical reversals seems alarmingly high. At a minimum, it poses major questions about the validity and clinical utility of a sizeable portion of everyday medical care.”2 The blog, Science-Based Medicine, noted, “[T]his highlights the fact that some current practices are useless or less than optimal and need to be reexamined.”3 Even the New York Times got in on the action by leading with the headline, “Medical Procedures May Be Useless, or Worse.”4 Both the evidence base for medical practice and the practice itself were under attack. Patients and clinicians alike could be left wondering how a supposedly science-based practice could have been wrong so frequently.

Prasad identified a common narrative among the reversals noting that, “[a]lthough there is a weak evidence base for some practice, it gains acceptance largely through vocal support from prominent advocates and faith that the mechanism of action is sound. Later, future trials undermine the therapy, but removing the contradicted practice often proves challenging.”1 Does this sound familiar? Let us consider the saga of perioperative beta-blockade from Prasad’s perspective of medical reversal.

In 1996, Mangano published results of a 200-patient placebo-controlled trial evaluating a seven-day perioperative course of atenolol on a composite outcome of cardiac mortality and morbidity. Six patients who died in hospital were excluded. Of those surviving to hospital discharge, 12 of 99 placebo patients died within six months of surgery compared with four of 95 patients receiving atenolol (crude relative risk [RR] 0.35; 95% confidence interval [CI] 0.1 to 1.0). Several years later, Poldermans reported a 112-patient trial comparing a 30-day open-label course of bisoprolol with standard care in a heavily screened population of vascular surgery patients. Nine of 53 patients receiving standard care died within 30 days of surgery compared with two of 53 given bisoprolol (crude RR 0.2; 95% CI 0.05 to 0.9). Both trials cited reduction of myocardial oxygen demand and ischemia as a plausible mechanism of action.

Despite evaluating only twenty-seven deaths in total and implausibly large treatment effects, these trials prompted an explosion of interest in perioperative beta-blockade. By 2001, the Agency for Healthcare Quality and Research had endorsed beta-blockade as a marker of patient safety.5 It’s not that less convincing evidence wasn’t published; the POBBLE,6 DiPOM,7 and MaVS8 trials failed to show improved outcomes. Despite their larger sample sizes, better design, and more realistic mortality rates, the results of these equivocal trials were largely ignored. In the end, only an unprecedented international multicentre trial9 reversed clinical opinion on use of beta-blockers in the perioperative period. Because POISE was not published in the New England Journal of Medicine, it was not included in Prasad’s list of medical reversals, but the rise and fall of perioperative beta-blockade admirably fits the narrative he described.

Medical reversal was yet another in a series of blows to evidence-based practice and science in medicine. Academic misconduct and subsequent retraction of published research has cut a wide swath through perioperative medicine in recent years.10-12 An investigative journalist highlighted the failures in scientific publishing and peer review when 157 of 255 (61%) open access journals accepted his submission of an entirely fictional and deeply flawed manuscript.13 A review of contemporary Danish medical practice guidelines found that 43 of the 45 guidelines (96%) had one or more authors with an undeclared conflict of interest related to the pharmaceutical industry.14 Clinicians could not be faulted for questioning the whole construct of evidence-based practice in a system with such significant flaws.

In retrospect, it is easy to see why perioperative beta-blockade and other medical reversals persisted in the face of mounting evidence. The answer, in part, lies in our personal biases. We all have techniques we favour for their elegance, physiological rationale, or our past experience. Confirmation bias, defined as “[s]eeking or acknowledging only information that confirms the desired or suspected diagnosis”,15 is uniquely pernicious. Evidence favouring the desired end is sought and advocated, while contradictory data, regardless of quality, are rejected. Similar biases in medical publishing may also contribute. Investigators, publishers, and readers enjoy novel, controversial, and progressive reports. Reporting bias “occurs when the nature and direction of the results of research influences their dissemination.”16 This bias to “breaking news” leads to an overrepresentation of so-called positive trials in the literature. Fortunately, the scientific method is founded on a stated hypothesis and the challenge of proving it false. In that spirit, the structures of science in medicine are constantly being examined and improved.

Registration of clinical trials, now mandated in the Declaration of Helsinki,17 offsets both confirmation bias and selective reporting by forcing investigators to declare both hypothesis and outcome prior to data collection. Registered trials must report on the declared outcomes at completion of the study. Open access publishing offers an opportunity to bypass publication bias by offering an alternative to traditional journals. The National Library of Medicine is piloting PubMed Commons (http://www.ncbi.nlm.nih.gov/pubmedcommons/), a site offering researchers an opportunity to comment on any article published in PubMed. This sort of post-publication peer review was essential to the identification of misconduct in perioperative medicine.10,12 Finally, the importance of an objective assessment of the breadth of evidence has been voiced by both the Cochrane Collaboration and a recent initiative to replicate key studies in oncology. Funded through the Center for Open Science, the Reproducibility Initiative will offer US$1.3 million to replicate major studies in cancer biology with open access publication of results assured.18

Medical reversals are indeed concerning; however, the fact that accepted practices were challenged and subsequently reversed in the face of better evidence highlights the self-correcting nature of an evidence-based practice. Contrasted with “eminence-based medicine” or the frankly anti-science beliefs of complementary and alternative medicine, an evidence-practice continues to offer the best opportunity to advance medical knowledge and improve patient outcome. This brings us back to Churchill; evidence-based medicine may be the worst form of practice “except all those other forms that have been tried from time to time”.

« [I]l a été dit que la démocratie était la pire forme de régime – à l’exception de toutes celles qui ont été testées par le passé. »

Winston Churchill

Discours à la Chambre des communes (11.11.1947)

Alors que la plupart d’entre nous jouissions des plaisirs d’un été oisif, une publication dans les Proceedings de la Clinique Mayo a causé un vif émoi dans le monde ésotérique de la médecine fondée sur des données probantes. L’article en question traitait des revirements médicaux, un phénomène dans lequel « on découvre qu’une pratique médicale est inférieure à une norme de soins moindre ou précédente ».1 Prasad et ses collègues ont passé en revue des articles originaux publiés dans le New Journal of Medicine entre 2001 et 2010; leur but était de déterminer si les nouvelles données probantes faisaient progresser, confirmaient ou infirmaient les pratiques médicales actuelles. Parmi les 1344 manuscrits passés en revue, 756 (56 %) rapportaient un nouveau traitement supérieur à un traitement plus ancien, 138 (10 %) confirmaient l’utilité d’un traitement actuel, et 165 (12%) concluaient que les nouvelles pratiques étaient inférieures aux soins actuels. Parmi les 363 études évaluant une pratique médicale existante, 146 (40 %) concluaient que le traitement actuel était inférieur à une norme de soins moindre ou précédente.1 Ces rejets de la pratique actuelle au profit d’un traitement plus ancien (ou d’une absence de traitement) étaient présents dans toutes les classes de soins médicaux – y compris l’anesthésie. Parmi les exemples cités en médecine périopératoire, il y avait le monitorage de l’indice bispectral, l’hypothermie légère pour le clampage d’un anévrysme intracrânien, l’utilisation d’un cathéter de l’artère pulmonaire chez les patients à risque élevé subissant une chirurgie, la revascularisation coronarienne avant une chirurgie vasculaire non urgente, les péridurales en début de travail obstétrical et l’utilisation d’aprotinine en chirurgie cardiaque.

La réaction aux conclusions de Prasad a été à la fois rapide et critique. Un éditorial accompagnant son article déclarait: « [L]a proportion de revirements médicaux semble dangereusement élevée. Dans le meilleur des cas, cela soulève des questions majeures quant à la validité et à l’utilité clinique d’une importante proportion des soins médicaux courants ».2 Le blogue Science Based Medicine notait: « [C]ela souligne le fait que certaines des pratiques actuelles sont inutiles ou loin d’être optimales et doivent être réexaminées ».3 Même le New York Times a mis son grain de sel dans la discussion, en titrant « Des interventions médicales pourraient être inutiles – voire pires ».4 Les données probantes sur lesquelles la pratique médicale se fonde et la pratique proprement dite étaient toutes deux sous le feu des critiques. Patients et cliniciens pouvaient se demander comment une pratique, supposément fondée sur la science, avait pu se tromper si fréquemment.

Prasad a identifié un schéma narratif commun parmi les revirements, notant que « [b]ien que les données probantes soient faibles pour soutenir certaines pratiques, elles sont acceptées principalement en raison d’un soutien énergique de certains de ses défenseurs vedettes et de la conviction que le mécanisme d’action est sensé. Par la suite, même si des études subséquentes jettent un doute sur le traitement, le retrait de la pratique infirmée est souvent difficile. »1 Ça vous dit quelque chose? Prenons comme exemple la saga des bêta-bloquants en périopératoire, et appliquons-y la perspective de revirement médical de Prasad.

En 1996, Mangano publiait les résultats d’une étude contrôlée par placebo portant sur 200 patients et évaluant l’effet d’un traitement périopératoire de sept jours d’aténolol sur l’incidence combinée de mortalité et de morbidité cardiaque. Six patients décédés à l’hôpital ont été exclus. Parmi les patients survivant jusqu’au congé de l’hôpital, 12 des 99 patients traités par placebo sont décédés au cours des six mois suivant la chirurgie, par rapport à quatre des 95 patients recevant un placebo (risque relatif (RR) brut 0,35 (intervalle de confiance [IC] 95 % 0,1 à 1,0)). Plusieurs années plus tard, Poldermans rapportait les résultats d’une étude portant sur 112 patients et comparant un traitement non à l’insu de 30 jours de bisoprolol aux soins habituels auprès d’une population rigoureusement choisie parmi des patients de chirurgie vasculaire. Neuf des 53 patients recevant des soins habituels sont décédés au cours des 30 jours suivant la chirurgie, par rapport à deux des 53 patients ayant reçu du bisoprolol (RR brut 0,2 (IC 95 % 0,05 à 0,9)). Les deux études citaient une demande d’oxygène et une ischémie réduites au niveau du myocarde comme mécanismes d’action possibles.

Malgré le fait qu’elles n’évaluaient que 27 décès au total et des effets de traitement incroyablement importants, ces études ont suscité une explosion de l’intérêt pour les bêta-bloquants en périopératoire. En 2001, l’Agence américaine pour la qualité des soins de santé et la recherche (Agency for Healthcare Quality and Research) recommandait l’inhibition des récepteurs bêta comme marqueur de la sécurité des patients.5 Ce n’est pas par manque de données probantes moins convaincantes: les études POBBLE,6 DiPOM7 et MaVS8 n’ont pas montré de pronostics améliorés. Malgré leurs tailles d’échantillon plus importantes, leurs meilleures méthodologies et leurs taux de mortalité plus réalistes, les résultats de ces études équivoques ont été en grande partie ignorés. Finalement, seule une étude multicentrique internationale sans précédent a permis de renverser l’opinion clinique quant à l’utilisation de bêta-bloquants en période périopératoire. Parce que l’étude POISE n’a pas été publiée dans le New England Journal of Medicine, elle n’a pas été incluse dans la liste de revirements médicaux de Prasad; toutefois, l’essor et le déclin des bêta-bloquants en périopératoire s’inscrit parfaitement dans le récit qu’il décrit.

Le revirement médical fait partie d’une série de coups durs à la pratique fondée sur des données probantes et à la science en médecine. L’inconduite scientifique et les rétractions subséquentes de recherches publiées ont fait un tort important à la médecine périopératoire au cours des dernières années10-12 Les manquements dans le domaine de la publication scientifique et de l’évaluation par les pairs ont été mis en lumière par un journaliste d’enquête dont le manuscrit entièrement fictif et bourré de défauts a été accepté par 197 des 255 (61 %) revues en libre accès auxquelles il l’avait soumis.13 Un examen des directives de pratique médicale contemporaines danoises a découvert que 43 des 45 directives (96 %) avaient été rédigées par un ou plusieurs auteurs ayant des conflits d’intérêt non déclarés liés à l’industrie pharmaceutique.14 Dans un système qui comporte de telles lacunes, on ne peut donc reprocher aux cliniciens de remettre en question l’élaboration de la pratique fondée sur des données probantes dans son ensemble.

Avec le recul, il est facile de voir pourquoi l’utilisation périopératoire de bêta-bloquants et les autres revirements médicaux ont perduré, même en regard de l’accumulation de données probantes contraires. La réponse réside en partie dans nos biais personnels. Nous avons tous nos techniques préférées, que ce soit en raison de leur élégance, de leur justification physiologique ou d’expériences passées. Le biais de confirmation, défini comme « [l]a recherche ou la reconnaissance exclusive des informations qui confirment le diagnostic désiré ou soupçonné »,15 est particulièrement pernicieux. Les données probantes favorisant l’issue souhaitée sont recherchées et défendues, alors que les données contradictoires, indépendamment de leur qualité, sont rejetées. Des biais semblables jouent également un rôle dans le processus de publication en médecine. Les chercheurs, les éditeurs et les lecteurs apprécient les comptes rendus qui sont innovants, controversés et progressistes. On parle de biais dans la présentation des résultats lorsque « la nature et la direction des résultats de recherche influencent leur dissémination ».16 Ce biais de prédilection pour les « primeurs » entraîne une surreprésentation des études dites positives dans la littérature. Heureusement, la méthode scientifique se fonde sur la remise en question d’une hypothèse déclarée et la démonstration de sa fausseté. C’est dans cet esprit que les structures scientifiques médicales sont constamment examinées et améliorées.

L’enregistrement des études cliniques, maintenant obligatoire dans la Déclaration d’Helsinki, contrecarre le biais de confirmation et la communication sélective en forçant les chercheurs à déclarer l’hypothèse et les résultats anticipés avant la récolte des données. Les études enregistrées ont l’obligation de rendre compte des résultats anticipés qu’elles ont déclarés lorsque l’étude se termine. La publication en libre accès permet de contourner le biais de publication en proposant une alternative aux revues traditionnelles. La Bibliothèque nationale américaine de médecine (National Library of Medicine) pilote le site PubMed Commons (http://www.ncbi.nlm.nih.gov/pubmedcommons/), lequel offre aux chercheurs la possibilité de commenter n’importe quel article publié dans PubMed. Ce type de révision par les pairs après la publication a joué un rôle essentiel dans l’identification de l’inconduite en médecine périopératoire.10,12 Enfin, l’importance d’une évaluation objective de l’envergure des données probantes a été soulignée par le projet Cochrane Collaboration ainsi que par une initiative récente visant à répliquer les études clés en oncologie. Financé par le Centre pour la science en libre accès (Center for Open Science), l’initiative de reproductibilité (Reproducibility Initiative) offrira 1,3 million $US pour dupliquer d’importantes études en biologie du cancer en garantissant la publication en libre accès des résultats.18

Les revirements médicaux sont véritablement préoccupants; toutefois, le fait que des pratiques acceptées aient été remises en question et qu’on ait par la suite fait marche arrière en raison de meilleures données probantes souligne la nature auto-correctrice de la pratique fondée sur des données probantes. Au contraire de la « médecine fondée sur l’éminence » ou des convictions franchement anti-scientifiques des médecines dites complémentaire et alternative, la pratique factuelle demeure la meilleure façon de faire progresser les connaissances médicales et d’améliorer les devenirs des patients. Et nous revoici avec Churchill: la médecine fondée sur des données probantes pourrait constituer la pire forme de pratique « à l’exception de toutes celles qui ont été essayées par le passé. »