, Volume 54, Issue 5, pp 380-388

Publication bias in the medical literature: A review by a Canadian research ethics board

Abstract

Background

We reviewed the publication record of all protocols submitted to the Capital District Health Authority Research Ethics Board (REB) in Halifax, Nova Scotia, for the period 1995–1996. Because of a heightened awareness of the issue, we hypothesized that there would be less publication bias (a failure to report negative results) and a higher publication rate from completed studies, than previously reported.

Methods

Closed studies were identified from the REB database. Publications were identified by the investigators, requests from sponsors, and a literature review. For each publication, we identified authors, title, journal, number of subjects enrolled, and whether or not the publication was a report of a randomized clinical trial. Comparisons were done using a Student’s t test, the Chi-square statistic, or Fisher’s exact test as appropriate.

Results

From the database of closed studies, 106 remained unpublished, while completed investigations resulted in 84 publications (44% publication rate). The median time to publication was 32.5 months. Publication of statistically significant results occurred in 71/84 trials. Publication of protocols submitted by departments ranged from 91% (anesthesia; 10/11) to 25% [nursing; 2/8 (P < 0.05)]. Trials investigating new drugs in Phase 3 or 4 studies were more likely to be published than trials investigating agents in Phase 1 or 2 (P < 0.05), and were less likely to be published if sponsored by a pharmaceutical company (P < 0.05).

Conclusions

Publication bias continues to be a problem, particularly for early phase investigative studies. Our results suggest that a different approach is required to reduce publication bias. The role that REBs and peer-reviewed journals might play requires further exploration.

Résumé

Contexte

Nous avons passé en revue le fichier de publications de tous les protocoles soumis au Comité d’éthique de recherche (CER) du Capital District Health Authority à Halifax, Nouvelle Écosse, pour la période 1995–1996. Étant fortement sensibilisés à la question, nous avons émis l’hypothèse qu’il y aurait moins de biais de publication (le fait que des résultats négatifs ne soient pas rapportés) ainsi qu’un taux de publication plus élevé d’études achevées que ce qui avait été précédemment rapporté.

Méthode

Les études complétées ont été tirées de la base de données du CER. Les publications étaient identifiables par les chercheurs, les requêtes de commanditaires, et une revue de la littérature. Nous avons identifié les auteurs, le titre, le périodique, le nombre de patients ayant participé à l’étude pour chaque publication, et nous avons déterminé si la publication était le compterendu d’une étude clinique randomisée ou non. Les comparaisons ont été effectuées en utilisant un test t de Student, la statistique khi-carré ou le test exact de Fisher, selon leur pertinence.

Résultats

Dans la base de données des études terminées, 106 n’étaient pas publiées, alors que les études complétées ont abouti à 84 publications (taux de publication de 44 %). Le temps médian jusqu’à la publication était de 32,5 mois. Des résultats statistiquement significatifs ont été publiés dans 71/84 des études. La publication de protocoles soumis par des départements allait de 25 % (soins infirmiers; 2/8)] à 91 % [anesthésie ; 10/11(P < 0,05)]. La probabilité de publication était plus élevée pour des études au sujet de nouveaux médicaments en phase 3 ou 4 d’étude que pour celles examinant des agents en phase 1 ou 2 (P < 0,05), mais moins élevée si l’étude était commanditée par une société pharmaceutique (P < 0,05).

Conclusion

Le biais de publication demeure un problème, particulièrement pour les études de recherche en phase précoce. Nos résultats suggèrent la nécessité d’approche différente si l’on veut réduire le biais de publication. Le rôle que pourraient jouer les CER et les revues pratiquant l’évaluation par des pairs requiert une exploration plus approfondie.

This study was presented in part at the Annual Meeting of the American College of Chest Physicians in Montreal, October 2005.