Sources of bias in reviews of spinal manipulation for back pain

Summary

The effectiveness of spinal manipulation as a treatment for back pain remains uncertain and controversial. This is because of methodological weakness in many of the published clinical trials and also because of markedly opposing interpretations of the primary data by different reviewers. We have systematically assessed a representative sample of recent reviews on this topic. Reviews were included in the analysis if they were published between 1993 and March 2004, were listed in PubMed with an abstract and categorised as a review or meta-analysis, and were written in English. They were also required to present the evidence from at least two referenced clinical trials of spinal manipulation for back pain and to reach a conclusion about the effectiveness of the intervention. Each review was evaluated for methodological quality. Twenty-nine reviews met the inclusion criteria. Sixteen reached an overall positive conclusion, 7 a negative conclusion and 6 a neutral conclusion regarding therapeutic effectiveness. There were statistically significant pairwise correlations between each of the three factors: direction of conclusion, methodological quality and authorship by osteopaths or chiropracters. This indicates an association between authorship by osteopaths or chiropractors and low methodological quality and positive conclusion. We conclude that the outcomes of reviews of this subject are strongly influenced by both scientific rigour and profession of authors. The effectiveness of spinal manipulation for back pain is less certain than many reviews suggest; most high-quality reviews reach negative conclusions.

Zusammenfassung

Die Wirksamkeit von manueller Manipulation der Wirbelsäule zur Behandlung von Rückenschmerzen bleibt ungewiss und umstritten. Der Grund dafür ist einerseits die methodische Schwäche vieler der publizierten klinischen Studien, andererseits die unterschiedliche Interpretation der Primärdaten durch die verschiedenen Reviewer. Wir haben zu diesem Thema systematisch eine repräsentative Stichprobe von neueren Übersichten evaluiert. Erfasst wurden auf Englisch publizierte Übersichten aus den Jahren 1993–2004, die in PubMed mit einem Abstract gelistet waren und als Übersicht oder Meta-Analyse kategorisiert waren. Weitere Einschlusskriterien waren die Wiedergabe der Evidenz von mindestens zwei zitierten klinischen Studien sowie eine Schlussfolgerung aus diesen Arbeiten bezüglich der Wirksamkeit der Intervention. Jede Übersicht wurde auf ihre methodologische Qualität geprüft. 29 Übersichten erfüllten die Einschlusskriterien. 16 davon beurteilten die manuelle Manipulation der Wirbelsäule als effektiv in der Behandlung von Rückenschmerzen, 7 sahen keine Wirksamkeit und 6 kamen zu einer neutralen Beurteilung. Die paarweise Korrelation ergab eine statistisch signifikante Abhängigkeit folgender drei Faktoren: Richtung der Schlussfolgerung (wirksam – nicht wirksam), methodische Qualität und Autorenschaft (Osteopathen oder Chiropraktiker). Es besteht offensichtlich ein Zusammenhang zwischen der Autorenschaft durch Osteopathen oder Chiropraktiker, niedriger methodischer Qualität und positiver Beurteilung. Wir schließen aus unseren Daten, dass die Wirkung der manuellen Manipulation der Wirbelsäule zur Behandlung von Rückenschmerzen unsicherer ist als vielen Übersichtsarbeiten entnommen werden kann. Die meisten Reviews von methodologisch hoher Qualität konnten keine Wirksamkeit dieser Behandlungsmethoden erkennen.