Wie sich die Vertrauenswürdigkeit von Evidenz anhand von GRADE („grading of recommendations, assessment, development and evaluation“) interpretieren lässt

How to interpret the certainty of evidence based on GRADE (Grading of Recommendations, Assessment, Development and Evaluation)

Der Urologe (2021)Cite this article

Zusammenfassung

Hintergrund

In der Bewertung der Vertrauenswürdigkeit von Evidenz in systematischen Übersichtsarbeiten und Leitlinien in der Medizin und den Gesundheitswissenschaften findet GRADE („grading of recommendations, assessment, development and evaluation“) häufige Anwendung.

Ziel der Arbeit

Das Ziel der Arbeit ist es, den GRADE-Ansatz verständlich zu machen, um damit das Lesen, Verstehen und Interpretieren von GRADE-Bewertungen in systematischen Übersichtsarbeiten zu erleichtern.

Material und Methoden

Es wird die Vorgehensweise des GRADE-Ansatzes am Beispiel eines Cochrane Reviews zum Einsatz von Selen in der Prävention des Prostatakarzinoms dargestellt.

Ergebnisse und Diskussion

Der GRADE-Ansatz gibt Kriterien vor, welche für die Bewertung der Vertrauenswürdigkeit der Effektschätzer für ausgewählte Endpunkte relevant sind. Ein 4‑Stufen-System drückt den Grad der Vertrauenswürdigkeit aus (hoch, moderat, niedrig, sehr niedrig). Ausgangspunkt der Bewertung ist das Studiendesigns, wobei Evidenzkörper aus RCT („randomized controlled trials“) initial als hoch und Evidenzkörper aus Beobachtungsstudien initial als niedrig eingestuft werden. Durch die Betrachtung von 5 Domänen (Risiko für Bias, Inkonsistenz, Indirektheit, unzureichende Präzision und Publikationsbias) kann das Vertrauen herabgestuft oder bei großen Effekten, vorhandener Dosis-Wirkungs-Beziehung oder aufgrund Überlegungen zur Richtung des residuellen Confoundings heraufgestuft werden.

Schlussfolgerung

Der GRADE-Ansatz bietet ein konsistentes und transparentes System mit klar definierten Kriterien zur Bewertung der Vertrauenswürdigkeit der Effektschätzer für relevante Endpunkte.

Abstract

Background

GRADE (Grading of Recommendations, Assessment, Development and Evaluation) is a widely used approach in the fields of medicine and public health to assess the outcome-specific certainty of the evidence in systematic reviews.

Objectives

To make the GRADE approach comprehensible in order to facilitate the reading, understanding and interpretation of GRADE assessments in systematic reviews.

Materials and methods

Presentation of the procedure of the GRADE approach using the example of a Cochrane review on selenium supplements in the prevention of prostate cancer.

Results

GRADE provides criteria for rating the certainty of evidence. GRADE’s approach to rating the certainty of the evidence is based on a four-level system (high, moderate, low, very low). The GRADE approach classifies bodies of randomized controlled trials as initially starting at high certainty and bodies of observational studies at initially starting at low certainty. By assessing the five domains (risk for bias, inconsistency, indirectness, insufficient precision and publication bias), certainty can be rated down or, in the case of large effects, existing dose-response relationships or plausible confounders, rated up.

Conclusions

GRADE is a consistent and transparent approach for rating the certainty of a body of evidence by offering explicit key questions.

This is a preview of subscription content, access via your institution.

Access options

Buy single article

Instant access to the full article PDF.

US$ 39.95

Tax calculation will be finalised during checkout.

Abb. 1
Abb. 2
Abb. 3

Literatur

  1. 1.

    Higgins JPT, Lasserson T, Chandler J, Tovey D, Thomas J, Flemyng E, Churchill R (2019) Standards for the conductof new Cochrane intervention reviews. In: Higgins JPT, Lasserson T, Chandler J, Tovey D, Thomas J, Flemyng E, Churchill R (Hrsg) Methodological expectations of Cochrane intervention reviews. Cochrane, London

    Google Scholar 

  2. 2.

    https://ods.od.nih.gov/factsheets/Selenium-HealthProfessional/. Zugegriffen: 24. Sept. 2020

  3. 3.

    Deutsche Gesellschaft für Ernährung https://www.dge.de/wissenschaft/referenzwerte/selen/. Zugegrifffen: 08.09.2020

  4. 4.

    Shamberger RJ, Frost DV (1969) Possible protective effect of selenium against human cancer. Can Med Assoc J 100(14):682

    CAS  PubMed  PubMed Central  Google Scholar 

  5. 5.

    Lippman SM, Klein EA, Goodman PJ et al (2009) Effect of selenium and vitamin E on risk of prostate cancer and other cancers: the Selenium and Vitamin E Cancer Prevention Trial (SELECT). JAMA 301(1):39–51

    CAS  Article  Google Scholar 

  6. 6.

    Vinceti M, Filippini T, Del Giovane C et al (2018) Selenium for preventing cancer. Cochrane Database Syst Rev. https://doi.org/10.1002/14651858.cd005195.pub4

    Article  PubMed  PubMed Central  Google Scholar 

  7. 7.

    Schünemann HJ, Langer G, Meerpohl JJ, Ollenschläger G, Perleth M (2012) The GRADE system: a prologue to the article series in the ZEFQ. Z Evid Fortbild Qual Gesundhwes 106(5):354–356

    Article  Google Scholar 

  8. 8.

    Alonso-Coello P, Schünemann HJ, Moberg J et al (2016) GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 1: Introduction. BMJ 353:i2016

    Article  Google Scholar 

  9. 9.

    Balshem H, Helfand M, Schünemann HJ et al (2011) GRADE guidelines: 3. rating the quality of evidence. J Clin Epidemiol 64(4):401–406

    Article  Google Scholar 

  10. 10.

    Sterne JA, Hernán MA, Reeves BC et al (2016) ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ 355:i4919

    Article  Google Scholar 

  11. 11.

    Schünemann HJ, Cuello C, Akl EA et al (2019) GRADE guidelines: 18. How ROBINS‑I and other tools to assess risk of bias in nonrandomized studies should be used to rate the certainty of a body of evidence. J Clin Epidemiol 111:105–114

    Article  Google Scholar 

  12. 12.

    Sterne JAC, Savović J, Page MJ et al (2019) RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ 366:l4898

    Article  Google Scholar 

  13. 13.

    Sterne JAC, Savović J, Page MJ et al (2019) RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ 366:l4898

    Article  Google Scholar 

  14. 14.

    Guyatt GH, Oxman AD, Vist G et al (2011) GRADE guidelines: 4. Rating the quality of evidence—study limitations (risk of bias). J Clin Epidemiol 64(4):407–415

    Article  Google Scholar 

  15. 15.

    Wells GA, Shea B, O’Connell D, Peterson J, Welch V, Losos M, Tugwell P (2012) The Newcastle-Ottawa Scale (NOS) for assessing the quality if nonrandomized studies in meta-analyses. http://www.ohri.ca/programs/clinical_epidemiology/oxford.asp. Zugegriffen: 7. Okt. 2020

  16. 16.

    Guyatt GH, Oxman AD, Kunz R et al (2011) GRADE guidelines: 7. Rating the quality of evidence—inconsistency. J Clin Epidemiol 64(12):1294–1302

    Article  Google Scholar 

  17. 17.

    Guyatt GH, Oxman AD, Kunz R et al (2011) GRADE guidelines: 8. Rating the quality of evidence—indirectness. J Clin Epidemiol 64(12):1303–1310

    Article  Google Scholar 

  18. 18.

    Pogue JM, Yusuf S (1997) Cumulating evidence from randomized trials: utilizing sequential monitoring boundaries for cumulative meta-analysis. Control Clin Trials 18(6):580–593 (discussion 661–586)

    CAS  Article  Google Scholar 

  19. 19.

    Guyatt GH, Oxman AD, Kunz R et al (2011) GRADE guidelines 6. Rating the quality of evidence—imprecision. J Clin Epidemiol 64(12):1283–1293

    Article  Google Scholar 

  20. 20.

    Hopewell S, Clarke M, Stewart L, Tierney J (2007) Time to publication for results of clinical trials. Cochrane Database Syst Rev. https://doi.org/10.1002/14651858.MR000011.pub2

    Article  PubMed  PubMed Central  Google Scholar 

  21. 21.

    Hultcrantz M, Rind D, Akl EA et al (2017) The GRADE Working Group clarifies the construct of certainty of evidence. J Clin Epidemiol 87:4–13

    Article  Google Scholar 

  22. 22.

    Guyatt GH, Oxman AD, Montori V et al (2011) GRADE guidelines: 5. Rating the quality of evidence—publication bias. J Clin Epidemiol 64(12):1277–1282

    Article  Google Scholar 

  23. 23.

    Hopewell S, Loudon K, Clarke MJ, Oxman AD, Dickersin K (2009) Publication bias in clinical trials due to statistical significance or direction of trial results. Cochrane Database Syst Rev. https://doi.org/10.1002/14651858.MR000006.pub3

    Article  PubMed  Google Scholar 

  24. 24.

    Gandini S, Botteri E, Iodice S et al (2008) Tobacco smoking and cancer: a meta-analysis. Int J Cancer 122(1):155–164

    CAS  Article  Google Scholar 

  25. 25.

    Hill AB (1965) The environment and disease: association or causation? Proc R Soc Med 58(5):295–300

    CAS  PubMed  PubMed Central  Google Scholar 

  26. 26.

    Guyatt GH, Oxman AD, Sultan S et al (2011) GRADE guidelines: 9. Rating up the quality of evidence. J Clin Epidemiol 64(12):1311–1316

    Article  Google Scholar 

  27. 27.

    Ferlay J, Colombet M, Soerjomataram I et al (2019) Estimating the global cancer incidence and mortality in 2018: GLOBOCAN sources and methods. Int J Cancer 144(8):1941–1953

    CAS  Article  Google Scholar 

Download references

Author information

Affiliations

  1. Institut für Evidenz in der Medizin, Universitätsklinikum Freiburg, Medizinische Fakultät, Albert-Ludwigs-Universität Freiburg, Breisacher Straße 86, 79110, Freiburg, Deutschland

    PD Dr. L. Schwingshackl MSc & Prof. Dr. med. J. J. Meerpohl

  2. Cochrane Deutschland, Cochrane Deutschland Stiftung, Freiburg, Deutschland

    Dipl. Biol. G. Rüschemeyer & Prof. Dr. med. J. J. Meerpohl

Authors
  1. PD Dr. L. Schwingshackl MSc
    View author publications

    You can also search for this author in PubMed Google Scholar

  2. Dipl. Biol. G. Rüschemeyer
    View author publications

    You can also search for this author in PubMed Google Scholar

  3. Prof. Dr. med. J. J. Meerpohl
    View author publications

    You can also search for this author in PubMed Google Scholar

Corresponding author

Correspondence to PD Dr. L. Schwingshackl MSc.

Ethics declarations

Interessenkonflikt

L. Schwingshackl ist Mitglied der GRADE Arbeitsgruppe und J. J. Meerpohl ist Direktor des Freiburg GRADE Zentrums, Mitglied der GRADE Guidance Group. G. Rüschemeyer gibt an, dass kein Interessenkonflikt besteht.

Für diesen Beitrag wurden von den Autoren keine Studien an Menschen oder Tieren durchgeführt. Für die aufgeführten Studien gelten die jeweils dort angegebenen ethischen Richtlinien.

Additional information

Hinweis

Zahlreiche Cochrane Reviews zu urologischen Fragestellungen erstellt (mit Hilfe von GRADE) die Gruppe Cochrane Urology (https://urology.cochrane.org)

Rights and permissions

Reprints and Permissions

About this article

Verify currency and authenticity via CrossMark

Cite this article

Schwingshackl, L., Rüschemeyer, G. & Meerpohl, J.J. Wie sich die Vertrauenswürdigkeit von Evidenz anhand von GRADE („grading of recommendations, assessment, development and evaluation“) interpretieren lässt. Urologe (2021). https://doi.org/10.1007/s00120-021-01471-2

Download citation

Schlüsselwörter

  • Evidenzbasierte Medizin
  • Empfehlung
  • Systematische Übersichtsarbeiten
  • Leitlinien
  • Selen

Keywords

  • Evidence-based medicine
  • Recommendation
  • Systematic reviews
  • Guidelines
  • Selenium