1 Einleitung

Medizinische Leitlinien sind ein Instrument zur Information des medizinischen Personals und zur Überbrückung der Kluft zwischen wissenschaftlichen Erkenntnissen und der täglichen Praxis (Woolf et al., 1999). Leitlinien geben Empfehlungen dazu, wie eine bestimmte Krankheit erkannt und behandelt werden sollte und richten sich primär an Ärzt*innen, Pflegekräfte und Fachpersonal im Gesundheitswesen. Erarbeitete Leitlinien sollen die Patientenversorgung verbessern, indem sie Nutzen und Schaden von Untersuchungen und Behandlungen bewerten und auf dieser Basis konkrete Empfehlungen zu Diagnose, Therapie und Nachsorge geben. Leitlinien fassen dabei das aktuelle medizinische Wissen zusammen, belegen dies mit Referenzen auf publizierte Studien und müssen daher regelmäßig aktualisiert werden (Thelwall & Maflahi, 2016).

Medizinische Forschung, die in die Entwicklung von Leitlinien mündet, ist von Relevanz, da sie die klinische Praxis beeinflusst und zur besseren Gesundheitsversorgung beiträgt (Zhang & Wu, 2021). Damit bildet die Zitation von wissenschaftlicher Literatur in medizinischen Leitlinien deren gesellschaftlichen Impact ab (Kryl et al., 2012).

Traditionell wird der Einfluss wissenschaftlicher Arbeiten mit dem Journal Impact Factor (JIF) gemessen (Garfield, 2006). Der Journal Impact Factor ist jedoch in erster Linie ein Indikator für das Prestige einer Zeitschrift (Thelwall & Kousha, 2016) und eignet sich weniger für die Bewertung der in Leitlinien zitierten Literatur (Traylor & Herrmann-Lingen, 2023). In einer früheren Studie wurde jedoch gezeigt, dass qualitativ hochwertigere Leitlinien auf Artikel verweisen, die hohe Zitationszahlen aufweisen (Andersen, 2013).

Angelehnt an die Arbeit von Thelwall und Maflahi (2016) sind wir zum einen daran interessiert, die Artikel, die in Leitlinien zitiert werden, mit ähnlichen Artikeln zu vergleichen, die nicht in derselben Leitlinie zitiert werden, um herauszufinden, ob medizinische Leitlinien aus Deutschland in ähnlicher Weise hochzitierte Artikel referenzieren. Anstatt jedoch wie Thelwall und Maflahi die Vergleichsmenge auf denselben Jahrgang und dieselbe Ausgabe einzugrenzen, vergleichen wir einen Artikel, der in einer Leitlinie zitiert wird, mit allen anderen Artikeln, die in derselben Zeitschrift und demselben Jahrgang erschienen sind. Durch die verbesserte Methodik senken wir den Einfluss von potenziellen Unterschieden, die zwischen Zeitschriftenbänden und -ausgaben bestehen können und vergrößern den Umfang des zu vergleichenden Datensatzes, was wiederum die Aussagekraft unserer Studie erhöht. Außerdem untersuchen wir die Zahl der Referenzen, die in einer Leitlinie zitiert werden und die Publikationsjahre der in den Leitlinien zitierten Artikel. Dabei stellen wir das Publikationsjahr der zitierten Referenzen den prozentualen Zitierrängen der Leitlinien-Referenzen gegenüber. Diese Untersuchung kann Aufschluss darüber geben, ob Artikel in Leitlinien referenziert werden, da sie aufgrund ihres Alters eine höhere Sichtbarkeit und Verbreitung haben als jüngere Artikel, die weniger Zeit hatten Zitationen zu akkumulieren.

Zum anderen sind wir daran interessiert herauszufinden, inwiefern frühere Arbeiten von Leitlinien-Autor*innen die Wahl von Artikeln, die in einer Leitlinie referenziert werden, beeinflussen. Dafür wurden alle Personen, die an der Erstellung einer Leitlinie beteiligt waren, in der Literaturdatenbank Scopus ausfindig gemacht und die von ihnen in früheren Arbeiten zitierten Artikel mit denen in der entsprechenden Leitlinie zitierten verglichen.

Um die Charakteristika von Leitlinien-Referenzen zu untersuchen, haben wir eine S2e- und eine S3-Leitlinie ausgewählt. Diese zwei Leitlinien-Arten unterscheiden sich u. a. hinsichtlich der Zusammensetzung der Leitliniengruppe, ihrer Erarbeitung, ihrer Konsensfindung und Qualität. Somit vermuten wir, dass sich bei den zwei untersuchten Leitlinien unterschiedliche Muster in den von uns untersuchten Charakteristika zeigen.

2 Methoden

Die Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF) besteht aus 180 wissenschaftlichen medizinischen Fachgesellschaften und koordiniert die Entwicklung von qualitätsgesicherten medizinischen Leitlinien für Diagnostik und Therapie. Zwei medizinische Leitlinien, die in dem Portal der AWMF verfügbar sind, wurden für die Analyse ausgewählt. Die S2e-Leitlinie Neue Thrombozytenaggregationshemmer: Verwendung in der Hausarztpraxis (053–014) ist der Allgemeinmedizin zuzuordnen und wurde federführend von der Deutschen Gesellschaft für Allgemeinmedizin und Familienmedizin e. V. (DEGAM) herausgegeben. Die S3-Leitlinie, Diagnose, Therapie und Nachsorge des Nierenzellkarzinoms (043–017) ist der Onkologie zuzuordnen und wurde federführend von der Deutschen Gesellschaft für Urologie (DGU) und der Deutschen Gesellschaft für Hämatologie und Onkologie (DGHO) verfasst. Beide Leitlinien wurden im Jahr 2017 herausgegeben.

Abgesehen von der unterschiedlichen Entwicklungsstufe, unterscheiden sich die untersuchten Leitlinien primär hinsichtlich ihrer fachlichen Ausrichtung: Allgemeinmedizin vs. Onkologie. Die S2e-Leitlinie von der DEGAM richtet sich speziell an Hausärzte und soll für Hausärzte richtungsweisend sein, um eine Über-, Unter- oder Fehlversorgung mit Thrombozytenaggregationshemmern zu vermeiden. Die DEGAM-Leitlinie befasst sich mit bestimmten Medikamenten, die bei weit verbreiteten Krankheiten wie Vorhofflimmern eingesetzt werden. Das Besondere an dieser Leitlinie ist, dass darin eine relativ neue Substanzgruppe thematisiert wird, zu der es noch wenige Erfahrungen und somit wenige publizierte Studien gibt, auf die in der Leitlinie verwiesen werden kann. Die S3-Leitlinie hat das Nierenzellkarzinom zum Gegenstand und behandelt ein zwar selteneres, jedoch bedrohliches Krankheitsbild, das seit längerem in der Medizin bekannt ist und zu dem seit mehreren Jahren intensiv geforscht wird. Anders als die S2e-Leitlinie thematisiert die S3-Leitlinie nicht nur die Therapie, sondern auch die Diagnostik und Nachsorge.

Die Referenzen dieser zwei Leitlinien wurden zunächst aus den PDF-Dokumenten extrahiert und maschinenlesbar gemacht. Die Recherche der anderen Artikel, die mit einem in der Leitlinie referenzierten Artikel zu vergleichen sind, erfolgte durch die Suche im Web of Science (WoS). Die Suchergebnisse wurden nach dem Erscheinungsjahr der Referenz, dem Zeitschriftentitel und dem Dokumenttyp „Artikel“ gefiltert, wobei sich unter Artikeln auch publizierte Reviews finden. Die Suchergebnisse wurden heruntergeladen und für die Auswertung in einer eigens konzipierten Datenbank zusammengeführt. Abb. 1 verdeutlicht den Erhebungsprozess der Artikel in WoS. Jede Leitlinien-Referenz wurde in WoS recherchiert, wie z. B. eine Referenz auf die Zeitschrift Nature im Jahr 2005. Dann wurden alle Artikel, die in Nature im Jahr 2005 publiziert wurden, abgefragt, samt ihrer Zitationsdaten bis zum Oktober 2022.

Abb. 1
figure 1

Der Datensatz besteht aus Zeitschriftenartikeln, die in denselben Jahrgängen derselben Zeitschriften veröffentlicht wurden wie die Artikel, auf die in der entsprechenden Leitlinie verwiesen wird

Full size image

In der ersten Analyse wurde zu jeder Referenz einer Leitlinie ihr Zitierrang unter allen Artikeln aus der Zeitschrift der Referenz und dem Publikationsjahr der Referenz bestimmt. Zur Vergleichbarkeit verschiedener Referenzen wurde daraus der prozentuale Rang berechnet.

Für die anschließende Analyse der Artikel, die in Leitlinien zitiert werden und womöglich bereits in früheren Arbeiten der an einer Leitlinie beteiligten Personen zitiert wurden, wurden die Leitlinien-Autor*innen in der Publikations- und Zitationsdatenbank Scopus recherchiert, um ihre weiteren Publikationen aufzufinden.Footnote 1 Die so erhobenen Publikationen wurden nach dem Kriterium analysiert, ob sie die in den Leitlinien zitierte Literatur bereits früher referenziert haben. Die Referenzen der Leitlinien wurden dazu sowohl über die DOI als auch die PubMed-ID (PMID) ebenfalls in Scopus zugeordnet.

3 Ergebnisse

Die S3-Leitlinie (043–017) weist insgesamt 702 Referenzen auf, während die S2e-Leitlinie (053–041) insgesamt 147 Referenzen hat. Wir konnten 514 von 702 (73 %) Referenzen der 043–017-Leitlinie in WoS ausfindig machen und 97 von 147 (66 %) Referenzen der 053–041-Leitlinie. Bei den nicht zugeordneten Referenzen handelt es sich um Verweise auf andere Leitlinien oder Bücher sowie um Zeitschriften, die nicht in WoS indexiert sind. In der S3-Leitlinie (043–017) wurden Referenzen aus 109 verschiedenen Fachzeitschriften aus den Jahren 1964–2017 verwendet. Die S2e-Leitlinie (053–041) zitiert Artikel aus 27 verschiedenen Zeitschriften, die in den Jahren 1983 bis 2015 veröffentlicht wurden. In Abb. 2 sind die kumulativen Verteilungsfunktionen der prozentualen Zitierränge der Leitlinien-Referenzen dargestellt. Der durchschnittliche prozentuale Zitierrang beträgt für die in der S2e-Leitlinie zitierten Artikel 80,4 % (± 4,8 %, p = 0,05) und für die in der S3-Leitlinie zitierten Artikel 74,4 % (± 2,1 %, p = 0,05). Somit weisen Artikel, die in den untersuchten Leitlinien zitiert werden, signifikant höhere Zitationszahlen auf als andere Publikationen gleicher Zeitschriften und Jahrgänge.

Abb. 2
figure 2

Vergleich der kumulativen Verteilungsfunktionen der prozentualen Zitierränge der Referenzen der zwei Leitlinien. Der Zitierrang wurde bestimmt unter allen Artikeln derselben Zeitschrift und desselben Jahrgangs. Die senkrechten Linien stellen die durchschnittlichen Zitierränge dar

Full size image

Im Folgenden wurde geschaut aus welchen Jahren die zitierten Referenzen stammen und wie häufig sie im Vergleich zu Artikeln aus dem gleichen Jahr und der gleichen Zeitschrift zitiert wurden. Abb. 3 zeigt, dass eine Häufung in der Nähe des Veröffentlichungsdatums der Leitlinie zu beobachten ist. Für beide Leitlinien lässt sich sagen, dass es nur wenige Artikel gibt, die vergleichsweise wenige Zitierungen erhalten haben.

Abb. 3
figure 3

Vergleich der zwei Leitlinien hinsichtlich der prozentualen Zitierränge ihrer Referenzen und der Publikationsjahre der Referenzen

Full size image

Während neuere Artikel sowohl in den unteren als auch in den oberen Rängen zu finden sind, weisen ältere Artikel überwiegend höhere Ränge auf, was darauf hindeutet, dass sie trotz ihres lange zurückliegenden Erscheinungsjahres auf die aktuelle medizinische Forschung Einfluss nehmen. Zugleich könnte es ein Indiz dafür sein, dass diese Artikel Eingang in Leitlinien finden, gerade weil sie hochzitiert sind und dadurch eine höhere Sichtbarkeit und Auffindbarkeit haben. Die Zeitspanne der zitierten Referenzen der S2e-Leitlinie ist mit 32 Jahren kürzer als die der S3-Leitlinie mit 52 Jahren. Das durchschnittliche Publikationsjahr der referenzierten Literatur in der S2e-Leitlinie ist 2007,3 (Median: 2010), während die Literatur in der S3-Leitlinie etwas älter ist mit 2006, 9 (Median: 2009).

Eine weitere Analyse galt den an den Leitlinien beteiligten Personen und insbesondere der von ihnen in früheren Arbeiten zitierten Literatur. Die S2e-Leitlinie wurde von zwei Autoren erstellt, die der Fachgesellschaft DEGAM angehören und beide in Bremen affiliiert sind. Die S3-Leitlinie weist hingegen 63 Autor*innen auf, denen verschiedene Rollen bei der Leitlinienerstellung zuteilkommen. So gibt es zwei Personen, die die Koordination und die Redaktion innehatten, drei Personen, die für die Qualitätsindikatoren zuständig waren, sieben Expert*innen und schließlich 51 Autor*innen und Mandatsträger*innen. Die an der Leitlinie beteiligten Personen gehören verschiedenen Fachgesellschaften wie der DGU (Deutsche Gesellschaft für Urologie) oder DEGRO (Deutsche Gesellschaft für Radioonkologie) an und sind nicht nur zu Einrichtungen in Deutschland, sondern auch im Ausland (u. a. Schweiz oder Niederlande) affiliiert. Im Hinblick auf Leitlinien-Referenzen, die im Fokus dieser Studie stehen, wurde untersucht, inwiefern die zitierte Literatur in den Leitlinien von den an der Leitlinie beteiligten Personen in früheren Artikeln zitiert wurden. Da beide Leitlinien im Jahr 2017 veröffentlicht wurden, wurden nur solche Artikel analysiert, die bis einschließlich 2016 erschienen sind. Für die S2e-Leitlinie konnten 108 der insgesamt 147 Referenzen in der Scopus-Datenbank nachgewiesen werden. Von diesen 108 Referenzen wurden insgesamt 28 Referenzen vor Erscheinen der Leitlinie von mindestens einem der beiden Leitlinien-Autoren zitiert (26 %). Einer der S2e-Leitlinien-Autoren hat alle dieser 28 Referenzen bereits in Artikeln vor dem Jahr 2017 genutzt, während der Co-Autor der Leitlinie nur einen Artikel in einer früheren Studie zitiert hat. Für die S3-Leitlinie konnten 604 der insgesamt 702 Artikel in Scopus anhand ihrer DOI oder PubMed-ID ausfindig gemacht werden. Insgesamt wurden 421 dieser 604 Referenzen (70 %) in früheren Arbeiten von den Leitlinien-Autor*innen zitiert. Von den 63 an der Leitlinie beteiligten Personen, haben 43 mindestens einen in der Leitlinie zitierten Artikel in früheren Arbeiten zitiert. Die Spannweite reicht von einer Person mit einem einzigen Artikel hin zu einer Person, die 188 der in der Leitlinie zitierten Referenzen bereits in Artikeln vor 2017 zitiert hat. (Der Mittelwert beträgt 46 Referenzen pro Person). Diese Zahlen können ein Indiz dafür sein, dass die zitierten Artikel nicht nur aufgrund ihrer Qualität und ihrer Sichtbarkeit Eingang in die Leitlinien finden, sondern aus dem Grund, dass sie den beteiligten Personen aus früheren Studien bekannt sind, in denen zu ähnlichen Themen geforscht wurde und zwangsläufig dieselbe Literatur zitiert wurde. Zugleich zeigen diese Ergebnisse, dass die Arbeit an Leitlinien eine systematische Literaturrecherche erfordert, bei der möglichst viele existierende Studien ausgewertet werden. Dabei finden auch Publikationen Eingang, die in früheren Arbeiten der Leitlinien-Autor*innen unentdeckt blieben oder als nicht zitierenswert erachtet wurden.

4 Diskussion

Um möglichst verschiedene Muster bei der in Leitlinien referenzierten Literatur aufzeigen zu können, haben wir in dieser Fallstudie eine S2e- und eine S3-Leitlinie analysiert. S2e- und S3-Leitlinien unterscheiden sich hinsichtlich ihrer Entstehung und Qualität. Wie S3-Leitlinien erfordern auch S2e-Leitlinien eine systematische Recherche, Auswahl und Bewertung von wissenschaftlichen Studien, jedoch gibt es bei unterschiedlichen Auffassungen keine strukturierte Konsensfindung. S3-Leitlinien hingegen erfordern eine Literaturrecherche, die nach a priori festgelegten Kriterien erfolgt und die ausgewählte Evidenz wird hinsichtlich ihrer methodischen Qualität bewertet. Die Kommission ist im Hinblick auf die beteiligten Berufsgruppen und der Zielpopulation (z. B. Patient*innen/Bevölkerung) repräsentativ besetzt und in einer strukturierten Konsensfindung werden Empfehlungsgrade festgelegt. S3-Leitlinien sind am verlässlichsten, aber auch aufwendig in ihrer Erarbeitung. Daher war es interessant zu untersuchen, ob sich die verschiedenen Leitlinien-Arten hinsichtlich der Zahl der Referenzen, der Zitationszahl der Referenzen, des Alters der Referenzen und der Bekanntheit der Referenzen unter den Leitlinien-Autor*innen unterscheiden.

Im Hinblick auf die Referenzenmenge gibt es weitere Unterschiede: so weist die S2e-Leitlinie 147 Referenzen auf, wohingegen die S3-Leitlinie 702 Referenzen hat. Gründe für die deutlich längere Referenzliste der S3-Leitlinie wurden oben genannt und umfassen, u. a. das länger bekannte Krankheitsbild, mehr vorhandene Literatur zu dem Thema und die breitere Abhandlung der Krankheit in der Leitlinie. Die Auswertung hat gezeigt, dass die Zeitspanne der zitierten Referenzen in der S2e-Leitlinie mit 32 Jahren kürzer ist als in der S3-Leitlinie mit 52 Jahren. Die Unterschiede hinsichtlich des durchschnittlichen Alters der referenzierten Literatur sind jedoch mit etwas mehr (S3-Leitlinie) bzw. etwas weniger (S2e-Leitlinie) als 10 Jahren (Median) marginal.

Eine weitere Ursache für die vielen Referenzen und deren breitere Streuung über Impact und Jahre im Falle der S3-Leitlinie könnte in der größeren Zahl der beteiligten Personen liegen. Fast 70 % der zitierten Literatur in der S3-Leitlinie ist mindestens einer Person aus der Leitliniengruppe bekannt gewesen, da diese in früheren Arbeiten zitiert wurde. Durch eine große Leitliniengruppe können Artikel in die erarbeitete Leitlinie einfließen, die bei einer systematischen Recherche unentdeckt blieben. Dies würde eine Erklärung dafür liefern, weshalb auch weniger hoch-gerankte Artikel in Leitlinien Eingang finden. Die Autor*innen einer Leitliniengruppe sind schließlich Expert*innen in ihrem Fach und vertrauen eben nicht nur auf eine systematische Literatursuche, sondern stützen sich auf ihr früheres Wissen zu der behandelten Thematik.

Ein wesentlicher Befund unserer Studie ist, dass Artikel, die in den untersuchten Leitlinien zitiert werden, signifikant höhere Zitationszahlen aufweisen als andere Publikationen gleicher Zeitschriften und Jahrgänge. Das durchschnittliche Perzentil beträgt für die S2e-Leitlinie 80,4 % und für die S3-Leitlinie 74,4 %. Somit decken sich unsere Ergebnisse mit der Studie von Thelwall und Maflahi (2016), die gezeigt haben, dass Leitlinien-Referenzen höhere mittlere Zitationszahlen aufweisen als vergleichbare Artikel, die im selben Jahr, in derselben Zeitschrift und in derselben Ausgabe veröffentlicht wurden. Laut Thelwall und Maflahi (2016) werden die in den Leitlinien zitierten Referenzen ohnehin höher zitiert als vergleichbare Artikel, sodass eine zusätzliche Betrachtung ihres Leitlinien-Impacts sich erübrigt und diese Leitlinien-Referenzen nicht durch ein gesondertes Maß noch jenseits ihrer hohen Zitationszahlen belohnt werden sollten. Dies gilt jedoch nicht für neu erschienene Artikel, die aufgrund ihrer kurzen Sichtbarkeit weniger Zitationen akkumulieren können als ältere Artikel.

Anhand der untersuchten Leitlinien zeigt sich jedoch auch, dass es Referenzen gibt, die zwar wenig zitiert wurden, aber dennoch relevant für die klinische Praxis sind. Solange es sich nicht ausschließlich um Selbstzitationen der Leitlinien-Autor*innen handelt, sollten auch unterdurchschnittlich oft zitierte Artikel in der Forschungsevaluation eine entsprechende Anerkennung erhalten.

Eine mögliche Honorierung dieser Artikel könnte durch die Einbeziehung des sogenannten Leitlinien-Impact-Faktors von Zeitschriften in die Evaluation medizinischer Fakultäten erfolgen. Zeitschriften, die in Leitlinien zitiert werden, würden gemäß ihrer Zitationshäufigkeit einen entsprechenden Impact-Wert (analog zum JIF) erhalten. Somit würden Artikel, die in Zeitschriften erscheinen und einen Leitlinien-Impact-Faktor aufweisen, eine Anerkennung bekommen, die komplementär zu der Anerkennung auf Basis von Zitierungen in Fachzeitschriften wäre.

Zusammenfassend lässt sich festhalten, dass unsere Studie erste wichtige Erkenntnisse darüber liefert, welche Charakteristika die in Leitlinien referenzierte Literatur innehat. Während in dieser kleinen Studie nur eine S2e- und eine S3-Leitlinie ausgewertet wurden, könnte eine umfangreichere Analyse einen besseren Einblick in die Muster der Referenzen hinsichtlich ihrer Anzahl, ihres Alters und ihrer Bekanntheit unter den Leitlinien*Autorinnen aus früheren Arbeiten liefern. Eine Folgestudie mit mehr untersuchten Leitlinien könnte eine größere Aussagekraft besitzen, ob Referenzen in Leitlinien im Durchschnitt häufiger zitiert werden als vergleichbare Artikel desselben Jahrgangs und derselben Zeitschrift.