Bewertung von Qualitätsindikatoren für die Notaufnahme

Erstmalige Anwendung eines modifizierten QUALIFY-Ansatzes mit nachfolgender interprofessioneller Expertendiskussion

Assessment of quality indicators for emergency departments

First results using a modified QUALIFY approach with subsequent interprofessional expert discussion

Zusammenfassung

Hintergrund

In deutschen Notaufnahmen werden aktuell etwa 22 Mio. Patienten pro Jahr behandelt, ohne dass eine strukturierte Qualitätssicherung oder ein Qualitätsmanagement anhand nationaler Qualitätsindikatoren existiert. Ziel der vorliegenden Arbeit ist die Beschreibung der Ergebnisse einer erstmaligen standardisierten Bewertung von international etablierten Qualitätsindikatoren, welche potenziell in deutschen Notaufnahmen Anwendung finden könnten.

Material und Methoden

Ausgehend von einer Literaturrecherche wurde eine Auswahl von 35 potenziellen Qualitätsindikatoren zu verschiedenen Prozessen einer Notaufnahme zunächst standardisiert mittels QUALIFY bewertet und in einem zweiten Durchgang interprofessionell diskutiert. Hierzu wurde eine 14-köpfige Arbeitsgruppe gebildet. Die Auswertung und Ergebnisdarstellung erfolgte für beide Bewertungsmethoden mittels deskriptiver Statistik und Ergebniszusammenfassung. Der Vergleich beider Methoden wurde im Sinne einer Paralleltestübereinstimmung mittels Cronbach’s α ermittelt. Die Ergebnisse wurden zusätzlich in einem Indikatorregister angegeben.

Ergebnisse

Bei 20 von 35 Qualitätsindikatoren wurden überwiegend Stärken in den zu bewertenden QUALIFY-Kriterien gesehen. Bei 11 Qualitätsindikatoren sah die Arbeitsgruppe Schwächen im Rahmen der Anwendung in deutschen Notaufnahmen. Die Ergebnisse der anonymen QUALIFY-Methode und diejenigen der offenen Diskussion waren zu 89 % kongruent (Cronbach’s α = 0,865). Durch die offene Diskussion wurden 46 % (16/35) der betrachteten Qualitätsindikatoren zusätzlich präzisiert und 20 % (7/35) wesentlich modifiziert.

Schlussfolgerung

QUALIFY erlaubt eine schnelle und strukturierte Bewertung potenzieller Qualitätsindikatoren für Notaufnahmen aus publizierten Versorgungsleitlinien bzw. einer Literaturrecherche und vermeidet einen Bias durch Beeinflussung der Experten untereinander. Die offene Diskussion ist zwar zeitaufwändiger, liefert als Ergebnis jedoch klar definierte und ausformulierte Kennzahlen für ein Indikatorregister. Dabei zeigen beide Methoden einen hohen Grad an Übereinstimmung. Vor der Implementierung der bewerteten Qualitätsindikatoren in standardisierte Qualitätssicherungsprogramme steht ihre wissenschaftliche Evaluation anhand nationaler Daten aus Notaufnahmen aus.

Abstract

Background

Approximately 22 million patients are treated annually in German emergency departments (ED). However, few quality indicators have been evaluated for use in EDs in Germany. Here we describe for the first time the assessment of a panel of internationally established quality indicators and their value for German EDs by using the standardised QUALIFY method, followed by an open, interprofessional discussion.

Materials and methods

Based on a systematic literature review 35 potentially eligible quality indicators were chosen. First, their strengths and limitations were evaluated using the QUALIFY method by a group of 14 experts. In a second step, the same experts discussed the potential indicators in an open discussion round. Descriptive statistics were performed to report the results of the QUALIFY process and the results of the open discussion. Both approaches were compared by calculating Cronbach’s α. The results were reported in a standardised quality indicator registry.

Results

The interprofessional working group of experts rated 20 of 35 international published quality indicators being of value for the use in German EDs; 11 indicators were rated less valuable for reasons of e. g. potentially adverse effects or problems regarding the implementation process. The results of the anonymous and standardised QUALIFY process matched the results of the open discussion in 89 % (Cronbach’s α = 0.865). A relevant modification of 20 % (7/35) and a precise definition of 16 of the 35 quality indicators were additional results of the discussion process.

Conclusion

The QUALIFY method allows for rapid and structured identification of the potential of published indicators without the bias of mutual influence of the expert group members. Although more time consuming, the open discussion process produces additional results like precise and well phrased quality indicators for the specific setting. The two methods show a high grade of congruence. It is important to state that the reported quality indicators need to be evaluated for their validity, specificity, discrimination capability etc. before they are used in benchmarking projects.

Einführung

Krankenhäuser sind laut §135a SGB V zur einrichtungsinternen und -übergreifenden Qualitätssicherung verpflichtet. Qualitätsindikatoren werden eingesetzt, um Teilaspekte der medizinischen Versorgung zu messen, darzustellen und zu bewerten. Sie dienen im medizinischen Qualitätsmanagement als Steuerungsinstrumente für Strukturen, Prozesse und Ergebnisse der Versorgung [2, 28]. Kennzahlen sind wichtig zum erfolgreichen Betrieb einer Notaufnahme. Im Gegensatz zu Qualitätsindikatoren verbessert ihre Anwendung jedoch nicht zwingend die Patientenversorgung [28].

Das Institut für Qualitätssicherung und Transparenz im Gesundheitswesen (IQTIG) wird vom Gemeinsamen Bundesausschuss (G-BA) zur Entwicklung von Qualitätsindikatoren beauftragt (§137a SGB V). Für den großen Bereich der Notfallmedizin ist dies bisher noch nicht umgesetzt. Vermutlich deshalb werden in deutschen Notaufnahmen, je nach lokalen Gegebenheiten und Möglichkeiten, die verschiedensten Qualitätsindikatoren und Kennzahlen zur Analyse der eigenen Leistungen verwendet. Diese reichen von einfachen deskriptiven Fallzahldarstellungen bis hin zu detaillierten Untersuchungen bezüglich einzelner Tracerdiagnosen [1, 28].

Demgegenüber existieren im internationalen Umfeld diverse Vorschläge und teilweise verbindliche Vorgaben zum Einsatz von speziellen Qualitätsindikatoren. In einer Vorarbeit wurden von Hörster et al. in einer systematischen Literaturrecherche 170 international publizierte Indikatoren für die klinische Akut- und Notfallmedizin identifiziert [19]. Für diese 170 Qualitätsindikatoren waren jedoch überwiegend keine Gütekriterien der Indikatoren publiziert, sodass vor der Einführung in Deutschland eine Gütebewertung notwendig wurde.

Zur Bewertung von Indikatoren existieren mehrere Methoden [14, 27]: Vom Institut für Qualität und Patientensicherheit (BQS-Institut) wurde mit QUALIFY ein durchgängig operationalisiertes Instrument zur Bewertung von Qualitätsindikatoren entwickelt, dessen Kriterien in Tab. 1 dargestellt sind.

Tab. 1 Zusammenfassung der zu bewertenden Kernaussagen von Qualitätsindikatoren in der QUALIFY-Methode. (Nach Reiter et al. [27])

Zielsetzung

  1. 1.

    Primäres Ziel der Arbeit war es, die erste Anwendung des QUALIFY-Bewertungsinstruments bei der Bewertung von Indikatoren für die (zentrale) Notaufnahme zu analysieren und dabei Stärken und Limitationen des Verfahrens im Vergleich zu einer offenen Diskussion herauszuarbeiten.

  2. 2.

    Sekundäres Ziel war die Publikation eines Ergebnisprotokolls mit den inhaltlichen Ergebnissen dieses Bewertungsprozesses als Indikatorregister.

Material und Methodik

Auswahl der Indikatoren

Grundlage der Auswahl bildete eine systematische Literaturrecherche von Hörster et al. [19]. Die dort identifizierten 170 Indikatoren wurden zunächst in einem Indikatorregister erfasst und verschiedenen Prozessen der Notaufnahme zugeordnet. Erweitert wurde das Indikatorregister um 3 weitere Kennzahlen aufgrund von Expertenvorschlägen. Jeweils mindestens ein Qualitätsindikator pro Prozess wurde für die weitere Betrachtung exemplarisch ausgewählt. Der Bereich „Pädiatrische Patientenversorgung“ mit 5 möglichen Kennzahlen wurde ausgeschlossen.

Bewertungsmethoden der Indikatoren

Die Indikatoren wurden im Rahmen eines mehrstufigen Prozesses durch ein Expertengremium beurteilt. Zur Anwendung kamen hierbei

  • QUALIFY: anonymes, standardisiertes Bewertungsinstrument für Qualitätsindikatoren von Reiter et al. ([27]; Zusammenfassung s. Tab. 1),

  • DISKUSSION: offene Gruppendiskussion im Anschluss an QUALIFY.

Aufstellung der Arbeitsgruppe

Die Suche nach Teilnehmern wurde auf Fachkongressen und gegenüber dem Präsidium der DGINA (Deutsche Gesellschaft Interdisziplinäre Notfall- und Akutmedizin e. V.) und der DIVI (Deutsche Interdisziplinäre Vereinigung für Intensiv und Notfallmedizin) in den Jahren 2014/2015 kommuniziert. Ziel war es, mindestens einen Teilnehmer mit Expertise in den Bereichen Anästhesie, Chirurgie, Innere Medizin und Neurologie zu gewinnen, die gleichzeitig langjährige Erfahrung in Notaufnahmen gesammelt haben. Weiterhin sollten Experten aus dem nichtärztlichen Bereich (Pflege) sowie Vertreter der Patientensicht, Biometriker und Epidemiologen in den Prozess involviert werden (s. ESM 1).

Ablauf des Bewertungsprozesses

Jeder Teilnehmer wurde über den Ablauf informiert und erhielt rechtzeitig die notwendigen Unterlagen. Soweit möglich, wurde die Korrespondenz via E‑Mail-Dokumentenverteiler durchgeführt. In Abb. 1 wird der Ablauf beschrieben.

Abb. 1
figure1

Ablauf des Bewertungsprozesses (QI Qualitätsindikator)

Ablauf und Auswertung QUALIFY

Vor dem Arbeitsgruppentreffen QUALIFY erfolgte zunächst eine Schulung. Im Anschluss wurden für jeden der 35 Qualitätsindikatoren jeweils alle QUALIFY-Kategorien direkt nacheinander bewertet. Diese Bewertung erfolgte durch die einzelnen Mitglieder des Expertenpanels aufgrund ihrer jeweils eigenen Erfahrung (Expertenmeinung) auf einem anonymisierten Fragebogen mittels vierstufiger Likert-Skala [27]:

  • 1 = „trifft nicht zu“,

  • 2 = „trifft eher nicht zu“,

  • 3 = „trifft eher zu“,

  • 4 = „trifft zu“,

  • Leerwert = „Enthaltung“.

Im Rahmen der Auswertung erfolgte zunächst eine Vollständigkeitsüberprüfung der Antworten. Lagen keine Enthaltungen vor, erfolgte eine Klassifizierung der einzelnen QUALIFY-Kriterien eines Qualitätsindikators hinsichtlich

  • ZiK: „Zustimmung im Konsens“ (alle Bewertungen „trifft zu“ oder „trifft eher zu“),

  • BiK: „Bedenken im Konsens“ (alle Bewertungen „trifft nicht zu“ oder „trifft eher nicht zu“).

Danach wurden die Mittelwerte der Einzelantworten der QUALIFY-Kriterien berechnet. Da es sich bei der vierstufigen Likert-Skala um ordinal skalierte Werte handelt, dient die Angabe des auf eine Dezimalstelle gerundeten Mittelwerts lediglich zur Verdeutlichung geringer Unterschiede in der Bewertung. Ergänzend zu den Auswertungsvorschriften von Reiter et al. [2, 27] erfolgte zusammenfassend eine qualitative Globalbewertung des Indikators in Gänze anhand seiner individuell ermittelten Stärken und Schwächen:

  • 1 = STÄRKEN ÜBERWIEGEN,

  • 2 = STÄRKEN MIT PUNKTUELLEN SCHWÄCHEN,

  • 3 = SCHWÄCHEN MIT PUNKTUELLEN STÄRKEN,

  • 4 = SCHWÄCHEN ÜBERWIEGEN.

Ablauf und Auswertung DISKUSSION

Alle Mitglieder der Arbeitsgruppe kommentierten die Qualitätsindikatoren in einem E‑Mail-Verfahren. Parallel wurden die Kommentare an die Arbeitsgruppe zurückgespiegelt. Auf dem anschließenden Präsenztreffen wurde eine offene Diskussion mit der Möglichkeit, Änderungsvorschläge einzubringen, geführt. Zum Ende der Diskussion jedes einzelnen Qualitätsindikators wurde ein qualitatives Statement der Gruppe konsentiert:

  • 1 = PRÄZISIERUNG (P.): Stärken überwiegen nach Festlegung eindeutiger Definitionen für die zu bewertenden Merkmale des Indikators.

  • 2 = MODIFIKATION (M.): Stärken überwiegen nach inhaltlicher Modifikation und Definition des ursprünglichen Indikators.

  • 3 = BEDENKEN (B.): Schwächen überwiegen, sodass Bedenken bei der Verwendung des Indikators in einer Notaufnahme als Qualitätsindikator bestehen. Es kann kein Konsens für eine Modifikation gefunden werden, sodass der Indikator nicht weiter operationalisiert wird.

Methodenvergleich

Die Ergebnisse der abschließenden Bewertung durch QUALIFY und DISKUSSION wurden einer Gegenüberstellung mittels Kreuztabelle unterzogen. Im Sinne einer Paralleltest-Reliabilität wurden diese Ergebnisse zur Bestimmung der internen Konsistenz mittels Cronbachs α [9, 41] verglichen. Grafiken, Tabellen und statistische Auswertung wurden mit Microsoft Office 2016 für OS X (Microsoft Corp., Redmond, WA, USA) sowie IBM SPSS Statistics Version 23 (IBM Corp., Armonk, NY, USA) erstellt.

Ergebnisdarstellung

Im Rahmen des Methodenvergleichs wurden Inhalte und Ergebnisse der Bewertung der Indikatoren bezüglich ihrer möglichen Eignung als Qualitätsindikator für die (zentrale) Notaufnahme im Sinne eines Ergebnisprotokolls sowie der Publikation eines Indikatorregisters vorgenommen.

Ergebnisse

Ein Mitglied der Arbeitsgruppe konnte nicht am anonymen QUALIFY-Prozess teilnehmen, ein anderes Mitglied war am Termin der offenen DISKUSSION verhindert. Alle Mitglieder beteiligten sich an der Kommentarsammlung via E‑Mail sowie an der abschließenden Ergebniszusammenfassung.

Vergleich der Bewertungsmethoden

Ergebnisse QUALIFY

Die Einführung in die QUALIFY-Methode benötigte 1 Stunde. Im Rahmen der 6‑stündigen Bewertung konnte die QUALIFY-Kategorie „Wissenschaftlichkeit“ (Tab. 1) wegen fehlender Datengrundlage bis auf die Kategorie W2 („Klarheit der Definition“) nicht bewertet werden. Insgesamt enthielten sich die 13 anwesenden Rater in 282 von 5915 möglichen Bewertungen (5 %). Von diesen Enthaltungen entfielen 123 auf das QUALIFY-Kriterium „P5: Erhebungsaufwand“. Die Enthaltungen auf die restlichen Kriterien verteilten sich gleichmäßig (s. ESM 2). Fehlerhafte/ungültige Bewertungen wurden nicht abgegeben.

Die Arbeitsgruppe erzielte bei der Bewertung der 35 Qualitätsindikatoren in 120 von 455 bewerteten Einzelkriterien (je 13 QUALIFY-Kriterien bei 35 Indikatoren) primär einen Konsens im Sinne einer Zustimmung/Stärke (ZiK). Zusätzlich wurde zweimal Konsens im Sinne einer Schwäche (BiK) festgestellt. Im Mittel wurde bei 3,5 von 13 QUALIFY-Kategorien (Spannweite 0–11) im ersten Durchgang ein Konsens erreicht. Mit 11-mal Konsens (ZiK) stach der Indikator (ID_149: „Zeitdauer von Erstkontakt bis Durchführung CCT bei Patienten die ein CCT erhalten haben“) hervor. Alle QUALIFY-Kategorien wurden weiterhin über die Angabe des Mittelwerts der Rater-Angaben ausgewertet. Die einzelnen QUALIFY-Kriterien unterschieden sich sowohl im Mittelwert als auch in der Häufigkeit eines primären Konsenses (Abb. 2). In Tab. 2 sind die Ergebnisse der anonymen QUALIFY-Bewertung zusammengefasst. Die zusätzlich durchgeführte qualitative Globalbewertung der Indikatoren bezüglich ihrer Eignung als Qualitätsindikatoren ergab in:

  • 34 % (12/35) STÄRKEN ÜBERWIEGEN (St. ü.),

  • 26 % (9/35) STÄRKEN MIT PUNKTUELLEN SCHWÄCHEN (St. m. p. Schw.),

  • 29 % (10/35) SCHWÄCHEN MIT PUNKTUELLEN STÄRKEN (Schw. m. p. St.),

  • 11 % (4/35): SCHWÄCHEN ÜBERWIEGEN (Schw. ü.).

Der vollständige Inhalt der Tabelle 2, inklusive aller Bewertungen aus dem QUALIFY Prozesses sowie den Ergebnissen der offenen DISKUSSION sind in ESM 3 wiedergegeben.

Abb. 2
figure2

Durchschnittliche Bewertung der 13 untersuchten QUALIFY-Kriterien ([27]; (Tab. 1). Balkendiagramm der prozentualen Häufigkeit, wie oft ein primärer Konsens bezüglich einer Stärke (ZiK) bzw. Schwäche (BiK) erzielt wurde (rechte Abszisse). Weiterhin wird der Mittelwert ♦ des betrachteten QUALIFY-Kriteriums für alle 35 Qualitätsindikatoren angegeben (linke Abszisse: 1 = trifft nicht zu; 2 = trifft überwiegend nicht zu; 3 = trifft überwiegend zu; 4 = trifft vollständig zu)

Tab. 2 Zusammenfassung der Ergebnisse aus QUALIFY und der offenen DISKUSSION. Angegeben ist der Prozess, dem der Indikator in der Versorgung zugeordnet wurde, sowie seine ursprüngliche ins Deutsche übersetzte Formulierung. Eine vollständige Darstellung ist online zu finden

Ergebnisse der offenen DISKUSSION

Vom 18.11.2015 bis 13.3.2016 wurden 424 Kommentare und Anmerkungen zu den Indikatoren eingereicht (Mittelwert MW = 12,1 Anmerkungen pro Qualitätsindikator/Spannweite = 4–28). Diese wurden gesammelt und an die Arbeitsgruppe zurück gespiegelt. Im 8‑stündigen Arbeitstreffen DISKUSSION wurden alle Qualitätsindikatoren erneut ergebnisoffen diskutiert. Hierbei wurden

  • 46 % (16/35) der Indikatoren bezüglich Definitionen der Merkmale präzisiert und eine Empfehlung zur Anwendung als Qualitätsindikator ausgesprochen (PRÄZISIERUNG),

  • 20 % (7/35) der Indikatoren nach inhaltlicher Modifikation eine Empfehlung zur Anwendung als Qualitätsindikator ausgesprochen (MODIFIKATION),

  • 34 % (12/35) der Indikatoren wegen Schwächen für die allgemeine Anwendung als Qualitätsindikator nicht weiter operationalisiert (BEDENKEN).

Zusätzlich wurden Definitionen zur einheitlichen Verwendung der Qualitätsindikatoren erarbeitet. Sie sind zusammen mit dem vollständigen Indikatorregister als elektronisches Supplement 2 verfügbar.

Zusammenfassung des Methodenvergleichs

Von den 35 ausgewählten Indikatoren hat die Arbeitsgruppe 21 im QUALIFY-Prozess überwiegend mit Zustimmung bewertet (STÄRKEN ÜBERWIEGEN oder STÄRKEN MIT PUNKTUELLEN SCHWÄCHEN). 23 Indikatoren wurden in der DISKUSSION mit PRÄZISIERUNG oder MODIFIKATION bewertet. Hier sah die Arbeitsgruppe nach der Überarbeitung ein hohes Potenzial zur Anwendung in deutschen Notaufnahmen. Eine Aufschlüsselung der Schnittmenge beider Verfahren ist in Tab. 3 dargestellt: Die fett hinterlegten Bereiche zeigen kongruente Ergebnisse beider Verfahren mit der Aussprache der Empfehlung, den Indikator anzuwenden (20/35). In fett-kursiv hinterlegten Bereichen ergab sowohl die Bewertung nach QUALIFY mehrheitlich Schwächen und auch die DISKUSSION sah keine Möglichkeit, die Kennzahl generell für deutsche Notaufnahmen als Qualitätsindikator zu empfehlen (11/35). Unklar ist der Status in den kursiv hinterlegten Feldern der Matrix mit insgesamt 4 Kennzahlen. Kongruente Ergebnisse im positiven Sinn wie auch im Sinne einer Feststellung relevanter Schwächen hatten die beiden Methoden bei 89 % (31/35) der Qualitätsindikatoren (Cronbachs α = 0,865).

Tab. 3 Vergleich der Endbewertung des anonymen QUALIFY-Prozesses mit der offenen DISKUSSION

Ergebnisprotokoll der Indikatorbewertung

Sekundäres Ziel der Arbeit war die Publikation der Inhalte der fachlichen Beurteilung der untersuchten Indikatoren bezüglich ihrer Eignung als Qualitätsindikator für die (zentrale) Notaufnahme. In Tab. 2 ist dies im Sinne eines Ergebnisprotokolls sowohl für QUALIFY als auch für die offene DISKUSSION zusammengefasst. In Abb. 3a–c wird beispielhaft je ein Indikator aus dem ebenfalls erarbeiteten Indikatorregister gezeigt. Das vollständige Indikatorregister ist aufgrund seines Umfangs separat als ESM 2 zu diesem Beitrag publiziert.

Abb. 3
figure3

a Indikator mit übereinstimmend festgestellten Stärken aus dem QUALIFY-Prozess sowie der offenen DISKUSSION (QUALIFY-Kriterien s. Tab. 1). b Indikator mit übereinstimmend festgestellten Schwächen aus dem QUALIFY-Prozess sowie der offenen DISKUSSION (QUALIFY-Kriterien s. Tab. 1). c Beispiel eines Indikators mit diametraler Bewertung der Stärken und Schwächen im QUALIFY-Prozess und der offenen DISKUSSION (GPCL German Presenting Complaint List; deutsche Übersetzung der CEDIS-PCL [4, 6, 16]; QUALIFY-Kriterien s. Tab. 1). BiK Bedenken im Konsens, MW Mittelwert, ZiK Zustimmung im Konsens im Rahmen des QUALIFY Prozess

Diskussion

Die vorgelegte Arbeit vergleicht erstmals zwei unterschiedliche Methoden zur Beurteilung von Qualitätsindikatoren für die Notaufnahme bezüglich ihrer jeweiligen Stärken, Limitationen sowie der Übereinstimmung ihrer Resultate. Eine besondere Stärke der Studie besteht in der interdisziplinären und -professionellen Zusammensetzung der Arbeitsgruppe.

Ergebnisse des Bewertungsprozesses

Die Basis der Bewertung bildet eine Auswahl von 35 Indikatoren. Ein möglicher Publikationsbias bei der Erstellung des zugrunde liegenden Indikatorregisters, wie er u. a. durch fehlende Publikation bei Studien mit negativem Ausgang vorkommt (z. B. die Nullhypothese stützend), ist auch hier anzunehmen [11, 19, 43]. Für die Interpretation dieser Auswertung ist das weder für die primäre Fragestellung (Methodenvergleich) noch für das sekundäre Studienziel (Ergebnisse der Indikatorbewertung) relevant, da nur eine exemplarische Auswahl bewertet wurde.

Da es sich um bereits publizierte Qualitätsindikatoren handelt, ist es bemerkenswert, dass die Arbeitsgruppe lediglich 20 von 35 Qualitätsindikatoren mit Zustimmung bewertete und bei 11 der 35 Indikatoren für die Anwendung in deutschen Notaufnahmen überwiegende Schwächen bzw. Bedenken sah.

Die Maßgaben von Reiter et al./BQS [27] und dem Ärztlichen Zentrum für Qualität in der Medizin (ÄZQ) [2], wie die Einschätzungen der Rater zu interpretieren sind, führten dazu, dass lediglich bei 27 % der QUALIFY-Bewertungen ein primärer Konsens entstanden ist (Abb. 2). Dies könnte durch die mit 14 Teilnehmern große Expertenrunde erklärt werden. Die ungleiche Verteilung sowohl von primärem Konsens (ZiK) als auch der danach berechneten Mittelwerte sehen wir ebenfalls als Folge der verschiedenen fachlichen Hintergründe der Gruppenmitglieder. Trotzdem sieht die Arbeitsgruppe es nicht als sinnvoll an, eine umfassende Bewertung von Qualitätsindikatoren für deutsche Notaufnahmen mit weniger Vertretern durchzuführen. Gerade für die zweite Methode, die offene Diskussion, wird die Größe und Zusammensetzung der Expertenrunde als Stärke empfunden.

Vergleich der Bewertungsmethoden

Vergleicht man die beiden Bewertungsmethoden mit der Zielsetzung, geeignete Qualitätsindikatoren für die Notaufnahmen zu identifizieren, kann festgestellt werden, dass mit Hilfe der QUALIFY-Methode nahezu alle Indikatoren identifiziert wurden, die im Rahmen der DISKUSSION positiv bewertet wurden (Tab. 3). Allerdings wurden während der offenen DISKUSSION drei Indikatoren, die im QUALIFY mit SCHWÄCHEN MIT PUNKTUELLEN STÄRKEN bzw. SCHWÄCHEN ÜBERWIEGEN bewertet wurden, inhaltlich modifiziert bzw. präzisiert, um damit eine anwendbare Empfehlung zu erhalten.

Eine gegenseitige Beeinflussung der Meinungsbildung konnte durch die anonyme Bewertung im QUALIFY ausgeschlossen werden. Innerhalb einer überschaubaren Zeit wurden ähnlich viele geeignete Qualitätsindikatoren ermittelt (21/35). Demgegenüber wurden 23 Qualitätsindikatoren in einem zeitlich längeren Prozess durch die E‑Mail-Debatte und der anschließend geführten offenen Diskussion als generell anwendbar identifiziert. Im Gegensatz zur strukturierten QUALIFY-Methode wurden im Rahmen der offenen DISKUSSION jedoch zusätzlich die publizierten und oft nicht eindeutig definierten Qualitätsindikatoren in 16 Fällen bezüglich Ein-/Ausschlusskriterien, Berechnung von Zeitfenstern etc. präzisiert. In 7 Fällen wurden die Indikatoren zusätzlich inhaltlich modifiziert (Tab. 2 und ESM 2).

Übertragbarkeit

Wesentlich für die Übertragbarkeit der Ergebnisse ist die Schulung aller Teilnehmer im QUALIFY-Prozess. Es wird angenommen, dass die gewählte Zusammensetzung der Arbeitsgruppe einerseits ausreichend interdisziplinär und interprofessionell und andererseits noch nicht zu groß war. Lediglich das Fehlen von Gesundheitsökonomen wurde kritisiert. Da andere Gruppenzusammensetzungen zu anderen Interpretationen und Bewertungen führen könnten, halten es die Autoren für wichtig, zu jedem bewerteten Indikator auch die Zusammensetzung der Arbeitsgruppe und Maßzahlen der Bewertung (z. B. Verteilung von primär erreichtem Konsens/Mittelwerten/Stimmenthaltungen) anzugeben.

Limitationen

Die vorliegende Studie vergleicht Vor- und Nachteile der offenen Diskussion mit einer standardisierten Bewertung von Qualitätsindikatoren für die Notaufnahme. Hierbei wird ausschließlich die von Reiter et al. publizierte QUALIFY-Methode in einer erweiterten und modifizierten Form verwendet; andere Methoden wurden nicht betrachtet [5, 8, 14]. Auch ist zu vermuten, dass eine andere Zusammensetzung der Expertengruppe zu anderen Ergebnissen bei beiden Methoden führen könnte.

Einschränkend muss auch betont werden, dass die QUALIFY-Methode ursprünglich keine abschließende Bewertung des Qualitätsindikators per se vorsah. Ziel von QUALIFY war vielmehr, Stärken und Schwächen in mehreren Kriterien der drei Kategorien Relevanz (R1–R3), Wissenschaftlichkeit (W1–W8) und Praktikabilität (P1–P9) zu ermitteln. So ist die Bewertung des Qualitätsindikators im Ganzen im Rahmen dieser Arbeit lediglich als Hinweis für eine gute Anwendbarkeit zu verstehen. Hierbei handelt es sich um eine Modifikation des ursprünglichen QUALIFY-Verfahrens.

Gerade die Interpretation der QUALIFY-Bewertungen erfordert große Umsicht: Unklar bleibt, ob ein primärer Konsens (ZiK/BiK) stärker zu bewerten ist als die sekundär berechneten Mittelwerte. So erlangte der Indikator „Behandlung Schwerstverletzter im Schockraum“ (ID_102) trotz übereinstimmend positiver Bewertung seiner Stärken in nahezu allen QUALIFY-Kriterien in keinem Bereich einen primären Konsens. Andererseits kann es passieren, dass selbst ein sehr hoher Wert der Einzelbeurteilung (z. B. alle abgegebenen Bewertungen „trifft zu“) nicht mit „primärem Konsens (ZiK)“ bewertet wird, falls nur ein Rater (Teilnehmer) kein Votum abgibt (z. B. Kriterium P8 bei „Massentransfusionsprotokoll verfügbar“ [ID_040] oder „Thromboseprophylaxe bei Traumapatienten“ [ID_020]), ein Umstand, der bei 31 der 455 Bewertungen zum Tragen kam. Weiterhin fehlt eine quantitative Bewertungsvorschrift, ab wann eine Kennzahl als Qualitätsindikator geeignet ist. Die globalen Bewertungen der vorliegenden Zusammenfassungen (Tab. 2 und 3 und ESM 2) sind daher als qualitative Schlussfolgerungen im Sinne eines Best-Practice-Ansatzes zu verstehen.

Abschließend muss bezüglich der Interpretation beider Methoden festgestellt werden, dass es gute Gründe geben kann, dass Indikatoren wie beispielsweise „Anteil weiterverlegter Patienten“ (ID_025), welche in beiden Methoden mehrheitlich mit Schwächen bezüglich der Anwendung als Qualitätsindikator bewertet wurden, in der individuellen Klinik durchaus sinnvoll als Kennzahlen angewendet werden können. Ein kritisches Votum schließt die Verwendung in keinem Fall aus.

Dies gilt v. a., da bisher zu keinem Qualitätsindikator wesentliche wissenschaftliche Aspekte aufgrund fehlender nationaler Datengrundlage vorliegen. Sobald diese Echtdaten vorhanden sind, muss eine erneute Bewertung, insbesondere der Messeigenschaften der Indikatoren sowie der Praktikabilität erfolgen. Bis dahin ist das vorgestellte Indikatorregister (ESM 2) als vorläufig anzusehen.

In dieselbe Richtung zielt der Aspekt, dass die hier betrachteten 35 Indikatoren keinen umfassenden Blick auf die Qualität einer (zentralen) Notaufnahme an sich erlauben. Die aus einer systematischen Literaturrecherche gezogene Auswahl von 35 Indikatoren beleuchtet zwar viele Prozesse (Tab. 2) einer Notaufnahme punktuell, jedoch bleiben weiterhin „blinde Flecken“, die es zu schließen gilt [2].

Ausblick

Wie in den Limitationen erläutert, müssen Qualitätsindikatoren kontinuierlich weiterentwickelt und an den aktuellen Stand der medizinischen Versorgung angepasst werden [1]. Zur kontinuierlichen Entwicklung des Notaufnahme-Indikatorregisters schlagen die Autoren die Fortführung der begonnenen Arbeit vor. Als mögliche Quellen dienen:

  • weitere international bereits erfolgreich angewendete Qualitätsindikatoren [19],

  • national angewendete Qualitätsindikatoren aus anderen Bereichen der medizinischen Versorgung (z. B. Qualitätsindikatoren-Thesaurus des GKV-Spitzenverbandes, QUINTH) [34],

  • evidenzbasierte Leitlinien [25, 32] sowie

  • v. a. interdisziplinär/-professionell neu entwickelte und an die Besonderheiten nationaler Notaufnahmen angepasste Qualitätsindikatoren [22].

Bezüglich der Identifikation potenzieller Kandidaten muss diskutiert werden, ob zukünftig ein sequenzielles Vorgehen vorteilhaft wäre: zunächst Durchführung eines standardisierten Screenings möglicher Indikatoren (z. B. mittels QUALIFY), um dann in einem zweiten Schritt die erfolgversprechenden Kennzahlen mittels offener DISKUSSION weiter zu operationalisieren. Allerdings muss bedacht werden, dass bei diesem Vorgehen 9 % (3/35) der Indikatoren aus unserer Studie übersehen worden wären.

Kliniken werden weiterhin aufgefordert, diejenigen Indikatoren mit Priorität in der Praxis zu erproben, die sowohl in der Bewertung nach QUALIFY als auch in der offenen DISKUSSION positiv bewertet wurden (Tab. 2 und ESM 2). Spezielles Augenmerk sollte dabei auf ihre Wissenschaftlichkeit gelegt werden. Hierzu gehören u. a. die Festlegung von Referenzbereichen, Risikoadjustierungen sowie eine geeignete Ergebnisdarstellung [5, 33]. Zur Verstetigung dieser Vorhaben strebt die Arbeitsgruppe eine internationale Erweiterung um Mitglieder aus Österreichischen und Schweizer Notaufnahmen an.

Fazit

Anhand einer Auswahl international publizierter Qualitätsindikatoren für die Notaufnahme wurden zwei Bewertungsmethoden miteinander verglichen. Die standardisierte, anonyme Bewertung nach QUALIFY erlaubt die schnelle Identifikation der Stärken und Schwächen potenzieller Qualitätsindikatoren. Die offene DISKUSSION ist weniger strukturiert, schlechter reproduzierbar und zeitaufwändiger. Letztendlich ist sie aber zielführender, da sie nicht nur potenzielle Qualitätsindikatoren identifiziert, sondern als Ergebnis ausformulierte, eindeutig definierte und operationalisierbare Indikatoren liefert. Dabei haben beide Methoden mit 89 % einen hohen Grad an Übereinstimmung. Zukünftige Arbeitsgruppen sollten sich überlegen, potenzielle Indikatoren zunächst mit einem standardisierten Verfahren (z. B. QUALIFY) zu screenen, um dann positiv bewertete mittels ausführlicher Diskussion zu präzisieren. Alle im Rahmen dieses Methodenvergleichs erarbeiteten Qualitätsindikatoren stehen über ein Indikatorregister mit Beschreibung ihrer spezifischen Stärken, aber auch ihrer Schwächen zur Verfügung. Vor der Implementierung der hier bewerteten Qualitätsindikatoren in verpflichtenden Qualitätssicherungsprogrammen steht ihre wissenschaftliche Evaluation anhand von Daten deutscher Notaufnahmen aus.

Literatur

  1. 1.

    AQUA – Institut für angewandte Qualitätsförderung und Forschung im Gesundheitswesen GmbH (2015) Allgemeine Methoden im Rahmen der sektorenübergreifenden Qualitätssicherung im Gesundheitswesen nach §137a SGB V Version 4.0. https://sqg.de/sqg/upload/CONTENT/Hintergrund/Methodenpapier/AQUA-Methodenpapier-4.0.pdf. Zugegriffen: 9.112016

    Google Scholar 

  2. 2.

    Ärztliches Zentrum für Qualität in der Medizin (2009) Qualitätsindikatoren – Manual für Autoren. In: Programm für Nationale Versorgungsleitlinien von BÄK, KBV und AWMF. ÄZQ, Berlin

    Google Scholar 

  3. 3.

    Auburtin M, Wolff M, Charpentier J et al (2006) Detrimental role of delayed antibiotic administration and penicillin-nonsusceptible strains in adult intensive care unit patients with pneumococcal meningitis: the PNEUMOREA prospective multicenter study. Crit Care Med 34:2758–2765

    CAS  Article  PubMed  Google Scholar 

  4. 4.

    Brammen D, Greiner F, Dormann H et al (2016) Comparing like with like – lessons learned from adapting the CEDIS Presenting Complaint List for German emergency personnel. Eur J Emerg Med (Publikation in Vorbereitung)

  5. 5.

    Campbell SM, Kontopantelis E, Hannon K et al (2011) Framework and indicator testing protocol for developing and piloting quality indicators for the UK quality and outcomes framework. BMC Fam Pract 12:85

    Article  PubMed  PubMed Central  Google Scholar 

  6. 6.

    Canadian Association of Emergency Physicians (CAEP), Canadian Institute for Health Information (CIHI) (2012) Canadian Emergency Department Information System (CEDIS) Presenting Complaint List (V2.0). http://caep.ca/resources/ctas/cedis. Zugegriffen: 6. September 2016

    Google Scholar 

  7. 7.

    Casalino E, Choquet C, Bernard J et al (2013) Predictive variables of an emergency department quality and performance indicator: a 1‑year prospective, observational, cohort study evaluating hospital and emergency census variables and emergency department time interval measurements. Emerg Med J 30:638–645

    Article  PubMed  Google Scholar 

  8. 8.

    Center for Health Policy/Center for Primary Care, Outcomes Research & Battelle Memorial Institute (2011) Quality indicator measure development, implementation, maintenance, and retirement (prepared by Battelle, under contract no. 290-04-0020). Agency for Healthcare Research and Quality, Rockville

    Google Scholar 

  9. 9.

    Cronbach LJ, Warrington WG (1951) Time-limit tests: estimating their reliability and degree of speeding. Psychometrika 16:167–188

    CAS  Article  PubMed  Google Scholar 

  10. 10.

    Department of Health (2010) A&E clinical quality indicators. Department of Health. http://webarchive.nationalarchives.gov.uk/20130107105354/http://www.dh.gov.uk/prod_consum_dh/groups/dh_digitalassets/@dh/@en/@ps/documents/digitalasset/dh_122892.pdf. Zugegriffen: 20. Februar 2016

    Google Scholar 

  11. 11.

    Dreier M, Borutta B, Stahmeyer J et al (2010) Vergleich von Bewertungsinstrumenten für die Studienqualität von Primär- und Sekundärstudien zur Verwendung für HTA-Berichte im deutschsprachigen Sektorenübergreifende Qualitätssicherung Allgemeine Methoden. Deutsches Institut für Medizinische Dokumentation und Information (DIMDI), Köln

    Google Scholar 

  12. 12.

    Easton R, Sisak K, Balogh ZJ (2012) Time to computed tomography scanning for major trauma patients: the Australian reality. ANZ J Surg 82:644–647

    Article  PubMed  Google Scholar 

  13. 13.

    Ekelund U, Kurland L, Eklund F et al (2011) Patient throughput times and inflow patterns in Swedish emergency departments. A basis for ANSWER, a National Swedish Emergency Registry. Scand J Trauma Resusc Emerg Med 19:37

    Article  PubMed  PubMed Central  Google Scholar 

  14. 14.

    Fitch K, Bernstein SJ, Aguilar MD et al (2001) The RAND/UCLA appropriateness method user’s manual. Rand Publishing, Santa Monica

    Google Scholar 

  15. 15.

    Glance LG, Dick AW, Mukamel DB et al (2012) Association between trauma quality indicators and outcomes for injured patients. Arch Surg 147:308–315

    Article  PubMed  Google Scholar 

  16. 16.

    Grafstein E, Bullard MJ, Warren DK (2008) Revision of the Canadian Emergency Department Information System (CEDIS) presenting complaint list version 1.1. CJEM 10:151–173

    Article  PubMed  Google Scholar 

  17. 17.

    Gräsner JT, Messelken M, Scholz J et al (2006) Das Reanimationsregister der DGAI. Anästh Intensivmed 47:630–631

    Google Scholar 

  18. 18.

    Heyworth J (2011) Emergency medicine-quality indicators: the United Kingdom perspective. Acad Emerg Med 18:1239–1241

    Article  PubMed  Google Scholar 

  19. 19.

    Hörster A, Kulla M, Brammen D et al (2016) Potential for the survey of quality indicators based on a national emergency registry. Med Klin Intensivmed Notfmed. doi:10.1007/s00063-016-0180-x

    PubMed  Google Scholar 

  20. 20.

    Jones P, Harper A, Wells S et al (2012) Selection and validation of quality indicators for the shorter stays in emergency departments national research project. Emerg Med Australas 24:303–312

    Article  PubMed  Google Scholar 

  21. 21.

    Koster-Rasmussen R, Korshin A, Meyer CN (2008) Antibiotic treatment delay and outcome in acute bacterial meningitis. J Infect 57:449–454

    Article  PubMed  Google Scholar 

  22. 22.

    Kulla M, Brammen D, Greiner F et al (2016) The development of a national data set, quality indicators and an emergency department registry by the DIVI. DIVI 7:12–20

    Google Scholar 

  23. 23.

    McClelland MS, Jones K, Siegel B et al (2012) A field test of time-based emergency department quality measures. Ann Emerg Med 59:1–10.e2

    Article  PubMed  Google Scholar 

  24. 24.

    Moore L, Stelfox HT, Boutin A et al (2013) Trauma center performance indicators for nonfatal outcomes: a scoping review of the literature. J Trauma Acute Care Surg 74:1331–1343

    Article  PubMed  Google Scholar 

  25. 25.

    Nothacker M, Stokes T, Shaw B et al (2016) Reporting standards for guideline-based performance measures. Implement Sci 11:6

    Article  PubMed  PubMed Central  Google Scholar 

  26. 26.

    Proulx N, Frechette D, Toye B et al (2005) Delays in the administration of antibiotics are associated with mortality from adult acute bacterial meningitis. QJM 98:291–298

    CAS  Article  PubMed  Google Scholar 

  27. 27.

    Reiter A, Fischer B, Kötting J et al (2008) QUALIFY: Ein Instrument zur Bewertung von Qualitätsindikatoren. Z Ärztl Fortbild Qual Gesundheitswes 101:683–688

    Google Scholar 

  28. 28.

    Ries M, Christ M (2015) Quality management in emergency departments: lack of uniform standards for fact-based controlling. Med Klin Intensivmed Notfmed 110:589–596

    CAS  Article  PubMed  Google Scholar 

  29. 29.

    Santana MJ, Stelfox HT (2012) Quality indicators used by trauma centers for performance measurement. J Trauma Acute Care Surg 72:1298–1302 (discussion 1303)

    Article  PubMed  Google Scholar 

  30. 30.

    Santana MJ, Stelfox HT, Trauma Quality Indicator Consensus Panel (2014) Development and evaluation of evidence-informed quality indicators for adult injury care. Ann Surg 259:186–192

    Article  PubMed  Google Scholar 

  31. 31.

    Sauser K, Burke JF, Reeves MJ et al (2014) A systematic review and critical appraisal of quality measures for the emergency care of acute ischemic stroke. Ann Emerg Med 64:235–244.e5

    Article  PubMed  Google Scholar 

  32. 32.

    Schmitt J, Petzold T, Deckert S et al (2014) Recommendations for quality indicators in german s3 guidelines: a critical appraisal. Gesundheitswesen 76:819–826

    CAS  Article  PubMed  Google Scholar 

  33. 33.

    Schmitt J, Petzold T, Eberlein-Gonska M et al (2013) Requirements for quality indicators. The relevance of current developments in outcomes research for quality management. Gesundheitswesen 107:516–522

    Google Scholar 

  34. 34.

    Schubert J, Haas A, Leber W (2011) Quinth – Der Qualitätsindikatoren – Thesaurus des GKV-Spitzenverbands. Gesundheitswesen 105:480–483

    Google Scholar 

  35. 35.

    Schull MJ, Guttmann A, Leaver CA et al (2011) Prioritizing performance measurement for emergency department care: consensus on evidence-based quality of care indicators. CJEM 13:300–309 (E328–343)

    Article  PubMed  Google Scholar 

  36. 36.

    Schull MJ, Hatcher CM, Guttmann A et al (2010) Development of a consensus on evidence-based quality of care indicators for Canadian emergency departments. ICES investigative report. Institute for Clinical Evaluative Sciences, Toronto (http://caep.ca/sites/caep.ca/files/caep/files/national_ed_quality_indicators-10mar2010.pdf)

    Google Scholar 

  37. 37.

    Scottish Trauma Audit Group (STAG) (2013) STAG trauma quality indicators V3.0. http://www.stag.scot.nhs.uk/Trauma/Quality_Indicators_V3.2.pdf. Zugegriffen: 9.11.2016

    Google Scholar 

  38. 38.

    Sorup CM, Jacobsen P, Forberg JL (2013) Evaluation of emergency department performance – a systematic review on recommended performance and quality-in-care measures. Scand J Trauma Resusc Emerg Med 21:62

    Article  PubMed  PubMed Central  Google Scholar 

  39. 39.

    Stelfox HT, Straus SE, Nathens A et al (2011) Evidence for quality indicators to evaluate adult trauma care: a systematic review. Crit Care Med 39:846–859

    Article  PubMed  Google Scholar 

  40. 40.

    Stelfox HT, Straus SE, Nathens A et al (2012) Trauma center quality improvement programs in the United States, Canada, and Australasia. Ann Surg 256:163–169

    Article  PubMed  Google Scholar 

  41. 41.

    Tavakol M, Dennick R (2011) Making sense of Cronbach’s alpha. Int J Med Educ 2:53–55

    Article  PubMed  PubMed Central  Google Scholar 

  42. 42.

    The College of Emergency Medicin (CEM) (2011) Emergency department clinical quality indicators: a CEM guide to implementation. http://secure.rcem.ac.uk/code/document.asp?ID=5832. Zugegriffen: 9.11.2016

    Google Scholar 

  43. 43.

    Thornton A, Lee P (2000) Publication bias in meta-analysis: its causes and consequences. J Clin Epidemiol 53:207–216

    CAS  Article  PubMed  Google Scholar 

  44. 44.

    Trauma Audit & Research Network (TARN) (2010) Qualitty indicators for trauma outcome and performance. https://www.tarn.ac.uk/content/downloads/27/Quality%20Indicators_26-02-10.pdf. Zugegriffen: 20. Februar 2016

    Google Scholar 

Download references

Author information

Affiliations

Authors

Corresponding author

Correspondence to Dr. M. Kulla DESA.

Ethics declarations

Interessenkonflikt

Alle Autoren – mit Ausnahme von F. Greiner, A. Harth, M. Kulla, K. Rubak und R. Somasundaram – geben an, im Rahmen der Studie sonstige Zuwendungen (Erstattung von Reise- und Unterbringungskosten) von der Deutschen Interdisziplinären Vereinigung für Intensiv- und Notfallmedizin (DIVI) erhalten zu haben. D. Brammen und F. Greiner geben an, im Rahmen der Studie Fördermittel vom Bundesministerium für Bildung und Forschung (BMBF) erhalten zu haben (Förderkennzeichen [FKZ]: 01KX1319A, Nationales Notaufnahmeregister). H. Dormann gibt an, Vorstandsmitglied der Deutschen Gesellschaft interdisziplinäre Notfall- und Akutmedizin e.V. (DGINA) und Mitglied der Arzneimittelkommission der deutschen Ärzteschaft AkdÄ e.V. zu sein. A. Hörster und R. Lefering geben an, dass die Arbeit z. T. mit Fördermitteln des BMBF finanziert wurde (FKZ: 01KX1319D). M. Kulla gibt an, Fördermittel vom Bundesministerium der Verteidigung (FKZ 34K3-17 1515) und weitere Fördermittel vom BMBF außerhalb der eingereichten Arbeit erhalten zu haben. C. Wrede gibt an, Vorstandsmitglied der DGINA zu sein.

Dieser Beitrag beinhaltet keine von den Autoren durchgeführten Studien an Menschen oder Tieren.

Additional information

Diese Originalie ist Teil des Leitthemas.

Die Finanzierung des Beitrags für Open Access wurde von der Deutschen Interdisziplinären Vereinigung für Intensiv- und Notfallmedizin e.V. (DIVI) übernommen.

Redaktion

M. Baubin, Innsbruck

H. Dormann, Fürth

H. Marung, Kiel

Caption Electronic Supplementary Material

ESM 1 Mitglieder der Arbeitsgruppe in alphabetischer Reihenfolge.

10049_2016_236_MOESM2_ESM.pdf

ESM 2 Auszug aus dem Indikatorregister Notaufnahme mit Darstellung der wichtigsten Kenngrößen der untersuchten Qualitätsindikatoren.

10049_2016_236_MOESM3_ESM.docx

Zusammenfassung der Ergebnisse aus QUALIFY und der offenen DISKUSSION. Angegeben ist der Prozess, dem der Indikator in der Versorgung zugeordnet wurde sowie seine ursprüngliche ins Deutsche übersetzte Formulierung.

Rights and permissions

Open Access. Dieser Artikel wird unter der Creative Commons Namensnennung 4.0 International Lizenz (http://creativecommons.org/licenses/by/4.0/deed.de) veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.

Reprints and Permissions

About this article

Verify currency and authenticity via CrossMark

Cite this article

Kulla, M., Goertler, M., Somasundaram, R. et al. Bewertung von Qualitätsindikatoren für die Notaufnahme. Notfall Rettungsmed 19, 646–656 (2016). https://doi.org/10.1007/s10049-016-0236-8

Download citation

Schlüsselwörter

  • Notfallmedizin
  • Benchmarking
  • Register
  • QUALIFY-Methode
  • Methodik-Evaluation

Keywords

  • Emergency medicine
  • Benchmarking
  • Registries
  • QUALIFY method
  • Methods evaluation