Evaluatie van het onderdeel medisch handelen van de accreditering

Samenvatting

 

Van Doorn AL, Kirschner K, Bouma M, Burgers JS, Braspenning JCC, Grol RPTM. Evaluatie van het onderdeel medisch handelen van de accreditering. Vier klinimetrische criteria. Huisarts Wet 2010;53(3):141-6.

Doel

Het beschrijven van de validiteit en betrouwbaarheid van het onderdeel medisch handelen van het Visitatie Instrument Accreditatie (VIA).

Methode

Een observationeel onderzoek op basis van gegevens uit het medisch dossier van 82 praktijken.

Resultaten

De scores op de 7 onderwerpen met betrekking tot chronische aandoeningen, preventieactiviteiten en het antibioticabeleid vertoonden onderling weinig samenhang, waardoor we een redelijk breed beeld kunnen schetsen van het medisch handelen. De scores hadden per onderwerp voldoende samenhang, zodat we ze als 1 concept kunnen beschouwen. Voor het verkrijgen van een betrouwbare indicatorscore zijn gegevens van ten minste 96 patiënten nodig, bij een foutenmarge van 10%. Indien we een steekproef van 40 patiënten nemen, moeten we een foutenmarge van 15% accepteren. Voor het verkrijgen van een betrouwbare benchmark bleken 233 patiëntenpopulaties (c.q. praktijken) nodig te zijn, bij een foutenmarge van 5%.

Conclusie

Het onderdeel medisch handelen uit het VIA is geschikt om inzicht te krijgen in het eigen handelen in vergelijking met een landelijke benchmark, mits men rekening houdt met een redelijke foutenmarge. Voor het afleggen van verantwoording of het gebruik in een ‘pay-for-performance‘-programma willen we de foutenmarge verkleinen. Een steekproef van patiënten volstaat dan niet. We zullen telkens moeten zoeken naar een balans tussen haalbaarheid en rechtvaardigheid.

Abstract

 

Van Doorn AL, Kirschner K, Bouma M, Burgers JS, Braspenning JCC, Grol RPTM. Evaluation of clinical indicators. Four reliability and validity issues. Huisarts Wet 2010;53(3):141-6.

Aim

To describe four reliability and validity issues regarding the clinical indicators from the Visitation Instrument Accreditation (VIA). Based on this information practices needed to start improvement projects in order to get accreditation.

Method

An observational study based on the medical records of 82 practices

Results

The indicators that covered chronic disease management (diabetes, COPD, asthma and cardiovascular risk management), prevention activities (influenza vaccination, cervical cancer screening) and antibiotics policy were correlated weakly, suggesting that the instrument provided a rather broad scope of the practice when it comes to chronic disease management and prevention. Furthermore, the different topics were each measured by indicators that had a sufficient coherence, which suggested that they measured a clear underlying concept. To achieve a reliable indicator score, data from at least 96 patients were necessary when 10% error is allowed. VIA allows to take a sample of 40 patients, but in that case the error margin increases to 15%. To establish a reliable benchmark we needed 233 practices when 5% error is allowed.

Conclusion

The clinical indicators from VIA are reliable and valid and can be used by a general practice to gain insight into their own performance compared to others. For practice policy on quality improvement an error margin of 10-15% around the indicator score on practice level seems to be acceptable. In case of accountability or a pay-for-performance program we would be more comfortable with a smaller error margin. A sample of 40 patients wouldn’t do. However, it is again and again a search to find the balance between feasibility and justice.