De relatie tussen normen en oordelen in het toezicht op de gezondheidszorg

Samenvatting

In dit onderzoek hebben we de nauwkeurigheid van oordelen van inspecteurs van de Inspectie voor de Gezondheidszorg (IGZ) onderzocht. Het gaat om oordelen over vier criteria van verantwoorde zorg die gegeven zijn in toezichtsbezoeken in verpleeghuizen in 2005/2006. Deze bezoeken vonden plaats in het kader van het Gefaseerd Toezicht (GT). We hebben de onderbouwingen van 615 oordelen over de criteria “decubitus”, “voldoende hulp bij eten en drinken”, “permanent toezicht huiskamers” en “zorgzwaartemeting” geanalyseerd. Onderzocht is in hoeverre de argumenten uit de onderbouwingen van de oordelen overeenkomen met de normen uit het toezichtskader van de IGZ. Hierdoor kon worden nagegaan of de door de inspecteurs feitelijk gegeven oordelen overeenkomen met de oordelen die op basis van de aanwezige argumenten bij een strikte toepassing van de IGZ-normen gegeven hadden moeten worden. De nauwkeurigheid van de feitelijke oordelen zijn door twee onafhankelijke beoordelaars geanalyseerd. Het onderzoek laat zien dat er sprake is van een validiteitsprobleem: de betekenis van de feitelijke oordelen verschilt regelmatig. Bij de vier onderzochte criteria leidt dit tot 52% vals-positieve oordelen en 1% vals-negatieve oordelen. Er is geen verband tussen het percentage vals-positieve oordelen en het gemiddelde oordeel over de vier criteria. Vals-positieve oordelen komen voor bij zowel inspecteurs die lager dan gemiddeld oordelen, als bij inspecteurs die hoger dan gemiddeld oordelen. Het geven van een te positief oordeel vergeleken met de IGZ-norm, komt bij alle in het onderzoek betrokken inspecteurs voor en is daarmee een situatiegebonden kenmerk van deze inspecteurs. Het percentage vals-positieve oordelen is afhankelijk van het criterium dat wordt beoordeeld. Daarmee zijn vals-positieve oordelen ook afhankelijk van de kwaliteit van het gehanteerde instrument,

Abstract

The relation between the employment of standards and judgment in supervision on healthcare

Objective: To evaluate the validity of judgments given by inspectors working with risk based supervision for the Dutch Health Care Inspectorate. Design: Descriptive, qualitative, retrospective study. Method: A total of 615 foundations of arguments from 26 inspectors of the Dutch Healthcare inspectorate were collected from 182 supervision reports. These judgments were given to 4 criteria which were specified for nursing homes in 2005/2006: “pressure ulcers”, “adequate help during meals”, “permanent supervision in living rooms” and “registration of severity of care”. The precision of the foundations of arguments was analyzed by two independent observers. A comparison between those arguments and the conventions designed by the Dutch Health Care Inspectorate was made to determine whether the arguments correspond to those conventions. Results. Within the source of 615 foundations of arguments, 53% of the foundations were inaccurate. In 52% of the cases, the judgments inspectors gave were identified as false-positive and 1% as false-negative. No dependency has been found between the percentage of false-positive judgments and the average judgment of the inspector. The percentages of false-positive judgments differ between criteria. Conclusion: A problem in the validity of judgments has been demonstrated. Giving false-positive judgments is not a personal characteristic of an inspector: all inspectors show this type of behavior, even inspectors who were receiving training. The occurrence of false-positive judgments seems to depend on the criteria that are being evaluated. Therefore, giving false-positive judgments depends on the quality of the instrument.