Inleiding

Kwaliteitsmeting van het medisch vervolgonderwijs in Nederland is een belangrijk onderdeel van de modernisering van de medisch specialistische opleidingen. Het Centraal College Medische Specialismen (CCMS) stelde vast dat de kwaliteit van een zorgopleiding in belangrijke mate wordt bepaald door het heersende opleidingsklimaat. Onder het begrip ‘opleidingsklimaat’ worden de randvoorwaarden verstaan waarbinnen een opleiding tot stand kan komen en blijven met een zo groot mogelijk rendement voor de individuele arts in opleiding tot specialist (aios).1 Deze randvoorwaarden worden geschapen door concrete opleidingsactiviteiten enerzijds en een sfeer van openheid en integriteit anderzijds.2

Informatie over de kwaliteit van het medisch vervolgonderwijs kan ondermeer verkregen worden met gevalideerde toetsinstrumenten zoals Postgraduate Hospital Educational Environment Measure (PHEEM) en Clinical Teaching Effectiveness Instrument (CTEI)).3-4 Toetsinstrumenten kunnen een onderdeel gaan vormen van de te ontwikkelen kwaliteitsindicatoren, welke weer een rol spelen bij de verdeling van opleidingsplaatsen en de marktwerking tussen de zorg op lei din gen.5 Kwaliteitsindicatoren dragen bij aan de bevordering van het goed en doelmatig opleiden in de gezondheidszorg.2

Evaluatie van de opleiding door aios is verplicht vanuit de richtlijnen van de Medisch Specialistische Registratie Commissie (MSRC).6 Sinds 1985 wordt binnen de Onderwijs- en Opleidingsregio Noord- en Oost-Nederland (OOR-NO) de kwaliteit van de opleiding Obstetrie & Gynaecologie jaarlijks geëvalueerd. Tijdens deze jaarlijkse evaluatie worden de positieve punten benoemd en de knelpunten in openheid besproken, met als doel de kwaliteit van de opleiding te bewaken en te verbeteren. Op de jaarlijkse evaluatiedag zijn alle aios en opleiders die werkzaam zijn in de OOR-NO (Universitair Medisch Centrum Groningen, Martini ziekenhuis Groningen, Medisch Centrum Leeuwarden, Isala klinieken Zwolle en het Deventer ziekenhuis) aanwezig. In de opzet is deze jaarlijkse evaluatie uniek omdat zij volledig wordt georganiseerd en gepresenteerd door de aios. Hierdoor is de drempel tot rapportage laag en dat bevordert het continue proces van kwaliteitsbewaking en -verbetering.

In dit artikel bespreken we de opzet van de jaarlijkse evaluatiedag binnen de vervolgopleiding tot gynaecoloog in de OOR-NO, de ervaringen die er in de loop van de jaren mee zijn opgedaan en de ontwikkelingen die hebben plaatsgevonden. Wij beperken ons tot globale data omdat ze onder de voorwaarde van vertrouwelijkheid zijn verkregen.

De ‘traditionele’ Groningse vragenlijst

Tot 2005 bestond de jaarlijkse evaluatie uit een door de aios zelf ontwikkelde, niet gevalideerde lijst met open vragen. Deze lijst werd in de maand vóór de evaluatiedag ingevuld door alle aios, werkzaam binnen een kliniek of onderafdeling (zie box 1). De antwoorden werden tijdens een aios-vergadering door de aios-vertegenwoordigers verzameld, samengevat en voorzien van zowel positieve punten als verbeterpunten. Tijdens de evaluatiedag presenteerden de aiosvertegenwoordigers de uitkomsten en deze werden besproken in een levendige discussie tussen aios en opleiders, onder leiding van een aios als discussieleider. Per ziekenhuis werden de besproken punten samengevat en genotuleerd in een eindrapport. Een voordeel van deze methode is dat er geen beperking is aan de reikwijdte van de antwoorden. Een nadeel is dat de open opzet het moeilijker maakt afdelingen en ziekenhuizen onderling en in de tijd te vergelijken. Hierdoor ontstaat het risico dat lacunes in kwaliteit niet duidelijk zichtbaar worden en de verbetering stagneert.

HOOGtemeter

De modernisering van het curriculum voor de opleiding tot gynaecoloog is in 2005 van start gegaan met de Herziening Opleiding Obstetrie & Gynaecologie (HOOG).7 In het curriculum HOOG wordt beschreven aan welke eisen de opleiding moet voldoen met betrekking tot te behalen competenties, structuur, opleidingsmethodiek en -activiteiten en leer- en toetsingsinstrumenten. Om de vorderingen van de invoering van het nieuwe curriculum te volgen ontwikkelden wij de ‘HOOGtemeter’. Dit is een niet gevalideerd toetsingsinstrument dat meet in welke frequentie gebruik wordt gemaakt van de gestructureerde feedbackinstrumenten, zoals de Korte Praktijk Beoordelingen (KPB), de Objective Structured Assessment of Technical Skills (OSATS) en de 360 graden beoordeling, en dat het gebruik van simulatietraining en het portfolio vastlegt (zie Box 2). Om in te schatten hoe ver de klinieken zijn met het werken met bekwaamheidsnivo's werd gevraagd of vijfdejaars aios geautoriseerd waren om bepaalde verrichtingen zelfstandig uit te voeren. We hebben de vragenlijst niet alleen voorgelegd aan de aios-vertegenwoordigers Obstetrie & Gynaecologie van de ziekenhuizen binnen ons cluster maar ter vergelijking ook aan de aios van zes van de zeven andere universitaire klinieken in Nederland.

Uit de HOOGtemeter bleek dat in de OOR-NO het nieuwe curriculum in 2005 nog in de kinderschoenen stond. Dit beeld kwam overeen met de situatie in de opleidingsklinieken in de rest van het land. In slechts één van de klinieken binnen het cluster werd aandacht besteed aan het portfolio. Van de drie feedbackinstrumenten werd in één kliniek alleen de KPB gebruikt.

De HOOGtemeter bleek een bruikbaar instrument om de invoering van de nieuwe opleidingsinstrumenten in kaart te brengen en te vervolgen en is daarom als aanvulling op de jaarlijkse evaluatie zinvol gebleken.

Om de kwaliteit van de opleiding beter te evalueren ontstond er echter behoefte aan een meetinstrument met een meer wetenschappelijke achtergrond. Gezocht werd naar een meetinstrument dat zowel valide als reproduceerbare resultaten zou geven, zodat ook over langere tijd zowel binnen één kliniek als tussen de opleidingsklinieken onderling ontwikkelingen zichtbaar gemaakt konden worden. Hieronder beschrijven we twee instrumenten waarmee ervaring is opgedaan binnen de OOR-NO.

Postgraduate Hospital Educational Environment Measure (PHEEM)

De PHEEM werd in Engeland ontwikkeld om het opleidingsklimaat binnen de opleiding tot basisarts te meten.3 De vragenlijst is gevalideerd binnen de opleiding tot basisarts en tevens toegepast om het opleidingsklimaat binnen een medische vervolgopleiding te meten. De lijst bestaat uit 40 vragen, onderverdeeld in drie domeinen: autonomie, onderwijs en sociale steun. Iedere vraag wordt beantwoord op een vijfpuntsschaal (1–5). Het totale aantal punten is een indicatie voor het opleidingsklimaat.

Wij gebruikten een Nederlandse vertaling van de PHEEM, die op wetenschappelijk verantwoorde wijze werd toegepast.8 Via een digitaal enquêtesysteem werd de vragenlijst in 2007 en 2008 verstuurd aan alle aios en artsen niet in opleiding tot specialist (anios) Obstetrie & Gynaecologie in de OOR-NO. De verzending en verwerking van de vragenlijsten werd verzorgd door een onafhankelijk onderwijsinstituut. De resultaten werden anoniem verwerkt tot een score per opleidingskliniek.

In 2007 is de PHEEM verstuurd naar 34 aios en 14 anios, in 2008 naar 29 aios en 22 anios. De respons was 88% in 2007 (91% van de aios en 79% van de anios) en 76% in 2008 (93% van de aios en 55% van de anios). Het rekenkundig gemiddelde over alle klinieken bedroeg in 2007 3.63 (SD 0.58) en in 2008 3.84 (SD 0.55).

Een voordeel van het gebruik van de PHEEM is dat iedere aios persoonlijk wordt gevraagd naar zijn of haar mening. De PHEEM leverde echter slechts een gemiddeld beeld op van het opleidingsklimaat in een kliniek; uitschieters (zowel positief als negatief) bleven onopgemerkt. Positieve punten, zoals bijvoorbeeld het kunnen vervolgen van eigen patiënten, en knelpunten, zoals bijvoorbeeld het oneigenlijk gebruik van een pieper, die wel door middel van de traditionele Groningse vragenlijst naar voren kwamen, werden met de PHEEM niet opgemerkt. Mogelijk zou evaluatie per deelgebied (Obstetrie of Gynaecologie) in een Universitair Medisch Centrum (UMC) een beter beeld hebben gegeven dan een gemiddelde score van een hele kliniek. Het betrouwbaar meten van het opleidingsklimaat bleek niet mogelijk omdat hiervoor tenminste 11 respondenten per kliniek nodig zijn. Aan deze voorwaarde werd binnen de OOR-NO in slechts twee van de vijf klinieken voldaan. Bovendien kan het opleidingsklimaat niet in de drie domeinen worden onderverdeeld, maar dient ze als geheel te worden beoordeeld.8 Tot slot is het discutabel of sommige vragen in de PHEEM, zoals bijvoorbeeld over de aanwezigheid van adequate maaltijdvoorziening, wel relevant zijn voor de kwaliteit van de opleiding.

Het doel, kwaliteitsverbetering van de opleiding door de vergelijking van het opleidingsklimaat longitudinaal en tussen de klinieken onderling, bleek hiermee dus niet mogelijk.

Clinical Teaching Effectiveness Instrument (CTEI)

De CTEI is een lijst van 15 vragen, bedoeld om de didactische vaardigheden van supervisoren te beoordelen.4 Oorspronkelijk was het belangrijkste doel het normatief beoordelen van opleiders en afdelingen om data te verzamelen voor functioneringsgesprekken. Uit onderzoek blijkt dat met de CTEI het effect van goede supervisie op het leerproces niet gemeten wordt.9

In het Deventer ziekenhuis is de CTEI gebruikt binnen de afdelingen Chirurgie en Gynaecologie.10 De vragenlijst werd hiervoor vertaald, aangepast en uitgebreid met enkele open vragen. De belangrijkste aanpassing bestond eruit dat de antwoorden op de vragen werden samengevat door twee aios, waarna ze werden besproken met de betreffende supervisor. Een belangrijk voordeel van dit instrument met directe persoonlijke feedback was, dat de supervisoren zich bewust werden van hun sterke en zwakke punten. In sommige gevallen werd daarna een duidelijke verandering in gedrag waargenomen. Het nadeel van de methode was dat deze zeer arbeidsintensief is. Ook is de drempel om te beginnen hoog. Angst aan de kant van de supervisoren voor een gebrek aan vertrouwelijkheid of gebruik van de informatie voor andere doeleinden dan individuele feedback, speelt daarbij een rol. Ook de afhankelijkheidsrelatie van de aios ten opzichte van de supervisor/opleider en de situatie van ‘de omgekeerde wereld’ worden genoemd.

Door het vertrouwelijke karakter van de uitkomsten is deze wijze van evaluatie en directe feedback minder geschikt om klinieken onderling te vergelijken of resultaten plenair te bespreken. De aangepaste versie van de CTEI is inmiddels wel ingevoerd in diverse klinieken in de OOR-NO om intern de kwaliteit van de opleiders te meten en te verbeteren.

Discussie

Er is toenemend aandacht voor kwaliteitsbeoordeling en -verbetering van de medisch specialistische vervolgopleidingen, zowel in Nederland als daarbuiten. De opleiding Obstetrie & Gynaecologie van de OOR-NO wordt al lange tijd jaarlijks door de aios beoordeeld. Met name de gezamenlijke discussie met de opleiders over de interpretatie van de gegevens en het zoeken naar oplossingen voor de gevonden knelpunten is een cruciale stap in het proces naar daadwerkelijke verbetering. Het integreren van gevalideerde vragenlijsten heeft vooralsnog niet geleid tot een verbetering ten opzichte van de ‘traditionele’ Groningse vragenlijst.

Turnbull et al. vergeleken drie vormen van kwaliteitsevaluatie: 1) een vijf-jaarlijkse evaluatie door een onafhankelijke groep specialisten aan de hand van vragenlijsten en interviews met de artsen in opleiding, 2) een jaarlijkse elektronische vragenlijst met open en gesloten vragen en 3) een systeem van geregelde bezoeken aan de opleidingsklinieken door vertegenwoordigers van het opleidingscluster met interviews van artsen in opleiding en supervisoren.11 De auteurs concludeerden dat een combinatie van deze vormen de voorkeur heeft: een lokaal georganiseerd regelmatig terugkerend visitatiesysteem, ondersteund met een elektronische, liefst nationaal gestandaardiseerde vragenlijst met daarnaast een vijf-jaarlijks onafhankelijk oordeel van buitenstaanders. Onze ervaringen sluiten hierbij aan, met als belangrijk verschil dat bij de door ons uitgevoerde jaarlijkse evaluatie de aios de initiatiefnemers zijn. Hierdoor zijn de aios meer betrokken bij en medeverantwoordelijk voor de kwaliteit van de opleiding. Een jaarlijkse bijeenkomst met alle opleiders en aios is goed voor het ‘wij-gevoel’. Wij willen daarbij benadrukken dat de evaluatie in een veilige omgeving dient plaats te vinden, waarbij de gehele groep het gevoel moet hebben dat er naar elkaar geluisterd wordt.

Het spreekt voor zich dat het uitvoeren van een jaarlijkse evaluatie niet garant staat voor een ideaal opleidingsklimaat. Belangrijke aandachtspunten zijn:

  • hoe te zorgen dat de gesignaleerde verbeterpunten ook daadwerkelijk worden aangepakt,

  • hoe de (soms tijdrovende) evaluaties geïmplementeerd kunnen worden in de dagelijkse praktijk,

  • hoe te komen tot een kwaliteitsbepaling die ook door de jaren heen en met andere klinieken vergeleken kan worden.

Mede door de oprichting van het opleidingsfonds betreft de huidige aandacht voor kwaliteit vooral summatieve oftewel normatieve aspecten.5 Onze vorm van evalueren is echter formatief, of ontwikkelingsgericht. Deze kwaliteitsbeoordeling is daarom niet zomaar te gebruiken als instrument om marktwerking te bevorderen. De projectgroep kwaliteitsindicatoren van het College voor de Beroepen en Opleidingen in de Gezondheidszorg (CBOG) heeft ondertussen alle aios aangeschreven en gevraagd de Dutch - Residents' Educational Climate Test (DRECT) in te vullen. Dit is een nieuwe in Nederland ontwikkelde vragenlijst die het opleidingsklimaat meet zoals de aios dat ervaart.

Kwaliteitsmeting en -verbetering van de opleiding tot medisch specialist door middel van een jaarlijkse evaluatie is zinvol. We verwachten dat onze ervaring een stimulans is voor andere opleidingsziekenhuizen en specialismen naar de kwaliteit van hun opleiding te kijken en daarmee zal bijdragen aan een verbetering van de opleiding tot medisch specialist. Meer onderzoek naar effectiviteit van kwaliteitsmeting en -verbetering in de medische vervolgopleiding blijft nodig.