Inleiding

Tot het moment van de opleidingsvernieuwing, die nu gaande is, vond de toetsing in de vervolgopleiding tot medisch specialist voornamelijk impliciet plaats.1 De arts in opleiding tot specialist (aios) kreeg, vooral als het functioneren te wensen overliet, wel feedback voor zover de opleider daar zicht op had maar er was geen sprake van systematische feedback, gericht op wat de aios wilde leren. De opleidingspraktijk beperkte zich tot de volledige inzet van aios in de bedrijfsvoering waaraan onderwijs ondergeschikt was. Binnen die context werd ook veel geleerd door de aios, alleen niet systematisch en nauwelijks gericht op de ‘leerbehoefte’.2 Tegenwoordig wordt het opleiden van aios om uiteenlopende redenen professioneler opgezet en uitgevoerd met stringente eisen voor alle vervolgopleidingen.3-4

Tot deze eisen behoren ook afspraken over de wijze van toetsing. In een competentiegerichte opleiding is toetsing gericht op feedback op basis van expliciete informatie over de bekwaamheid en de ontwikkeling van alle competenties. Voor het verkrijgen van deze expliciete informatie zijn verschillende toetsinstrumenten beschikbaar. De aios is verantwoordelijk voor het beschikbaar zijn van deze informatie. Op deze wijze kan het functioneren van de aios zichtbaar worden gemaakt. De bespreking van deze concrete informatie kan in het voortgangsgesprek leiden tot aanpassingen in het Persoonlijke Ontwikkelplan (POP) waardoor enige sturing in de opleiding van de aios mogelijk wordt.

Eén van de doelen van het In VIVO-project betreft de implementatie van toetsinstrumenten van de verenigingen voor Ob-stetrie & Gynaecologie en Kindergeneeskunde. Deze zijn vastgelegd in de opleidingsplannen ‘HOOG’ respectievelijk ‘GOED’. Het gaat hierbij om de door het Centraal College Medische Specialismen (CCMS) verplicht gestelde instrumenten zoals de ‘Korte Praktijk Beoordeling’ (KPB), een mengvorm van kennistoetsing, vaardigheidstoetsing en het portfolio. De 360 graden feedback is door beide verenigingen toegevoegd aan het verplichte toetsinstrumentarium en daarmee ook een implementatiedoel van In VIVO. De bespreking van het portfolio als verzamel-document van deze gegevens met de reflectie daarop, verwoord in het POP, vindt plaats in het voortgangsgesprek. De ‘producten’ van In VIVO en de in het implementatieproces opgedane ervaring zijn beschikbaar voor alle andere wetenschappelijke verenigingen die hiermee hun voordeel kunnen doen. Het In VIVO-project is dus een grootschalig landelijk (onderwijs)project dat uiteindelijk 5000 opleiders en 7000 aios betreft.

Er bestaat in Nederland meer ervaring met het invoeren van grootschalige veranderingen van competentiegericht onderwijs. Op dit moment wordt bijvoorbeeld een grootschalige verandering in het middelbaar beroepsonderwijs doorgevoerd die opleidingen competentiegericht moet maken en maar liefst een half miljoen leerlingen betreft.5 De implementatie van competentiegericht opleiden in andere sectoren van het middelbaar onderwijs heeft veel aandacht getrokken. Recentelijk heeft de commissie ‘Dijsselbloem’ echter in een uitvoerig rapport aangetoond dat die verandering op een aantal belangrijke onderdelen niet geslaagd is.6 Alhoewel In VIVO binnen een andere context plaatsvindt dan bovengenoemde veranderingen, zijn er duidelijke parallellen weer te geven in het implementatieproces. Dit betreft met name de bevorderende en belemmerende factoren bij implementatie van onderwijsvernieuwingen waarop teruggekomen zal worden bij de discussie.

Een landelijk In VIVO-projectteam (zie box 1) is voor bovengenoemde specialismen verantwoordelijk voor het stimuleren van de opleidingsvernieuwing in de diverse regio's. Gelet op de taakstelling van het landelijke In VIVO-projectteam is het van groot belang zicht te hebben op de voortgang van het implementatieproces, ondermeer op de implementatie en het gebruik van de toetsinstrumenten in de diverse regio's. In dit artikel wordt beschreven op welke wijze het landelijke projectteam het afgelopen jaar de informatie hierover heeft verzameld en tot welke uitkomsten dit heeft geleid. Tot slot volgen aanbevelingen voor het verdere verloop van de implementatie.

Methode

Op basis van regelmatige contacten met de regionale In VIVO-kernteams wordt het implementatieproces van de toetsinstru-menten vanuit het landelijke team gevolgd. Deze informatie-uitwisseling werd het afgelopen jaar geformaliseerd in de zogenaamde ‘resultaatbesprekingen’. Dit zijn besprekingen tussen het landelijke projectteam en vertegenwoordigers van de regionale kernteams en vinden plaats aan de hand van een gestructureerde vragenlijst, die voor de bespreking werd ingevuld. Hierin is een aantal vragen over toetsing opgenomen die gaan over het gebruik van het POP, de KPB, de ‘Objective Structured Assessment of Technical Skills’ (OSATS) en het portfolio. Voor Kindergeneeskunde werden nog een aantal vragen gesteld over het gebruik van themakaarten (een instrument dat inhoudelijke domeinen beschrijft en gebruikt kan worden voor de toetsing). Tevens werd met betrekking tot bovenstaande instrumenten gevraagd naar succes- en faalfactoren.

Naast deze besprekingen met de regionale kernteams werd eveneens in april 2008 een vragenlijst afgenomen bij de aios obstetrie/gynaecologie en de aios kindergeneeskunde. We wilden te weten komen wat er ‘echt’ op de werkvloer gebeurt. Deze vragenlijst bevatte vragen over de implementatie van toetsinstrumenten en is op enkele onderdelen na voor beide specialismen grotendeels gelijk. Voor Kindergeneeskunde zijn aparte vragen opgenomen over themakaarten (drie vragen) en voor Obstetrie & Gynaecologie over de OSATS (vier vragen). In totaal bevat de vragenlijst voor Kindergeneeskunde 49 vragen waarvan 38 over de toetsing. De vragenlijst voor Obstetrie & Gynaecologie bevat 52 vragen waarvan 41 over toetsing. De vragen hebben betrekking op toetsing in het algemeen, op het daadwerkelijke gebruik van toetsinstrumenten en op de ervaring van aios over bepaalde meetinstrumenten. De vragenlijst bestaat grotendeels uit een Likert vijfpuntsschaal (1 = geheel oneens / nooit en 5 = geheel eens / altijd) met additioneel een ‘niet van toepassing’ optie. Negen vragen binnen het toetsonderdeel moeten met ‘Ja’ of ‘Nee’ beantwoord worden. De vragenlijst voor de aios obstetrie/gynaecologie werd in maart 2007 afgenomen na afloop van een verplichte voortgangstoets. Voor de aios kindergeneeskunde werd de enquête op verschillende manieren aangeboden: via de post, uitgedeeld op een aios-onderwijsdag, of via internet. Ieder kernteam is door verschillende leden van het landelijke team op de hoogte gesteld van de resultaten van de eigen regio (OOR, cluster).

Resultaten

Eerst worden de resultaten van de ‘resultaatbesprekingen’ met de kernteams weergegeven voor het onderdeel toetsing. Alle kernteams hebben met het landelijke projectteam hun resultaten besproken. Het gebruik van de beoordelingsinstrumenten KPB, OSATS, POP, portfolio bleek afhankelijk van specialisme en ziekenhuis. In sommige ziekenhuizen binnen een cluster verloopt de implementatie van de diverse toetsinstrumenten sneller dan bij andere. Zo blijkt bijvoorbeeld dat het bestaan van korte lijnen tussen opleider en aios in de niet academische klinieken de snelheid van implementatie bevordert. Een algemeen gegeven is dat alle regio’s het gebruik van de KPB als erg nuttig ervaren en de implementatie van dat instrument lijkt dan ook het meest voortgeschreden. Uit de enquête bleek dat aios het moeilijk vinden een KPB aan te vragen omdat het voor een aantal feedbacks als bedreigend wordt ervaren. Ook opleiders zijn terughoudend in het gebruik van KPB’s omdat observatie en het geven van feedback vaak niet passen binnen de bedrijfsvoering op dat moment. Pas wanneer het observeren van aios wordt ingepland nemen opleider en aios tijd voor de toetsing. De OSATS werd in de Obstetrie & Gynaecologie al gebruikt en behoort binnen die context al tot de ‘standaard’-toets. Dit instrument past ook prima in de bedrijfsvoering omdat het tijdens operaties, die toch gepland staan, kan worden afgenomen.

De 360 graden feedback wordt in sommige clusters en binnen clusters in enkele ziekenhuizen uitgetest. Gerapporteerd wordt dat voortgangsgesprekken op basis van gegevens uit het portfolio meer gestructureerd verlopen dan vóór de introductie van het portfolio.

De implementatie van ‘themakaarten’ binnen Kindergeneeskunde, en daarmee het gebruik voor de toetsing, is nog niet goed van de grond gekomen, mede omdat binnen de Vereniging voor Kindergeneeskunde aanvullende richtlijnen voor het gebruik van themakaarten worden opgesteld.

Uit de gesprekken met de regionale kernteams zijn de succes- en faalfactoren over de implementatie naar voren gekomen. Een samenvatting van de genoemde factoren is te vinden in tabel 1.

Tabel 1 Belangrijke factoren bij de implementatie van toetsinstrumenten.
Full size table

De resultaten van een enquête van het landelijke projectteam die afgenomen is bij aios obstetrie/gynaecologie en aios kindergeneeskunde vormden de tweede informatiebron over de implementatievoortgang van de toetsinstrumenten. De respons op de vragenlijst bedroeg voor de aios obstetrie/gynaecologie 86% (n = 244) en voor de aios kindergeneeskunde 50% (n = 147). Aios van alle opleidingsjaren hebben aan de enquête deelgenomen. Het totale aantal aios dat per cluster heeft deelgenomen varieert van 36 tot 53, met een gemiddelde van 48 per cluster (opleidingsregio). Het is niet mogelijk op basis van deze enquête vergelijkingen te maken tussen ziekenhuizen binnen een cluster. Daarvoor zijn de aantallen te gering.

De enquête omvat resultaten van de perceptie van aios over het daadwerkelijke gebruik van toetsinstrumenten en de ervaring daarmee. De KPB lijkt het meest te worden ingezet voor het beoordelen van verrichtingen en het minst voor het geven van feedback op ‘slecht nieuws gesprekken’. Over alle regio’s heen wordt gemiddeld in een kwart van de gevallen minimaal één KPB per maand afgenomen. De aios geven aan dat zij gemiddeld in meer dan 60% van de gevallen het initiatief nemen. Veertig procent van de aios vraagt gemakkelijk om een KPB.

Idealiter worden voor iedere aios aan het begin van de te doorlopen stage, in overleg met de stagebegeleider, de persoonlijke leerdoelen vastgesteld. Halverwege de stage wordt besproken of de voortgang van de leerdoelen voldoende is; aan het eind van de stage vindt er een gesprek plaats tussen aios en supervisor om vast te stellen of de doelen gehaald zijn en welke leerdoelen eventueel voor een volgende stage dienen te worden geformuleerd.

Uit de data van de enquête blijkt dat in de meeste clusters het gesprek voor aanvang van de stage in een derde van de gevallen plaatsvindt; dit geldt eveneens voor het gesprek halverwege de stage. Het stage eindgesprek vindt gemiddeld in ruim 75% van de gevallen plaats. Bij het voortgangsgesprek wordt gemiddeld genomen in 75% van de gevallen het portfolio als onderlegger gebruikt. In de helft van de gevallen wordt het portfolio gebruikt bij het opstellen van een POP. Zestig procent van de aios geeft aan dat het portfolio inzicht geeft in de persoonlijke ontwikkeling. Tweederde van de aios vindt het bijhouden van het portfolio zinvol.

Voor wat betreft de verschillen tussen aios kindergeneeskunde en aios obste-trie/gynaecologie valt op te merken dat bij Kindergeneeskunde het POP systematisch meer gebruikt wordt (>70%) dan bij Obste-trie & Gynaecologie (>35%). Onduidelijk is wat de oorzaak is voor dit verschil. Het gebruik van de KPB bij de grote visite, bij presentaties en bij de overdracht is bij Kindergeneeskunde frequenter dan bij Obstetrie & Gynaecologie. Dat sluit aan bij het gegeven dat aios kindergeneeskunde het gemakkelijker vinden een KPB te vragen dan aios obstetrie/gynaecologie.

De resultaatbesprekingen en de data uit de enquêtes leveren ook andere informatie op met betrekking tot de implementatie van de toetsinstrumenten. Uit tabel 1 blijkt dat er op verschillende niveaus remmende en stimulerende factoren werden benoemd. Een deel daarvan lijkt te beïnvloeden te zijn door het landelijke projectteam, een deel door het kernteam en een deel door de clusterziekenhuizen zelf.

Discussie en conclusie

Concluderend kan gezegd worden dat vanuit de perceptie van de aios er geen systematische verschillen tussen clusters lijken te bestaan, maar dat er op het niveau van het gebruik en toepassing van meetinstrumenten binnen verschillende contexten wel, en soms aanzienlijke, verschillen bestaan. Zo valt er nog veel winst te behalen in het bespreken van leerdoelen van de aios aan het begin, tussentijds en aan het eind van de stage.

Zowel aios als opleiders en andere leden van het opleidingsteam staan over het algemeen nog afwachtend ten aan zien van het gebruik van de toetsinstrumenten. Het inplannen van feedbackmomenten blijkt in de praktijk beter te werken dan het over te laten aan de toevallige omstandigheid. De docent- en aios-professionalisering die op dit moment plaatsvindt kan ook verandering brengen in het gebruik van de diverse instrumenten. De uiteindelijke uitkomst van de implementatie van alle aspecten van toetsing hangt echter met veel meer zaken samen (context, leiderschap, cultuur, organisatie, omgeving, aard van het instrument).7 Hiermee wordt aangegeven dat de implementatie en institutionalisering van toetsinstrumenten een lang proces is dat nog jaren zal duren. De recente discussie over kwaliteitsindicatoren voor opleiden,8 evenals de grote aandacht voor patiëntveiligheid, zijn ontwikkelingen die de implementatie van bovengenoemde toetsinstrumenten zullen bevorderen. De instrumenten zijn immers bedoeld als middel voor feedback om te komen tot een betere opleiding en uiteindelijk tot betere zorg.

Ten aanzien van de gepresenteerde data waren verschillen in gebruik van meetinstrumenten tussen en binnen clusters te verwachten. Het interessante aan de gegevens is niet zozeer dat er verschillen zijn maar eerder waardoor deze verschillen worden veroorzaakt. Want dat raakt in feite de kern van de implementatie. Welke factoren zorgen ervoor dat instrumenten in bepaalde clusters sneller geïmplementeerd worden dan in andere? Hoe komt het dat 60% van de aios het moeilijk vindt om een KPB te vragen? Deze vraag is belangrijk voor het verdere verloop van het project.

Het landelijke projectteam zal zich met name moeten richten op uitwisseling tussen kernteams en aandragen van ‘best practices’ rond toetsing. Om dit zo optimaal mogelijk te laten verlopen dienen de lijnen tussen het landelijke projectteam en kernteam zo kort mogelijk te zijn. Dit is overigens ook één van de aanbevelingen van de commissie ‘Dijsselbloem’ in de evaluatie van de onderwijsvernieuwing van het middelbaar onderwijs.

De kernteams zullen primair het beschikbare materiaal aan toetsinstrumen-tarium moeten vertalen binnen de eigen context van de afdeling. De toetsingsmogelijkheden en feedback moeten structureel worden ingebed in de organisatie van de afdelingen waarbinnen de opleiding vorm gegeven wordt. Hiervoor geldt dat bindende afspraken gemaakt dienen te worden met alle leden van het opleidingsteam en met de aios. Een ander relevant vraagstuk voor de kernteams betreft de ‘implementatie moeheid’ bij opleiders en aios. Na de ‘innovators’ en ‘early adaptors’ (volgens Rogers)9 dient het draagvlak nu verbreed te worden naar andere groepen die nog niet betrokken zijn bij de vernieuwing. Hier ligt een belangrijke taak voor de opleiders, namelijk het binnen het opleidingsteam maken van concrete afspraken over het volgen van professionaliseringscursussen op onderwijskundig gebied door teamleden en aios en over het gebruik van de nieuwe toetsinstrumenten.

Op het niveau van de opleidingsziekenhuizen binnen clusters zal de aandacht met name gericht dienen te zijn op de verspreiding van kennis en ervaring die met In VIVO is opgedaan naar andere beroepsgroepen. Dit gelet op de eisen ten aanzien van de toetsing die vanuit het CCMS voor de nieuwe opleidingsplannen geformuleerd zijn en in de komende visitaties van de Medische Specialisten Registratie Commissie worden meegenomen. De Centrale Opleidings Commissies (COC’s) van de opleidingsziekenhuizen en de regionale opleidingscommissies dienen hierbij hun verantwoordelijkheid te nemen. De Raad van Bestuur (RvB) van de instelling is één van de belangrijkste spelers als motor voor de vernieuwing en als financier voor de vernieuwingsactiviteiten. Ook de RvB kan maatregelen nemen om de randvoorwaarden voor een zo optimaal mogelijke implementatie te bewaken. Dit zou bevorderd kunnen worden door duidelijke en (financiële) incentives vrij te maken voor een langere tijd, zoals vrijstellingen van bepaalde verplichtingen voor personen en afdelingen die zich op welke wijze dan ook onderscheiden op het gebied van onderwijs.

De remmende en stimulerende factoren, zoals in tabel 1 aangegeven, laten aspecten zien die eerder in de literatuur beschreven zijn. Zo beschrijft Rogers duidelijk dat het slagen van innovaties sterk samenhangt met het geschatte nut van de innovatie, goede communicatie, voldoende tijd en de context (open systeem, leiderschap aanwezig). Uit de rapportages van de resultaatbijeenkomsten blijkt dat ondanks het beschikbaar zijn van voorbeelden van toetsinstrumenten ieder cluster dit voorbeeld aanpast aan de eigen context. Ook dit is een uit de literatuur bekend gegeven. Men is niet geneigd innovaties zonder meer over te nemen. Rogers spreekt in dit opzicht van ‘reinvention’. Ook anderen10 beargumenteren dat kaders nodig zijn bij innovaties maar vrijheid voor de uitvoerders noodzakelijk is om een innovatie te laten slagen. Deze auteurs geven aan dat het implementatieproces minder volgens van tevoren bedachte patronen verloopt. Tijdens het proces wordt namelijk kennis opgedaan over de implementatie van innovaties hetgeen consequenties kan hebben voor de verdere sturing van het implementatieproces. Een voorbeeld van dit laatste betreft de implementatie van het elektronisch portfolio. In de diverse clusters worden diverse soorten portfolio’s gebruikt, echter door voortschrijdend inzicht worden de gehanteerde modellen na verloop van tijd weer aangepast en is het ideale elektronische ‘modelportfolio’ voor de vervolgopleidingen nog niet beschikbaar.

Niet alleen volgens de commissie ‘Dijs-selbloem’ maar ook in andere vernieuwingsprojecten11 is onduidelijkheid over financiering een relevante remmende factor in een implementatieproces. Dit geldt evenzeer voor gebrek aan tijd en gebrek aan aansturing. Uit onze resultaten blijkt dit ook op te gaan voor de implementatie van het toetsinstrumentarium in de medische vervolgopleiding.

De verdere voortgang van de implementatie zal plaatsvinden op geleide van de ervaringen met toetsinstrumenten op de werkplek. Het adagium ‘al doende leert men’ is ook hier van toepassing. Wat we uit andere innovaties leren is dat de afstand tussen de leden van het kernteam en de andere betrokkenen in het werkveld zo klein mogelijk dient te zijn. Intensieve begeleiding en coaching dient in dit geval wat betreft het gebruik van toetsinstrumenten hiervan een onderdeel te zijn. Hierbij blijft het eveneens belangrijk zicht te krijgen op belemmerende en stimulerende factoren voor de implementatie zodat gaandeweg kennis wordt vergaard ten bate van de implementatie van toetsinstrumenten bij andere disciplines. Een geslaagde implementatie verhoogt immers de kwaliteit van het onderwijs en daarmee ook de kwaliteit van de zorg en daar doen we het toch allemaal voor!