1 Voorwoord

De opdracht tot het ontwerpen van een In VIVO Richtlijn korte praktijkbeoordeling (KPB) is verleend aan de In VIVO kernteams van Utrecht en Nijmegen. De Richtlijn is ontworpen door een kleine projectgroep, bestaande uit prof. dr. Olle ten Cate (UMC Utrecht) en drs. Lia Fluit (UMC St Radboud Nijmegen) met medewerking, in het bijzonder voor het literatuuronderzoek, van Femke ten Velde en Anneke Sterkenburg (UMC Utrecht), Els Pelgrim en Laura Spinnewijn (UMC St Radboud Nijmegen). De tekst is vervolgens becommentarieerd door de In VIVO kernteams van de Onderwijs- en Opleidingsregio (OOR) Utrecht en de OOR Nijmegen, door het Projectteam In VIVO en door de Reviewcommissie Richtlijnen van de NVMO.

De projectgroep heeft zich voor het opstellen van deze Richtlijn gebaseerd op de nationale en internationale literatuur, op een inventarisatie van bestaande toepassingen van de KPB in Nederland en op eigen ervaringen en gesprekken met betrokkenen bij het gebruik van de KPB.

2 Status van de Richtlijn

Deze Richtlijn is bedoeld als hulp bij het omgaan met KPB’s, en is zoveel mogelijk gebaseerd op argumentatie uit de literatuur en de praktijk. Omdat in Nederland het werken met KPB’s pas enkele jaren gebruikelijk is, is het noodzakelijk de Richtlijn ook in de toekomst verder te blijven ontwikkelen.

Er is een wisselwerking tussen de status van deze Richtlijn en de modernisering van de beoordelingsprocedures in de vervolgopleidingen. De modernisering van deze opleidingen is een dynamisch proces dat niet ‘af’ is bij de vaststelling van de nieuwe curricula. Dat geldt ook voor de wijze van het beoordelen van de artsen in opleiding tot specialist (aios). Wij hopen dat in de toekomst deze Richtlijn de verdere ontwikkeling en verfijning van procedures, in het bijzonder de toepassingen van de KPB, zal faciliteren.

Het eerste deel is de feitelijke richtlijn; het tweede deel van dit document vormt de verantwoording. Het format is ontleend aan de standaarden van het Nederlands Huisartsen Genootschap (NHG).

3 Definitie en eisen van de KNMG

In het kaderbesluit van het Centraal College Medische Specialismen (CCMS) 2009 staat de KPB omschreven als een instrument om gestructureerde feedback te geven op een taak die in de praktische setting wordt uitgevoerd. Voorbeelden van een KPB zijn een (poli)klinisch consult, een technische ingreep, het omgaan met medewerkers, multidisciplinair overleg (MDO) en het beoordelen van een biopt of beeldopname.

Vanaf 1 januari 2011 moeten bij iedere aios minimaal tien KPB’s per jaar worden afgenomen. Deze KPB’s worden verzameld in het portfolio van de aios. Ieder specialisme heeft een eigen opleidingsplan waarin vastgelegd is wanneer en op welke wijze de KPB wordt ingezet. Een aantal opleidingen heeft een eigen KPB formulier of meerdere KPB formulieren voor verschillende situaties opgenomen in het opleidingsplan, andere hanteren een standaardformulier. Er is reglementair echter vrijheid in het ontwerp en toepassing van de KPB. Deze Richtlijn is bedoeld als houvast in het ontwerp en de toepassing.

De KPB heeft vijf kenmerken en kan daarmee gedefinieerd worden als een:

  • directe observatie van het optreden van een aios,

  • in een natuurlijke werksituatie in de (patiënten)zorg,

  • gedurende vijf tot vijftien minuten,

  • gevolgd door een korte schriftelijke vastlegging van het oordeel,

  • en direct gevolgd door een kort feedbackgesprek.

4 Doel en functie van de korte praktijkbeoordeling

Het doel van de KPB is het kunnen beoordelen wat een aios in een specifieke werksituatie kan. De combinatie van de vijf kenmerken onderscheidt de KPB van andere beoordelingen, zoals bij examensituaties, bij simulaties, bij schriftelijke toetsingen en bij multisource feedback. De KPB is bij uitstek een instrument om op het hoogste van de vier niveaus van Miller (knows, knows how, shows how, endoes) een beeld te krijgen van de aios op basis waarvan feedback gegeven kan worden over diens competentie. Het geeft ‘snapshots’ uit de praktijk en heeft vooral waarde indien er meerdere KPB’s worden uitgevoerd bij dezelfde aios. De KPB maakt gebruik van een formulier met verschillende competentie - domeinen waarop de aios beoordeeld kan worden. De KPB is ontleend aan de mini- CEX (Mini Clinical Evaluation Exercise), begin jaren negentig ontwikkeld in Amerika door internisten en gericht op het in de praktijk observeren en beoordelen van vaardigheden van aios.

De KPB heeft primair een formatief doel: ze geeft de aios informatie en feedback over zowel sterke punten als verbeterpunten ten aanzien van de klinische competentie. Maar meerdere KPB’s kunnen samen ook een summatief doel dienen, vooral in combinatie met informatie uit kennistoetsen, multisource feedback, scores op Critically Appraised Topic (CAT) procedures, Objective Structured Assessment of Technical Skills (OSATS) scores en uit andere bronnen, gericht op het nemen van beslis - singen over de opleidingsvoortgang. Het baseren van summatieve beslissingen op uitsluitend KPB’s is echter af te raden, zeker bij ongetrainde beoordelaars, vanwege de beperkte betrouwbaarheid.

5 Situaties waarvoor de korte praktijkbeoordeling geschikt is

Bij een KPB wordt de aios beoordeeld op het handelen in de dagelijkse praktijk: hier moet competentie blijken. Het kan om uiteenlopende activiteiten gaan, zoals een klinisch consult bij opname of poli, een zaalvisite, een technische verrichting en functieonderzoek, een technische handeling binnen de OK, een patiëntpresentatie bij het ochtendrapport of overdracht, specifieke gesprekken met patiënten of familie, een intercollegiaal overleg, het voorzitten van mono- of multidisciplinair overleg of een andere activiteit, etc. De dienst biedt vaak goede mogelijkheden om een KPB af te nemen.

De methode leent zich voor de koppeling van korte observaties aan die elementen die voor de opleiding als kritische activiteiten zijn aangemerkt, c.q. aan wat ook wel wordt genoemd ‘entrustable professional activities’, activiteiten die op een bepaald moment tijdens de opleiding aan een aios voor zelfstandige uitvoering moeten kunnen worden toevertrouwd. Deze activiteiten zijn vaak patiëntgebonden en kunnen geschikt zijn voor een KPB.

Het CCMS kaderbesluit van 2009 noemt ook het beoordelen van een technische ingreep geschikt voor de KPB. Hiervoor is door een aantal verenigingen ook een OSATS formulier in gebruik genomen. Voor het gebruik van OSATS in de praktijk is een aparte Richtlijn ontwikkeld. De principes van het beoordelen van een technische handeling verschillen echter niet wezenlijk met die van andere praktijksituaties. In zijn algemeenheid geldt dat alle situaties, waarin door korte, directe observaties een goed beeld kan worden gekregen van de kwaliteit van handelen, zich in beginsel lenen voor een KPB.

6 Betrouwbaarheid, validiteit en aantal korte praktijkbeoordelingen

De validiteit van KPB’s wordt in het algemeen als goed beschouwd, omdat ze de werkelijkheid optimaal benadert. De betrouwbaarheid van een score op één enkele KPB is laag; om enigszins betrouwbare uitspraken te kunnen doen zijn dus meerdere oordelen nodig. Uit onderzoek komt niet eenduidig naar voren hoeveel KPB’s hiervoor nodig zijn; dit varieert in de literatuur van zeven tot vijftig per jaar. De minimumeis in het kaderbesluit van de CCMS van tien per jaar kan beschouwd worden als ondergrens voor een betrouwbaar en valide oordeel over de aios, mits de procedure zorgvuldig is gehanteerd.

7 Welke competenties worden beoordeeld met een korte praktijkbeoordeling?

Met een KPB worden competenties van de aios beoordeeld. Welke competenties dat zijn is mede afhankelijk van de situatie waarin een KPB wordt afgenomen. De diversiteit in beoordelingssituaties en te beoordelen activiteiten hebben geleid tot het ontstaan van uiteenlopende KPB formulieren. Er is niet één ‘correct’ KPB formulier. De KPB is veeleer een methode, waarvoor verschillende formulieren ontworpen kunnen worden. In Tabel 2 (zie deel II -Achtergronden bij deze Richtlijn) zijn acht situaties en ruim vijftig vaardigheden, c.q. aspecten van een competentie in verscheidene klinische praktijksituaties weergegeven. Selecties hieruit kunnen in verschillende varianten van het KPB formulier worden opgenomen. Een koppeling van deze aspecten aan de CanMEDS (Canadian Medical Education Directions for Specialists) competentiegebieden op het formulier wordt aangeraden. Het is belangrijk niet teveel te willen bespreken na een KPB. Mede gezien de beperkte tijd voor de feedback is het raadzaam om per KPB de beoordeling en de feedback tot maximaal drie competentieaspecten te beperken.

8 De beoordelaars

Opleiders, superviserende stafleden en afdelingshoofden kunnen bij een KPB als beoordelaar fungeren. Belangrijk is dat een aios door verschillende beoordelaars wordt beoordeeld. Clinici verschillen onderling en juist dat kan leerzaam zijn voor de aios. Het trainen van beoordelaars vergroot de betrouwbaarheid van het beoordelen.

Ook een ouderejaars aios kan een KPB invullen. De Medisch Specialisten Regi - stratie Commissie (MSRC) zal een aios mogelijk niet als beoordelaar erkennen, maar wel als de beoordeling gesuperviseerd wordt. Dit biedt de aios de mogelijkheid te oefenen in het intercollegiaal beoordelen en in het feedback geven, hetgeen past bij het competentiegebied ‘kennis en wetenschap’.

9 Praktische aspecten

KPB’s zijn geschikt gedurende de gehele vervolgopleiding én voor het klinische gedeelte van de basisartsopleiding. Het is een korte observatie die minimaal vijf maar meestal tien tot vijftien minuten duurt waarna feedback plaatsvindt. In de regel wordt vooraf afgesproken dat een KPB wordt afgenomen, maar een KPB kan ook ‘spontaan’ afgenomen worden als daartoe aanleiding is.

In de praktijk kan het verstandig zijn de KPB in te plannen in het rooster en maximaal een half uur te reserveren voor de KPB, mede afhankelijk van de soort KPB. De aios, het staflid en soms ook de patiënt moeten goed op de hoogte zijn van de procedure. Het staflid kan het best buiten het gezichtsveld van de patiënt blijven; een video- of webcamopname is een goed alternatief. Voordelen hiervan zijn dat de beoordeling op een flexibel moment kan geschieden en ook dat de aios zichzelf kan terugzien. Het geven van constructieve feedback is een vaardigheid waarvoor training nuttig is. De zogeheten Pendleton regels (‘wat gaat goed, wat kan beter’) vormen geen gouden standaard, maar zijn wel een geschikt houvast voor het geven van feedback. Goede feedback is voorts specifiek, persoonlijk en wordt onder veilige omstandigheden verstrekt, met vermijden van onnodig gezichtsverlies.

10 Het formulier

Er bestaan veel varianten van het KPB formulier, vooral omdat situaties die voor een KPB geschikt zijn per opleiding en binnen opleidingen verschillen. Ook persoonlijke voorkeuren voor de KPB procedure spelen een rol. Minimaal bevat ieder KPB formulier een identificatie/naam van de aios en de beoordelaar, datum, setting of situatieaanduiding, lijst met te beoordelen aspecten van het handelen, en ruimte voor schriftelijke feedback, in het bijzonder voor suggesties voor verdere ontwikkeling. Optioneel zijn scoringsopties met schaalwaarden, opleidingsstadium van de aios, type patiënt of type handeling, toelichting per beoordelings - aspect, instructie voor invulling van het formulier en plaats voor een handtekening van beoordelaar en aios.

11 Relatie tot portfolio, voortgangsgesprek en bekwaamverklaringen

De functie van KPB’s voor bekwaamverklaringen voor specifieke professionele activiteiten in de opleiding en voor gebruik in het portfolio, is beschreven in twee afzonderlijke Richtlijnen, verschenen als supplement 2 en 3 bij het Tijdschrift voor Medisch Onderwijs. Stafleden en aios kunnen situaties kiezen voor een KPB die zich lenen voor een beoordeling of her - beoordeling van aandachtspunten en verbeterpunten die in een portfolio zijn vastgelegd. Het portfolio vormt de basis voor de verplichte voortgangsgesprekken tijdens de opleiding.

12 Invoering van korte praktijkbeoordelingen als systeem en training van klinische staf

Voor een succesvolle uitvoering van de KPB methode is het bewust benutten van diverse praktijksituaties om een KPB af te nemen van belang. Dat betekent een actieve houding van zowel de aios als het opleidingsteam, een goede planning van opleidingsactiviteiten, goede informatievoorziening naar alle betrokkenen en training van klinische staf en aios. De KPB vereist vaardigheid in observatie, in beoordeling en in feedbackverstrekking, waarvoor training sterk wordt geadviseerd.