1 Inleiding

Zoals neergelegd in het Kaderbesluit van het Centraal College Medische Specialismen (CCMS – per 1/2010 CSG) is vanaf 2004 iedere arts in opleiding tot specialist (aios) verplicht gedurende de opleiding een portfolio bij te houden. Het portfolio komt oorspronkelijk uit de kunstwereld waar het gebruikt wordt als een ‘showcase’ om werkstukken aan potentiële opdrachtgevers te tonen. Door het CCMS is in het Kaderbesluit 2011 het gebruiksdoel van het portfolio voor aios nadrukkelijk geformuleerd als ondersteuning bij de opleiding en luidt alsvolgt:

“Het portfolio is een instrument dat de aios ondersteuning biedt bij het bewaken van de voortgang en het reflecteren op zijn eigen ontwikkeling. De zelfreflectie van de aios dient op enigerlei wijze te blijken uit het portfolio.”

Het portfolio is daarmee naast een formatief instrument (gericht op de ontwikkeling van het leren) tevens een summatief instrument, gericht op een kwalificering van de aios. Het CCMS heeft geen eisen gesteld aan de vormgeving van het portfolio (papier of digitaal).

Bij vrijwel alle wetenschappelijke verenigingen, alsook bij de meeste aios, leeft de wens over te gaan tot een digitaal portfolio. Deze wens komt voort uit het schrikbeeld van de ‘schoenendoos’ vol formulieren (Korte Praktijk Beoordeling – KPB, Objective Structured Assessment of Technical Skills – OSATS, etc.) waaruit de opleider vervolgens de voortgang mag opmaken. Daarnaast wordt in dit digitale tijdperk het gebruik van een papieren portfolio, met bijbehorende papieren rompslomp en multomappen, ouderwets gevonden.

Op de markt van digitale portfolio’s voor de medische vervolgopleidingen worden momenteel drie grote systemen aangeboden: 1) het systeem ePASS (voorheen MMTSS), afkomstig van de universiteit van Maastricht en ontwikkeld binnen de Onderwijs- en Opleidingsregio Zuid-Oost Nederland (OOR-ZON) in samenwerking met de firma Mateum en met de universiteit van Manchester, 2) het systeem van de firma Vrest en 3) het systeem van de firma Xaurum die ook het GAIA systeem voor de registratie van specialisten voert. Daarnaast zijn er nog enkele systemen die lokaal of per specialisme in internationaal verband ontwikkeld zijn (bijvoorbeeld Estro voor de Radiotherapie).

Inmiddels heeft al een beperkt aantal wetenschappelijke verenigingen voor een digitaal portfoliosysteem gekozen (zie Box 1). Het beslisprobleem voor de overige verenigingen ligt enerzijds in het ontbreken van een totaaloverzicht en anderzijds in de huidige onzekerheden die er zijn rondom de invoering van het portfolio als integraal onderdeel van de modernisering van de medische vervolgopleidingen. De hoeveelheid literatuur over het gebruik en implementatie van portfolio’s is groot [1]. In dit artikel wordt een plan van aanpak beschreven als handvat om tot een keuze te komen inzake een digitaal portfolio, met als vertrekpunt de formulering van een programma van eisen, marktonderzoek en overige afwegingen ten aanzien van de uiteindelijke besluitvorming.

2 Methode

In 2009 heeft het concilium Interne Geneeskunde besloten om binnen de Nederlandse Internisten Vereniging (NIV) met een digitaal portfolio te gaan werken. Een werkgroep bestaande uit opleiders en aios werd ingesteld om de NIV te adviseren bij de keuze van een digitaal portfolio, waarbij als eis gesteld is dat er binnen de Interne Geneeskunde gestreefd moest worden naar één landelijk portfolio. Daar een volledig overzicht van de drie portfoliosystemen ontbrak om tot een weloverwogen keuze te kunnen komen, heeft de werkgroep dit systematisch opgepakt. Op basis van een tweetal brainstormrondes, van literatuur en van het Kaderbesluit is door de werkgroep een eerste basisontwerp opgesteld. Uitgangspunt hierbij was dat het portfolio moet voldoen aan de eisen vanuit het opleidingsplan, het leerproces van de aios ondersteunt, het werkproces ondersteunt, betrouwbaar, veilig en gebruiksvriendelijk is en lage kosten met zich meebrengt. Dit heeft voor het ontwerp van het digitale portfolio geleid tot een onderverdeling in functies waarin vijf modules werden onderscheiden:

  1. 1)

    Basisadministratie aios

  2. 2)

    Individueel opleidingsplan aios

  3. 3)

    Koppeling met de elektronische database van de Interne Geneeskunde waaruit individuele en lokale opleidingsplannen kunnen worden gegenereerd

  4. 4)

    Ondersteuning workflow voor aios en opleider (wat moet wanneer gebeuren)

  5. 5)

    Analyse en rapportagetools

Het complete pakket van eisen is in te zien op de website van de NIV en op de website van het project Implementatie Modernisering Medische Vervolgopleidingen van de KNMG: www.knmg.nl/modernisering

Na opstelling van het pakket van eisen zijn de drie grootste aanbieders (Vrest, Xaurum en ePASS) gevraagd met inachtneming van alle geformuleerde punten een offerte op te stellen. Indien het aangeboden portfolio-ontwerp niet voldeed aan alle functionele eisen, werd de aanbieders gevraagd een inschatting te maken van de benodigde tijd (en additionele kosten) voor de ontwikkeling of aanpassing van het portfolio. De drie aanbieders hebben aan de werkgroepleden een demonstratieversie ter beschikking gesteld en hebben voor de werkgroep een presentatie over hun systeem verzorgd.

Naar aanleiding van de presentaties heeft de werkgroep het pakket van eisen aangescherpt en functionaliteiten die nog niet waren gedefinieerd, maar door de commissie alsnog als relevant werden aangemerkt, toegevoegd (zie Tabel 1). De leveranciers is gevraagd ten aanzien van de alsnog gedefinieerde functionaliteiten de beschikbaarheid aan te geven, en indien dit niet het geval was, de ontbrekende functionaliteiten in de offerte op te nemen. Zo bleek bijvoorbeeld de mogelijkheid van een grafische weergave van de ontwikkeling per aios in de tijd een zinvolle toevoeging welke bij één leverancier ontbrak.

Tabel 1. Pakket van eisen portfolio en realisatie, zoals opgegeven door fabrikanten.
Full size table

Daar uit de literatuur blijkt dat gebruiksvriendelijkheid een belangrijke succesfactor is bij het gebruik van het portfolio [2, 3] is aansluitend op het initiatief van de NIV door de KNMG Opleiding en Registratie de Landelijke Vereniging voor Medisch Specialisten in Opleiding (LVAG) benaderd voor een gebruikerstest van de drie digitale portfolio’s. Er is een oproep geplaatst waarin aios van de diverse specialismen werd gevraagd hierin te participeren. Op basis van een vragenlijst en de ter beschikking gestelde demoversies hebben 20 aios, afkomstig uit 19 verschillende specialismen, op persoonlijke titel meegewerkt aan een beoordeling van het gebruiksgemak van de drie systemen. Uiteindelijk is een aanbeveling voor een portfolio geformuleerd welke in de ogen van de portfoliocommissie het best voldeed aan de ontwerpspecificaties en randvoorwaarden, zoals levertijd en prijs.

3 Resultaten

Het pakket van eisen en de resultaten van deze offerterondes staan weergegeven in Tabel 1. De geformuleerde functionaliteiten ten aanzien van de basisadministratie zijn in de drie pakketten aanwezig. Vrest heeft momenteel de meest uitgebreide functionaliteit, gevolgd door ePASS. Xaurum is het enige portfolio dat een koppeling met Gaia heeft. De aangegeven ontbrekende functionaliteiten zijn volgens alle drie de leveranciers leverbaar; bij Vrest en ePASS is dit onderdeel van de geoffreerde prijs, bij Xaurum is dit een bedrag van maximaal € 20.000 of een verhoging van de licentieprijs van €12 naar € 24 euro/aios/jaar.

Voor een aantal ‘ontbrekende’ functionaliteiten geldt dat de leveranciers momenteel al zelf bezig zijn met de ontwikkeling ervan; deze reeds geplande functionaliteiten staan in de tabel aangegeven.

3.1 Beoordeling op gebruiksgemak door de aios

Alle respondenten maken reeds gebruik van een portfolio, waarvan veruit de meerderheid nog het papieren portfolio gebruikt (89%). Bij allen bestaat wel de wens op een digitaal portfolio over te gaan, met een sterke voorkeur voor één systeem per specialisme.

Van de drie beschikbare systemen scoort ePASS het best: 84% van de res - pondenten zou dit systeem voor hun wetenschappelijke vereniging aanbevelen; 47% zou Vrest aanbevelen en 29% Xaurum. Beschouwende specialismen (waaronder Cardiologie, Interne Geneeskunde, Longziekten, Maag-, Darm- en Leverziekten, Neurologie, Reumatologie en Revalidatiegeneeskunde) hebben vooral voorkeur voor ePASS (88%), gevolgd door Vrest (44%) en Xaurum (43%). Binnen de snijdende specialismen (waaronder Cardiothoracale chirurgie, Keel-, Neus- en Oorheelkunde, Neurochirurgie, Orthopedie, Plastische chirurgie en Urologie) ging de voorkeur uit naar ePASS (70%) en Vrest (67%) en werd geen voorkeur voor Xaurum uigesproken. Hierbij dient nadrukkelijk rekening gehouden te worden met het feit dat bij Vrest en ePASS twee demoversies beschikbaar waren (een versie voor de beschouwende en een versie voor de snijdende specialismen). De demoversie van Xaurum daarentegen was specifiek ingericht voor de Interne Geneeskunde, waardoor aan een belangrijk criterium voor veel snijdende specialismen (het kunnen invoeren van verrichtingen) niet werd voldaan. Dit blijkt ook uit het meest genoemde nadeel van Xaurum dat het systeem in de geteste vorm te beperkte mogelijkheden heeft. Als andere nadelen ten aanzien van Xaurum werden genoemd: een matige lay-out en gebruiksvriendelijkheid, hoewel sommigen het systeem juist weer heel overzichtelijk en gebruiksvriendelijk vonden. De genoemde voordelen van Vrest en ePASS kwamen overeen (overzichtelijk, compleet en het eenvoudig uploaden van bestanden). Genoemde nadelen bij Vrest waren onder andere een onoverzichtelijk beginscherm, geen ‘terugknoppen’ en het feit dat veel stappen genomen moeten worden voor de invoer van gegevens. De genoemde nadelen van ePASS waren onder andere een matige en wat onoverzichtelijke lay-out (terwijl anderen de lay-out weer heel overzichtelijk vonden), de omslachtige invoering van verrichtingen en de onmogelijkheid publicaties in te voeren.

In Tabel 2 is het gebruiksgemak per port fo lio weer ge ge ven. Hierbij is een schaal van 1–6 gebruikt (1 = onmogelijk/zeer slecht en 6 = zeer eenvoudig/uitstekend). Participerende aios waren afkomstig uit de volgende specialismen: Anaesthesiologie, Car diologie, Cardiothoracale chirurgie, Dermatologie, Interne Geneeskunde, Keel-, Neus- en Oorheelkunde, Longziekten, Maag-, Darm- en Leverziekten, Medische microbiologie, Neurochirurgie, Neurologie, Oogheelkunde, Orthopedie, Plastische Chirurgie, Radiologie, Radiotherapie, Reumatologie, Revalidatiegeneeskunde en Urologie.

Tabel 2. Gebruiksgemak van de portfolio’s.
Full size table

4 Discussie

Portfoliosystemen voor de medische sector zijn duidelijk in ontwikkeling; geen van de drie systemen biedt momenteel een volledige infrastructuur voor het gehele opleidingscontinuüm vanaf de opleiding geneeskunde tot en met de praktiserend specialist. De systematische aanpak op basis van objectieve criteria heeft uiteindelijk geleid tot de mogelijkheid de keuze van het digitale portfolio transparant te maken. Complicerende factor hierbij is wel dat we niet te maken hebben met een uitontwikkeld product maar dat de ontwikkeling nog sterk in beweging is gezien de gestelde eisen in het kader van de modernisering van de vervolgopleidingen.

De ontwikkeling en aanschaf van een digitaal portfolio is slechts een eerste stap. De verwachting is dat de complexiteit van het digitale portfolio zal toenemen, waardoor het gebruiksgemak in gevaar zou kunnen komen. Verder zal de effectiviteit van het gebruik naast een goede introductie afhangen van de wijze waarop het doel en gebruik van het portfolio gecommuniceerd wordt met de aios en niet te vergeten met de opleiders en supervisoren [3-5].

Invoering en gebruik van een digitaal portfolio zal kosten met zich meebrengen. In de huidige systematiek van bekostiging van de opleiding vanuit het opleidingsfonds lijkt het voor de hand te liggen dat het digitale portfolio als onderdeel van de opleiding bekostigd zal worden uit deze gelden. Voor wat de implementatie van het portfoliosysteem betreft hoeft vanuit de zorginstellingen geen investering te worden gedaan, tenzij het systeem gekoppeld wordt aan het ziekenhuiszorgsysteem. Zo ligt het vanuit efficiency overwegingen voor de hand om de uitgevoerde verrichtingen eenvoudig te registreren en te koppelen aan een beoordeling (OSATS).

In een opleidingssetting biedt een portfolio de aios vooral de gelegenheid de voortgang van de eigen ontwikkeling te bewaken en hierover te reflecteren. Een punt van aandacht bij het gebruik van een digitaal portfolio is dat het systeem voldoende waarborging van privacy moet kunnen bieden. Hoewel de aios beslist over het inzagerecht van zijn/haar portfolio en beslist of aan het eind van de opleiding (delen van) het portfolio moet(en) worden gewist, zal de ervaring moeten uitwijzen of hiermee de privacy van gegevens voldoende geborgd kan worden. Een tweede punt van aandacht is het gevaar van digitaal communiceren, waarbij het directe ‘face to face’ contact tussen aios en opleider wordt verdrongen. Het portfolio als een formatief en summatief kwaliteitsinstrument verandert dan in een afvinklijst waarmee de analoge schoenendoos wordt vervangen door een digitale.

Er zal onderzoek moeten worden verricht naar de wenselijkheid van variatie binnen de gebruikte lay-out van formulieren van het portfolio. Voor het ‘vrije’ verkeer van aios over regio’s, voor het uitvoeren van visitaties en benchmarking van opleidingen en voor vergemakkelijking van visitaties, is een bepaalde mate van standaardisatie wel een vereiste. Er zal veel aandacht moeten worden besteed aan de tijdsinvestering van het bijhouden van het portfolio. Net zoals er onderwijs wordt gegeven in het schrijven van korte patiëntbrieven zullen er aanwijzingen moeten worden opgesteld voor onderdelen van het portfolio, zoals het schrijven van reflecties.

5 Conclusie

Op basis van de verzamelde gegevens door de NIV (aan de hand van het pakket van eisen) en het gebruikersonderzoek van de aios kunnen de volgende conclusies worden getrokken. Elk van de systemen kent één of meerdere onderscheiden - de elementen. Het digitaal portfolio van Vrest is volledig en ondersteunt het bijhouden van het aantal verrichtingen. Het ePASS ondersteunt ook het bijhouden van verrichtingen en is vanuit een onderwijskundige filosofie opgebouwd. Het digitaal portfolio van Xaurum heeft zeer lage kosten, bezit een aansluiting op MSRC data maar doet in gebruik wel eenvoudig aan. Uit de gebruikerstest volgt dat qua gebruiksgemak er een voorkeur bestaat voor ePASS. Het systeem van Vrest scoort vooral bij de snijdende specialismen goed. Xaurum wordt, mogelijk vanwege de op de Interne Geneeskunde toegesneden demoversie, vooral gewaardeerd door beschouwende specialismen.

De leveranciers geven allen aan dat ontbrekende functionaliteiten leverbaar zijn en dat in samenwerking met de wetenschappelijke verenigingen verdere ontwikkeling mogelijk is. Hierbij zal de praktijk moeten uitwijzen hoe volledig de leveranciers aan het pakket van eisen kunnen voldoen. Uiteindelijk zullen wetenschappelijke verenigingen moeten kiezen voor een oplossing van het portfolio waarmee aan de ontwerpspecificaties van functionaliteit, gebruikersgemak, ontwikkelmogelijkheden en (ontwikkel) kosten wordt voldaan.