Inleiding

Het aantal studenten dat zich wereldwijd aanmeldt voor een studie Geneeskunde overtreft ruim het aantal beschikbare opleidingsplaatsen. Mede daarom worden allerlei methoden gebruikt om kandidaten te selecteren. Een recent review van Siu en Reiter uit 2009 geeft een goed overzicht van de verschillende selectiemethoden die in het hoger onderwijs worden toegepast en van hun wetenschappelijk onderbouwde, voorspellende waarde.1 Eén van de methoden die voorspellend is voor de eerste studiejaren is het gebruik van het zogenaamde grade point average (GPA), dat vooral gebaseerd is op cognitieve eigenschappen.1–2

In Nederland is in 1972 een numerus fixus voor de opleiding Geneeskunde ingesteld; daarna werd voor het invullen van de beschikbare opleidingsplaatsen de gewogen loting ingevoerd. Hierbij bepaalt het GPA, in dit geval het gemiddelde VWO-eindexamencijfer, de indeling van kandidaten in verschillende lotingsklassen, waarbij de kansen op inloting groter zijn naarmate het eindexamencijfer hoger is. Een eindexamencijfer hoger dan of gelijk aan 8 geeft zelfs direct toegang tot de opleiding Geneeskunde.

In 2000 heeft de Nederlandse regering toestemming gegeven voor het decentraal selecteren van een deel van de studenten die zich aanmelden voor de opleidingen met een numerus fixus. Inmiddels maken in 2010 zes van de acht opleidingen Geneeskunde gebruik van deze mogelijk heid (zie bijvoorbeeld Urlings-Strop et al., 2009).3 Het grootste deel van de studenten wordt echter nog steeds toegelaten door middel van gewogen loting op basis van hun GPA; in 2009 gold dit voor 61% van de beschikbare plaatsen en werd 19% van de plaatsen toegewezen aan acht-plussers (Bron: IB-groep).

Vanaf 2002 is in Nederland de bachelormasterstructuur ingevoerd in het hoger onderwijs, dus ook in de opleidingen Geneeskunde. Sindsdien bestaat er voor studenten met een niet-geneeskundige bachelor de mogelijkheid in te stromen in de master Geneeskunde (vergelijkbaar met ‘graduate entry courses in medicine’ in Groot Brittannië, Ierland en Australië. In Nederland zijn hiervoor op dit moment twee opties: 1) de zogenaamde zij-instroom, zoals aangeboden in Groningen, waarbij studenten na een schakeljaar instromen in de masterfase van de reguliere opleiding Geneeskunde, en 2) de eigenstandige vierjarige onderzoeksmasters die opleiden tot arts-klinisch onderzoeker, in Utrecht (Selective Medical Master Utrecht: SUMMA) en Maastricht (onderzoeksmaster Arts-Klinisch Onderzoeker: A-KO). Ook voor deze opleidingen geldt dat er veel meer belangstellenden zijn dan het aantal beschikbare opleidingsplaatsen.

Voor de A-KO opleiding aan de Universiteit Maastricht, die in 2007 is gestart en een capaciteit heeft van dertig plaatsen per jaar, melden zich op dit moment ongeveer 130 kandidaten per jaar aan vanuit 24 (in 2009) verschillende bacheloropleidingen. Gezien de sterk heterogene achtergrond van de kandidaten, waarbij geen sprake is van vergelijkbare (eind)cijfers is selectie via gewogen loting op basis van het GPA hier echter geen optie. De kandidaten voor de A-KO master zijn gemiddeld ouder dan de studenten die instromen in een bachelor, en ze zullen relatief snel gaan leren en werken in de medische praktijk. In deze fase van de opleiding zijn non-cognitieve eigenschappen, zoals communicatie- en samenwerkingsvermogen van groot belang (Raamplan Artsopleiding 2009). Deze eigenschappen zijn ook belangrijk voor het succesvol kunnen doorlopen van het A-KO curriculum, waarin gewerkt wordt met patiëntprobleem gestuurd onderwijs (PGO). Dit is dan ook de reden dat voor de A-KO master een selectieprocedure is ontwikkeld waarbij naast cognitieve eigenschappen ook non-cognitieve factoren worden meegewogen.

In dit artikel worden de gehanteerde selectieprocedure en de eerste resultaten beschreven. Gebruik makend van gegevens uit de eerste drie procedures (2007, 2008 en 2009) is onderzocht of deze methode acceptabel is voor alle betrokkenen, of de methode gendereffecten induceert, of de uitkomst afhankelijk is van de identiteit van de interviewers, en tenslotte of de methode betrouwbaar is.

Selectiemethoden in historisch perspectief

In de afgelopen jaren zijn tal van onderzoeken uitgevoerd naar selectiemethoden en de voorspellende waarde ervan voor succes in ‘graduate entry’-programma’s Geneeskunde. Zie voor een overzicht van deze studies het recente review van Siu en Reiter.1 In de Verenigde Staten maakt men al jaren gebruik van de ‘Medical College Admission Test’ (MCAT). Deze test bestaat uit vier onderdelen: verbaal redeneren, medische kennis, biologische kennis en een schrijfopdracht. De kandidaten worden getest op probleemoplossend vermogen, op kritisch denkvermogen, op schrijfvaardigheid en op kennis van wetenschappelijke onderwerpen en principes.1

Verschillende studies laten zien dat de totaalscore op deze toelatingstest een voorspellende waarde heeft voor studiesucces, hoewel er wel sprake is van een dalende trend naarmate de opleiding vordert. 1–4 Mogelijk is dit het gevolg van het feit dat deze test vooral eigenschappen meet die in de eerste jaren van de opleiding van belang zijn, terwijl aspecten als motivatie, professionaliteit, ethische overwegingen, communicatieve vaardigheden en empathie niet getoetst worden. Uit een aantal recente studies komen sterke aanwijzingen voor het belang van dergelijke non-cognitieve eigenschappen voor een succesvolle studie en voor de latere beroepsuitoefening. 5 Een onderzoek van Papadakis et al. uit 2005 toont bijvoorbeeld een sterke samenhang aan tussen problemen met professioneel gedrag tijdens de studie en later genomen disciplinaire maatregelen tegen praktiserende artsen.6 Een andere recente studie laat zien dat een zwakke communicatie tussen arts en patiënt samengaat met een verhoogd risico op fouten van medische aard en klachten van de patiënt.7

Er zijn inmiddels vele selectiemethoden in gebruik met als doel non-cognitieve eigenschappen te toetsen, zoals persoonlijkheidstesten en toelatingsinterviews. Onderzoek heeft echter aangetoond dat de voorspellende waarde van deze methoden niet statistisch significant is.1 De enige methode waarvan op dit moment wel is bewezen dat er sprake is van een significant voorspellende waarde voor prestaties gedurende de gehele studie (inclusief de praktische fase) is de zogenaamde Multiple Mini-Interview (MMI) methode.8–9 Deze methode bestaat uit een serie korte interviews, die worden afgenomen door verschillende, onafhankelijke interviewers. Elk interview heeft een eigen non-cognitieve focus, zodat in een kort tijdsbestek een breed scala aan non-cognitieve eigenschappen wordt getoetst. Door voldoende interviews per kandidaat af te nemen, waarin steeds een subjectief, globaal oordeel wordt gegeven, wordt het eindoordeel betrouwbaar. Verschillende studies hebben inmiddels aangetoond dat deze MMI methode een significant voorspellende waarde heeft voor de studieprestaties, en dat deze waarde toeneemt naarmate de studie vordert.9–11

In de A-KO master die in 2007 in Maastricht van start is gegaan is gekozen voor selectie op basis van een combinatie van cognitieve en non-cognitieve eigenschappen, omdat beide aspecten van belang worden geacht voor het succesvol doorlopen van de gehele studie en ook voor de latere beroepsuitoefening. Op grond van de positieve ervaringen met de MMI methode aan de McMaster University8–11 werd besloten deze methode een centrale rol in de selectieprocedure voor de A-KO master te geven.

Selectiemethode voor de onderzoeksmaster Arts-Klinisch Onderzoeker

De A-KO master is een vierjarige opleiding tot (basis)arts en klinisch onderzoeker en is alleen toegankelijk voor studenten met een WO bachelordiploma met minimaal 90 ECTS (European Credit Transfer System) studiepunten die behaald zijn op biomedische en wetenschapsgerelateerde vakken. Vanwege de beperkte capaciteit (maximaal dertig studenten per jaar) en het veel grotere aantal aanmeldingen (van tachtig in 2007 tot honderddertig in 2009) moest een selectieprocedure worden ontwikkeld met als doel díe studenten te selecteren met de grootste kans op het succesvol volgen en afronden van de studie en met de grootste affiniteit tot het beroep van arts-klinisch onderzoeker. Voor de stapsgewijze selectieprocedure van de A-KO master, die uit twee selectierondes bestaat, werden toelatingscriteria geformuleerd, die overeenkomen met de toelatingscriteria voor de Utrechtse zusteropleiding SUMMA (zie Tabel 1).

De eerste selectieronde

In de eerste ronde wordt geselecteerd op cognitieve eigenschappen: a) de behaalde bachelor moet voldoende biomedische en wetenschapsgerelateerde vakken bevatten, en b) de kandidaten moeten een kennistoets afleggen. Deze toets bestaat uit ongeveer 150 biomedische en wetenschapsgerelateerde meerkeuzevragen binnen acht vooraf gedefinieerde kennisdomeinen. Het primaire doel van de toets is het vaststellen van het kennisprofiel van de kandidaten. Tevens fungeert de toets als een filter om het aantal kandidaten terug te brengen tot een vooraf bepaald aantal dat doorstroomt naar de tweede ronde.

De tweede selectieronde

De tweede ronde bestaat uit een serie van vijf (in 2007 en 2008) of zes (in 2009) mini-interviews. De interviews hebben elk hun eigen focus, gebaseerd op de toelatingscriteria (zie Tabel 1). De focus van drie interviews (nummers 1, 5 en 6; zie Tabel 1) is puur non-cognitief van aard. De overige interviews bevatten ook cognitieve aspecten, dit in tegenstelling tot de originele MMI-opzet zoals ontwikkeld aan de McMaster University. In Box 1 staat omschreven hoe de verschillende interviews uitgevoerd worden, met een tweetal voorbeelden van gebruikte casuïstiek.

Alle mini-interviews duren vijftien (in 2007 en 2008) of twaalf (in 2009) minuten en worden per kandidaat afgenomen door verschillende interviewers. Direct na afloop van ieder interview stelt de interviewer zijn/haar globale oordeel over de kandidaat vast: ‘geschikt’, ’twijfelachtig’ of ‘ongeschikt’ voor de A-KO master. Na afloop van de interviews worden alle kandidaten gerangschikt op basis van de oordelen op hun interviews; daarbij weegt elk interview even zwaar. De dertig kandidaten met de hoogste scores worden toegelaten tot de AKO master; daarnaast wordt een wachtlijst opgesteld van waaruit kandidaten kunnen doorstromen in geval van afmeldingen. De besluitvormingsprocedure is in detail vastgelegd in het Onderwijs- en Examenreglement 2009/2010 van de A-KO master (www.fhmlweb.nl/doc/AKOOER0910.pdf; zie artikel 12).

Tabel 1. Afstemming selectieprocedure op de toelatingscriteria voor de A-KO master.
Full size table

Om te garanderen dat alle interviewers goed zijn voorbereid op de interview-procedure en op vergelijkbare wijze tot een globaal oordeel komen, worden ze voorafgaand aan de selectieprocedure gedurende twee dagdelen gezamenlijk getraind. In rollenspelen wordt geoefend met het interviewen aan de hand van de vooraf per interview vastgestelde doelen en criteria. Daarbij wordt gebruik gemaakt van de zogenaamde STAR-techniek12 (STAR = Situatie, Taak, Actie en Resultaat); een belangrijk kenmerk van deze techniek is de kandidaat te vragen zo veel mogelijk te refereren aan concrete situaties en ervaringen. Ook ouderejaars studenten geneeskunde, die fungeren als simulatiepatiënt of -persoon in interview 5, worden in diezelfde sessies getraind.

Vanaf 2009 worden per kandidaat zes interviews van twaalf minuten afgenomen, steeds gevolgd door drie minuten beoordelingstijd. Direct daarna wordt in een plenaire evaluatiesessie de groep van zes kandidaten besproken door de betrokken zes interviewers. Het afnemen van zes separate interviews in plaats van één interview, verhoogt de betrouwbaarheid in kwantitatieve zin, omdat de steekproef zo ruim mogelijk wordt genomen. De keuze om daarbij ook een plenaire bespreking te houden is gemaakt om de betrouwbaarheid in kwalitatieve zin (als een ‘member checking’ procedure) te vergroten. Zo kan bijvoorbeeld niet iedere ‘twijfelachtig’ op dezelfde schaal gezet worden; de bespreking leidt vaak tot een meer afgewogen oordeel. Voor de organisatie, de opvang van de kandidaten, de tijdcontrole gedurende de interviews, en de onmiddellijke invoering van de oordelen in een databestand is steeds iemand van het ondersteunend en beheerspersoneel (OBP) aanwezig. Al met al vereist de uitvoering van een dergelijke MMI ronde voor 72 kandidaten een investering van ongeveer 0.1 fte Wetenschappelijk Personeel (WP), 0.04 fte studentassistenten en 0.02 fte OBP.

Na afloop van de tweede selectieronde (de mini-interviews) krijgen alle kandidaten een vragenlijst uitgereikt om hun oordeel over de kwaliteit van de selectieprocedure en deze vorm van selectie te geven. De lijst bestaat uit 21 vragen (en uit 23 vragen na toevoeging van het zesde interview) die beantwoord worden op een vijfpunts Likertschaal. Met de interviewers wordt het verloop van de MMI ronde mondeling nabesproken.

Resultaten

Sinds 2007 is de selectieprocedure inmiddels vier keer toegepast, wat heeft geresulteerd in vier cohorten studenten die zijn gestart met de A-KO master. In de drie geanalyseerde selectieprocedures (2007, 2008 en 2009) hebben in totaal 240 kandidaten deelgenomen aan de kennistoets, en zijn 182 kandidaten doorgestroomd naar de mini-interviews in de tweede ronde. De 240 kandidaten die hebben deelgenomen aan de eerste selectieronde waren afkomstig van 29 verschillende bacheloropleidingen uit Nederland (24), België (4) en Duitsland (1). Hieronder waren twee bacheloropleidingen uit Maastricht met 82 kandidaten (35%). De 90 studenten die uiteindelijk zijn ingestroomd in de A-KO master komen voort uit 17 verschillende vooropleidingen; 29 van deze studenten (32%) hebben een Maastrichtse bacheloropleiding afgerond.

Zoals eerder is gesteld kan het GPA niet gebruikt worden als selectiemiddel omdat de cijfers en de onderliggende kwalificaties die behaald zijn in de verschillende vooropleidingen nogal blijken te verschillen. Onder de A-KO kandidaten varieert het gemiddelde GPA per bacheloropleiding van 6.48 tot 7.81 en deze verschillen zijn statistisch significant (one-way ANOVA; p<0.01).

De selectieprocedure blijkt geen invloed te hebben op de man-vrouw verhouding; de groep van 240 kandidaten bestond uit 105 mannen (44%) en 135 vrouwen (56%) en onder de 90 studenten die gestart zijn met de A-KO opleiding bevinden zich 40 mannen en 50 vrouwen (ook 44 en 56%). Dit laat zien dat de gebruikte procedure geen positieve discriminatie van vrouwelijke kandidaten induceert. Opvallend is wel dat het aandeel mannelijke studenten in de A-KO master hoger is dan in de reguliere opleiding Geneeskunde (in 2009 was in Maastricht het aandeel mannelijke studenten in de reguliere opleiding 36%).

De ingevulde vragenlijsten wijzen uit dat de kandidaten zeer positief oordelen over de voorlichting (gemiddelde score van 4.5 op een vijfpunts Likertschaal), over de organisatie van de interviewronde (4.8), en ook over de mogelijkheid om zichzelf goed te presenteren. Het nut van elk interview werd ook positief beoordeeld. De scores varieerden van 3.8 tot 4.4. Ook vinden de kandidaten dat alle toelatingscriteria voldoende aan bod komen tijdens de selectieprocedure (4.5). De interviewers ervaren de procedure eveneens als positief. De gebruikte casuïstiek voldoet en de lengte van de interviews is voldoende. De trainingssessies worden als informatief en nuttig ervaren en noodzakelijk geacht voor standaardisatie. Alle interviews blijken te differentiëren: globale oordelen varieerden steeds van ‘ongeschikt’ tot ‘geschikt’. Per interview varieerde het aantal oordelen ‘ongeschikt’ van 2–21%, terwijl in 21–35% gevallen per interview het oordeel ‘twijfelachtig’ werd gegeven.

Om de generaliseerbaarheid van de interviewoordelen te bepalen is een generaliseerbaarheidsanalyse uitgevoerd. Een generaliseerbaarheidsanalyse is een statistische schatting van de betrouwbaarheid die gebaseerd is op variantie-analyse. Er wordt een schatting gemaakt van alle variantiebronnen die bijdragen aan de totale variantie tussen de scores van de kandidaten. Zo kan een onderscheid gemaakt worden tussen de variantie die gewenst is (in dit geval in mate van geschiktheid) en ongewenste of ruisvariantie. In deze studie is een 1-facet-design, ofwel een P x I design (kandidaat [persoon] x interviewoordeel [item]) gebruikt. Dit resulteerde in een generaliseerbaarheid van 0.524 bij vijf interviews, en van 0.569 bij zes interviews. Ten opzichte van de 0.80 die soms als streefwaarde gehanteerd wordt voor ‘high-stakes’ toetsing is dit op zijn best redelijk te noemen, maar dit is een schatting van de betrouwbaarheid indien het een simpele optelsom van zes interviews zou zijn geweest. Het is alleszins aannemelijk dat deze waarden, in combinatie met de plenaire evaluatiesessie direct na elke serie mini-interviews, de betrouwbaarheid van de gehanteerde MMI methode voldoende hoog maken.

Verder is per interview onderzocht of de identiteit van de interviewer invloed heeft gehad op de oordelen; dit was noodzakelijk omdat niet alle interviews steeds door dezelfde persoon konden worden afgenomen. Zowel per jaar als over de drie jaren tezamen blijkt dat de identiteit van de interviewer geen significante invloed heeft op het oordeel per interview (Kruskall-Wallis test, met losse Mann-Whitney U testen als post-hocs; alle p-waarden >0.21). Dit resultaat is waarschijnlijk mede het gevolg van de effectiviteit van de interviewtrainingen.

Discussie en conclusie

De opgedane ervaringen met de selectieprocedure voor de A-KO master op basis van een combinatie van cognitieve en non-cognitieve kwaliteiten zijn tot nu toe positief. De procedure induceert geen gendereffect en wordt als acceptabel beoordeeld door alle betrokkenen, wat overeenkomt met de bevindingen op de McMaster University.8 De kennistoets in de eerste selectieronde fungeert als filter, en tevens als diagnostisch instrument om een indruk te krijgen van het kennisprofiel van de kandidaten. Alhoewel het gebruik van één toets op zichzelf waarschijnlijk weinig voorspellende waarde heeft, blijkt het een pragmatisch en acceptabel instrument te zijn om tot een eerste reductie van de groep aangemelde kandidaten te komen.

De MMI methode met zes mini-interviews blijkt een betrouwbare manier te zijn om zowel cognitieve als non-cognitieve kwaliteiten van kandidaten te wegen. De gevonden generaliseerbaarheid is vergelijkbaar met en zelfs iets beter dan die in andere studies, uitgaand van vijf tot zes interviews. In hun eerste studie vinden Eva et al. een dergelijke generaliseerbaarheid pas bij tien mini-interviews.8 Roberts et al. vinden een vergelijkbare betrouwbaarheid bij zes stations; zij geven aan dat minimaal veertien interviews nodig zouden zijn om een betrouwbaarheid van .80 te bereiken.13 De oordelen per interview zijn bovendien onafhankelijk van de identiteit van de interviewer, waarschijnlijk mede ten gevolge van een goede training vooraf.

De hier beschreven methode is speciaal ontworpen voor het selecteren van kandidaten voor een masterprogramma. Dit was noodzakelijk omdat de bacheloropleidingen zeer heterogene profielen hebben en er geen sprake is van vergelijkbare cijfers; gewogen loting is daarom geen geschikt selectie-instrument. De A-KO selectieprocedure weegt zowel cognitieve als non-cognitieve eigenschappen, die in de opleiding tot basisarts en klinisch onderzoeker van groot belang zijn. Ervaringen met deze wijze van selecteren kunnen een bruikbare bijdrage leveren aan de optimalisering van toelating tot de artsopleiding.

Momenteel wordt onderzoek verricht naar de voorspellende waarde van de A-KO selectiemethode voor het studiesucces van de studenten en naar het hanteerbaar maken van de methode voor grotere groepen.

Dankbetuiging

De auteurs danken Ellen Kerkhofs, Maud Senden, Marre Andrée Wiltens, Floor Steegh, dr. Willem de Grave, mr. M. Hukkelhoven (allen MUMC+), prof. dr. Gerda Croiset en dr. Tineke Westerveld (beiden SUMMA/UMCU) voor hun bijdragen aan het opzetten van de selectieprocedure en het onderzoek.

De auteurs:

Drs. Janneke Guyaux is psycholoog en onderzoeksassistent, vakgroep Onderwijsontwikkeling en –research.*Dr. Mirjam oude Egbrink is medisch fysioloog en opleidingsdirecteurGeneeskunde, vakgroep Fysiologie.*Dr. Sylvia Heeneman is biologisch gezondheidkundige,vakgroep Pathologie.*Dr. Boy Houben is bioloog, vakgroep Interne Geneeskunde.*Dr. Christine Willekes is gynaecoloog, vakgroep Obstetrie/Gynaecologie.*Prof. Dr. Lambert Schuwirth is arts en onderwijskundige,vakgroep Onderwijsontwikkeling en -research.*Dr. Ton de Goeij is experimenteel pathobioloog en programmadirecteurA-KO master, vakgroep Pathologie.*