Inleiding

Een toelatingssysteem voor opleidingen met een numerus fixus en alleen een (gewogen) loting kampt met een tanend maatschappelijk draagvlak.1 Sinds 1999 hebben universitaire instellingen voor dergelijke opleidingen daarom de mogelijkheid studenten te selecteren, voor maximaal de helft van de beschikbare studieplaatsen.2 Een deel van deze plaatsen moet beschikbaar worden gesteld voor kandidaten die rechtstreeks toegang tot de opleiding hebben, bijvoorbeeld omdat zij gemiddeld een 8 of hoger op hun VWO-examen hebben gehaald. De instelling mag eigen criteria hanteren voor de decentrale selectie. Doel van de wet is om kandidaten met een specifiek talent, met sterke motivatie of met een bijzondere inzet, meer invloed op hun toelating tot de opleiding te geven.

Decentrale selectie voor de opleidingen Geneeskunde

In 2000 begonnen de Universiteit Leiden (UL) en de Universiteit Utrecht (UU) met het decentraal selecteren van studenten binnen de gegeven experimentele kaders.2 In 2001 volgden de Eramus Universiteit Rotterdam (EUR), de Universiteit van Amsterdam (UvA) en de Vrije Universiteit Amsterdam (VU). De overige drie universiteiten – de Rijksuniversiteit Groningen (RuG), de Radboud Universiteit Nijmegen (RU Nijmegen) en de Universiteit Maastricht (UM) – zagen af van deelname, onder andere vanwege ontbrekend bewijs dat het selecteren van studenten leidt tot een hoger opleidingsrendement of dat geselecteerde studenten zich uiteindelijk ontwikkelen tot betere artsen.

Voor het studiejaar 2009/2010 pasten vijf universiteiten (EUR, RuG, UvA, UL en VU) decentrale selectie toe en voor het studiejaar 2010/2011 voegde de RU Nijmegen zich daarbij. De UU is gestopt met decentrale selectie voor de reguliere opleiding Geneeskunde, maar hanteert – net als de UM – wel een decentrale selectieprocedure voor de medische researchmaster (respectievelijk Selective Medical Master Utrecht [SUMMA] en onderzoeksmaster Arts-Klinisch Onderzoeker [A-KO] te Maastricht).3

Randvoorwaarden bij decentrale selectie

De achterliggende gedachte bij de criteria die de instellingen hanteren voor decentrale selectie is dat daarmee expliciet gekwalificeerde kandidaten geselecteerd kunnen worden. De wet is gericht op het vergroten van de invloed die kandidaatstudenten zelf op de selectie kunnen uitoefenen. De wettelijke ruimte die geboden wordt voor selectie heeft enkele restricties.4 Leeftijd, geslacht en eindexamencijfers mogen niet als selectiecriteria gebruikt worden, terwijl dat wel belangrijke voorspellers van studiesucces in de bachelorfase zijn.5–7 Indien het doel van decentrale selectie verbetering van het studierendement is, dient uitgeweken te worden naar criteria waarvan de voorspellende waarde lager of (nog) onbekend is. Een uitgebreid overzicht van de selectiecriteria die de oorspronkelijk deelnemende universiteiten hanteerden, en de daarbij behorende achterliggende gedachten, worden weergegeven in het rapport “Lot in eigen hand”, uit 2003.8

In dit artikel wordt het decentrale selectieproces beschreven zoals dat in Groningen sinds 2009 wordt toegepast. Daarnaast wordt aan de hand van de beschikbare variabelen ‘leeftijd’ en ‘geslacht’ een eerste verkenning gedaan naar eventuele bias in onze selectieprocedure.

Methode

Context

Vanaf collegejaar 2009/2010 bestaat de opleiding Geneeskunde in Groningen uit twee stromingen: de Nederlandse bachelor (NB) en een Engelstalige variant, de International Bachelor of Medicine Groningen (IBMG). De vastgestelde onderwijscapaciteit voor de gehele opleiding is 410. De opzet van de curricula van de oorspronkelijke Nederlandse bachelor (NB) en de IBMG is in de basis gelijk. De invulling van het curriculum van de IBMG is daarnaast gericht op Global Health. Aangezien het voor deze opleidingsvariant essentieel is dat studenten de Engelse taal op hoog niveau beheersen, is selectie noodzakelijk. Deze noodzaak is aangegrepen om meteen het maximale aantal studenten te selecteren dat binnen de wettelijke kaders mogelijk is, dus ook een deel van de NB-studenten. Voor de IBMG worden jaarlijks 60 opleidingsplaatsen gereserveerd. De resterende plaatsen zijn – na aftrek van de ‘achtplussers’ – voor de NB.

De NB en de IBMG hebben een competentiegericht programma waarin zeven bekwaamheden centraal staan: communiceren (C), probleem oplossen (PO), omgaan met kennis en wetenschap (OKW), onderzoeken en handelen (OH), behandelen (B), omgaan met de maatschappelijke context (OMC) en reflecteren (R). Professioneel gedrag van studenten en artsen speelt een grote rol tijdens de opleiding. Wij gaan ervan uit dat elke kandidaat die voldoet aan de algemene vooropleidingscriteria voor de opleiding Geneeskunde zich de theoretische kant van de opleiding eigen kan maken. Selectie biedt de gelegenheid studenten te selecteren op (aanleg voor) non-cognitieve bekwaamheden. Bovendien worden de kandidaten zich door de selectieprocedure bewuster van de inhoud van het curriculum, waardoor hun affiniteit met het onderwijsprogramma mogelijk wordt vergroot. Dit is belangrijk omdat uit een aantal evaluaties is gebleken dat sommige studenten de competentiegerichtheid van het curriculum – met name de daarbij behorende reflectie – minder waarderen.

Kortom, de start van de IBMG was de aanleiding om via decentrale selectie studenten te selecteren die gemotiveerd zijn voor ons competentiegerichte curriculum en die naast cognitieve kwaliteiten ook over non-cognitieve kwaliteiten beschikken die nodig zijn voor een succesvolle studie en latere beroepsuitoefening.

Procedure

Bij het ontwerpen van de selectieprocedure werden zowel Nederlandse als buitenlandse ervaringen met het selecteren van geneeskundestudenten bestudeerd. Dit resulteerde in een selectieprocedure met een schriftelijke eerste ronde en een tweede ronde waarbij kandidaten op de faculteit Medische Wetenschappen te Groningen werden uitgenodigd. Daar de EUR rapporteerde dat na twee jaar het uitvalpercentage van de door hen geselecteerde studenten 2,6 keer lager ligt dan dat van ingelote studenten, is de opzet van de eerste ronde gebaseerd op de eerste ronde van de selectieprocedure van de EUR.9 Daarnaast zou een vergelijkbare procedure op termijn mogelijkheden bieden voor multi-site onderzoek. Zie Tabel 1 voor een overzicht van de beide procedures.

Voor de eerste ronde stuurden kandidaten een uitgebreid dossier in, dat werd beoordeeld op drie clusters: vooropleiding, nevenactiviteiten en reflectie. Bij de – van de EUR overgenomen – clusters vooropleiding en nevenactiviteiten is de aanname dat kandidaten die hoog scoren goed kunnen plannen en meerdere taken tegelijkertijd kunnen uitvoeren. Kandidaten kregen punten voor extra vakken, substantiële bijbanen, bestuursfuncties en hobby’s die op hoog niveau werden uitgeoefend (bijvoorbeeld sport of muziek), mits officiële bewijsstukken aan het dossier waren toegevoegd.

Het door de RuG toegevoegde reflectiecluster bestond uit verschillende opdrachten, waaronder een opdracht over een maatschappelijke ontwikkeling op medisch gebied. Daarnaast moesten kandidaten aan vier personen in hun omgeving vragen welke aspecten van het arts-zijn goed, en welke minder goed bij hem/haar pasten en daardoor valkuilen zouden kunnen zijn. De kandidaat moest vervolgens een reflectie op deze vier meningen schrijven.

Alle dossiers werden onafhankelijk beoordeeld door twee hiervoor getrainde masterstudenten rechten. De beoordelingssessies werden altijd door een staflid gesuperviseerd. Er is bewust gekozen voor rechtenstudenten, omdat het waardevrij oordelen één van de kerncompetenties binnen de juridische opleidingen is. Er werd gebruik gemaakt van standaard beoordelingsformulieren, waarop de eisen waren aangegeven waaraan een kandidaat moest voldoen om punten te behalen. Indien de totaalscores van twee beoordelaars meer dan twee punten van elkaar afweken, vond een herbeoordeling door twee stafleden plaats. Kandidaten werden op basis van het totaal aantal behaalde punten geordend, zowel voor de NB als voor de IBMG. Alle dossiers met somscores die in het grensgebied ‘wel/niet doorlaten’ uitkwamen, werden ook door stafleden herbeoordeeld. Voor de tweede ronde waren maximaal 300 plaatsen beschikbaar.

Alle kandidaten werden schriftelijk op de hoogte gesteld of zij geselecteerd/afgewezen waren voor de tweede ronde, waarbij gewezen werd op de mogelijkheid om binnen zes weken bezwaar aan te tekenen tegen het afwijzingsbesluit.

In de tweede ronde – op de selectiedag op de faculteit – doorliepen de kandidaten vier blokken van 90 minuten: 1) een patiëntcollege met aansluitend vragen en opdrachten, 2) een blok wetenschap met open vragen, 3) een schrijfopdracht en 4) multiple mini interviews (MMI’s). Multiple mini interviews, die onder andere in Canada en Australië gebruikt worden om geneeskundestudenten te selecteren, zijn een soort stationsexamens waarbij de kandidaat individueel of in groepsverband een opdracht moet uitvoeren. Bij sommige stations communiceert de kandidaat rechtstreeks met de beoordelaar; bij andere stations worden acteurs ingezet en voeren kandidaten een rollenspel uit, waarbij de beoordelaar observeert. Het eindoordeel wordt betrouwbaar door voldoende interviews per kandidaat af te nemen, waarover verschillende beoordelaars steeds een subjectief, globaal oordeel geven.10–14

Tabel 1. Overzicht van de selectieprocedures EUR en RuG.
Full size table

Doel van de blokken was kandidaten op zowel cognitieve als non-cognitieve aspecten te testen. De aspecten kwamen overeen met zes van de zeven bekwaamheden waarin studenten in het Groningse curriculum worden opgeleid (zie Tabel 2). De bekwaamheid behandelen (B) kan niet zonder medische scholing getoetst worden en wordt daarom niet meegenomen in de selectieprocedure. De inhoud van de blokken was gelijk voor de NB en de IBMG, maar voor de IBMG werden alle opdrachten volledig in het Engels afgenomen. Zowel de mondelinge als de schriftelijke Engelse taalvaardigheid van de IBMG-kandidaten werd aanvullend beoordeeld.

Om logistiek mogelijk te maken dat alle kandidaten alle onderdelen van de tweede ronde konden doorlopen, werden de kandidaten in vier groepen verdeeld. Elke groep doorliep alle blokken volgens een eigen, vast rooster. In elk blok was plaats voor 75 kandidaten en elk blok werd tijdens de selectiedag vier keer aangeboden. Voor elk blok werd een blokcoördinator aangesteld, die op de selectiedag werd ondersteund door twee logistiek medewerkers.

Bij het MMI-blok werden de 75 kandidaten verdeeld over vijf locaties; op elke locatie doorliepen 15 kandidaten verscheidene stations. Daarnaast werden voor elke locatie van het MMI-blok twee locatiemanagers aangesteld. Sommige stations uit dit blok maakten gebruik van een acteur. Hiervoor werden 20 student-acteurs ingehuurd. Met een inzet van veertig docentbeoordelaars, die hiervoor specifiek getraind waren, werden in het MMI-blok de kandidaten beoordeeld. Beoordelaars en acteurs werden maximaal een halve dag ingedeeld.

De uitgewerkte opdrachten van de overige blokken werden beoordeeld door inhoudelijke experts of indien mogelijk op basis van tevoren ontwikkelde beoordelingsstandaarden door de rechtenstudenten.

De eindscore werd bepaald door de som van de scores op de verschillende blokken, waarbij het MMI-blok twee keer zo zwaar telde. Er werd een gezamenlijke rangorde opgesteld voor de NB en IBMG. Dit was noodzakelijk omdat de NB en IBMG stromingen zijn van één numerus fixusopleiding (Geneeskunde in Groningen) en geen op zichzelf staande fixusopleidingen zijn.

Na twee weken kregen de kandidaten schriftelijk bericht over hun eindscore en rangordenummer, waarbij wederom de mogelijkheid werd aangegeven om binnen zes weken bezwaar aan te tekenen.

Tabel 2. Getoetste bekwaamheden in de verschillende onderdelen van de decentrale selectie.
Full size table

Analyse

Na de eerste en tweede selectieronde werden verschillen in groepssamenstelling met betrekking tot geslacht geanalyseerd met behulp van de chi-kwadraattoets. Om de verschillen tussen groepen te bepalen wat betreft leeftijd en scores op de onderdelen uit de eerste en tweede ronde werd de ongepaarde t-toets gebruikt. De significantie werd voor beide toetsen gesteld op α=0,05 (tweezijdig).

Resultaten

Descriptieve analyse

In 2009 stuurden 910 kandidaten een dossier voor de eerste ronde in, waarvan zich 794 hadden aangemeld voor de NB en 116 voor de IBMG. Op basis van de rangorde werden 293 kandidaten uitgenodigd voor de tweede ronde, 208 voor de NB en 85 voor de IBMG. In 2010 werden 913 dossiers ingestuurd, 771 voor de NB en 142 voor de IBMG. Op basis van de rangorde werden 294 kandidaten uitgenodigd voor de tweede ronde, 215 voor de NB en 79 voor de IBMG.

Nadere analyse laat zien dat het reflectiecluster in de Groningse procedure invloed heeft gehad op de uiteindelijke rangorde van de NB: op basis van louter EUR criteria zou in 2009 38% (n=78) en in 2010 40% (n=87) van de deelnemers aan de tweede ronde uit andere kandidaten hebben bestaan.

Van cohort 2009 werden 138 studenten decentraal geselecteerd en 62 toegelaten op basis van een 8+. Van de ingelote studenten had 59% deelgenomen aan de decentrale selectie (Tabel 3). Van cohort 2010 werden 149 studenten decentraal geselecteerd en 49 toegelaten op basis van een 8+. Van de ingelote studenten had 54% deelgenomen aan de decentrale selectie (Tabel 3).

Een deel van de toegelaten 8+-studenten had meegedaan aan de selectieprocedure: 48% in 2009 en 37% in 2010. Respectievelijk 33% (n=10) en 50% (n=9) van deze studenten werd toegelaten tot de tweede ronde. Wanneer zij gemiddeld geen acht of hoger hadden gehaald op hun VWOexamen, zouden respectievelijk 60% en 89% van deze kandidaten tot de opleiding zijn toegelaten op basis van hun rangordenummer.

Tabel 3. Verdeling studentaantallen over toelatingscategorieën.
Full size table

Verschillen in leeftijd en geslacht

Gekeken is of er verschillen waren op het gebied van leeftijd en geslacht in de groepssamenstellingen van kandidaten na selectie. Daarnaast werden verschillen in prestaties tussen mannen en vrouwen in de verschillende rondes onderzocht.

Na de eerste ronde werd er in 2009 geen significant verschil in leeftijd gevonden tussen geselecteerde en afgewezen kandidaten (NB: (t(791)=2.099;p=ns; IBMG: (t(114)=1.806;p=ns). In 2010 was dit wel het geval (NB: (t(769)=3.032;p<.05; IBMG: (t(96)=2.495;p<.05). Geselecteerde kandidaten waren gemiddeld 18,6 jaar, afgewezen kandidaten waren gemiddeld 18,9 jaar. Na de tweede ronde werden in geen van beide jaren significante leeftijdsverschillen gevonden tussen wel en niet geselecteerde kandidaten voor zowel de NB als de IBMG.

In 2009 was 66% van de aangemelde kandidaten voor de NB vrouw, in 2010 was dit 67%. Voor de tweede ronde van de NB werden alleen in 2009 significant meer vrouwen geselecteerd (2009:x2[1]= 4.34;p<.05; 2010: x2[1]=1.89;p=ns). Na de tweede ronde werden in geen van beide jaren significante verschillen in de manvrouw verhouding gevonden. Vrouwen scoorden in beide jaren gemiddeld significant hoger op het reflectiecluster uit de eerste ronde (2009: t(788)=3.209;p<.001; 2010: t(769)=2.067;p<.05). Ook scoorden vrouwen die opteerden voor zowel de NB als de IBMG in 2010 significant hoger op het MMI-blok uit de tweede ronde (NB: t(213)=-3.195;p<.05); IBMG: t(73)=-2.406; p<.05). Het verschil tussen scores op de andere onderdelen was niet significant.

Bezwaarschriften

Eerste ronde: in 2009 en 2010 werden na de eerste ronde respectievelijk 33 en 27 bezwaarschriften ingediend. Conform de daarvoor vastgestelde procedure kregen alle kandidaten die een bezwaarschrift hadden ingediend de gelegenheid hun bezwaar mondeling toe te lichten tijdens een zitting van de Commissie van Advies voor de Beroep- en Bezwaarschriften. Dit is een door een rechter voorgezeten, onafhankelijke commissie die – in navolging van de Algemene wet bestuursrecht – het College van Bestuur adviseert omtrent door het College te nemen beslissingen op beroep- en bezwaarschriften. In bijna alle gevallen was de kern van het bezwaarschrift dat kandidaten de indruk hadden dat onderdelen van hun inschrijfformulier onvoldoende positief beoordeeld waren. Tijdens de zitting bleek dat in het merendeel van de gevallen de door de kandidaat genoemde punten wel naar waarde waren geschat.

Van de bezwaren werden zowel in 2009 als in 2010 vier zaken gegrond verklaard. Hierdoor mochten sommige kandidaten alsnog door naar de tweede ronde; de overige kandidaten mochten extra informatie aanleveren voor hun dossier, welke bij een herbeoordeling meegewogen werd. Kandidaten waarvan het bezwaar gegrond werd verklaard, hadden meestal te maken gehad met bijzondere omstandigheden (zoals ziekte), waardoor zij tijdens hun middelbare schooltijd minder actief zijn geweest. De bezwaarcommissie gaf aan zeer positief te zijn over de zorgvuldigheid van de beoordelingsprocedure. Wel vond de commissie in 2009 dat de transparantie ten aanzien van de selectiecriteria beter kon. Daarom kregen kandidaten in 2010 na de eerste ronde de algemene beoordelingscriteria toegestuurd.

Tweede ronde: na afloop van de tweede ronde werden in 2009 twee en in 2010 drie bezwaarschriften ingediend. Al deze bezwaren werden ongegrond verklaard.

Kosten

De kosten voor de gezamenlijke procedure voor de NB en de IBMG bedroegen € 134.000,- per jaar. Dit waren voornamelijk personele kosten (€ 114.000,-), onder te verdelen naar a) € 68.800,- voor de medewerkers van het Onderwijsinstituut die verantwoordelijk waren voor de communicatie rond en de opzet en uitvoer van de selectie, b) docentbeoordelaars (€ 21.600,-), c) rechtenstudenten (€ 20.400,-) en d) (student)acteurs (€ 3.200,-). De overige € 20.000,- waren kosten voor materieel, catering tijdens de tweede ronde, additionele schoonmaak en dergelijke.

Discussie

Op basis van de huidige procedure zijn de afgelopen twee jaar dossiers van ruim 1800 kandidaten beoordeeld. Er zijn geen aanwijzingen gevonden dat er in deze procedure sprake is van een systematische bias op het gebied van leeftijd of geslacht. In de selectiejaren afzonderlijk zijn er wel verschillen gevonden in groepssamenstelling na de eerste selectieronde van de NB. In 2009 werden meer vrouwen geselecteerd. In 2010 waren geselecteerde kandidaten voor de tweede ronde gemiddeld jonger dan niet geselecteerde kandidaten. Omdat deze resultaten niet eenduidig zijn, blijft onderzoek naar de populatie van toegelaten kandidaten de komende jaren gewenst.

Uit de analyse van beide selectiejaren komt naar voren dat vrouwen beter presteren op het reflectiecluster uit de eerste ronde. Het zou kunnen zijn dat vrouwen, over het algemeen, beter presteren op een dergelijke opdracht omdat zij vaker een manier van redeneren gebruiken waarbij de meningen van anderen worden meegewogen.15 Dit kan ook de reden zijn dat vrouwen gemiddeld hoger scoorden op het MMI-blok van 2010. In de stations uit dit blok lag sterk de nadruk op samenwerken, waardoor kandidaten die een redeneerschema gebruiken waarbij de mening van anderen wordt meegenomen, wellicht hoger scoorden. Of dit effect ook in de komende jaren te zien is, zal onderzocht moeten worden.

Een andere mogelijke bias is authenticiteit. Het is mogelijk dat kandidaten hulp krijgen bij het maken van de opdrachten voor de eerste ronde. Gezien de aard van de opdrachten zouden bijvoorbeeld kandidaten uit hogere milieus hier in het voordeel kunnen zijn, omdat zij mogelijk beter begeleid worden bij het samenstellen van hun dossiers.16 Nader onderzoek zal moeten uitwijzen of sociale klasse een rol speelt bij de door ons gekozen vorm van selectie. In internationaal onderzoek wordt onder andere de mogelijke authenticiteitsbias als argument aangevoerd om bij selectie van geneeskundestudenten het gebruik van een zelfrapportage af te raden. Siu en Reiter stelden een overzicht op van gebruikte selectiemethoden en hun voorspellende waarde voor prestaties van Noord-Amerikaanse geneeskundestudenten, teneinde richtlijnen te geven voor het ontwikkelen van selectiemethoden. In het kort adviseren zij om niemand te vertrouwen – zowel beoordelaars als kandidaten –, geen zelfrapportage te gebruiken en wel gebruik te maken van meerdere metingen van hetzelfde construct.17

Met behulp van de huidige procedure lukt het ons om alle kandidaten te testen op de cognitieve en non-cognitieve vaardigheden die aansluiten bij zes van de zeven competenties uit ons curriculum. Echter, de onzekerheid over de authenticiteit van het werk van kandidaten is een reden om de eerste selectieronde te herzien. Idealiter worden alle kandidaten op locatie uitgenodigd. Voor dit herzieningsproces blijft gelden dat het hanteren van sluitende decentrale selectiecriteria, onder andere door de Nederlandse wetgeving, lastig is.18 Bovendien is in het huidige politieke klimaat onduidelijk wat er in de toekomst gaat gebeuren met het toelatingssysteem van loting en decentrale selectie. Eventuele hervormingen in het selectieproces zijn daarvan afhankelijk. Blijft het bijvoorbeeld uitgesloten dat bij decentrale selectie VWO-eindexamencijfers meegewogen mogen worden? Blijven achtplussers zich rechtstreeks plaatsen voor een studieplek, met als gevolg dat zij niet vooraf op non-cognitieve capaciteiten getest kunnen worden?

Het doel is om kandidaten te selecteren op die cognitieve en non-cognitieve aspecten die eraan bijdragen dat zij zich kunnen ontwikkelen tot kundige, professionele en communicatief sterke artsen. In het buitenland heeft het jarenlang selecteren op cognitieve aspecten ertoe geleid dat tuchtzaken nog zelden over cognitieve onbekwaamheid gaan, maar veelal over onprofessioneel gedrag van artsen.17 Het is daarom wenselijk dat alle kandidaten ook op non-cognitieve capaciteiten geselecteerd worden.

De meest prangende vraag die nu nog onbeantwoord blijft, is of decentrale selectie van geneeskundestudenten werkt. En zo ja, wat er dan precies werkt. De eerste resultaten van decentrale selectie in Nederland zijn gepresenteerd. Binnen het AMC bleken geselecteerde studenten significant gemotiveerder dan de overige studenten. Bovendien namen zij vaker deel aan extra-curriculaire activiteiten, vaak binnen de gezondheidszorg, en vertoonden zij actiever studiegedrag.19 De EUR rapporteert dat na twee jaar het uitvalpercentage van door hen geselecteerde studenten 2,6 keer lager lag dan dat van ingelote studenten.9 De eerste door de RuG geselecteerde studenten presteerden beter op de non-cognitieve vaardigheden uit het eerste jaar dan de overige studenten.20 Nader onderzoek is noodzakelijk om de (langetermijn) effecten van decentrale selectie te bepalen. Het is daarbij belangrijk de samenwerking met zusterfaculteiten aan te gaan, zodat gezamenlijk sluitende selectiecriteria voor de Nederlandse geneeskundeopleidingen ontwikkeld kunnen worden.

Belangenconflict: geen gemeld

Financiële ondersteuning: geen gemeld