Inleiding

Docenten stellen regelmatig de vraag: ‘Welk type toetsvraag is het beste?’ Er is echter niet één type toetsvraag het beste. De keuze van het type moet afhangen van de stof die getoetst wordt en van het doel van het toetsen.1 Dit roept direct de vraag op: ‘Welk type toetsvraag is het meest geschikt om welk doel te toetsen?’ Studenten, docenten en onderzoekers kunnen hierover verschillende oordelen hebben. In deze studie is gezocht naar de overeenstemming tussen deze drie bronnen.

De basis van een curriculum wordt gevormd door de doelstellingen. De doelstellingen geven aan wat studenten moeten weten en kunnen aan het einde van hun studie. Ze vormen enerzijds een richtlijn voor de inhoud van het curriculum en anderzijds de basis voor de toetsing van de studenten.2 Binnen de cognitieve doelstellingen van een curriculum Geneeskunde worden dikwijls kennis-, inzichts- en toepassingsdoelstellingen onderscheiden. Onder kennis wordt hierbij verstaan het herinneren van informatie. Bij inzicht staat het begrijpen van informatie centraal en bij toepassing dient informatie gebruikt te worden in een nieuwe situatie.3

Figuur 1.
figure 1

Stroomdiagram zoekproces literatuuronderzoek.

Full size image

Zoekdatum: 9 maart 2009

Inclusiecriteria:

  • Nederlandse, Engelse, Franse of Duitse taal

  • Bespreken voor- en nadelen van tweekeuzevragen, drie-, vier- of vijfkeuzevragen, kort-antwoord open vragen of essayvragen en/of de mogelijkheid om met deze typen toetsvragen kennis, inzicht en toepassing te testen

Bij de schriftelijke toetsing van studenten geneeskunde wordt veel gebruik gemaakt van tweekeuzevragen, drie-, vier- of vijfkeuzevragen, kort-antwoord open vragen en essayvragen. Onder tweekeuzevragen worden onder andere juist/onjuist vragen verstaan; dit zijn gesloten vragen waarbij van een stelling aangegeven moet worden of deze juist of onjuist is. Met drie-, vier- of vijfkeuzevragen worden gesloten vragen bedoeld, waarbij respectievelijk drie, vier of vijf antwoordmogelijkheden worden gegeven. Kort-antwoord open vragen zijn open vragen, waarbij een kort antwoord van maximaal één woord tot één zin gevraagd wordt. Essayvragen zijn open vragen waarbij een antwoord van (meestal) meer dan één zin gegeven moet worden.

In deze studie is onderzocht welke van deze typen toetsvragen bij voorkeur gebruikt zouden moeten worden om studenten te toetsen op kennis, inzicht en toepassing; hiertoe is een literatuuronderzoek uitgevoerd en een enquête gehouden onder studenten en docenten.

Methode

Literatuuronderzoek

In de databases PubMed en EMBASE en op de internetsites van verschillende medisch onderwijskundige tijdschriften is gestructureerd gezocht naar artikelen waarin de voor- en nadelen van tweekeuzevragen, drie-, vier- of vijfkeuzevragen, kort-antwoord open vragen of essayvragen worden besproken en naar artikelen waarin de mogelijkheden worden beschreven om met deze typen toetsvragen kennis, inzicht en toepassing te testen. Het zoekproces is weergegeven in Figuur 1. In 21 artikelen bleek in ieder geval één van bovengenoemde onderwerpen beschreven te worden.

Enquête

Een enquête werd uitgezet onder 272 tweedejaarsstudenten, 300 zesdejaarsstudenten en 67 docenten van de faculteit Geneeskunde van de Universiteit Utrecht. Hierin werd hen gevraagd welk type toetsvraag ze het meest geschikt vinden om studenten te testen op kennis, inzicht en toepassing. Er kon gekozen worden uit tweekeuzevragen, drie-, vier- of vijfkeuzevragen, kort-antwoord open vragen, essayvragen en uit ander soort toetsing. Per kwaliteit mochten maximaal twee opties gekozen worden. Om een representatief beeld te krijgen werden studenten uit twee uiteenliggende leerjaren (leerjaar 2 en 6) gevraagd aan de enquête mee te doen. Als vertegenwoordiging van de docenten werden de zogeheten eerste en tweede coördinatoren van de onderwijsblokken binnen de studie Geneeskunde benaderd, aangezien zij niet alleen lesgeven maar ook verantwoordelijk zijn voor het opstellen van de toetsen.

Resultaten literatuuronderzoek

In de literatuur werden meerdere voor- en nadelen van tweekeuzevragen, drie-, vierof vijfkeuzevragen, kort-antwoord open vragen en essayvragen genoemd. Ook werd in verschillende artikelen aandacht besteed aan de mogelijkheid om met deze toetsvragen kennis, inzicht en toepassing te toetsen. Een samenvatting van de resultaten is weergegeven in Tabel 1.

Tweekeuzevragen en drie-, vier- of vijfkeuzevragen

Het opstellen van meerkeuzevragen is moeilijk4–5 en tijdrovend.6–8 Vooral bij gesloten vragen bestaat het risico dat de stam van de vraag of de antwoordmogelijkheden onduidelijk of dubbelzinnig worden.4 Verder kunnen alleen vragen gesteld worden waarop slechts één antwoord goed is.9 Als voordeel wordt genoemd dat het geven van antwoordmogelijkheden duidelijk maakt in welke richting het antwoord gezocht moet worden; bij open vragen is dit soms minder duidelijk.10

Wat betreft het beantwoorden van meerkeuzevragen zijn er belangrijke nadelen. Studenten hoeven het juiste antwoord slechts te herkennen.6 8–9 11 Daarnaast kunnen ze het goede alternatief gokken indien ze het antwoord niet weten.4 6 12–15 Ook kan de vraag zelf reeds aanwijzingen bevatten voor het juiste antwoord; dit wordt het ‘cueing-effect’ genoemd.4–6 8 10 12–14 16–17 Verder kunnen studenten hun antwoord niet toelichten.15 18 Vooral bij tweekeuzevragen zou het regelmatig voorkomen dat studenten het juiste antwoord kiezen op basis van incorrecte kennis.5 Overigens wordt door Schwartz en Loten gesuggereerd dat wanneer studenten bij meerkeuzevragen het juiste antwoord kiezen, hun denkwijze hierbij meestal correct is.18 Het effect van de genoemde nadelen zou kunnen zijn dat voornamelijk de cijfers van de minder goede studenten te hoog uitvallen. 14 Ook zouden meerkeuzevragen het leerpatroon van de studenten negatief kunnen beïnvloeden.4 6 14 16

Tabel 1. Voordelen en nadelen van de typen toetsvragen.
Full size table

Daar staat tegenover dat er wat betreft de beoordeling van meerkeuzevragen belangrijke voordelen zijn. Allereerst is deze snel en kosteneffectief, onder andere doordat het nakijken computergestuurd kan plaatsvinden. 4 5 8–10 12 15 17–19 Daarnaast is de beoordeling objectief, wat betekent dat dezelfde antwoorden bij verschillende studenten gelijk worden beoordeeld door verschillende beoordelaars.4 6–10 14 18–19 Bovendien is het een voordeel dat het handschrift van een student het nakijken van de antwoorden niet kan bemoeilijken.6

De validiteit van toetsen met tweekeuzevragen en drie-, vier- of vijfkeuzevragen wordt over het algemeen hoog genoemd, omdat ze de mogelijkheid bieden een brede steekproef van de stof te bevragen.12 13 20 Deze meerkeuzetoetsen hebben een hoge betrouwbaarheid omdat er veel onderwerpen aan bod kunnen komen. Omdat het beantwoorden van meerkeuzevragen relatief weinig tijd kost kunnen er namelijk veel vragen in een toets worden opgenomen.4–6 12–13 17 20 Wel wordt aangegeven dat de betrouwbaarheid van toetsen bestaande uit tweekeuzevragen lager is dan de betrouwbaarheid van toetsen met drie-, vier- of vijfkeuzevragen. 4

Meerkeuzevragen kunnen goed gebruikt worden om kennis te toetsen.4 6–8 10 12–13 17 18 22 Over de mogelijkheid om met tweekeuzevragen en met drie-, vier- of vijfkeuzevragen studenten te testen op inzicht en toepassing zijn de meningen verdeeld. Meerdere auteurs geven aan dat met een goed opgestelde vraag ook deze kwaliteiten beoordeeld kunnen worden.4 8 9 12–13 15–17 21 Er zijn echter anderen die menen dat ook met goed opgestelde meerkeuzevragen het niet mogelijk is studenten te toetsen op inzicht en toepassing.10 22

Kort-antwoord open vragen en essayvragen

Het opstellen van kort-antwoord open vragen en essayvragen kost relatief weinig tijd vergeleken met het opstellen van meerkeuzevragen.15 Een nadeel van deze typen toetsvragen is wel dat er onduidelijkheid kan bestaan over de richting waarin het antwoord gezocht moet worden.10 13 23

Daar er geen antwoordmogelijkheden worden gegeven, spelen bij het beantwoorden van open vragen gokken8 13 en het ‘cueing-effect’13 23 een kleinere rol dan bij het beantwoorden van meerkeuzevragen. Een groot voordeel is dat studenten bij zowel kort-antwoord open vragen11 als essayvragen9 24 een toelichting kunnen geven op hun antwoord; dit maakt het mogelijk hen niet alleen op hun antwoorden te beoordelen, maar ook op hun denkwijze. Ook is er meer ruimte voor variatie in de scores van de studenten, waardoor goede studenten beter van minder goede studenten onderscheiden kunnen worden.8

Ten aanzien van de beoordeling van open vragen bestaan er wel belangrijke nadelen. Allereerst is de beoordeling subjectief, wat betekent dat dezelfde antwoorden bij verschillende studenten ongelijk kunnen worden beoordeeld door verschillende beoordelaars. 8 10 13 17 Daardoor kunnen cijfers die door verschillende beoordelaars worden gegeven in belangrijke mate van elkaar afwijken. Overigens wordt regelmatig genoemd dat ook bij kort-antwoord open vragen7 11 14 15 en essayvragen23 de interbeoordelaarbetrouwbaarheid goed kan zijn en dat de betrouwbaarheid toeneemt naarmate de lengte van het verwachte antwoord afneemt.7 15 Zorgvuldig opgestelde antwoordmodellen kunnen hieraan bijdragen,8 maar dit is wel een tijdrovende bezigheid.5 23 Doordat de beoordeling handmatig moet plaatsvinden, kost het beoordelen van open vragen, en dan met name van essayvragen, veel tijd en geld. 10–11 13–15 17 23

Wat betreft de validiteit geven Case en Swanson aan dat open vragen vaak als meer valide worden ervaren dan meerkeuzevragen.10 Lipton en Huxham bevestigen dat de validiteit van toetsen bestaande uit essayvragen hoog kan zijn, maar wel met de kanttekening dat dit alleen het geval is wanneer de betrouwbaarheid van de toets voldoende is.20 Over het algemeen is de betrouwbaarheid van toetsen met essayvragen echter laag.5 7 10 13 17 20 23 Regelmatig wordt beschreven dat ook de betrouwbaarheid van toetsen met kort-antwoord open vragen laag is.5 10 13 17 Eén van de redenen hiervoor is dat het beantwoorden van open vragen relatief veel tijd kost, waardoor er weinig vragen in een toets kunnen worden opgenomen en er dus weinig onderwerpen aan bod komen.5 10 13 Echter, uit onderzoek van Rademakers et al. blijkt dat toetsen met kort-antwoord open vragen wel een hoge betrouwbaarheid kunnen hebben.8 Verder wordt door Mowbray en Davies en Webber beschreven dat de betrouwbaarheid van toetsen met essayvragen lager is dan de betrouwbaarheid van toetsen bestaande uit kortantwoord open vragen.7 15

Uit het literatuuronderzoek komt naar voren dat kort-antwoord open vragen gebruikt kunnen worden om studenten te toetsen op zowel kennis, inzicht als toepassing. 10 15 Ook met essayvragen kunnen alle drie de kwaliteiten getest worden.9–10 13 17 23

Resultaten enquête

De responspercentages van de tweedejaarsstudenten, zesdejaarsstudenten en docenten waren respectievelijk 43%, 47% en 52%. In Tabel 2 is weergegeven welk type toetsvraag door tweedejaarsstudenten, zesdejaarsstudenten en docenten het meest geschikt werd gevonden om kennis, inzicht en toepassing te testen.

Kennis

De meerderheid van de tweedejaarsstudenten, zesdejaarsstudenten en docenten was van mening dat kennis het best getoetst kan worden met een combinatie van drie-, vier- of vijfkeuzevragen en kort-antwoord open vragen (respectievelijk 43,2%, 39,7% en 57,1%).

Tabel 2. Overzicht van de typen toetsvragen die door tweede- en zesdejaarsstudenten en docenten het meest geschikt werden bevonden.Footnote

Aangezien de respondenten per vraag twee antwoordopties mochten kiezen, kan het totale percentage per kolom groter zijn dan 100%

Full size table

Inzicht

Voor het testen van inzicht ging de voorkeur van de tweede- en zesdejaarsstudenten uit naar een combinatie van kort-antwoord open vragen en essayvragen (respectievelijk 21,2% en 34,0%). Hoewel een groot aantal docenten deze combinatie van toetsvragen ook het meest geschikt vond (25,7%), gaf de meerderheid van de docenten de voorkeur aan een combinatie van drie-, vier- of vijfkeuzevragen en kort-antwoord open vragen (28,6%). Een belangrijk percentage van de tweedejaarsstudenten deelde deze mening (15,3%), evenals een kleiner deel van de zesdejaarsstudenten (9,2%).

Toepassing

Een groot deel van de tweedejaarsstudenten, zesdejaarsstudenten en docenten vond een combinatie van drie-, vier- of vijfkeuzevragen en kort-antwoord open vragen het meest geschikt om studenten geneeskunde te testen op toepassing (respectievelijk 22,0%, 18,4% en 17,1%). Verder vond 24,8% van de zesdejaarsstudenten en 25,7% van de docenten dat het best gebruik gemaakt kan worden van een combinatie van kortantwoord open vragen en essayvragen. Deze mening werd door 14,4% van de tweedejaarsstudenten gedeeld.

Opmerkingen

Veel studenten en docenten hadden hun antwoorden toegelicht. Hun opmerkingen kwamen overeen met de in de literatuur genoemde voor- en nadelen van de verschillende typen toetsvragen.

Een belangrijk nadeel van de tweekeuzevragen en van de drie-, vier- of vijfkeuzevragen ten opzichte van kort-antwoord open vragen en essayvragen vonden zowel tweede- als zesdejaarsstudenten dat er bij deze typen toetsvragen geen ruimte is om het antwoord toe te lichten. Hierdoor blijft het enerzijds onopgemerkt wanneer een goed antwoord is gebaseerd op een verkeerde denkwijze. Anderzijds krijgen de studenten geen punten voor een vraag waarbij de denkwijze wel goed is, maar uiteindelijk een verkeerd antwoord wordt gekozen. Een ander door studenten genoemd nadeel van meerkeuzevragen is dat altijd gegokt kan worden wanneer men het antwoord niet weet. Ze gaven aan dat dit fenomeen bij tweekeuzevragen nog groter is dan bij drie-, vier- of vijfkeuzevragen. Daarnaast vonden de studenten dat meerkeuzevragen vaak onduidelijk gesteld worden. Een nadeel dat vooral door zesdejaarsstudenten werd genoemd, is dat met meerkeuzevragen voornamelijk passieve kennis wordt getoetst en geen actieve kennis zoals met kortantwoord open vragen en essayvragen het geval is. In het licht van het uitoefenen van het beroep van arts vinden ze het belangrijker dat kennis gereproduceerd kan worden dan dat het herkend kan worden. Door tweedejaarsstudenten en docenten werd dit nadeel vrijwel niet genoemd.

Studenten gaven als nadeel van kortantwoord open vragen en essayvragen aan dat de beoordeling subjectief is. Ook zijn ze van mening dat het beantwoorden van essayvragen relatief veel tijd in beslag neemt in vergelijking met de beantwoording van meerkeuzevragen, waardoor het aantal vragen dat in een toets gesteld kan worden, wordt beperkt. Een belangrijk nadeel dat vooral door docenten werd genoemd, is dat het nakijken van kortantwoord open vragen en essayvragen erg veel tijd kost, die in de praktijk vaak niet beschikbaar is.

Hoewel de tweedejaarsstudenten, zesdejaarsstudenten en docenten meerdere voor- en nadelen hebben genoemd van tweekeuzevragen, drie-, vier- of vijfkeuzevragen, kort-antwoord open vragen en van essayvragen, werd meerdere malen door hen benadrukt dat het essentieel is dat een toetsvraag goed wordt opgebouwd en helder wordt geformuleerd. Tot slot gaven enkele zesdejaarsstudenten en docenten aan dat er binnen de studie Geneeskunde ook zeker plaats moet zijn voor niet-schriftelijke toetsen, zoals presentaties en praktische toetsen.

Discussie en conclusie

In de literatuur wordt beschreven dat tweekeuzevragen en drie-, vier- of vijfkeuzevragen gebruikt kunnen worden om studenten te toetsen op kennis. Over de mogelijkheid om met deze typen toetsvragen inzicht en toepassing te testen zijn de meningen echter verdeeld, hoewel meerdere auteurs aangeven dat met een goed opgestelde meerkeuzevraag ook deze kwaliteiten beoordeeld kunnen worden. Men is het erover eens dat met kort-antwoord open vragen en essayvragen zowel kennis als inzicht als toepassing getoetst kunnen worden.

Uit de enquête komt naar voren dat zowel de tweede- en zesdejaarsstudenten als de docenten een combinatie van drie-, vier- of vijfkeuzevragen en kort-antwoord open vragen het meest geschikt vinden om studenten te testen op kennis. Bij het toetsen van inzicht en toepassing gaat hun voorkeur uit naar een combinatie van drie-, vier- of vijfkeuzevragen, kort-antwoord open vragen en essayvragen.

Bij de enquête hebben meerdere studenten en docenten hun keuzes toegelicht. Deze opmerkingen komen overeen met de in de literatuur genoemde vooren nadelen van de verschillende typen toetsvragen. De genoemde nadelen bij de meerkeuzevragen betreffen voornamelijk de beantwoording van de vragen door de studenten. Deze nadelen zouden bij tweekeuzevragen nog groter zijn dan bij drie-, vier- of vijfkeuzevragen. De nadelen van open vragen betreffen met name de beoordeling van deze vragen, waarbij de nadelen nog meer van toepassing zijn op essayvragen dan op kort antwoord open vragen. Desondanks zouden essayvragen een belangrijke meerwaarde hebben bij het toetsen van inzicht en toepassing.9

Uit de resultaten van zowel het literatuuronderzoek als de enquête volgt dat bij het testen van kennis, inzicht en toepassing niet van één enkel type toetsvraag gebruik gemaakt zou moeten worden, omdat elk type belangrijke voor- en nadelen heeft. Om de verschillende voordelen van de diverse typen toetsvragen te kunnen benutten en hinder van nadelen zo veel mogelijk te beperken, zou een toets opgebouwd moeten worden uit een combinatie van verschillende typen toetsvragen; deze mening wordt gedeeld door Newble et al.14

In 2008 is door het KNMG studentenplatform een enquête gehouden onder de studentleden, waarin hen onder andere is gevraagd aan welk type toetsvraag zij de voorkeur geven bij het toetsen van theorie. Van de studenten prefereerde 14% meerkeuzevragen, 25% open vragen en 47% een combinatie van open vragen en meerkeuzevragen.25 Deze percentages zijn vergelijkbaar met de uitkomsten van onze studie met betrekking tot de voorkeur van studenten ten aanzien van het testen van kennis (respectievelijk 17%, 30% en 51%).

Onze studie heeft enkele beperkingen. Allereerst betreft het geen empirisch onderzoek. De conclusies zijn dus niet gebaseerd op de vraag of de geprefereerde combinaties van typen toetsvragen ook de beste psychometrische eigenschappen vertonen (validiteit en betrouwbaarheid). Wij hebben in kaart gebracht wat studenten en docenten wensen. In deze zin is met ‘meest geschikte’ typen toetsvragen een vraag gesteld naar de ‘face validity’, een vorm van validiteit die niet onbelangrijk is. Empirisch onderzoek hierover is niet overwogen, aangezien in de besproken literatuur uiteraard wel aandacht besteed is aan psychometrische eigenschappen. Daarnaast is in dit onderzoek alleen de traditionele toetsvorm onder de loep genomen, waarbij studenten schriftelijk worden getest met behulp van tweekeuzevragen, drie-, vier- of vijfkeuzevragen, kort-antwoord open vragen of essayvragen, terwijl er in de loop der tijd ook nieuwe toetsvormen zijn ontwikkeld, waaronder praktische toetsen en schriftelijke toetsen met nieuwe typen toetsvragen zoals ‘extended-matching’ vragen. Ondanks de komst van deze nieuwe toetsvormen wordt bij de toetsing van studenten geneeskunde echter nog altijd het meeste gebruik gemaakt van schriftelijke toetsen met tweekeuzevragen, drie-, vier- of vijfkeuzevragen, kort-antwoord open vragen of met essayvragen. Een derde beperking van de studie is dat de enquête alleen is gehouden onder studenten en docenten van de faculteit Geneeskunde van de Universiteit Utrecht. Het is mogelijk dat een enquête onder studenten en docenten van andere faculteiten geneeskunde geleid zou hebben tot andere uitkomsten, maar waarschijnlijk is dat niet.

Concluderend suggereren de resultaten dat bij de toetsing van studenten geneeskunde het best gebruik gemaakt kan worden van verschillende typen toetsvragen. Bij het testen van kennis zou de voorkeur uit moeten gaan naar een combinatie van drie-, vier- of vijfkeuzevragen en kort-antwoord open vragen. Bij het testen van inzicht en toepassing zou een combinatie van drie-, vier- of vijfkeuzevragen, kortantwoord open vragen en essayvragen de voorkeur moeten verdienen.

Ons inziens moeten deze voorkeuren afgewogen worden tegen zowel het doel van de toetsing als de consequenties die toetsen hebben voor studenten. Wanneer het zakken voor een toets leidt tot ernstige studievertraging, dan moeten toetsvragen met een lage betrouwbaarheid niet prevaleren. Wanneer de toetsen echter met name worden gebruikt om studenten aan te zetten tot studeren, dan zijn ook psychometrisch zwakkere vragenvormen goed te verdedigen.

Belangenconflict: geen gemeld

Financiële ondersteuning: geen gemeld