figure 1

Naam:

Marjolein Heijne-Penninga

Opleiding:

1998–2002

Psychologie aan de Rijksuniversiteit Groningen, richting Onderwijspsychologie en nevenrichting Arbeid, Organisatie en Personeelspsychologie. Tijdens de studie stage gelopen bij het Onderwijsinstituut van de Faculteit Medische Wetenschappen, UMCG. Onderzoek gedaan naar trainingbehoeftes van docenten.

Professionele en onderwijskundig werkzaamheden:

2002-heden

Onderwijskundig medewerker bij het Onderwijsinstituut van de Faculteit Medische Wetenschappen en in deze functie betrokken bij de ontwikkeling van het nieuwe curriculum Tandheelkunde en bij de ondersteuning van docenten Tandheelkunde en Geneeskunde op het gebied van evaluatie, onderwijsontwikkeling en didactische vaardigheden. Daarnaast vanaf 2005 gestart met promotieonderzoek rond het gebruik van open-boek toetsen.

Inleiding

Onderwijsprogramma’s bevatten drie belangrijke aspecten die het leren van studenten beïnvloeden: de doelen, de middelen en de toetsing. Voor optimaal onderwijs is het van belang dat deze drie aspecten goed op elkaar afgestemd zijn. Het leergedrag van studenten, en daarmee indirect het studiesucces, wordt het meest gestuurd door de toetsing. In dit proefschrift staat een toetsvorm centraal die goed lijkt te passen bij de huidige leerdoelen en bij het probleemgestuurd leren: de open-boek toets.

Aanleiding voor het gebruik van openboek toetsen zijn twee belangrijke trends die momenteel plaatsvinden en invloed uitoefenen op het (medisch) onderwijs: 1) een groeiende en zich snel ontwikkelende hoeveelheid kennis, en 2) het formuleren van leerdoelen in termen van competenties – integratie van kennis, vaardigheden en gedrag. De gesloten-boek toets is de meest gebruikte toetsvorm en is geschikt om kennis te toetsen die studenten moeten onthouden en kunnen reproduceren. De open-boek toets daarentegen is geschikter om te toetsen of studenten in staat zijn met een grote hoeveelheid kennis om te gaan. Daarnaast lijken openboek toetsen beter aan te sluiten bij leerdoelen die geformuleerd zijn als competenties.

Het uiteindelijke doel van dit proefschrift is een bijdrage te leveren aan het antwoord op de vraag of open-boek toetsen wel of niet moeten worden ingevoerd. Hiervoor zijn vijf deelonderzoeken uitgevoerd.

Het onderzoek

In het geneeskundecurriculum van het Universitair Medisch Centrum Groningen wordt vanaf het eerste studiejaar gewerkt met gecombineerde gesloten- en openboek toetsen. De totale hoeveelheid kennis voor de toets is onderverdeeld in kernstof – kennis die studenten moeten onthouden en kunnen reproduceren en die getoetst wordt met gesloten-boek vragen, en mantelstof – kennis die studenten op het juiste moment moeten kunnen vinden, begrijpen en toepassen en die getoetst wordt met behulp van open-boek vragen.

Het eerste onderzoek: hierin is gekeken naar de invloed van open-boek vragen op de kwaliteit van de toets in termen van betrouwbaarheid en moeilijkheid. Er is een generaliseerbaarheidsstudie uitgevoerd, waarbij statistische gegevens van 14 toetsen uit het eerste en tweede studiejaar van twee cohorten studenten (N=435 en N=449) geanalyseerd zijn met behulp van multilevel analyse. Uit de resultaten blijkt dat het mogelijk is open- en gesloten-boek vragen naast elkaar te gebruiken, zonder dat dit een grote negatieve invloed uitoefent op de betrouwbaarheid van de toets.

Het tweede onderzoek: dit onderzoek was gericht op de invloed van de toetsvorm op de mate van diep leren van studenten – de meest gewenste manier van studeren voor academische studenten. De verwachting was dat open-boek toetsen studenten stimuleren tot diepgaand leren. Tweede- (N=423) en derdejaars (N=306) geneeskundestudenten vulden de Test voor Diepgaande Leerstof Verwerking in, waarbij zij aangaven hoe zij het openboek gedeelte en het gesloten-boek gedeelte hadden voorbereid. De hypothese dat studenten open-boek toetsen diepgaander voorbereiden dan gesloten-boek toetsen werd echter niet bevestigd. Het omgekeerde bleek zelfs het geval: studenten verwerkten informatie diepgaander wanneer zij een gesloten-boek toets voorbereidden. Hiervoor werden drie mogelijke verklaringen gegeven: 1) het diepgaand verwerken van informatie is met name van belang voor het onthouden van kennis, wat vooral bij gesloten-boek toetsen een grote rol speelt; 2) studenten voelen zich zekerder wanneer zij een gesloten-boek toets voorbereiden en 3) studenten zijn meer gemotiveerd om een gesloten-boek toets voor te bereiden. Indien open-boek toetsen diepgaande informatieverwerking moeten stimuleren, lijkt aandacht voor het verhogen van het zelfvertrouwen en de motivatie van studenten belangrijk. Mogelijk is de traditionele definitie van diep leren niet meer het meest geschikt en het meest wenselijk voor het academisch onderwijs in de huidige maatschappij en worden andere strategieën en gedragingen belangrijker.

Het derde onderzoek: in dit onderzoek is daarom ‘need for cognition’ als factor meegenomen. Need for cognition is de persoonlijke voorkeur van studenten om met cognitieve en informatieverwerkingsactiviteiten bezig te zijn. Met behulp van LISREL zijn de relaties tussen de mate van diep leren, ‘need for cognition’, voorbereidingstijd, en scores op open- en gesloten-boek vragen berekend. Studenten met een hoge mate van ‘need for cognition’ presteerden beter op zowel open- als gesloten-boek vragen (β-coëfficiënten respectievelijk 0.05 en 0.11). De mate van diep leren en de voorbereidingstijd bleken niet van invloed. Verder bleek de score op open-boek vragen de score op geslotenboek vragen beter te voorspellen dan andersom (β-coëfficiënten respectievelijk 0.72 en 0.11).

Het vierde onderzoek: dit onderzoek richtte zich op een mogelijk nadeel van open-boek toetsen, namelijk dat studenten de voorbereiding van open-boek toetsen onderschatten. De resultaten lieten zien dat tweedejaars studenten die de open-boek toets diepgaand hadden voorbereid, minder tijd nodig hadden om de open-boek vragen te beantwoorden.

Het vijfde onderzoek: dit laatste onderzoek had betrekking op de invloed van het gebruik van open-boek toetsen op de prestatie op langere termijn. Uitgaande van de cognitieve belastingtheorie verwachtten we dat het opslaan van kennis in het langetermijngeheugen (in de vorm van schema’s) zou worden bevorderd door een combinatie van probleemgestuurde inrichting van het onderwijs en open-boek toetsen. Verwacht werd dat studenten in een dergelijke onderwijsomgeving beter zouden presteren op langere termijn, dan studenten uit andere onderwijsomgevingen. De resultaten van vier voortgangstoetsen van studenten uit drie verschillende curricula werden vergeleken. Het betrof een probleemgestuurd curriculum met een combinatie van gesloten- en open-boek toetsen (PBLob), een probleemgestuurd curriculum met alleen gesloten-boek toetsen (PBLgb) en een traditioneel curriculum met alleen gesloten-boek toetsen (TC). In het PBLob-curriculum werd kennis die studenten uit het hoofd moesten leren (kernstof) getoetst met behulp van gesloten-boek toetsen. Open-boek toetsen werden gebruikt om te toetsen of studenten in staat waren een grote hoeveelheid kennis (mantelstof) te begrijpen en toe te passen. Wat betreft kernstof bleek dat TC-studenten het best scoorden in de lagere studiejaren, maar dat op langere termijn studenten uit de beide PBL-curricula significant beter scoorden. De studenten uit het PBLob-curriculum scoorden vanaf het derde studiejaar het best op de kernstof. Wat betreft mantelstof bleek, op korte termijn dat PBLob-studenten het slechtst scoorden, maar op langere termijn werden geen verschillen gevonden met studenten uit de andere curricula. De resultaten lijken te bevestigen dat met name een probleemgestuurde inrichting van het onderwijs, maar ook het gebruik van open-boek toetsen het construeren van schema’s in het langetermijngeheugen bevordert. Op korte termijn lijken studenten moeite te hebben deze schema’s op te roepen, maar op langere termijn lijken ze wel te kunnen profiteren van de schemaconstructie.

Conclusie

Het is belangrijk dat onderwijsprogramma’s aansluiten bij veranderingen in de maatschappij, zoals de toename van kennis en het formuleren van leerdoelen in termen van competenties. Invoering van open-boek toetsen lijkt hierbij te passen. Uitkomsten van de onderzoeken, beschreven in dit proefschrift, laten zien dat dit mogelijk is zonder negatieve effecten op de toetskwaliteit en op het uiteindelijke kennisniveau van studenten. Er lijkt leerwinst te behalen door de voorbereiding van studenten te optimaliseren.