Inleiding

Het correct formuleren van doelstellingen is belangrijk vanuit vier perspectieven: de opleiding, de docent, de student en de externe markt. Doelstellingen beschrijven het competentieniveau van de gediplomeerde en dienen als uitgangspunt voor de curriculaire leer- en toetslijnen. Het ordenen van de doelstellingen verplicht de docent na te denken over wat hij/zij wil dat de student(e) kent of kan, hoe dit wordt vertaald in een doelstelling, wat het doel is van de leerinstructies en van de toets. Doelstellingen geven aan wat er na het volgen van een opleidingsonderdeel van de studenten wordt verwacht. Doelstellingen bieden de opleiding een mogelijkheid tot externe verantwoording, bijvoorbeeld aan de visitatie- en de accreditatie commissie.1-3

In 2005 evalueerde de visitatiecommissie de opleidingen geneeskunde aan de Vlaamse universiteiten. Eén van de facetten van het beoordelingskader was de relatie tussen de doelstellingen en de inhoud van het programma. Om deze relatie na te gaan werd in deze studie de methodiek van Anderson en Krathwohl toegepast op de doelstellingen van de opleiding geneeskunde van de Universiteit Hasselt.3-4 De doelstellingen zijn gebaseerd op het CanMEDS competentiemodel.5 In ons onderzoek hebben we, op basis van het werk van Anderson en Krathwohl, vijf criteria geformuleerd waaraan de doelstelling wordt getoetst.2-4 Een correct geformuleerde doelstelling bevat een actief werkwoord, een zelfstandig naamwoord, beschrijft het eindniveau van de student(e), is helder en niet te detaillistisch geformuleerd, en gaat over een activiteit én een kennisgebied.

Anderson en Krathwohl ordenen de doelstellingen in een tweedimensionale tabel.3-4 Zij geven de doelstellingen weer in termen van type kennis (kennisdimensie) en van wat met die kennis dient te gebeuren (cognitieve activiteit, procesdimensie). De cellen van de tabel zijn de snijpunten van kennis en het cognitieve proces. Figuur 1 geeft zes voorbeelden van deze classificatie weer.

figure 1

De kennisdimensie omvat feitenkennis en conceptuele, procedurele en metacognitieve kennis. Deze categorieën liggen op een continuüm van concreet (feiten) naar abstract (metacognitief). De procesdimensie omvat herinneren, begrijpen, toepassen, analyseren, evalueren en creëren. Herinneren promoot retentie; de andere categorieën promoten transfer met een toe - nemende complexiteit van handeling.3-4 6 Kennisdimensie en procesdimensie zijn onderverdeeld in respectievelijk 11 en 19 subtypes. Tabel 1 geeft een overzicht van de subtypes.

Tabel 1 Types en subtypes van de kennisdimensie en cognitieve procesdimensie.
Full size table

Het plaatsen van de doelstellingen van alle opleidingsonderdelen in de tabel levert een visuele voorstelling op van het profiel van de bachelor geneeskunde. De mate waarin elke categorie is vertegenwoordigd kan onmiddellijk worden bepaald en lege cellen kunnen worden onderzocht.

In dit onderzoek is geprobeerd een antwoord te vinden op de volgende vragen:

  1. 1

    Zijn de doelstellingen van de opleidingsonderdelen correct geformuleerd?

  2. 2

    Leidt het gebruik van de Anderson en Krathwohl taxonomie tot voldoende overeenstemming tussen de beoordelaars?

  3. 3

    Weerspiegelen de doelstellingen het profiel van de bachelor geneeskunde?

Om een antwoord te vinden op vraag 1 en 2 werd een vragenlijstonderzoek gedaan. De informatie uit dit onderzoek werd gebruikt om vraag 3 te beantwoorden.

Methode

In 2004/2005 bevatte het curriculum van de bacheloropleiding geneeskunde aan de Universiteit Hasselt 27 opleidingsonderdelen, geconcretiseerd in 195 doelstellingen. 149 doelstellingen werden door vijf beoordelaars geanalyseerd volgens het beoordelingsschema, zoals beschreven in tabel 2. De beoordelaars waren twee onderwijskundigen van de Universiteit Hasselt, twee onderwijskundigen van de Open Universiteit Nederland en één docent (de curriculumraadvoorzitter van de opleiding geneeskunde van de Universiteit Hasselt). De beoordelaars beschikten over de vijf criteria waaraan een correct geformuleerde doelstelling moet voldoen, over de tweedimensionale tabel en over de lijst met types en subtypes van de kennis- en procesdimensie. De originele tabel en de lijst met types en subtypes in het boek van Anderson en Krathwohl werden vertaald in het Nederlands en aangevuld met authentieke voorbeelden uit de opleiding geneeskunde.

Elke doelstelling werd ge(her)formuleerd volgens de basisstructuur: “de student(e) kan substantief werkwoord” (zie tabel 2). Vervolgens werden de doelstellingen in de tweedimensionale tabel geplaatst. De analyse en classificatie van de vijf beoordelaars werd vergeleken en resulteerde in een heldere formulering en in een definitieve classificatie van elke doelstelling. De gecorrigeerde doelstellingen werden ter goedkeuring aan de 21 coördinerend verantwoordelijken voorgelegd.

Tabel 2 Analyse en herformulering van een doelstelling.
Full size table

De eindcompetenties van de bachelor geneeskunde aan de Universiteit Hasselt zijn geconcretiseerd in 24 algemene doelstellingen die het profiel van de bachelor weergeven.7 Deze doelstellingen werden eveneens geanalyseerd, indien nodig gecorrigeerd en geclassificeerd in de tabel.

De interbeoordelaarsbetrouwbaarheid werd nagegaan door de mate van overeenkomst te berekenen. Veertig doelstellingen werden ad random geselecteerd en voorgelegd aan zeven beoordelaars (twee van de opleiding geneeskunde van de Universiteit Hasselt, vier van de Open Universiteit Nederland en één van de Universiteit Twente). Aan elke doelstelling mocht per dimensie slechts één categorie worden toegekend. De classificatie gebeurde elektronisch met behulp van het programma Questionmark Perception. De meest gekende maat om overeenkomst te berekenen is de Cohen’s kappa.8 De overeenkomst wordt dan berekend waar twee beoordelaars doelstellingen typeren in één van de twee categorieën. Deze methode werd uitgebreid naar de situatie met meer dan twee categorieën én met meer dan twee beoordelaars.9 De kappacoëfficiënt werd voor beide dimensies afzonderlijk berekend.

Resultaten

Zijn de doelstellingen van de opleidingsonderdelen correct geformuleerd?

15% van de 149 originele doelstellingen was correct geformuleerd (zie tabel 3). 6% van de doelstellingen werd verwijderd omdat ze een middel beschreven in plaats van een eindniveau of omdat de doelstelling reeds vervat was in eerder beschreven doelstellingen. 79% van de doelstellingen voldeed niet aan de criteria. Hiervoor werd een correcte formulering voorgesteld. 59% werd gecorrigeerd zonder opsplitsing. De doelstellingen werden gecorrigeerd omdat de gebruikte werkwoorden en/of substantief te vaag waren in termen van beoogd cognitief proces of in termen van beoogd kennisgebied. 20% van de doelstellingen werd gecorrigeerd en gelijktijdig opgesplitst in twee of meer doelstellingen omdat de originele doelstelling óf te veel werkwoorden, óf verschillende soorten cognitieve processen óf verschillende soorten kennis bevatte. 43 nieuwe doelstellingen werden toegevoegd omdat ze, hoewel niet expliciet vermeld, dikwijls impliciet aanwezig waren in de instructies en de toetsvragen.

Tabel 3 Analyse van 149 doelstellingen, afkomstig uit 26 opleidingsonderdelen (academisch jaar 2004/2005).
Full size table

De gecorrigeerde doelstellingen werden aan 21 coördinerend verantwoordelijken voorgelegd. Vier van hen wensten nog bijkomende aanpassingen: qua kennis waren enkele onvolledig geformuleerd en er ontbraken nog enkele doelstellingen. De overige docenten gingen akkoord met de voorgestelde aanpassingen.

Deze analyse resulteerde in een uniform geheel van 226 concrete doelstellingen voor het academisch jaar 2005/2006.7

Leidt het gebruik van de Anderson en Krathwohl taxonomie tot voldoende overeenstemming tussen de beoordelaars?

De kappacoëfficiënt voor de kennisdimensie bedraagt 0.572 en de kappacoëfficiënt voor de cognitieve procesdimensie 0.558. Beide vallen, volgens Landis en Koch, in de categorie van matige overeenkomst.10

Weerspiegelen de doelstellingen het profiel van de bachelor geneeskunde?

De 226 doelstellingen voor het academisch jaar 2005/2006 werden geordend in de tabel. De mate waarin elke categorie is vertegenwoordigd werd bepaald (zie tabel 4). In de bacheloropleiding ligt de nadruk op het herinneren en begrijpen van conceptuele kennis en het toepassen van procedures. Analyseren, creëren en evalueren zijn minder vertegenwoordigd in het eerste jaar maar worden belangrijker in jaar 2 en 3.

Tabel 4 Mate waarin elke categorie van de taxonomietabel is vertegenwoordigd, uitgedrukt in totaal aantal doelstellingen per cel*
Full size table

De 24 algemene doelstellingen werden in dezelfde tabel geordend. Hieruit volgt dat de algemene doelstellingen eenzelfde verdeling vertonen als de doelstellingen van de opleidingsonderdelen.

Discussie en conclusies

Zijn de doelstellingen van de opleidingsonderdelen correct geformuleerd?

Vóór het academisch jaar 2005/2006 waren de doelstellingen van de oplei dingsonder - delen een verzameling van niet-uniform geformuleerde doelstel lingen, met vaak vaag geformuleerde werkwoorden en inhoud, en met regel matig verwijzingen naar een leermiddel in plaats van naar het eindniveau. Het hanteren van de vijf criteria leidde tot een uniform geheel van 226 concrete, praktisch hanteerbare doel - stellingen voor het academisch jaar 2005/ 2006.7

Hoewel slechts vier van de 21 blokcoördinatoren de voorgestelde formuleringen becommentarieerden zijn de beoordelaars, verbonden aan de opleiding geneeskunde, van mening dat sommige doelstellingen wel aanscherping behoeven. Een gesprek met de coördinerend verantwoordelijke zal moeten uitwijzen welk gedrag hij/zij verlangt van de studenten en dan kan het werkwoord worden gespecificeerd.

Leidt het gebruik van de Anderson en Krathwohl taxonomie tot voldoende overeenstemming tussen de beoordelaars?

Het onderzoek toont voor beide dimensies een matige beoordelaarsovereenkomst aan. Een verklaring hiervoor kan worden gezocht in onduidelijke instructies voor de beoordelaars en in het feit dat de zeven beoordelaars de classificatie deden vanuit een verschillende achtergrond. Slechts twee beoordelaars zijn voltijds verbonden aan de opleiding van de Universiteit Hasselt.

De taxonomietabel is volgens de originele auteurs een bruikbaar instrument op voorwaarde dat de gebruikte terminologie in de taxonomie helder is geformuleerd en juist wordt geïnterpreteerd zodat de beoordelaars de doelstellingen op een valide manier in de tabel kunnen plaatsen. Naarmate de beoordelaars meer betrokken zijn bij de opleiding, zal de beoordelaarsovereenkomst groter worden. Het plaatsen in de juiste categorie wordt meestal vergemakkelijkt door te focussen op de subtypes.3-4 De classificatie van de doelstellingen zal nog meer valide zijn indien andere informatiebronnen, zoals gesprekken met docenten, observaties van studenten en toetsen, erbij betrokken worden. Het gebruik van multipele informatiebronnen zal resulteren in de meest valide en verdedigbare classificatie van doelstellingen.3

Weerspiegelen de doelstellingen het profiel van de bachelor geneeskunde?

In de bacheloropleiding ligt de nadruk op het reproduceren en begrijpen van conceptuele kennis en op het toepassen van procedures (zie tabel 4). De doelstellingen van de opleidingsonderdelen vallen duidelijk samen met de algemene doelstellingen van de bacheloropleiding.

De lege cellen worden als volgt verklaard. Feitenkennis begrijpen is op zich geen doelstelling en feitenkennis toepassen is niet relevant. Wanneer concepten worden toegepast zijn ze meestal ingebed in een procedure zodat de doelstelling in de cel “procedure toepassen” werd geplaatst. Voor het toepassen van concepten op geselecteerde voorbeelden uit de kliniek werd gekozen voor de formulering “de student(e) kan pathologische afwijkingen beredeneren/interpreteren” of “de student( e) kan een aantal klinische casus analyseren”. Hierdoor kwamen de doelstellingen in de cel ‘concepten begrijpen‘ of in de cellen ‘feiten analyseren’ en ‘concepten analyseren’ terecht. Een even aanvaardbare formulering zou zijn: ”De student(e) kan zijn/haar kennis uit de medische basiswetenschappen toepassen op geselecteerde voorbeelden uit de pathologie”. Een dergelijke doelstelling wordt dan geordend in de cel ‘concepten toepassen’.

Dat de analyse van de doelstellingen resulteerde in een set goed geformuleerde en doordachte doelstellingen werd recent beaamd door de visitatiecommissie in haar eindrapport: “De doelstellingen zijn praktisch en volgens de ‘state of the art’ geformuleerd. Ze vormen een coherent geheel, waarbij specifieke doelstellingen voor de verschillende jaren en opleidings - onderdelen opgesteld zijn, gericht op de einddoelstellingen van de bachelor.”11 Doelstellingen, instructies en toetsen zijn drie primaire componenten van een curriculum en een optimale samenhang is bepalend voor het succes van een goed medisch curriculum.3 12-13

De tabel kan niet alleen worden gebruikt om doelstellingen te ordenen, maar ook om betere beslissingen te nemen rond instructies en toetsen. Omdat toetsen vaak de sturende kracht zijn bij het leergedrag van de student kunnen ze strategisch worden ingezet om het gewenste leergedrag en de gewenste resultaten te bereiken.3 14

Indien de bijhorende instructies en toetsvragen in dezelfde taxonomietabel worden geplaatst, wordt congruentie en incongruentie tussen doelen, leer activiteiten en toetsvragen zichtbaar.3 12 De docent kan dan beslissen of de instructies en de toetsvragen voldoende zijn afgestemd op de doelstellingen en of er aanpassingen nodig zijn.

Dankwoord

Hierbij danken de auteurs mevr. A. Laenen van de Universiteit Hasselt voor haar hulp bij de statistische analyse en de heer S. Draaijer van de Vrije Universiteit Amsterdam voor het maken van de elektronische vragenlijst.