Samenvatting
Inleiding: Correct geformuleerde doelstellingen zijn zowel belangrijk voor de docent als voor de studenten en kunnen een hulpmiddel zijn om beslissingen te nemen over instructies en toetsen. Het doel van dit onderzoek is het ontwikkelen van een procedure om opleidingsdoelstellingen te analyseren, correct te formuleren en te classificeren volgens kennisdimensie en cognitieve procesdimensie.
Methode: De procedure is gebaseerd op de taxonomie van Anderson en Krathwohl (2001). De algemene opleidingsdoelstellingen en de doelstellingen van alle opleidingsonderdelen van de bacheloropleiding geneeskunde van de Universiteit Hasselt werden volgens deze procedure geanalyseerd. De beoordelaarsovereenkomst werd berekend met behulp van Cohen’s kappa.
Resultaten: 15% van de originele doelstellingen werd onveranderd behouden, 6% werd geschrapt; 80% van de doelstellingen was onnauwkeurig of onvolledig geformuleerd. Voor een aantal leeractiviteiten en toetsopdrachten waren er geen overeenkomende doelstellingen: zij werden vertaald naar een nieuwe doelstelling. De interbeoordelaarsbetrouwbaarheid bleek matig te zijn. Uit de classificatie van de doelstellingen bleek duidelijk dat in de bachelorfase de nadruk ligt op het begrijpen van conceptuele kennis en het toepassen van procedures. De doelstellingen weerspiegelen duidelijk het profiel van de bachelor geneeskunde.
Discussie en conclusies: Uit dit onderzoek blijkt dat de taxonomietabel een bruikbaar instrument is om doelstellingen te analyseren en classificeren op voorwaarde dat de terminologie helder is geformuleerd en juist wordt geïnterpreteerd. Classificatie van alle doelstellingen in de tabel brengt het profiel van de bachelor geneeskunde in beeld. Dezelfde taxonomietabel kan vervolgens worden gebruikt om instructies en toetsvragen te classificeren en beter op elkaar af te stemmen. (Vandenreyt I, Maelstaf M, Moerkerke G, Smits M, Vandersteen M. De taxonomie van Anderson en Krathwohl (2001) is een bruikbaar instrument om opleidingsdoelstellingen te analyseren en classificeren. Tijdschrift voor Medisch Onderwijs 2008;27(1):14-21.)
Summary
Introduction: Well-formulated curricular objectives are extremely important for both teachers and students. They can be a tool for making decisions about teaching and assessment. The aim of this study was to develop a procedure for analysing, formulating and categorising educational objectives in terms of knowledge and cognitive process.Method: We used a procedure based on the taxonomy of Anderson en Krathwohl (2001) to analyse the overall and the unit specific objectives of the bachelor programme in medicine of Hasselt University. Cohen’s kappa was calculated to determine Inter-rater reliability.Results: Of the objectives analysed, 15% were considered well formulated and 6% were removed. The remaining objectives were considered to be formulated inaccurately or incompletely. Some objectives were added. These objectives were implicit in educational activities or assessment but were not stated explicitly. Inter-rater reliability was moderate. The categorisation of the educational objectives revealed that the focus of the Bachelor programme is on understanding conceptual knowledge and performing procedures. This is consistent with the profile of the bachelor of medicine.Discussion and conclusions: The results suggest that the taxonomy we developed is a useful instrument to analyse and categorise curricular objectives provided terms are formulated clearly and interpreted accurately. The categorisation of the objectives paints the profile of the medical bachelor. The same taxonomy table can be used to classify and align instructional activities and tests. (Vandenreyt I, Maelstaf M, Moerkerke G, Smits M, Vandersteen M. Anderson and Krathwohl’s taxomony is a useful instrument for analysing and categorising curricular obejctives Dutch Journal of Medical Education 2008;27(1):14-21.)
Avoid common mistakes on your manuscript.
Inleiding
Het correct formuleren van doelstellingen is belangrijk vanuit vier perspectieven: de opleiding, de docent, de student en de externe markt. Doelstellingen beschrijven het competentieniveau van de gediplomeerde en dienen als uitgangspunt voor de curriculaire leer- en toetslijnen. Het ordenen van de doelstellingen verplicht de docent na te denken over wat hij/zij wil dat de student(e) kent of kan, hoe dit wordt vertaald in een doelstelling, wat het doel is van de leerinstructies en van de toets. Doelstellingen geven aan wat er na het volgen van een opleidingsonderdeel van de studenten wordt verwacht. Doelstellingen bieden de opleiding een mogelijkheid tot externe verantwoording, bijvoorbeeld aan de visitatie- en de accreditatie commissie.1-3
In 2005 evalueerde de visitatiecommissie de opleidingen geneeskunde aan de Vlaamse universiteiten. Eén van de facetten van het beoordelingskader was de relatie tussen de doelstellingen en de inhoud van het programma. Om deze relatie na te gaan werd in deze studie de methodiek van Anderson en Krathwohl toegepast op de doelstellingen van de opleiding geneeskunde van de Universiteit Hasselt.3-4 De doelstellingen zijn gebaseerd op het CanMEDS competentiemodel.5 In ons onderzoek hebben we, op basis van het werk van Anderson en Krathwohl, vijf criteria geformuleerd waaraan de doelstelling wordt getoetst.2-4 Een correct geformuleerde doelstelling bevat een actief werkwoord, een zelfstandig naamwoord, beschrijft het eindniveau van de student(e), is helder en niet te detaillistisch geformuleerd, en gaat over een activiteit én een kennisgebied.
Anderson en Krathwohl ordenen de doelstellingen in een tweedimensionale tabel.3-4 Zij geven de doelstellingen weer in termen van type kennis (kennisdimensie) en van wat met die kennis dient te gebeuren (cognitieve activiteit, procesdimensie). De cellen van de tabel zijn de snijpunten van kennis en het cognitieve proces. Figuur 1 geeft zes voorbeelden van deze classificatie weer.
![figure 1](http://media.springernature.com/lw685/springer-static/image/art%3A10.1007%2FBF03078229/MediaObjects/12507_2010_Article_BF03078229_Fig1_HTML.jpg)
De kennisdimensie omvat feitenkennis en conceptuele, procedurele en metacognitieve kennis. Deze categorieën liggen op een continuüm van concreet (feiten) naar abstract (metacognitief). De procesdimensie omvat herinneren, begrijpen, toepassen, analyseren, evalueren en creëren. Herinneren promoot retentie; de andere categorieën promoten transfer met een toe - nemende complexiteit van handeling.3-4 6 Kennisdimensie en procesdimensie zijn onderverdeeld in respectievelijk 11 en 19 subtypes. Tabel 1 geeft een overzicht van de subtypes.
Het plaatsen van de doelstellingen van alle opleidingsonderdelen in de tabel levert een visuele voorstelling op van het profiel van de bachelor geneeskunde. De mate waarin elke categorie is vertegenwoordigd kan onmiddellijk worden bepaald en lege cellen kunnen worden onderzocht.
In dit onderzoek is geprobeerd een antwoord te vinden op de volgende vragen:
-
1
Zijn de doelstellingen van de opleidingsonderdelen correct geformuleerd?
-
2
Leidt het gebruik van de Anderson en Krathwohl taxonomie tot voldoende overeenstemming tussen de beoordelaars?
-
3
Weerspiegelen de doelstellingen het profiel van de bachelor geneeskunde?
Om een antwoord te vinden op vraag 1 en 2 werd een vragenlijstonderzoek gedaan. De informatie uit dit onderzoek werd gebruikt om vraag 3 te beantwoorden.
Methode
In 2004/2005 bevatte het curriculum van de bacheloropleiding geneeskunde aan de Universiteit Hasselt 27 opleidingsonderdelen, geconcretiseerd in 195 doelstellingen. 149 doelstellingen werden door vijf beoordelaars geanalyseerd volgens het beoordelingsschema, zoals beschreven in tabel 2. De beoordelaars waren twee onderwijskundigen van de Universiteit Hasselt, twee onderwijskundigen van de Open Universiteit Nederland en één docent (de curriculumraadvoorzitter van de opleiding geneeskunde van de Universiteit Hasselt). De beoordelaars beschikten over de vijf criteria waaraan een correct geformuleerde doelstelling moet voldoen, over de tweedimensionale tabel en over de lijst met types en subtypes van de kennis- en procesdimensie. De originele tabel en de lijst met types en subtypes in het boek van Anderson en Krathwohl werden vertaald in het Nederlands en aangevuld met authentieke voorbeelden uit de opleiding geneeskunde.
Elke doelstelling werd ge(her)formuleerd volgens de basisstructuur: “de student(e) kan substantief werkwoord” (zie tabel 2). Vervolgens werden de doelstellingen in de tweedimensionale tabel geplaatst. De analyse en classificatie van de vijf beoordelaars werd vergeleken en resulteerde in een heldere formulering en in een definitieve classificatie van elke doelstelling. De gecorrigeerde doelstellingen werden ter goedkeuring aan de 21 coördinerend verantwoordelijken voorgelegd.
De eindcompetenties van de bachelor geneeskunde aan de Universiteit Hasselt zijn geconcretiseerd in 24 algemene doelstellingen die het profiel van de bachelor weergeven.7 Deze doelstellingen werden eveneens geanalyseerd, indien nodig gecorrigeerd en geclassificeerd in de tabel.
De interbeoordelaarsbetrouwbaarheid werd nagegaan door de mate van overeenkomst te berekenen. Veertig doelstellingen werden ad random geselecteerd en voorgelegd aan zeven beoordelaars (twee van de opleiding geneeskunde van de Universiteit Hasselt, vier van de Open Universiteit Nederland en één van de Universiteit Twente). Aan elke doelstelling mocht per dimensie slechts één categorie worden toegekend. De classificatie gebeurde elektronisch met behulp van het programma Questionmark Perception. De meest gekende maat om overeenkomst te berekenen is de Cohen’s kappa.8 De overeenkomst wordt dan berekend waar twee beoordelaars doelstellingen typeren in één van de twee categorieën. Deze methode werd uitgebreid naar de situatie met meer dan twee categorieën én met meer dan twee beoordelaars.9 De kappacoëfficiënt werd voor beide dimensies afzonderlijk berekend.
Resultaten
Zijn de doelstellingen van de opleidingsonderdelen correct geformuleerd?
15% van de 149 originele doelstellingen was correct geformuleerd (zie tabel 3). 6% van de doelstellingen werd verwijderd omdat ze een middel beschreven in plaats van een eindniveau of omdat de doelstelling reeds vervat was in eerder beschreven doelstellingen. 79% van de doelstellingen voldeed niet aan de criteria. Hiervoor werd een correcte formulering voorgesteld. 59% werd gecorrigeerd zonder opsplitsing. De doelstellingen werden gecorrigeerd omdat de gebruikte werkwoorden en/of substantief te vaag waren in termen van beoogd cognitief proces of in termen van beoogd kennisgebied. 20% van de doelstellingen werd gecorrigeerd en gelijktijdig opgesplitst in twee of meer doelstellingen omdat de originele doelstelling óf te veel werkwoorden, óf verschillende soorten cognitieve processen óf verschillende soorten kennis bevatte. 43 nieuwe doelstellingen werden toegevoegd omdat ze, hoewel niet expliciet vermeld, dikwijls impliciet aanwezig waren in de instructies en de toetsvragen.
De gecorrigeerde doelstellingen werden aan 21 coördinerend verantwoordelijken voorgelegd. Vier van hen wensten nog bijkomende aanpassingen: qua kennis waren enkele onvolledig geformuleerd en er ontbraken nog enkele doelstellingen. De overige docenten gingen akkoord met de voorgestelde aanpassingen.
Deze analyse resulteerde in een uniform geheel van 226 concrete doelstellingen voor het academisch jaar 2005/2006.7
Leidt het gebruik van de Anderson en Krathwohl taxonomie tot voldoende overeenstemming tussen de beoordelaars?
De kappacoëfficiënt voor de kennisdimensie bedraagt 0.572 en de kappacoëfficiënt voor de cognitieve procesdimensie 0.558. Beide vallen, volgens Landis en Koch, in de categorie van matige overeenkomst.10
Weerspiegelen de doelstellingen het profiel van de bachelor geneeskunde?
De 226 doelstellingen voor het academisch jaar 2005/2006 werden geordend in de tabel. De mate waarin elke categorie is vertegenwoordigd werd bepaald (zie tabel 4). In de bacheloropleiding ligt de nadruk op het herinneren en begrijpen van conceptuele kennis en het toepassen van procedures. Analyseren, creëren en evalueren zijn minder vertegenwoordigd in het eerste jaar maar worden belangrijker in jaar 2 en 3.
De 24 algemene doelstellingen werden in dezelfde tabel geordend. Hieruit volgt dat de algemene doelstellingen eenzelfde verdeling vertonen als de doelstellingen van de opleidingsonderdelen.
Discussie en conclusies
Zijn de doelstellingen van de opleidingsonderdelen correct geformuleerd?
Vóór het academisch jaar 2005/2006 waren de doelstellingen van de oplei dingsonder - delen een verzameling van niet-uniform geformuleerde doelstel lingen, met vaak vaag geformuleerde werkwoorden en inhoud, en met regel matig verwijzingen naar een leermiddel in plaats van naar het eindniveau. Het hanteren van de vijf criteria leidde tot een uniform geheel van 226 concrete, praktisch hanteerbare doel - stellingen voor het academisch jaar 2005/ 2006.7
Hoewel slechts vier van de 21 blokcoördinatoren de voorgestelde formuleringen becommentarieerden zijn de beoordelaars, verbonden aan de opleiding geneeskunde, van mening dat sommige doelstellingen wel aanscherping behoeven. Een gesprek met de coördinerend verantwoordelijke zal moeten uitwijzen welk gedrag hij/zij verlangt van de studenten en dan kan het werkwoord worden gespecificeerd.
Leidt het gebruik van de Anderson en Krathwohl taxonomie tot voldoende overeenstemming tussen de beoordelaars?
Het onderzoek toont voor beide dimensies een matige beoordelaarsovereenkomst aan. Een verklaring hiervoor kan worden gezocht in onduidelijke instructies voor de beoordelaars en in het feit dat de zeven beoordelaars de classificatie deden vanuit een verschillende achtergrond. Slechts twee beoordelaars zijn voltijds verbonden aan de opleiding van de Universiteit Hasselt.
De taxonomietabel is volgens de originele auteurs een bruikbaar instrument op voorwaarde dat de gebruikte terminologie in de taxonomie helder is geformuleerd en juist wordt geïnterpreteerd zodat de beoordelaars de doelstellingen op een valide manier in de tabel kunnen plaatsen. Naarmate de beoordelaars meer betrokken zijn bij de opleiding, zal de beoordelaarsovereenkomst groter worden. Het plaatsen in de juiste categorie wordt meestal vergemakkelijkt door te focussen op de subtypes.3-4 De classificatie van de doelstellingen zal nog meer valide zijn indien andere informatiebronnen, zoals gesprekken met docenten, observaties van studenten en toetsen, erbij betrokken worden. Het gebruik van multipele informatiebronnen zal resulteren in de meest valide en verdedigbare classificatie van doelstellingen.3
Weerspiegelen de doelstellingen het profiel van de bachelor geneeskunde?
In de bacheloropleiding ligt de nadruk op het reproduceren en begrijpen van conceptuele kennis en op het toepassen van procedures (zie tabel 4). De doelstellingen van de opleidingsonderdelen vallen duidelijk samen met de algemene doelstellingen van de bacheloropleiding.
De lege cellen worden als volgt verklaard. Feitenkennis begrijpen is op zich geen doelstelling en feitenkennis toepassen is niet relevant. Wanneer concepten worden toegepast zijn ze meestal ingebed in een procedure zodat de doelstelling in de cel “procedure toepassen” werd geplaatst. Voor het toepassen van concepten op geselecteerde voorbeelden uit de kliniek werd gekozen voor de formulering “de student(e) kan pathologische afwijkingen beredeneren/interpreteren” of “de student( e) kan een aantal klinische casus analyseren”. Hierdoor kwamen de doelstellingen in de cel ‘concepten begrijpen‘ of in de cellen ‘feiten analyseren’ en ‘concepten analyseren’ terecht. Een even aanvaardbare formulering zou zijn: ”De student(e) kan zijn/haar kennis uit de medische basiswetenschappen toepassen op geselecteerde voorbeelden uit de pathologie”. Een dergelijke doelstelling wordt dan geordend in de cel ‘concepten toepassen’.
Dat de analyse van de doelstellingen resulteerde in een set goed geformuleerde en doordachte doelstellingen werd recent beaamd door de visitatiecommissie in haar eindrapport: “De doelstellingen zijn praktisch en volgens de ‘state of the art’ geformuleerd. Ze vormen een coherent geheel, waarbij specifieke doelstellingen voor de verschillende jaren en opleidings - onderdelen opgesteld zijn, gericht op de einddoelstellingen van de bachelor.”11 Doelstellingen, instructies en toetsen zijn drie primaire componenten van een curriculum en een optimale samenhang is bepalend voor het succes van een goed medisch curriculum.3 12-13
De tabel kan niet alleen worden gebruikt om doelstellingen te ordenen, maar ook om betere beslissingen te nemen rond instructies en toetsen. Omdat toetsen vaak de sturende kracht zijn bij het leergedrag van de student kunnen ze strategisch worden ingezet om het gewenste leergedrag en de gewenste resultaten te bereiken.3 14
Indien de bijhorende instructies en toetsvragen in dezelfde taxonomietabel worden geplaatst, wordt congruentie en incongruentie tussen doelen, leer activiteiten en toetsvragen zichtbaar.3 12 De docent kan dan beslissen of de instructies en de toetsvragen voldoende zijn afgestemd op de doelstellingen en of er aanpassingen nodig zijn.
Dankwoord
Hierbij danken de auteurs mevr. A. Laenen van de Universiteit Hasselt voor haar hulp bij de statistische analyse en de heer S. Draaijer van de Vrije Universiteit Amsterdam voor het maken van de elektronische vragenlijst.
Literatuur
Geerligs T, Snellen-Balendong HAM. Cursusconstructie. In: Metz JCM, Scherpbier AJJA, Vleuten CPM van der, editors. Medisch onderwijs in de praktijk. Assen: Van Gorcum; 1995, p. 283-98.
Kallenberg AJ, Grijspaarde L van der, Braak A. ter, Horzen CJ van. Leerdoelen formuleren. In: Leren (en) doceren in het hoger onderwijs. Utrecht: Lemma; 2002, p. 83-96.
Anderson LW (Ed.), Krathwohl DR (Ed.), Airasian PW, Cruikshank KA, Mayer RE, Pintrich PR, Rath K, Wittrock MC. A taxonomy for learning, teaching, and assessing: A revision of Bloom’s Taxonomy of Educational Objectives (Abridged Edition). New York: Longman; 2001.
Krathwohl DR. A Revision of Bloom’s Taxonomy: An Overview. Theory Into Practice 2002;41(4): 212-18.
The Royal College of Physicians and Surgeons of Canada. The CanMEDS Roles Framework. [homepage op internet]. Ottawa: The Royal College of Physicians and Surgeons of Canada [geciteerd op 4 december 2006]. Beschikbaar op: http://rcpsc.medical.org/canmeds/.
Mayer RE. Rote Versus Meaningful Learning. Theory Into Practice 2002;41(4):226-32.
Universiteit Hasselt. Studiegids Opleiding geneeskunde 2005-2006. Diepenbeek: Drukkerij UH; 2005.
Cohen J. A coefficient of agreement in nominal scales. Educ Psychol Meas 1960;20,37-46.
Fleiss JL. The measurement of interrater agreement. In: Statistical methods for rates and proportions. New York: John Wiley and Sons; 1981, p. 212-35.
Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977;33(1):159-74.
Vlaamse Interuniversitaire Raad. De onderwijsvisitatie Geneeskunde. Een evaluatie van de kwaliteit van de opleidingen geneeskunde aan de Vlaamse universiteiten. Brussel: VLIR; 2005, p. 153.
Anderson LW. Curricular Alignment: A Re-Examination. Theory Into Practice 2002;41(4):255-60.
Biggs JB. Enhancing teaching through constructive alignment. Higher Education 1996;32:347-364.
Frederiksen N. The real test bias: influences of testing on teaching and learning. Am Psychol 1984;39:193-202.
Author information
Authors and Affiliations
Corresponding author
Additional information
Mw. dr. I. Vandenreyt is onderwijskundig medewerker, faculteit Geneeskunde, Universiteit Hasselt.
Mw. M. Maelstaf is onderwijskundige, faculteiten Geneeskunde en Wetenschappen, Universiteit Hasselt.
Dr. G. Moerkerke is onderwijstechnoloog, Onderwijs Technologisch Expertise Centrum, Open Universiteit Nederland.
Mw. drs. M.H.S.B. Smits is onderwijskundig medewerker, Onderwijs Technologisch Expertise Centrum, Open Universiteit Nederland.
Mw. Prof. dr. M. Vandersteen is hoofddocent anatomie en curriculumraadvoorzitter opleiding geneeskunde, faculteit Geneeskunde, Universiteit Hasselt.
Dr. I. Vandenreyt, Faculteit Geneeskunde, Universiteit Hasselt, Campus Diepenbeek, Agoralaan, Gebouw D, B-3590 Diepenbeek. Tel: 0032 11 26 81 66
Rights and permissions
Open Access This is an open access article distributed under the terms of the Creative Commons Attribution Noncommercial License ( https://creativecommons.org/licenses/by-nc/2.0 ), which permits any noncommercial use, distribution, and reproduction in any medium, provided the original author(s) and source are credited.
About this article
Cite this article
Vandenreyt, I., Maelstaf, M., Moerkerke, G. et al. De taxonomie van Anderson en Krathwohl (2001) is een bruikbaar instrument om opleidingsdoelstellingen te analyseren en classificeren. TMEO 27, 14–21 (2008). https://doi.org/10.1007/BF03078229
Issue Date:
DOI: https://doi.org/10.1007/BF03078229