NVMO-congres 2010

Op het NVMO-congres is voor de eerste keer de tweejaarlijkse NVMO prijs voor het beste proefschrift medisch onderwijs uitgereikt.

Samenstelling van de jury

• Prof. dr. Janke Cohen-Schotanus (Groningen), voorzitter

• Prof. dr. Joke Denekens (Antwerpen)

• Dr. Diana Dolmans (Maastricht)

• Prof. dr Maas Jan Heineman (Amsterdam)

De gevolgde procedure

Elk proefschrift is beoordeeld door twee juryleden. Op basis van deze oordelen is een rangorde bepaald. De jury was onder de indruk van de kwaliteit van de proefschriften.

Er zijn acht proefschriften ingediend: Amsterdam (VU), Pim Teunissen, Unravelling learning by doing; Antwerpen, Kristin Hendrickx, Klinische en communicatieve vaardigheden van het intiem onderzoek; Groningen, Leo Aukes, Personal Reflection in Medical Education; Ally van Hell, The clinical clerkship Environment; Maastricht, Erik Driessen, Educating the self critical doctor; Rotterdam, Gerard Baars, Factors related to student achievement in medical school; Utrecht, Debbie Jaarsma, Developments in Veterinary Medical Education; Nigel Turner, Evaluation of the effects of the Advanced Paediatric Life Support course.

De genomineerden en de winnaar

De drie genomineerde proefschriften waren die van Leo Aukes, Erik Driessen en Pim Teunissen.

Het proefschrift van Pim Teunissen werd als beste beoordeeld. Het onderzoek gaat over het leren van arts-assistenten in opleiding op de werkplek. Er zijn studies gedaan naar 1) factoren die leren op de werkplek beïnvloeden, 2) het effect van priming bij het beoordelen van medische casuïstiek en 3) factoren die feedback zoekgedrag beïnvloeden. Verder is er een studie waarin theorieën op een rij zijn gezet die een rol spelen bij werkplekleren. Tot slot worden praktische richtlijnen gegeven.

De jury waardeert het feit dat, vanuit verschillende theoretische perspectieven, gebruik is gemaakt van zowel kwalitatieve als kwantitatieve methodes. De experimentele studies zijn vernieuwend. Ten tijde van het verschijnen van het proefschrift waren 5 van de 6 studies gepubliceerd in vooraanstaande tijdschriften: Academic Medicine, Medical Education en het British Medical Journal. Tot slot heeft de jury veel waardering voor het feit dat het proefschrift binnen vier jaar is afgerond.

Pim Teunissen heeft met zijn proefschrift een zeer relevante bijdrage geleverd aan het onderzoek over werkplekleren.

Janke Cohen-Schotanus,

namens de jury

BSL-prijzen toegekend

Ook in 2010 zijn tijdens het NVMO congres te Egmond aan Zee de door Bohn Stafleu Van Loghum ingestelde prijzen uitgereikt voor de beste wetenschappe-lijke paper, de beste ‘gewone’ paper en de beste posterpresentatie.

Een grote en ‘zware’ jury heeft zich dit jaar van deze belangrijke, maar ook aangename taak gekweten.

Samenstelling van de jury

• rof. dr. Ineke Molenaar, UMC Groningen

• Prof. dr. Roy Remmen, Universiteit Antwerpen

• Prof. dr. Gerda Croiset, VUmc Amsterdam

• Dr. Peter de Jong, LUMC

• Dr. Cor Postma, UMC St Radboud Nijmegen

• Simon Kasper, student UMC St Radboud Nijmegen

• Dr. Franciska Koens, VUmc Amsterdam

• Dr. Ineke Wolfhagen, UMC Maastricht

• Prof. dr. Peter van Beukelen, voorzitter, Diergeneeskunde Utrecht

Uitgebreide technische ondersteuning is verleend door drs. Tobias Boerboom, Diergeneeskunde Utrecht.

Gevolgde procedure

De weken voorafgaand aan het congres hebben alle juryleden alle abstracts van de wetenschappelijke papers, de ‘gewone’ papers en de posters doorgenomen. Via een digitale scoringstool (Survey Monkey) is voor alle drie de categorieën gescoord op de volgende criteria:

• 1) De inhoud is relevant voor het medisch onderwijs in brede zin (likert 1-5)

• 2) Het onderwerp en/of de opzet is/zijn origineel (likert 1-5)

• 3) De opzet van het project (onderwijs/ innovatie/onderzoek) is duidelijk (likert 1-5)

• 4) Ik geef dit abstract het volgende cijfer (schoolcijfer: 1-10)

• 5) Dit abstract moet zeker opgenomen worden in de shortlist (ja/nee)

Het gemiddelde van alle juryleden is per item berekend en vervolgens zijn de gemiddelden van alle items gesommeerd. Zodoende kon een maximaal aantal punten van 26 worden behaald (5+5+5+10+1). Op basis van deze zeer uitgebreide informatie is een shortlist gemaakt van wetenschappelijke papers (7 van 16), ‘gewone’ papers (12 van 56) en posters (8 van 23).

Tijdens het congres hebben de juryleden alle op de shortlist staande presentaties bijgewoond. Hiervoor is een indeling gemaakt, waarbij de juryleden zorgvuldig zijn ingedeeld bij die presentaties waarbij ze zelf in geen enkel opzicht betrokken waren. Bij iedere presentatie werd er door (minimaal) twee mensen gescoord. Indien het niet mogelijk was om twee juryleden bij een presentatie aanwezig te laten zijn (door andere verplichtingen of de ver -strengeling van belangen), werd door een jurylid een collega gevraagd om mee te scoren.

De posters, inclusief de posterpresentaties, en de ‘gewone’ papers zijn gescoord (likertschaal 1-5) op de aspecten Inhoud en Mondelinge presentatie:

De spreker….

• hanteert een duidelijke structuur

• geeft de relevantie aan

• geeft een duidelijke conclusie / take home message

• beantwoordt vragen adequaat

De wetenschappelijke papers werden ge -scoord wat betreft Opbouw en Inhoud (likertschaal 1-5):

De spreker……

• geeft duidelijk de onderzoeksvragen/ -vraag aan

• beschrijft M&M helder

• geeft resultaten duidelijk aan

• geeft duidelijke discussiepunten / conclusie

• beantwoordt vragen adequaat

Voor de posters werd aanvullend gescoord op het aspect: Lay-out poster.

De poster……

• trekt de aandacht

• geeft de informatie tekstueel duidelijke weer

• geeft de informatie grafisch duidelijk weer

• is origineel van opzet / indeling

Voor de ‘gewone’ presentaties en de wetenschappelijke presentaties werd aanvullend gescoord op het aspect Stijl.

De spreker…

• spreekt duidelijk verstaanbaar

• presenteert enthousiast

• geuikt AV-middelen adequaat

• houd zich aan de tijd

Tijdens het congres heeft de jury drie maal overlegd. Op donderdag is de besluitvorming rond de posterprijs al afgerond, aangezien alle postersessies op donderdag waren gepland. Na de laatste presentaties op vrijdag kon de jury pas de genomineerden en de prijswinnaars van de ‘gewone’ en de wetenschappelijke papers vaststellen.

De genomineerden en toegekende prijzen

De genomineerden voor de Wetenschappelijke paperprijs

• M.A. Schaub-de Jong et al. Ontwikkeling en validering van een beoordelingsinstrument voor het faciliteren van reflectief leren in kleine groepen

• T.B.B. Boerboom et al. Helpt groepsintervisie klinische docenten met het reflecteren op studentenfeedback?

• M.H. Erich et al. De impact van kleinschalig onderwijs op het propedeuserendement geneeskunde

De prijs voor de beste wetenschappelijke paper ging naar:

M.A. Schaub-de Jong et al. (Hanzehogeschool/ UMC Groningen). Ontwikkeling en validering van een beoordelingsinstrument voor het faciliteren van reflectief leren in kleine groepen.

Dit onderzoek werd zeer relevant gevonden voor de medische onderwijspraktijk. De inbedding in de literatuur en verantwoording werd duidelijk aangegeven. Het betrof hier duidelijk onderzoek naar een verantwoordingsinstrument. De bruikbaarheid voor de praktijk kwam vooral in de discussie naar voren. De presentatie was duidelijk en de grote betrokkenheid bleek vooral bij de beantwoording van de vragen.

De genomineerden voor de ‘gewone’ Paperprijs

• R.M. van der Leeuw et al. Systematic Evaluation of Teaching Qualities (SETQ) – de onderliggende vragenlijsten tonen goede psychometrische kwaliteiten voor het evalueren van stafleden Gynaecologie en Obstetrie

• J.M. de Laat et al. De betrouwbaarheid van toetsen met gecombineerde stellingvragen

• A. Spruijt et al. Factoren van invloed op het leren in werkcolleges in het preklinisch onderwijs

De prijs voor de beste ‘gewone’ Paper ging naar:

A. Spruijt et al. (Diergeneeskunde Utrecht / UMC Maastricht). Factoren van invloed op het leren in werkcolleges in het preklinisch onderwijs

Ook de relevantie van dit onderwerp was glashelder voor de jury en bleek ook uit de reacties van herkenning van de problematiek rond leren in werkcolleges in een andere dan een PBL-setting. Het onderzoek kwam helder voor het voetlicht en duidelijk werden ingangen voor vervolgonder-zoek rond factoren die buiten het eigenlijke contactonderwijs liggen (voorbereiding, roostering, toetsing), aangegeven.

De genomineerden voor de Posterprijs

• F. Jousma et al. Feedback vragen: veilig? Een onderzoek naar het feedbackklimaat in de coschappen.

• C.A. Swenne et al. Einthoven Science Project: een competetief wetenschappelijk element in de geneeskunde bachelor fase in het Leids Universitair Medisch Centrum

De prijs voor de beste Poster ging naar:

C.A. Swenne et al. (LUMC). Einthoven Science Project: een competitief wetenschappelijk element in de geneeskunde bachelor fase in het Leids Universitair Medisch Centrum

Het onderzoek, gepresenteerd op deze poster, die er ook bij de scores rond de abstracts al uitsprong, werd door de jury creatief en innovatief genoemd. Aan de hand van een voor de eerstejaars student interessant onderwerp, het ECG, waarvan de relevantie en context ook duidelijk werden door het meten aan ‘elkaar’, werden de eerste stappen gezet op het terrein van wetenschappelijke vorming, met ook nog een competitie-element ingebouwd.

Uitreiking van de prijzen

Alle prijswinnaars ontvingen een boekenbon ter waarde van 150 euro, te kiezen uit het aanbod van Bohn Stafleu Van Loghum, vanzelfsprekend vergezeld gaand van een bos bloemen.

De winnaar van de prijs voor de beste wetenschappelijke paper ontving tevens een bijzonder fraai kunstwerk. De ‘winnende’ auteurs worden ook dit jaar uitgenodigd om het in hun abstract beschreven onderwerp uit te werken tot een artikel voor publicatie in TMO. Tevens ontvangen de drie prijswinnaars een uitnodiging voor een gratis deelname aan het NVMOcongres 2011.

De abstracts van de prijswinnaars en de andere genomineerden worden gepubliceerd in het TMO.

Over het geheel genomen was de jury onder de indruk van het inhoudelijk niveau van de wetenschappelijke papers, maar zeker ook van de ‘gewone’ paperpresentaties en van de posters. Geconstateerd werd dat het overall niveau van het gepresenteerde op het NVMO congres in de afgelopen jaren nadrukkelijk gestegen is. Wel heeft de jury als tip voor de volgende NVMO congressen dat er in het algemeen meer enthousiasme voor het eigen onderwerp gelegd kan worden in de presentaties. De presentaties, bij alle drie de onderdelen, werden nu regelmatig beoordeeld als professioneel en zakelijk, maar het vonkje inspiratie en enthousiasme ontbrak nogal eens. Wat betreft de posters blijft een tip voor komende jaren dat de boodschap die door middel van een poster wordt overgedragen, beperkt, compact en duidelijk moet zijn. Dit houdt in dat zowel de grafische vormgeving als tekst een pakkend en rustiger beeld moet opleveren, waarbij de lezer de boodschap snel kan identificeren.

Al met al heeft de jury een pittige klus geklaard, maar de leden hebben dit met veel inzet gedaan en het leverde ook voor de juryleden een mooi overzicht van het gebodene op het congres op, terwijl ook de onderlinge samenwerking bijzonder plezierig was. Tot slot een woord van dank voor Tobias Boerboom die zowel in het voortraject, met adequate ondersteuning bij de opzet en verwerking van de scores van de abstracts in Survey Monkey, als ook tijdens het congres, met hulp bij verwerking van de scores, de jury heel goed heeft ondersteund.

Peter van Beukelen,

namens de gehele jury

Genomineerde Wetenschappelijke Papers

Ontwikkeling en validering van een beoordelingsinstrument voor het faciliteren van reflectief leren in kleine groepen

M.A. Schaub-de Jong¹, J. Schönrock-Adema² J, H. Dekker², M.A. Verkerk², J. Cohen-Schotanus²

¹ Hanzehogeschool

² UMC Groningen

Probleemstelling: Om professioneel gedrag te ontwikkelen moeten studenten kunnen reflecteren op ervaringen uit de professionele werkomgeving. ¹ Een effectieve methode om te leren reflecteren is het participeren in kleine groepen waarin beroepservaringen systematisch geanalyseerd worden in een veilig en vertrouwelijk leerklimaat. ² Om deze groepen optimaal te laten functioneren is het van belang dat de docentactiviteiten voor dergelijke groepen goed vervuld worden. De vraag is welke docentactiviteiten van belang zijn om reflectie in kleine groepen te stimuleren, als basis voor een evaluatieinstrument.

Methode: Op basis van literatuur en praktijkervaringen werd een initiële lijst van 241 docentactiviteiten samengesteld, bijvoorbeeld: helpt de student bij het concretiseren of bij het in perspectief zetten van een ervaring. De coauteurs beoordeelden de items op relevantie (face-validity), hetgeen de lijst tot 80 items reduceerde. Deze items werden beoordeeld op relevantie door docenten professionalisering (N=17), hetgeen de lijst tot 47 items reduceerde. Het instrument werd in twee opeenvolgende studies gevalideerd. In studie 1 beoordeelden geneeskunde-en logopediestudenten (N=463) hun docenten. De interne structuur van de vragenlijst werd onderzocht met Principale Componenten Analyse (PCA) met varimax rotatie. In studie 2 beoordeelden geneeskunde-, tandheelkunde-en logopediestudenten (N= 501) hun docenten. Met confirmatoire factor analyse (OMG) werd de gevonden instrumentstructuur uit studie 1 geverifieerd.

Resultaten: In studie 1 vulden 463 studenten (68%) de vragenlijst in. De PCA leverde drie componenten op – bevorderen van zelinzicht, stimuleren van zelfstandig leren en creëren van een veilig klimaat – die 41.7% van de variantie verklaarden. Verwijdering van items die op meer dan 1 component laadden en niet-significant ladende items liet de instrumentstructuur en de interpretatie van de schalen intact. De uiteindelijke lijst verklaarde 44.3% van de variantie en had een hoge interne consistentie met alpha’s van 0.95 voor de totale lijst en 0.91,0.86 en 0.86 voor de subschalen. In studie 2 vulden 501 studenten (63%) de vragenlijst in. De OMG bevestigde de originele structuur en verklaarde 53% van de variantie met alpha’s van 0.96 voor de totale lijst en 0.94,0.90 en 0.90 voor de subschalen.

Discussie: De instrumentstructuur sluit aan bij onderwijskundige leertheorieën die het belang van cognitieve, metacognitieve en affectieve onderwijsleerfuncties benadrukken voor leerprestaties van hoge kwaliteit. Tevens dekt het instrument die onderwijsaspecten die in de reflectie-literatuur worden aangemerkt als belangrijk voor het begeleiden en stimuleren van reflectieve processen, maar die nog niet eerder zo werden gecombineerd. De gevonden structuur biedt daarmee een theoretisch kader voor onderzoek en praktijk van onderwijs in reflectie. De repliceerbaarheid van de vragenlijststructuur, de aansluiting bij leertheorieën en dekking van onderwijsaspecten belangrijk voor onderwijs in reflectie ondersteunen de validiteit van het instrument ter beoordeling van docentactiviteiten.

Literatuur

• 1. Stern DT (2006) Measuring Medical professionalism. Oxford University Press.

• 2. Schaub-de Jong MA, Cohen-Schotanus J, Dekker H, Verkerk MA. The role of peer meetings for professional development in health science education: a qualitative analysis of reflective essays. Adv Health Sci Educ 2008 [E-publication ahead of print].

Correspondentieadres:

Drs. M.A. Schaub-de Jong, Hanzehogeschool Academie voor gezondheidsstudies, afdeling logopedie, Eyssoniusplein 18, 9714 CE Groningen.

E-mail: m.a.de.jong@pl.hanze.nl

Helpt groepsintervisie klinische docenten met reflecteren op studentenfeedback?

T.B.B. Boerboom¹, D.H.J.M. Dolmans², A.D.C. Jaarsma¹, A.J.A. Scherpbier², P. van Beukelen²

¹ Universiteit Utrecht

² Universiteit Maastricht

Probleemstelling: In veel instituten worden studentenevaluaties of feedbackrapporten gebruikt om klinische docenten van feedback te voorzien met als doel hun onderwijseffectiviteit te optimaliseren. Uit literatuur blijkt dat het louter terugkoppelen van een feedbackrapport niet automatisch leidt tot kritische reflectie en daarmee tot verbetering van de onderwijspraktijk. ¹

De organisatie van intervisie wordt genoemd als een factor die het gebruik van feedback positief kan beïnvloeden, evenals zelfevaluaties door docenten en schriftelijke reflecties. Het gebruik van deze verwerkingsstrategieën kan docenten mogelijk helpen bij het vertalen van feedback naar gedragsverandering. Het doel van deze studie was het op kwalitatieve wijze in kaart brengen van de invloed van twee verschillende verwerkingsstrategieën op de diepte en concreetheid van de reflectie volgend op studentenfeedback.

Methode: Alle 76 klinische docenten van de Faculteit Diergeneeskunde te Utrecht waarover middels een gevalideerd instrument betrouwbare studentenfeedback was verzameld werden uitgenodigd om te participeren. Elke docent kreeg een feedbackrapport met daarin de studentevaluaties. Voordat dit werd toegestuurd werd de docent gevraagd een zelfevaluatie in te vullen. Nadat de feedback was toegestuurd werd de docent uitgenodigd een reflectieverslag te schrijven (verwerkingsstrategie 1). Aan de helft van de docenten werd bovendien een groepsintervisiesessie, voorafgaand aan het reflectieverslag, aangeboden (verwerkingsstrategie 2). De reflectieverslagen werden vervolgens door twee auteurs geanalyseerd volgens een systematiek beschreven door Hatton & Smith.² Hierin wordt o.a. een onders cheid gemaakt tussen beschrijvende reflecties en kritische reflecties. Ook werd de concretisering van de in de reflectie -cyclus beschreven gedragsalternatieven gescoord.

Resultaten: In totaal participeerden 54 klinische docenten in dit onderzoek. Van de groep toegewezen aan verwerkingsstrategie 1 leverden uiteindelijk 23 docenten hun reflectieverslag in. Van de groep die verwerkingsstrategie 2 toegewezen had gekregen leverden 19 docenten, na de groepsintervisie, hun reflectieverslag in. Van beide groepen kwamen respectievelijk 35% (verwerkingsstrategie 1) en 74% (verwerkingsstrategie 2) van de docenten tot een kritische reflectie. In deze verslagen werd het effect van het eigen handelen in de context van de onderwijskliniek geplaatst. De docenten die verwerkingsstrategie 2 toegewezen hadden gekregen ontwikkelden bovendien in hun reflectie concretere gedragsalternatieven.

Discussie: De verwerkingsstrategie waarbij ook een groepsintervisie werd aangeboden blijkt een duidelijke meer-waarde te hebben. Deze aanpak leidt niet alleen tot kritischer reflectie, ook de gedragsalternatieven die uit de reflectie volgen zijn concreter. Een kanttekening bij dit onderzoek is dat alleen geanalyseerd is wat docenten van plan zijn te gaan veranderen en dat nog geen concrete effectmetingen zijn uitgevoerd. Verder onderzoek is nodig, bijvoorbeeld door na te gaan of de activiteiten resulteren in positievere studentenevaluaties.

Literatuur

• 1. Sargeant J, Mann K, Sinclair D, Vleuten C van der, & Metsemakers J (2006). Understanding the influence of emotions and reflection upon multisource feedback acceptance and use. Advances in Health Sciences Education, Vol. 13 No.3, pp.275-288.

• 2. Hatton N & Smith D (1995). Reflection in teacher education: Towards definition and implementation. Teaching and Teacher Education, Vol. 11 No. 1. pp.33-49.

Correspondentieadres:

T.B.B. Boerboom, Universiteit Utrecht, Faculteit Diergeneeskunde, Yalelaan 1, 3584 CL Utrecht.

E-mail: t.b.b.boerboom@uu.nl

De impact van kleinschalig onderwijs op het propedeuserendement geneeskunde

M.H. Erich, B.F. Mulder, J. Cohen-Schotanus

UMC Groningen

Probleemstelling: Studierendement is een prioriteit van alle universiteiten. Studierendement wordt zowel door studentals opleidingsfactoren beïnvloed. Bekende studentfactoren zijn geslacht (vrouwen presteren beter dan mannen), leeftijd (jonge studenten presteren beter) en voorgaande studieprestaties (met hoge eind examencijfers betere resultaten). ¹ Programmafactoren die van invloed zijn op het rendement zijn examen regels en onderwijsprogrammering. ² Daarnaast zijn er steeds meer aanwijzingen dat kleinschalig onderwijs een positief effect heeft op de studievoortgang. ³ Dit onderzoek richt zicht op de vraag of vermindering van kleinschalige bijeenkomsten het studierendement negatief beïnvloedt.

Methode: In 2003 is in Groningen een nieuw curriculum ingevoerd (G2010) met minder kleinschalig onderwijs dan in C2000. Het propedeuseprogramma van beide curricula is beschreven naar contacturen, werkvorm en verplichtend karakter. Studierendement is gedefinieerd als het behalen van de propedeuse en het behaalde aantal EC in het eerste studiejaar. Met behulp van Chi-kwadraaten t-toetsen is nagegaan of er een verband bestaat tussen studierendement en curriculum. De analyse betreft eerstejaars studenten van de eerste vijf cohorten van G2010 (2003-2007; N=2436) en de laatste vijf cohorten van C2000 (1998-2002; N=1352). Met behulp van t-toetsen is nagegaan of verschillen tussen beide studentenpopulaties wat betreft leeftijd, eindexamencijfer of geslacht konden worden uitgesloten.

Resultaten: Het studierendement van G2010 is significant lager dan da van C2000. G2010-studenten haalden minder vaak hun propedeuse binnen 1 jaar (X2(1)=79,574);p<.001) en haalden in hun eerste jaar minder EC (t(3067)=6,047; p<.001). Dit resultaat is niet te verklaren door veranderde cohortsamenstellingen: G2010-studenten zijn gemiddeld een half jaar jonger (p<.001), maar toch minder succesvol. Het gemiddelde eindexamencijfer en de verhouding man-vrouw verschilden niet van die in C2000. Studenten met een gemiddeld eindexamencijfer _7,5 boeken in G2010 en C2000 een vergelijkbaar resultaat als hun collega-studenten in C2000, terwijl studenten met een lager gemiddeld eindexamencijfer(<7,5) in G2010 minder EC behalen (p<.001). Zowel vrouwelijke als mannelijke studenten behalen in het nieuwe curriculum een slechter resultaat (p<.001). Het lagere studierendement in G2010 wordt vooral veroorzaakt door het resultaat op het tweede semester; G2010-studenten zakken vaker voor een blok uit het tweede semester (X2(5)= 60,684;p<.001). Analyse van het programma laat zien dat het aantal contacturen in G2010 lager is dan in C2000; er is minder kleinschalig onderwijs en meer vrijblijvendheid in het 2e semester.

Conclusie/Discussie: In de samenstelling van de studentenpopulatie van de beide curricula is geen verklaring te vinden voor een dalend propedeuserendement. Het verminderen van kleinschalige onderwijsbijeenkomsten lijkt een belangrijke verklarende factor voor de daling van het studierendement in het eerste jaar. Deze bevinding is in overeenstemming met eerdere studies waarin werd aangetoond ²-³ Vooral voor studenten met een gemiddeld of laag niveau bij aanvang van de studie zal meer kleinschalig onderwijs en meer inspanningsverplichtingen bijdragen aan een hoger rendement.

Literatuur

• 1. Bruinsma M, Jansen E When will I succeed in my first-year diploma? Survival analysis in Dutch higher education. Higher Education Research & Development 2009;28(1):99–114.

• 2. Cohen-Schotanus J Student assessment and examination rules. Med Teach 1999;21(3):318-321.

• 3. Schmidt HG, Cohen-Schotanus J, Arends LR Impact of problem-based, active learning on graduation rates for 10 generations of Dutch medical students. Med Educ 2009 Mar;43(3):211-218.

Correspondentieadres:

Drs. M.H. Erich, UMC Groningen, A. Deusinglaan 1, 9713 AV Groningen. E-mail: m.h.erich@med.umcg.nl

Genomineerde ‘gewone’ Papers

>Factoren van invloed op het leren in werkcolleges in het preklinische onderwijs

A. Spruijt¹, A.D.C. Jaarsma¹, H.A.P Wolfhagen², P. van Beukelen¹, A.J.J.A. Scherpbier²

¹ Universiteit Utrecht

² Universiteit Maastricht

Probleemstelling: Onderwijs in kleine groepen wordt bepleit omdat het dieper leren en de ontwikkeling van handvaardigheden en een professionele houding bevordert. Zowel medische als veterinaire curricula maken gebruik van onderwijsvormen voor kleine groepen, zoals het werkcollege. In een werkcollege wordt gedurende twee uur met 25 studenten onder leiding van een inhoudsdeskundige, vooraf bestudeerde literatuur besproken aan de hand van opdrachten. Het doel van deze onderwijsvorm is dieper leren te bevorderen door interactief met elkaar bezig te zijn. Uit onderzoek van Jaarsma (2009) blijkt dat dit doel niet bereikt wordt. ¹ Reden om in deze studie te onderzoeken welke factoren van invloed zijn op het leren in werkcolleges in geïntegreerd, preklinisch onderwijs.

Methode: In deze studie is gebruik gemaakt van semigestructureerde focusgroepen om de perceptie van studenten over het leren in de werkcolleges te inventariseren. Drie focusgroepen met tweedejaars studenten (N= 6, N = 6, N = 9) zijn twee maal samengekomen om onder leiding van een ervaren gespreksleider en een observant over dit onderwerp te discussiëren. Deze focusgroepen zijn opgenomen op band en letterlijk getranscribeerd. Met behulp van ATLAS-ti is de tekst door de eerste onderzoeker (AS) geheel gecodeerd en gedeeltelijk ook door een tweede onderzoeker (AJ) om de be-trouwbaarheid te verhogen. Alle studenten en de observant hebben samenvattingen van de sessies ter goedkeuring ontvangen waarbij zij werden uitgenodigd om eventuele onvolkomenheden aan te geven.

Resultaten: De kwalitatieve data-analyse heeft geleid tot een onderscheid in acht hoofdthema’s die van invloed zijn op het leren in werkcolleges. Het betreft de ‘in class’ factoren docent, student, groep, type vragen en het gekozen werkcollege format en de ‘out of class’ factoren voorbereiding, rooster, en toetsing. Volgens studenten is het vooral noodzakelijk om verbetering aan te brengen in de diverse aspecten van de voorbereiding. Bovendien zal een betere planning en een betere samenhang tussen de verschillende onderwijsvormen (hoorcolleges, zelfstudie en werkcolleges) in het rooster het leren tijdens de werkcolleges verbeteren.

Discussie: Om het leren in werkcolleges te optimaliseren zijn volgens studenten niet alleen, zoals eerder in de literatuur beschreven, de ‘in class’ factoren van belang, maar blijkt met name de voor -bereiding en de onderlinge afstemming van de verschillende onderwijsvormen van grote invloed.

Literatuur

• 1. Jaarsma ADC. Students’ and teachers’ perceived and actual verbal interactions in seminar groups. Med Educ 2009; 43: 368-376.

• 2. Steinert. Student perceptions of effective small group teaching. Med Educ 2004; 38:286-293.

Correspondentieadres:

A. Spruijt, Faculteit Diergeneeskunde, Yalelaan 1, 3584 CL Utrecht. Tel. 030-253 9750; e-mail a.spruijt@uu.nl

De betrouwbaarheid van toetsen met gecombineerde stellingvragen

J.M. de Laat, M.M. Vervoordeldonk, W.H. Boer, Th.J. ten Cate

UMC Utrecht

Probleemstelling: De gangbare kennistoetsvraag kent vier alternatieven, waarvan één juist en drie onjuist. Het is niet eenvoudig om vier goede alternatieven te verzinnen. Daarom worden soms vierkeuzevragen opgebouwd uit twee stellingen met vier opties: I juist en II onjuist; II juist en I onjuist; beide juist; beide onjuist. Zulke vragen kunnen worden gesplitst in twee afzonderlijke stellingen. Het is de vraag of de kennis van studenten nauwkeuriger wordt gemeten met combinatievierkeuzevragen of met gesplitste stelling vragen. Stellingen, i.e. 2-keuzevragen, hebben een grotere raadkans en daardoor een geringere betrouwbaarheid dan 4-keuzevragen, maar omdat daarmee het aantal vragen verdubbelt neemt de toetsbetrouwbaarheid toe. In de literatuur wordt verondersteld dat gesplitste vragen een grotere betrouwbaarheid opleveren en de vraag is of dat in de praktijk optreedt. Onze hypothese is dat de betrouwbaarheid van toetsen in de praktijk wordt vergroot indien meerkeuzevragen die meerdere stellingen en/of onderwerpen in één antwoord behandelen, worden opgedeeld in verschillende juist-onjuist vragen.

Methode: In de eindtoets van een tweedejaars onderwijsblok in het Utrechte geneeskundeprogramma is de betrouwbaarheid van twee alternatieve meerkeuzetoetsen onderzocht. De eindtoets in versie A bestond uit 80 vierkeuzevragen waarvan 14 geconstrueerd als combinatiestellingen in één vraag. Voor versie B van de toets werden de 14 opgesplitst in twee afzonderlijke juist-onjuist-vragen met identieke inhoud als de vierkeuzevragen. Onder de studenten (N=304) werd at random toetsversie A (14 vierkeuzevragen met meerdere stellingen) of toetsversie B (28 juist/onjuist vragen) uitgedeeld. Toegezegd werd dat er een eventueel verschil in gemiddelde eindscore zodanig zou worden gecorrigeerd dat iedereen gelijk werd behandeld.

Resultaten: De betrouwbaarheid van subtoetsversie B (28 juist-onjuist vragen) bleek hoger dan die van subtoetsversie A (14 vierkeuzevragen): Cronbach’s alpha 0.63 resp 0.56. Ook bleek de gemiddelde score van studenten op subtoetsversie B (N=149) hoger dan die van de studenten op subtoetsversie A (N=155): 10,6 (SD 1,7) respectievelijk 8,4 (SD 2.5), P<0.001, uiteraard na halvering van de somscores bij de 28 stellingvragen. Opmerkelijk was dat de B studenten voor de overige toetsvragen gemiddeld juist iets lager scoorden dan studenten met toetsversie A.

Discussie en conclusie: Splitsing van vragen met combinatiestellingen levert een grotere betrouwbaarheid en een hogere score op. Dat was verwacht. Immers, twee stellingvragen meten gezamenlijk nauwkeuriger dan één vierkeuzevraag. Er zijn immers 0, 1 of 2 punten te verdienen, in plaats van slechts 0 of 1. Ook de tweede bevinding is niet onverwacht. Immers, waar de student partiële kennis heeft zal hij of zij één stelling juist beantwoorden en de andere niet, terwijl een combinatievragen dan geheel fout is moet worden gerekend. Conclusie: splits gecombineerde stellingvragen altijd in twee afzonderlijke stellingvragen.

Correspondentie-adres:

J.M. de Laat, UMC Utrecht, Universiteitsweg 98, 3584 CG Utrecht. E-mail: J.M.deLaat@students.uu.nl

Systematic Evaluation of Teaching Qualities (SETQ) – betrouwbaarheid en validiteit van de SETQ instrumenten voor individuele feedback voor stafleden Obstetrie en Gynaecologie

R.M. van der Leeuw¹, M.J.M.H. Lombarts¹, O.A. Arah², M.J. Heineman¹

¹ AMC/UvA

² UCLA

Probleemstelling: Voor individuele verbetering van opleiderskwaliteiten is inzicht in (eigen) opleiderskwaliteiten essentieel. Eerder werd hiertoe het SETQ (Systematic Evaluation of Teaching Qualities) systeem ontwikkeld. De in Nederland beschikbare instrumenten voor het genereren van feedback over individuele opleiderskwaliteiten van stafleden zijn (nog) niet gevalideerd voor elk specialisme. In deze studie hebben we daarom gekeken naar de betrouwbaarheid en validiteit van de vragenlijsten waarmee stafleden Obstetrie en Gynaecologie feedback krijgen op hun individueel functioneren als opleider.

Methode: Het SETQ systeem bestaat uit 1. een webbased evaluatie van de opleiderskwaliteiten van klinisch opleiders door AIOS, 2. een zelfevauatie door opleiders, 3. individuele feedbackrapportage aan beoordeelde opleiders en 4. een individueel verbetertraject. Voor de (zelf)evaluaties zijn voor elk specialisme web-based SETQ instrumenten beschikbaar (evaluatie door assistenten en een zelfevaluatie). De ontwikkeling van deze vragenlijsten is in eerdere studies beschreven. 1-2 In deze validatiestudie participeerden 77 assistenten en 114 stafleden uit twee academische en zeven opleidingsziekenhuizen. Om betrouwbaarheid en validiteit van beide lijsten te onderzoeken hebben we exploratieve factor analyse, inter-item correlatie, betrouwbaar-heid coëfficiënt Cronbach’s alpha en interscale correlaties gebruikt. We hebben samengestelde schalen vergeleken met twee globale oordelen. Het aantal evaluaties dat door assistenten moet worden ingevuld om tot een betrouwbaar oordeel te komen werd ook berekend volgens eerder gerapporteerde methoden.

Resultaten: 66 assistenten (85.7% respons) en 99 stafleden (86.8% respons) namen deel aan de SETQ studie. Assistenten vulden in het totaal 613 evaluaties in. De 26 items clusterden in vijf factoren (Cronbach’s alpha assistenten en stafleden): feedback aan assistenten (0.87 en 0.86), opleidingsklimaat (0.86 en 0.75), bejegening (0.89 en 0.81), toetsing (0.87 en 0.79) en communicatie over leerdoelen (0.90 en 0.82). Alle samengestelde schalen correleerden positief met de globale oordelen voor zowel assistenten als stafleden, met correlatie coëfficiënten variërend van 0.322 tot 0.647 (P<0.01). Vier tot zes evaluaties van assistenten zijn nodig om tot een betrouwbaar oordeel te komen over de opleiderskwaliteit van individuele stafleden Obstetrie en Gynaecologie.

Conclusie: De studie vond aanwijzingen dat de twee instrumenten van het SETQ systeem als betrouwbaar en valide gezien kunnen worden. Met een benodigd minimum van vier evaluaties per staflid lijkt het haalbaar om SETQ te introduceren in Nederlandse Obstertrie en Gynaecologie opleidingen.

Literatuur

• 1. Lombarts KM, Bucx MJ, Arah OA. Development of a system for the evaluation of the teaching qualities of anesthesiology faculty. Anesthesiology 2009 Oct;111(4):709-16.

• 2. Lombarts MJ, Arah OA, Busch OR, Heineman MJ. Using the SETQ system to evaluate and improve teaching qualities of clinical teachers. Ned Tijdschr Geneeskd 2010 154:A1222.

Genomineerde Posters

Einthoven Science Project: een competitief wetenschappelijk element in de geneeskunde bachelorfase in het Leids Universitair Medisch Centrum

C.A. Swenne, P.G.M. de Jong, S le Cessie, A.C. Maan, S. Man, H.W. Vliegen, H.W.A. Weeda, E.E. van der Wall, M.J. Schalij

LUMC

Inleiding: Naast basiskennis behoren klinische en wetenschappelijke elementen reeds bij aanvang van de geneeskundestudie aan bod te komen. In deze fase is het echter verhoudingsgewijs lastig om wetenschappelijke elementen te introduceren: practica ontberen meestal de hiervoor zo belangrijke elementen van “independent discovery” en competitie. Doel van het Einthoven Science Project is om een wetenschappelijk onderwijsonderdeel te creëren dat op deze punten realistischer is.

Methoden en technieken: Het Einthoven Science Project, genoemd naar de Leidse Nobelprijswinnaar Willem Einthoven, is een verplicht onderdeel van het eerstejaars onderwijsblok Hart en Bloedsomloop. Het project heeft een door de Commissie Medische Ethiek goedgekeurd onderzoeksprotocol. Allereerst vervaardigen de studenten in het ECG practicum een electrocardiogram bij elkaar (formeel is iedere student hiervoor vrijwilliger, en informed consent is vereist). Tevens worden geslacht/lengte/gewicht en, ingaande 2010, de gemiddelde fysieke activiteit (in MET.uur/week) geregistreerd.

De ECG’s worden klinisch beoordeeld; er is nazorg voor studenten met een afwijkend ECG (prevalentie enkele promillen). Van de normale en technisch perfecte ECG's wordt een vectorcardiogram gesynthetiseerd; met een research-georiënteerd computerprogramma wordt hierin een aantal karakteristieke grootheden bepaald, waaronder de ruimtelijke stand van de QRS en T assen. De geanonimiseerde gepoolde gegevens (inclusief die van vorige jaren) worden ter beschikking gesteld van de studenten. Hun opdracht is om alleen of in koppels een originele vraagstelling te formuleren die met de betreffende gegevens beantwoord kan worden en dit uit te werken in een gestructureerd abstract. Abstracts die binnen een week worden ingezonden dingen bovendien mee naar de Einthoven Student Award: drie genomineerden presenteren in een afsluitend college hun onderzoek waarna de jury de einduitslag bepaalt. Prijswinnaars ontvangen een certificaat en een geldbedrag.

Resultaten: Gemiddeld neemt 95% van de studenten deel aan het maken van een ECG. Het project is gestart in 2005; de datapool omvat nu circa 1500 ECG’s. Elk jaar zendt circa 1/3 van het cohort het abstract op tijd in om deel te kunnen nemen aan de Einthoven Student Award competitie. De vraagstellingen betreffen bijv. de invloed van lengte en body mass index op het ECG, de invloed van intensieve fysieke activiteit, ECG verschillen tussen mannen en vrouwen, overeenkomsten en verschillen met in de literatuur gepubliceerde ECG gegevens. Prijswinnaars gaan meestal met het onderzoek door, tot dusver resulterend in 3 congresabstracts en 2 internationale publicaties. Bij blokevaluaties wordt dit studieonderdeel expliciet gewaardeerd, en onder andere om dit project werd het onderwijsblok Hart en Bloedsomloop in 2009 tot beste eerstejaarsblok gekozen.

Conclusie: Het Einthoven Science Project introduceert een competitief en inspirerend wetenschappelijk element in het bachelor geneeskundecurriculum en laat zien dat jongerejaars studenten over aanzienlijke mogelijkheden beschikken om een originele vraagstelling en/of oplossing te bedenken.

Correspondentieadres:

c.a.swenne@lumc.nl

Feedback vragen: veilig? Een onderzoek naar het feedbackklimaat in de coschappen

F. Jousma F, A.M. van Meeuwen, F. van Kooten

Erasmus MC

Probleemstelling: Al enkele jaren worden coassistenten van het Erasmus MC gestimuleerd om schriftelijk feedback te vragen tijdens alle coschappen. Het gaat hierbij om ontwikkelingsgerichte feedback, dus coassistenten vragen feedback over sterke én zwakke kanten in hun functioneren. Het proces van feedback geven is in 2009 geëvalueerd en begin 2010 heeft revisie plaatsgevonden. De revisie heeft zich grotendeels gericht op het bevorderen van een veilig feedbackklimaat. De belangrijkste maatregelen uit de revisie zijn:

• feedback zoveel mogelijk scheiden van summatieve beoordeling

• voorbereidende feedbacktraining voor coassistenten

• stimuleren van observatie voorafgaand aan feedback

• stimuleren van ‘veilige’ feedback: objectief geformuleerd, gedoseerd, onder vier ogen, niet op de persoon, e.d.

• communicatieplan voor groot draagvlak en bekendheid feedbacksystematiek

Figuur 1.

ECG (1902) vervaardigd door Einthoven met een snaargalvanometer

De maatregelen zijn voortgekomen uit evaluatieonderzoek van het oude feedbacksysteem, literatuuronderzoek en een pilotstudie waarin coassistenten het nieuwe instrument hebben uitgetest. De hypothese is dat het na de revisie veiliger is voor coassistenten om ontwikkelings -gerichte feedback te vragen. De onderzoeksvraag is:

• Is het feedbackklimaat in de beleving van de coassistenten veiliger geworden?

• Zo ja, resulteert dit in meer feedback verzoeken en een grotere tevredenheid?

Methode: Het aspect veiligheid wordt zowel op objectieve indicatoren als op subjectieve beleving van de coassistenten onderzocht, waarbij de centrale vragen zijn:

• Verloopt het feedbackproces zoals bedoeld en afgesproken?

• Beleven coassistenten de omgeving als veiliger?

• Vragen coassistenten meer feedback?

• Is de tevredenheid van coassistenten over het vragen van feedback toegenomen?

Er worden diverse methoden gebruikt bij het beantwoorden van deze vragen: analyse van het feedbackinstrument (ingevulde formulieren in het ‘feedbackzakboekje’), schriftelijke vragenlijsten voor coassistenten en mondelinge evaluatie met coassistenten.

Opzet: Voor elk coschap worden bovengenoemde centrale vragen voor veiligheid gemeten (verloop, beleving, frequentie, en tevredenheid). Per discipline zal het verschil voor en na de herziening geanalyseerd worden.

Resultaten/ ervaringen: Het onderzoek wordt uitgevoerd in 2010. Resultaten geven informatie over het verschil voor en na de herziening. Uit de resultaten komt een gemiddelde “veiligheidsfactor”, de gemiddelde score van de coschappen op feedbackveiligheid. Coschappen die beneden gemiddeld scoren,worden gestimuleerd om de veiligheid te verhogen. Uitgangspunt is dat de feedbackveiligheid een cruciale factor is in het bouwen aan de kwaliteit en effectiviteit van het feedbacksysteem in de coschappen. Zolang deze veiligheid voor coassistenten niet op orde is, zal steeds inspanning nodig zijn om de veiligheid te bevorderen.

Implicaties voor de praktijk: De veiligheid van de leeromgeving voor de coassistenten is niet alleen een belangrijk onderwerp, het is ook niet eenvoudig bespreekbaar te maken. Door breed te meten wordt openheid gestimuleerd.

Correspondentieadres:

F. Jousma, Erasmus MC, postbus 2040, 3000 CA Rotterdam. E-mail: f.jousma@erasmusmc.nl