Inleiding

Studenten zijn een belangrijke bron van informatie over het onderwijs dat zij volgen. Hun oordeel over dat onderwijs wordt vaak gevraagd aan de hand van een vragenlijst.1-2 Dit oordeel wordt dan als feedback over de kwaliteit van het onderwijs voorgelegd aan de docenten en de in-stelling. Onderzoek heeft echter aangetoond dat deze vorm van feedback geen garantie biedt voor een daadwerkelijke verbetering van het onderwijs.3 Hoewel is gebleken dat studentenoordelen en schriftelijke feedback onvoldoende zijn om verandering te bewerkstelligen,4 kunnen zij in combinatie met directe observaties door docenten wel tot resultaat leiden.3 5-6 Volgens docenten is deze vorm van persoonlijke begeleiding nuttig en de moeite waard, en zijn de effecten blijvend, ook na beëindiging van het proces van observatie en consultatie.5 Op basis van literatuuronderzoek naar de effectiviteit van consultatie van docenten naar aanleiding van stu-dentoordelen, constateren Penny & Coe dat dit proces effectiever wordt als het wordt aangevuld met observaties, videoopnames en interviews.3 Millis benadrukt het belang van observatie van onderwijs omdat dit docenten alert houdt, zelfevaluatie bevordert en recht doet aan de complexiteit van onderwijsleerprocessen.7 Observaties worden meestal uitgevoerd door onderwijskundigen of een collega (peer) en het betreft over het algemeen een proces dat bestaat uit een voorbespreking, observatie en nabespreking.

In dit artikel beschrijven we het proces van observatie en consultatie dat uitgevoerd is door studenten. Er is niet onderzocht of studenten de rol van observator en feedbackgever goed kunnen vervullen.3 Doorgaans blijft de rol van de student in de kwaliteitsbevordering van het onderwijs beperkt tot het evalueren – meestal met behulp van een anonieme vragenlijst – van het genoten onderwijs. Er zijn echter aanwijzingen dat studenten, mits goed geselecteerd en getraind, heel goed inzetbaar zijn als observator van docenten en nuttig zijn voor het ‘just in time’ leren van docenten.8-10 Aan verschillende medische faculteiten hebben studenten al de gelegenheid zich te specialiseren in onderwijs.11 Het aanleren van vaardigheden om andere docenten te observeren, en mondeling en schriftelijk van feedback te voorzien, past uitstekend binnen deze ontwikkeling.

Voor zover er onderzoek is gedaan naar de observatie en consultatie van docenten op basis van studentenevaluaties is dit be-perkt gebleven tot de effecten ervan. Weinig is bekend over het proces van observatie en consultatie (voorbespreking, observatie, nabespreking) en over de factoren die hierop van invloed zijn, zoals strategieën voor en kenmerken van observatie en het geven van feedback.3 Dit onderzoek had als doel na te gaan of studenten geschikt zijn als observator van docenten. Er is gekeken hoe dit proces door studenten en docenten ervaren wordt en welke factoren de effectiviteit van het feedback-proces bepalen. Het onderzoek is uitgevoerd in het kader van de kwaliteitszorg voor colleges in een probleemgestuurd curriculum. De onderzoeksvragen zijn:

  • Welke feedback geven studenten op basis van hun observaties aan docenten?

  • Hoe percipiëren studenten het observeren van en feedback geven aan docenten?

  • Hoe percipiëren docenten het proces en de relevantie van observatie en feedback door studenten?

Methode

Context

In het derde jaar van het curriculum geneeskunde van de universiteit van Maastricht is het onderwijs probleemgestuurd en ligt de nadruk op praktijkcontacten met patiënten. Het jaar is verdeeld in vier thematische clusters (Abdomen, Bewegingsapparaat, Circulatie & Longen en Psychomedische Problematiek & GGZ). In elk cluster worden colleges gegeven die voornamelijk dienen als inleiding op en ter verdieping van bepaalde onderwerpen. Docenten die in februari-april 2007 colleges gaven in het cluster Bewegingsapparaat (16 colleges) en Psychomedische Problematiek & GGZ (11 colleges) werden geobserveerd door zes duo's studenten.

Deelnemers

Student-observatoren: In totaal namen twaalf derdejaars studenten deel aan het onderzoek. Zij volgden de colleges als onderdeel van hun studie en traden tegelijkertijd op als observator van de docenten. Per cluster werden zes studenten geworven, die een training kregen van een dagdeel; de studenten ontvingen een vergoeding van € 50,-.

Docenten: Zevenentwintig docenten, uit vakgebieden variërend van huisartsgeneeskunde tot neurologie en van psychiatrie tot farmacologie, namen deel aan het onderzoek. Zij verzorgden colleges in het cluster Bewegingsapparaat en in het cluster Psychomedische Problematiek & GGZ. Hun eerdere ervaring met het geven van colleges was zeer divers.

Procedure

De studenten werden getraind.·De training betrof:

  • Het vergaren van kennis over factoren die van belang zijn voor de kwaliteit van colleges in een PGO-systeem (aansluiting op voorkennis van de studenten, gebruik van (patiënten)casuïstiek, interactiviteit, gebruik van multimedia).

  • Het observeren en analyseren van video-opnames van colleges (ten behoeve van de training waren video-opnames gemaakt van docenten die deelnamen aan het onderzoek).

  • Het voeren van een voor- en nabespreking met een docent.

  • Het omgaan met kritische situaties tijdens het geven van feedback.

Tevens ontvingen de studenten een trainingsmap met achtergrondinformatie over ‘goede colleges’.

Observatie

De studenten observeerden ongeveer vijf colleges in duo's (drie studentenduo's per cluster). Ze werden geacht tien minuten vóór aanvang van het college aanwezig te zijn om zich voor te stellen aan de docent en te vragen of er speciale aandachtspunten waren waarop ze moesten letten. De docenten waren door de clustercoördinator op de hoogte gesteld van de observaties door de studenten en hen was gevraagd na te denken over persoonlijke aandachtspunten waar de studenten extra op konden letten. Tijdens het college maakten de studenten aantekeningen op een speciaal ontwikkeld observatieformulier (zie box 1). Dit formulier is gebaseerd op literatuur over effectieve colleges en over het geven van constructieve feedback en was bedoeld als ondersteuning zowel bij de observatie als bij de mondelinge en schriftelijke feedback.12 Direct na afloop van het college gaven de studenten mondelinge feedback, uiterlijk twee dagen later gevolgd door een schriftelijke uitwerking van de feedback die per e-mail gestuurd werd naar de docent en de onderzoekers.

figure 1

Instrumenten

  • Analyse van de schriftelijke feedback: De schriftelijke feedback werd geanalyseerd aan de hand van de categorieën van het observatieformulier: de structuur van het college (inleiding, inhoud, conclusie) en de algemene presentatievaardigheden van de docent. Daarnaast werden de aandachtspunten van de docenten geïnventariseerd, evenals de tips voor verbetering die de studenten aan de docenten hadden gegeven.

  • Focusgroep met studenten: Om de ervaringen van de studenten en hun visie op het observeren en geven van feedback in kaart te brengen, werd een fo-cusgroepsbijeenkomst georganiseerd. Tijdens deze bijeenkomst werd ingegaan op de verschillende stappen in het consultatieproces en werd de studenten gevraagd concrete voorbeelden te geven van kritische gebeurtenissen. De bijeenkomst duurde anderhalf uur en werd op audiocassette vastgelegd. De opname werd getranscribeerd en door de onderzoekers afzonderlijk geanalyseerd en gecodeerd met behulp van Atlas-ti 5.2. De onderzoekers vergeleken hun analyses, bespraken discrepanties en stelden de definitieve codering vast op basis van consensus.

  • Docentenvragenlijst: De deelnemende docenten kregen per e-mail een korte vragenlijst toegestuurd over hun ervaringen met het onderzoek. De vragen luidden als volgt:

  1. 1

    Heeft u deze manier van feedback krijgen als zinvol ervaren? 1a) Zo ja/ nee: waar kwam dat door? Wat maakte het vooral (niet) zinvol?

  2. 2

    Heeft u nog suggesties voor verbetering? De antwoorden werden geïnventariseerd en gecategoriseerd.

Resultaten

Analyse observatieformulieren

In totaal werden 26 observatieformulieren geanalyseerd (96%). Eén college was komen te vervallen. De accenten uit de training en het observatieformulier kwamen duidelijk naar voren in de feedback die de studenten gaven (zie tabel 1 en box 1). Genoemd werden: aansluiting zoeken bij de voorkennis van studenten en het cluster, gebruik maken van casuïstiek, in-teracteren met studenten en goed gebruik maken van multimedia. Ook het item presentatievaardigheden kreeg veel aandacht.

Tabel 1 Overzicht van de door studenten geformuleerde aandachtspunten
Full size table

De docenten maakten niet veel gebruik van de mogelijkheid om van te voren aandachtspunten te formuleren. Wanneer zij dit wel deden betrof dit het spreektempo, de aansluiting van het college op de voorkennis van de studenten en of het college aan de verwachtingen van de studenten beantwoordde.

De studenten gaven met name concrete tips over de wijze waarop docenten interactie konden creëren tijdens het college, ze beter konden aansluiten bij de voorkennis van de studenten en ze konden omgaan met rumoer in de zaal. Daarnaast vroegen ze om meer/minder diepgang en deden ze suggesties voor het verbeteren van de structuur van het college en voor het tempo waarin de stof behandeld wordt.

Focusgroep

Uit de analyse van de focusgroepbijeen-komst kwamen randvoorwaarden aan het licht die het welslagen van observatie en feedback hadden beïnvloed. Deze randvoorwaarden konden in drie opeenvolgende categorieën worden ondergebracht: de voorbereiding op het observeren, het observeren, en de nabespreking/feedback. Bovendien werd in de focusgroep gespro-ken over de meerwaarde van deze feed-backmethode.

Voorbereiding op observatie: De studenten waren tevreden over de training en vonden dat alles wat ze nodig hadden voor het observeren en geven van feedback aan bod was gekomen. Volgens de studenten hadden de docenten zich echter nauwelijks voorbereid. Het gesprek vooraf duurde dan ook maar heel kort. In de meeste gevallen hadden de docenten er zelfs geen rekening mee gehouden dat ze voorafgaand aan het college nog met de studenten zouden spreken. Er werd dus niet optimaal gebruik gemaakt van de mogelijkheid tot voorbespreken.

Het observeren: De dubbelrol van de studenten, namelijk het inhoudelijk volgen van het college en het observeren van de docent, bleek goed haalbaar.

‘Je zit ook bij een college om er gewoon zelf van te leren en dat is als geneeskundestudent toch wel je main goal, om zelf iets op te steken van een college, en dat kon gewoon goed gecombineerd worden met het analyseren van de docent’. (022/9)

Het observatieformulier vormde een goede ondersteuning voor het observeren, voor het formuleren van feedback en voor het schrijven van het feedbackverslag. Bovendien gingen de studenten door het gebruik van de observatielijst verder kijken dan een globaal initieel oordeel als ‘dit is saai’. Het samenwerken in duo's ging goed. De studenten streefden wat betreft het geven van feedback naar consensus en overlegden met elkaar hoe ze het beste feedback konden geven.

Ten slotte werd met de studenten besproken hoe zinvol zij het observeren vonden voor het verbeteren van de kwaliteit van de colleges. De studenten zagen als meerwaarde van deze aanpak dat het ‘persoonlijke contact’ snellere actie van do-centen zou kunnen bevorderen. Verder dachten ze dat deze methode effectiever zou zijn dan een vragenlijst omdat de feedback concreter is. Nu werden de studenten gedwongen concretere feedback en zelfs tips aan de docent te geven. Iets wat ze niet zouden doen als ze alleen een vragenlijst moesten invullen.

‘Ik vind het veel zinniger (dan vragenlijs-ten), want ik denk dat het dan zo oppervlakkig blijft, van ja, het was wel goed, dan heb je nog niet echt bij de docent van ‘o dat kan ik veranderen om het beter te laten worden’. Je kan er wel iets bijschrijven maar ik denk dat (observeren) nuttiger is’ (201/136).

Nabespreking en feedback geven: Verschillende aspecten van de nabespreking bepaalden samen het succes en de kwaliteit van deze vorm van consultatie. De inhoud en wijze van feedback geven werden uitgebreid besproken tijdens de focusgroep. De studenten gaven voorbeelden van tips voor verbetering die ze hadden gegeven aan de docenten en hoe ze die gebracht hadden.

‘Ik had altijd het idee dat het beter overkwam als je inderdaad zeg maar een tip er bij meegaf, zo van hoe hij dat dan moest aanpakken, want als je dan bijvoorbeeld soms dan constateerde die dat er gewoon heel weinig deelname was van het publiek aan de lezing en dat daardoor de aandacht verslapte, maar als je daardoor tips gaf, van zoals meer vragen stellen of meer casuïstiek of zoiets, als je zoiets aandroeg dan had ik het idee dat het beter geaccepteerd werd door de docent.’ (057/29)

Daarnaast bespraken de studenten dat ze het moeilijk vonden om subjectieve indrukken mee te nemen in hun feedback, zoals ‘iemand saai vinden praten’.

Beoordeling versus begeleiding

Tijdens de training was benadrukt dat het ging om begeleiding van de docenten en niet om een beoordeling. Dit bleek echter in de praktijk niet altijd goed uit de verf te komen.

‘Ik heb uitdrukkelijk gezegd het gaat niet om een beoordeling maar het is meer om gewoon tips te kunnen geven. Het is meer ter evaluatie. Maar als het echt slecht was, werd het dat wel, tenminste dat idee had ik wel. Ik bedoel bij dat eerste college kan je wel een half uur praten over wat beter had gekund. En dan kan je wel zeggen het was geen beoordeling, maar dan weten ze zelf ook wel dat het ontzettend slecht was. Hoe mooi je het ook verpakt.’(197/133)

De studenten vonden het tijdstip van de nabespreking, direct na het college, goed gekozen. Helaas bleek in de praktijk dat de docenten hiervoor nauwelijks tijd hadden uitgetrokken waardoor het gesprek maar kort duurde.

Houding van de docent

Over het algemeen stonden de docenten positief tegenover de rol van de studenten en het feit dat ze geobserveerd werden. Enkele docenten bedankten zelfs in een reactie op de schriftelijke feedback de studenten voor hun feedback. Een aantal docenten formuleerde zelf feedbackvragen. Toch waren er ook docenten die minder open stonden voor feedback en vrij defensief reageerden.

Docentenvragenlijst

Alle docenten (respons = 70%) gaven aan de feedback als zinvol te hebben ervaren. Ze vonden dat ze nuttige en concrete feedback hadden gekregen. Twee docenten merkten op dat het vooral zinvol was als de docent zelf vooraf aandachtspunten had geformuleerd. Ook gaven de docenten aan dat ze gewezen waren op punten waar ze zelf nog nooit aan hadden gedacht, zoals structuuraspecten en zaken als ‘zichzelf voorstellen’. Wel werd af en toe opgemerkt dat de feedback in sommige gevallen oppervlakkig was gebleven en wellicht ook ‘geflatteerd’ was doordat het proces niet anoniem was. Als suggestie voor verbetering werd onder andere een vergelijkbare procedure voorgesteld waarbij docenten (peers) elkaar van feedback voorzien. Daarnaast gaven enkele docenten aan dat ze ook behoefte hadden aan een studentenevaluatie van de colleges door middel van een vragenlijst omdat die de mening van een grotere groep studenten kon weergeven.

Discussie en conclusie

Wij onderzochten de percepties van studenten en docenten over de inzet van studenten-observatoren met als doel de kwaliteit van colleges te verbeteren. De onderzoeksresultaten geven aan dat beide partijen van mening zijn dat dit proces nuttige en concrete feedback tot verbetering van colleges oplevert. Ook de documentanalyse ondersteunt deze bevinding en laat zien dat studenten specifieke feedback en suggesties geven. Studenten zijn dus na training, en ondersteund door een observatielijst, in staat tot het geven van een theoriegebaseerde feedback.6

Studenten percipieerden het observeren en feedback geven als een positief proces en verwachten dat het persoonlijke karakter ervoor kan zorgen dat docenten concrete verbeteringen in hun colleges zullen aanbrengen. Naar aanleiding van hun ervaringen kan echter wel gesteld worden dat het proces van voor- en nabespreking onderbenut is gebleven. Docenten kwamen zelden met persoonlijke aandachtspunten voor de student-observatoren en hadden vaak in hun agenda geen rekening gehouden met voor- en/of nabespreking.

Een optimale vormgeving van het consultatieproces3 verdient dus nog aandacht en zal zich mede moeten richten op het communiceren van wederzijdse verwachtingen met betrekking tot voorbereiding en tijd.

Een overig aandachtspunt dat op basis van het korte onderzoek bij betrokken docenten is vastgsteld, is dat de feedback oppervlakkig en enigszins geflatteerd bleef, vermoedelijk bij gebrek aan anonimiteit van de studenten. Aangezien dit probleem niet direct weggenomen kan worden zou diepgang van feedback wellicht verbeterd kunnen worden door ook collega's te laten observeren.3 In de praktijk zou bovendien gekozen kunnen worden voor een afwisseling tussen observaties door een kleine groep studenten en vragenlijsten voor de hele groep studenten.

Enkele beperkingen van dit onderzoek dienen vermeld te worden. Allereerst was het onderzoek beperkt tot de ervaringen en meningen van studenten en docenten en is niet nagegaan of het observeren leidde tot verandering, welke tot uiting zou komen in een gewijzigd studentenoordeel. Een andere vraag is of alle docenten evenveel baat hebben bij dit observatie- en consultatieproces. Er zijn aanwijzingen dat deze aanpak niet voor alle docenten even effectief is. Daarnaast zijn student-observatoren weliswaar een unieke bron van informatie over de kwaliteit van het onderwijs, maar kent hun feedback ook beperkingen vergeleken met feedback van onderwijskundigen en peers. Ook werd opgemerkt dat de studenten weinig kritisch durfden te zijn. De studenten die aan dit onderzoek deelnamen waren aan het eind van de bachelorfase van hun studie en hadden al ervaring met gesprekstechnieken. De vraag is gerechtvaardigd of studenten uit lagere jaren die minder goed getraind zijn ook als observator zouden kunnen fungeren.

Ten slotte moet opgemerkt worden dat dit project van bovenaf was geïnitieerd.

Bij het overwegen van implementatie van observatie door studenten moet met een aantal zaken rekening worden gehouden. Allereerst is selectie en training van studenten een vereiste om ervoor te zorgen dat zij goed voorbereid zijn zowel wat betreft gespreksvaardigheden als in het geven van gerichte en relevante feedback. Ten tweede moet men zich ervan bewust zijn dat de inzet van studenten als observator slechts één van de vele benaderingen van onderwijsverbetering is. De inzet van onderwijskundigen en van peers als observator biedt weer andere mogelijkheden evenals het gebruik van vragenlijsten om colleges te beoordelen. Als men studenten wil inzetten als observator is het aan te bevelen hiervoor meer ervaren en getrainde en dus ouderejaarsstudenten te selecteren. Ten slotte lijkt het de moeite waard om te onderzoeken of het zinvol is om meerdere ontmoetingen te arrangeren van een student-observator met dezelfde docent.

Vervolgonderzoek zou zich tevens kunnen richten op het vergelijken van de aard en kwaliteit van de feedback van verschillende observatoren (onderwijskundigen, peers, studenten). Bovendien moet aandacht besteedt worden aan de (lange termijn) effecten van observaties en onderzocht worden in hoeverre zij een aanvulling dan wel vervanging kunnen zijn ten opzichte van de reguliere evaluatie middels vragenlijsten.

Belangenconflict: geen gemeld

Financiële ondersteuning:geen gemeld