Inleiding

De kwaliteit van de medisch-specialistische vervolgopleidingen staat de afgelopen jaren sterk in de belangstelling. Alle opleidingen ontwikkelen en implementeren inmiddels nieuwe opleidingsplannen om te komen tot een hoogwaardige en verantwoorde wijze van opleiden van specialisten in de geneeskunde. Deze ontwikkelingen worden geïnstigeerd door de beroepsgroepen zelf maar ook door de overheid die pleit voor meer marktwerking op basis van indicatoren van opleidingskwaliteit.1

De kwaliteit van de opleiding hangt af van meerdere onderling samenhangende factoren. Eén van die factoren is de praktijkopleider en/of praktijkbegeleider (in het vervolg kortweg ‘opleider’ genoemd) die de arts in opleiding tot specialist (aios) op diens werkplek begeleidt. Een opleider is niet alleen een ervaren professional in het eigen vakgebied, maar heeft ook didactische, organisatorische en interpersoonlijke competenties. Een competente opleider bevordert het leerproces van de aios.2–3 Opleiders ontvangen een training die beoogt de relevante competenties te versterken. Individuele feedback door het terugkoppelen van beoordelingen van de aios is een belangrijk mechanisme in het sturen en versterken van de competentieontwikkeling van een opleider.4–5

Sociale Geneeskunde is het specialisme van verzekeringsartsen, bedrijfsartsen en artsen Maatschappij & Gezondheid (M&G). Er zijn nog geen onderzoeken bekend waarin onderzocht is hoe aios Sociale Geneeskunde hun opleiders waarderen. In dit onder zoek wordt op basis van een bestaande vragenlijst die waardering onderzocht. Het onderzoek wordt uitgevoerd bij aios M&G en hun opleiders.

Er zijn diverse vragenlijsten ontwikkeld waarmee aios hun opleiders kunnen waarderen.4,6–10 Deze vragenlijsten hebben betrekking op klinische specialismen waar een opleider door meerdere aios beoordeeld wordt. Dat maakt het mogelijk een gemiddelde score aan de opleider te geven die niet te herleiden valt tot de score van een individuele aios. Gezien het feit dat aios voor hun voortgang tijdens hun opleiding afhankelijk zijn van hun opleider is het aannemelijk dat de anonimiteit van degene die de scores geeft van belang is voor een betrouwbare score.

Omdat in het specialisme Sociale Geneeskunde een opleider in het algemeen slechts één aios begeleidt kan individuele feedback niet op deze manier gegeven worden. Het is wel mogelijk om een extra beoordeling per opleider uit te laten voeren door de opleiders ook zichzelf te laten waarderen.11 Ook kunnen de resultaten op groepsniveau worden gebruikt.

Voor dit onderzoek is, vooral om de zorgvuldige wijze waarop de samenstelling statistisch onderbouwd is, uit recente Neder landstalige vragenlijsten4,7,9 gekozen voor de vragenlijst van Lombarts et al.9 Deze lijst, inmiddels bekend als de setQ vragenlijst, is in het AMC voor aios Anesthesiologie ontwikkeld en bestaat uit 26 vragen, verdeeld in vijf domeinen, plus enkele algemene vragen. In dit onderzoek wordt met een aangepaste setQ vragenlijst nagegaan hoe aios M&G hun opleiders beoordelen èn hoe deze opleiders zichzelf beoordelen.

De doelstelling van dit onderzoek is om, vanuit een inzicht in het functioneren van de opleiders van aios M&G, aandachtspunten te formuleren voor het verbeteren van de praktijkopleiding van de aios en de training van de opleiders. De vraagstelling in dit onderzoek is: Hoe beoordelen in de beroepsopleiding tot arts M&G de aios en de opleider het functioneren van de opleider? Als deelvragen zijn de volgende vragen opgesteld:

  • Wat is de mening van de aios M&G over het functioneren van hun opleider?

  • Wat is de mening van de opleiders M&G over hun eigen functioneren?

  • Wat zijn de verschillen en overeenkomsten tussen de meningen van de aios en die van de opleiders?

Methode

Onderzoekspopulatie

De onderzoekspopulatie bestond uit alle aios M&G die ten tijde van het onderzoek drie maanden of langer in opleiding waren (93 personen), plus alle bij hun opleiding betrokken opleiders (98 personen). Van hen volgden 51 aios het volledige profiel Jeugdgezondheidszorg (‘aios JGZ 1+2’), 26 aios, op basis van vrijstellingen na eerder gevolgd onderwijs, alleen het tweede jaar van het profiel Jeugdgezondheidszorg (‘aios JGZ 2’) en 16 aios andere profielen (‘aios overig’). De laatste groep bestond uit aios infectieziektebestrijding, medische milieukunde, tuberculosebestrijding, indicatiestellingadvisering en forensische geneeskunde, maar is omwille van de kleine aantallen niet verder onderverdeeld.

Dataverzameling

Om de setQ vragenlijst geschikt te maken voor gebruik door aios M&G èn als zelfbeoordelingslijst voor hun opleiders zijn eerst de vragen waar nodig opnieuw geformuleerd. Dit betrof taalkundige aanpassingen. Zo is de vraag ‘… dat hij/zij …. goed luistert naar assistenten’ gewijzigd in ‘…. dat hij/zij goed luistert naar mij’ en ‘…. dat ik goed luister naar de aios’.

Vervolgens zijn de vragenlijsten voorgelegd aan twee recent afgestudeerde aios M&G en aan twee opleiders M&G, zijn drie vragen verwijderd die vooral betrekking hadden op de klinische situatie en is bij de formulering van de vragen over de leerdoelen de meer actieve rol daarbij van de aios M&G benadrukt.

De resulterende vragenlijst bestaat uit 23 vragen, verdeeld in dezelfde domeinen als bij de setQ vragenlijst. Als antwoordcategorieën zijn dezelfde vijfpunts Likertschalen gebruikt. Deze neemt bij vraag 1 t/m 22 de waarden aan van ‘zeer mee oneens’ tot ‘zeer mee eens’ en voor vraag 23 ‘slecht’ tot ‘uitstekend’. De M&G lijst is beschikbaar in een versie waarmee de aios M&G het functioneren van de opleider kan beoordelen en in een versie waarmee de opleider het eigen functioneren kan beoordelen.

De vragenlijsten zijn met een begeleidende brief verstuurd aan alle aios en opleiders die horen tot de onderzoekspopulatie. Aan de aios is gevraagd in het geval van meerdere opleiders die opleider te beoordelen met wie de aios in de praktijkopleiding het meest frequent contact heeft. Ook werd de aios verzocht het profiel aan te geven in een van de bovengenoemde drie categorieën.

Alle deelnemers aan het onderzoek werd gevraagd op een apart antwoordstrookje de eigen naam in te vullen en (alleen voor de aios) de naam van de beoordeelde opleider. In de begeleidende brief werd aangegeven hoe anonieme verwerking gewaarborgd werd. Aan zowel opleiders als aan aios werd gevraagd om, in het geval beiden de vragen samen willen bespreken, de lijst vooraf onafhankelijk van elkaar in te vullen.

Analyse van de data

Een onderzoeksassistent codeerde de lijsten waardoor deze ook paarsgewijs (aios en eigen opleider) beoordeeld konden worden. Voor de onderzoeker bleven alle lijsten strikt anoniem.

De vragenlijsten zijn geanalyseerd op het aantal verzonden en ontvangen lijsten per groep (percentage), op interne consistentie van de domeinen om de psychometrische kwaliteit van het instrument te bepalen (Cronbachs alfa), op de scores per groep (frequentieverdeling, maten voor centrale tendentie en spreiding), op een vergelijking van de scores tussen verschillende groepen (significantie van verschillen bij onafhankelijke steekproeven) en tot slot op een paarsgewijze vergelijking van de scores tussen de aios en de eigen opleiders (significantie van verschillen bij afhankelijke steekproeven).

De deelpopulaties zijn op het niveau van domeinen vergeleken. Als dat niet mogelijk was is de vergelijking uitgevoerd op het niveau van de vragen. Dit was het geval als bij één van de deelpopulaties de interne consistentie binnen een domein onvoldoende was (Cronbachs alfa lager dan 0.6).

Resultaten

Respons

In totaal retourneerden 63 van de 93 aios (68%) een ingevulde vragenlijst. In de respons waren de drie clustersprofielen vertegenwoordigd met een aantal van respectievelijk 35 van de 51 (69%) voor ‘aios JGZ 1 + 2’, 15 van de 26 (58%) voor ‘aios JGZ 2’ en 13 van de 16 (81%) voor ‘aios overig’. Van de opleiders retourneerden 75 van de 98 personen (77%) een ingevulde vragenlijst. In totaal konden uit alle ingevulde vragenlijsten voor de analyse 44 paren aios – opleider gevormd worden. Deze paren waren als volgt verdeeld over de clustersprofielen: 22 voor ‘aios JGZ 1 + 2’, 12 voor ‘aios JGZ 2’ en 10 voor ‘aios overig’.

De vragenlijst

De Cronbachs alfa als maat voor de interne consistentie van de domeinen is voor het totaal van de ontvangen vragenlijsten tussen 0.67en 0.89. Op het niveau van deelpopulaties is bij enkele domeinen de Cronbachs alfa beneden 0.6. Dit betreft domein 3 bij de ‘aios JGZ 2’ met een Cronbachs alfa van 0.56 en domein 1 bij de opleiders met een Cronbachs alfa van 0.47.

Scores van de groep aios en scores van de groep opleiders

In de Tabellen 1a en 1b is per vraag en per domein voor aios en opleiders het gemiddelde, de standaarddeviatie en de mediaan plus de frequentie van gegroepeerde antwoordcategorieën (1–2, 3, 4–5) opgenomen.

De hoogste scores bij zowel aios als opleiders zijn die in het domein bejegening; de laagste scores bij beide (zij het nog steeds op of boven het midden van de schaal) zijn die in het domein toetsing. Andere relatief lage scores voor beide groepen zijn die op vraag 3 (tijdmanagement), vraag 4 (niet afdwalen bij besprekingen) en vraag 6 (vakliteratuur) en voor de aios op de vragen 11, 12 en 13 over het opstellen van, prioriteren van en terugkomen op leerdoelen.

De samenvattende scores op de items 22 en 23 zijn hoog voor de aios: 82% van de aios is het er (zeer) mee eens dat de opleider een voorbeeldfiguur is en 84% geeft hem/haar een waardering van goed of uitstekend. Bij de opleiders is 78% het er (zeer) mee eens dat hij/zij een voorbeeldfiguur is voor de aios; 49% geeft zichzelf een waardering van goed of uitstekend.

Vergelijking tussen de scores van de aios en de opleiders

De aios als groep geven significant hogere scores bij vraag 22 en 23 aan hun opleiders dan de opleiders als groep zichzelf geven, met p-waarden van 0.02 voor vraag 22 en < 0.001 voor vraag 23. Ook als de aios en de eigen opleiders paarsgewijs vergeleken worden vinden we dit verschil, met p-waarden van 0.05 voor vraag 22 en 0.01 voor vraag 23. De correlaties tussen de scores van de aios en de eigen opleiders zijn zwak; geen enkele correlatie is hoger dan 0.45.

Het aantal aios van twee van de drie clusters (13 en 15 respondenten) is te klein voor een zinvolle nadere analyse van de verschillen tussen de clusters aios onderling.

Conclusie

De aios zijn tevreden met de begeleiding die de opleiders hen bieden. Ook de opleiders zijn tevreden over de wijze waarop zij hun aios begeleiden, zij het dat zij zichzelf iets lager waarderen. Beide groepen zijn zeer tevreden over het functioneren van de opleiders in het domein bejegening en het minst tevreden over dat functioneren in het domein toetsing. Uit de data komen als aandachtspunten naast toetsing ook tijdmanagement, het goed gebruik van leerdoelen en het bijhouden van vakliteratuur naar voren. Aan deze punten zal in de training van de opleiders en/of in de praktijkopleiding van de aios aandacht besteed dienen te worden.

De volledige populatie van aios M&G plus hun opleiders is aangeschreven. Er is daarom geen sprake van selectiebias. Het responspercentage is hoog. Wellicht is dit te verklaren door een grote motivatie voor de opleiding en opleidingsgerelateerde zaken bij deze onderzoekspopulatie en met goede persoonlijke contacten tussen de onderzoekspopulatie en de onderzoeker bij cursorisch onderwijs. De non-respons was beperkt en evenredig verdeeld over de verschillende deelpopulaties. De paren waren voldoende evenredig verdeeld over de clustersprofielen. Een vertekening van de onderzoeksresultaten door de non-respons is daarom niet aannemelijk.

Tabel 1a Gemiddelde scores per item en per domein waarmee de aios M&G de opleider waardeert*.
Full size table
Tabel 1b Gemiddelde scores per item en per domein waarmee de opleider M&G zichzelf waardeert*.
Full size table

De onderzoeker kent een deel van de onderzoekspopulatie; dit kan leiden tot bias door sociale wenselijkheid. Hiermee is in de onderzoeksopzet voldoende rekening gehouden door het inschakelen van een onderzoeksassistent en een duidelijke communicatie hierover naar de doelgroep.

Een beperking van dit onderzoek is de keuze voor een uitsluitend kwantitatieve methode. Een kwalitatieve aanvulling door interviews met een aantal aios en opleiders had inzicht kunnen geven in de redenen voor de lage c.q. hoge scores en wellicht ook meer concrete aanwijzingen voor het verbeteren van de training van de opleiders of de praktijkopleiding van de aios.

De waardering van de opleiders in de qua vragenlijst zeer vergelijkbare studie van Lombarts et al.9 komt goed overeen met die uit deze studie: de aios Anesthesiologie waarderen hun opleiders ook positief, dat wil zeggen boven het gemiddelde van de schaal, en ze zijn ook het meest tevreden over het domein bejegening.

Er zijn nog weinig onderzoeken beschreven over de waarde van zelfbeoordelingen van opleiders. In een onderzoek van Hewson et al.12 bleek dat zowel zelfbeoordeling van opleiders als het oordeel van hun aios een goede indicatie was voor vorderingen van de opleider na een training; ook bleek dat beide oordelen positief onderling correleren. In het onderzoek van Windish et al.11 vinden we een soortgelijke bevinding als in het hier beschreven onderzoek: aios zijn meer positief over het functioneren van hun opleiders dan deze opleiders zelf. Een verklaring voor dit verschil is niet uit dit onderzoek of dat van Windish et al. af te leiden.

De vragenlijst uit dit onderzoek is goed bruikbaar voor de opleiding M&G. Gelet op de overeenkomsten tussen de opleidingen is de vragenlijst, na beoordeling en eventuele minimale aanpassingen door een aantal inhoudsdeskundigen uit de bedrijfs- en verzekeringsgeneeskunde, ook geschikt voor opleiders van deze aios Sociale Geneeskunde.

Bij toepassing van de vragenlijst kunnen de resultaten op groepsniveau worden teruggekoppeld. Zo kan deze gebruikt worden om de delen van de praktijkopleiding van de aios of van de training van de opleiders aan te passen. Een andere mogelijkheid is het periodiek feedback geven aan een groep opleiders binnen een samenwerkingsverband van opleidingsinrichtingen, zoals aanbevolen wordt door Scherpbier et al.1

Voor het geven van individuele feedback aan de opleiders in de opleidingssituatie van Sociale Geneeskunde kan wellicht systematisch gebruik gemaakt worden van meer beoordelaars dan de aios en de opleider en van meer beoordelingsinstrumenten.1 Dit maakt bovendien een beoordeling van andere aspecten van het opleiderschap dan alleen het begeleiden van de aios mogelijk, zoals het bevorderen van een goed opleidingsklimaat in de organisatie. In de literatuur worden als mogelijkheden daarvoor genoemd een beoordeling door collega opleiders, een beoordeling op basis van observatie en een opleidersportfolio.6,13–14

Het is interessant om na te gaan of het door deze en andere onderzoekers veronderstelde belang van anonimiteit door de aios en de opleiders in deze doelgroep gedeeld wordt. Als (een deel van) de Sociaal Geneeskundigen het uitwisselen van de ingevulde vragenlijsten tussen aios en opleider niet als bedreigend ervaart maar juist als een hulpmiddel om samen over de invulling van de begeleiding te praten, kan de vragenlijst als middel voor individuele feedback gebruikt worden. Of een dergelijk gebruik mogelijk is, en onder welke voorwaarden, kan in vervolgonderzoek duidelijk worden.

Dankwoord

M.C.E. Nauta, opleider/adviseur Netherlands School of Public and Occupational Health, droeg bij aan de statistische verwerking van de resultaten.

De vragenlijst in deze studie is een aangepaste versie van een door het AMC ontwikkelde vragenlijst voor de evaluatie van opleiders, bekend als de setQ vragenlijst. Voor dit gebruik is toestemming verkregen van de ontwikkelaars. Gebruik van de setQ vragenlijst door anderen en/of voor andere studies is alleen toegestaan met expliciete toestemming van de ontwikkelaars. Voor informatie over de setQ vragen lijst: m.j.lombarts@amc.uva.nl. Voor informatie over de vragenlijst uit dit onderzoek: j.deschipper@nspoh.nl.

Belangenconflict: geen gemeld

Financiële ondersteuning: geen gemeld