Inleiding

In de gezondheidszorg is de laatste decennia toenemende aandacht voor de participatie van burgers, patiënten en hun naasten (hierna: participanten). In de jaren negentig van de vorige eeuw werd de positie van patiënten en cliënten vastgelegd, in onder andere de Wet Medezeggenschap Cliënten Zorginstellingen (WMCZ, 1996) [1]. Elke Nederlandse zorgorganisatie (onder andere ziekenhuizen, verpleeghuizen) is sindsdien verplicht om een patiënten- of cliëntenraad te hebben die betrokken is bij de besluitvorming [2]. Participatie kan plaatsvinden in uiteenlopende contexten: binnen onderzoek en innovatie, beleid en onderwijs [3,4,5]. De algemene opvatting is inmiddels dat participatie leidt tot democratisering van de gezondheidszorg [5], de kwaliteit van projecten ten goede komt en resulteert in uitkomsten die beter aansluiten bij de wensen en behoeften van de doelgroep [3, 5]. Voor participanten kan participatie persoonlijke zingeving brengen en empowerment vergroten [6]. De afgelopen jaren zijn er richtlijnen ontwikkeld om participatie vorm te geven [1, 7, 8].

Participatie is betekenisvol als de inbreng van de participanten impact heeft op activiteiten of processen, en verandering teweegbrengt [9]. Wanneer die impact optimaal is, is echter lastig te zeggen – participatie kan ook betekenisvol zijn als ze uiteindelijk geen verandering teweegbrengt. Dit is afhankelijk van vele factoren, zoals de doelen van verschillende betrokkenen en de context van het project [4, 5, 7]. In de internationale literatuur zijn instrumenten om de impact van participatie te evalueren daarom schaars [3, 7, 10]. Bovendien zijn ze vaak ontworpen voor gebruik in een specifieke organisatie of (patiënt)populatie en niet geschikt om participatie in verschillende projecten met elkaar te vergelijken [7, 10].

De Canadese Public and Patient Engagement Evaluation Tool (PPEET) is een van de eerste instrumenten voor het evalueren van participatieactiviteiten die breed toepasbaar zijn binnen de gezondheidszorg [7]. Dat betekent dat met de PPEET vormen van participatie in verschillende projecten wel met elkaar kunnen worden vergeleken. De PPEET is gebaseerd op vier kernprincipes voor participatie. Naast invloed en impact zijn dat integriteit van de opzet en het proces van participatie, de participatiecultuur, en samenwerking en gemeenschappelijke doelen [7]. De PPEET bestaat uit vragenlijsten aan drie groepen betrokkenen bij participatie (zie fig. 1; [7, 11]). Onder participanten vallen burgers, patiënten of hun naasten die als adviseur of als gelijkwaardige partner in een project participeren. Onder patiënten rekenen we alle zorggebruikers en hun vertegenwoordigers, zoals vertegenwoordigers vanuit een patiëntenorganisatie of een cliëntenraad. Projectcoördinatoren zijn uitvoerders van projecten waarin de participatie plaatsvindt. Tot organisatiemanagers rekenen we bestuurders van organisaties waarbinnen projecten met participatieactiviteiten plaatsvinden.

Figuur 1
figure 1

Overzicht van de doelgroepen, vragenlijsten [en invulmoment] van de PPEET

Ons doel was om de PPEET naar het Nederlands te vertalen en de eerste stappen in validatie te zetten door twee onderdelen van validatie te bepalen: de haalbaarheid en betrouwbaarheid van deze vertaling, om de PPEET in Nederland te kunnen gebruiken. In dit artikel bedoelen we met participatie: werken mét of dóór patiënten, hun naasten of burgers, in plaats van enkel werken vóór hen of óver hen. Deze omschrijving is gebaseerd op de internationaal veelgebruikte definitie van INVOLVE, de Engelse adviesgroep die participatie in zorg en onderzoek ondersteunt [12].

Methode

Onderzoeksopzet

Deel 1 van dit onderzoek betrof het ontwikkelen van een Nederlandse vertaling van de PPEET, volgens de ‘vertalen-en-terugvertalen’-methode. Deel 2 van dit onderzoek bestond uit een mixed methods-onderzoek naar de haalbaarheid en betrouwbaarheid van de vertaalde vragenlijsten. Onder haalbaarheid verstaan we het volledig en juist kunnen invullen van de vragenlijsten door respondenten.

Vertaalproces

De ontwikkelaars van de PPEET gaven toestemming om deze te gebruiken en te vertalen, en waren beschikbaar voor advies (Abelson, persoonlijke communicatie, 4 maart 2020). We vertaalden de PPEET volgens de richtlijnen voor goede praktijk van Wild en collega’s [13]: LB en LST (met Nederlands als moedertaal, vloeiend in Engels) vertaalden de PPEET onafhankelijk van elkaar naar het Nederlands. In overleg maakten ze van deze vertalingen één consensusvertaling. Een tweetalige, professionele vertaler verzorgde een terugvertaling van de consensusvertaling. LB en LST vergeleken de terugvertaling met de originele PPEET en in overleg met de vertaler werd consensus bereikt over de voorlopige vertaling van de PPEET.

Werving en deelnemers

Binnen de drie relevante doelgroepen wierven we personen die betrokken waren bij participatie in onderzoek-, onderwijs- en beleidsprojecten binnen de zorg. Inclusiecriteria waren: ervaring met burger- en patiëntenparticipatie binnen de zorg en een leeftijd van 18 jaar of ouder. In de eerste wervingsronde (mei tot augustus 2020) werden deelnemers binnen de ouderenzorg per e‑mail benaderd uit het professionele netwerk van LB en LST. Enkele geïncludeerde deelnemers werden gevraagd om andere potentiële deelnemers te benaderen (snowball sampling). Er werden maximaal drie herinneringen gestuurd. In juli werd een tweede wervingsronde gestart. LB en LST benaderden personen buiten hun netwerk, van wie een bijdrage aan beschikbare participatie-toolkits, publicaties of rapporten bekend was.

De deelnemers ontvingen een e‑mail met informatie over het onderzoek, de voorlopige vertaling van de vragenlijsten voor hun doelgroep en een feedbackformulier. Op dit formulier konden ze per vraag een score voor de duidelijkheid aangeven op een schaal van 1 (‘onduidelijk’) tot 10 (‘duidelijk’) [14]. Ook vroegen we de deelnemers om per vraag als feedback in een open veld toelichtingen, opmerkingen of suggesties ter verbetering te noteren. Zo vond een schriftelijke cognitive debriefing plaats (en dus niet via de gebruikelijke interviewmethode) [15, 16]. Deelnemers werden gevraagd om de vragenlijst in te vullen op basis van een recente ervaring met een participatieproject.

Benodigd aantal deelnemers

Om de helderheid van een vragenlijst vast te kunnen stellen wordt een groepsgrootte van vijf tot acht deelnemers geadviseerd. Om de interne consistentie door middel van Cronbach’s alfa te kunnen berekenen, gingen we uit van een power van 80%. De benodigde groepsgrootte voor een power van 80% is afhankelijk van het aantal vragen met een likertschaal in de vragenlijst [17]. Dit varieerde van vier voor de projectvragenlijst tot 23 voor de organisatievragenlijst. Bij deze aantallen hoort een minimale groepsgrootte van respectievelijk veertien en elf onderzoeksdeelnemers. We trachtten daarom in elk van de drie doelgroepen minimaal veertien onderzoeksdeelnemers te includeren. We verwachtten dat dit aantal voldoende was om saturatie te bereiken in de kwalitatieve analyses [18].

Betrouwbaarheidsbepaling

Om de interne consistentie te bepalen werd per module Cronbach’s alfa (α) berekend over de vragen met als antwoordoptie een likertschaal. Een α ≥ 0,70 werd als aanvaardbaar beschouwd [17]. Deze maat werd berekend over het aantal deelnemers dat alle vragen met een likertschaal (correct) had beantwoord. De organisatievragenlijst bevatte de antwoordoptie ‘Weet ik niet’ en daarom werd voor deze vragenlijst een aanvullende sensitiviteitsanalyse uitgevoerd. In de oorspronkelijke Cronbach’s α-berekening werden ‘Weet ik niet’-antwoorden geëxcludeerd, in de aanvullende analyse werden ‘Weet ik niet’-antwoorden beschouwd als ‘Niet mee eens, niet mee oneens’ en geïncludeerd in de berekening.

Om de indruksvaliditeit te bepalen werden de antwoorden op de open vragen gecodeerd volgens een exploratieve inductieve thematische analyse [19]. LST codeerde de antwoorden, waarna alle codes in een consensusbespreking aan LB werden voorgelegd.

Haalbaarheidsbepaling

Per vraag werd het percentage ontbrekende antwoorden, ofwel opengelaten antwoordvelden, bepaald. Een vragenlijst werd in totaal als haalbaar beschouwd bij maximaal 10% ontbrekende antwoorden. Daarnaast werd de gemiddelde duidelijkheidsscore berekend. Voor vragen met een gemiddelde duidelijkheidsscore van ≥ 8 werd de vraag als duidelijk beschouwd. Vragen met een gemiddelde duidelijkheidsscore van < 4 werden als onduidelijk beschouwd en moesten worden geherformuleerd of eventueel worden verwijderd (bij verschillende, tegenstrijdige interpretaties of ernstige problemen in helderheid of taalgebruik waarvoor herformulering geen oplossing biedt) [14]. Bij gemiddelde duidelijkheidsscores van 4–8 werden vragen geherformuleerd aan de hand van de feedback van de onderzoeksdeelnemers [14].

De feedback van de onderzoeksdeelnemers werd samengevat en gecodeerd volgens de vier categorieën uit Knafl et al. [15]:

  1. 1.

    ‘beperkt van toepassing’: de vraag is niet van toepassing voor de respondent of diens participatiecontext;

  2. 2.

    ‘onduidelijke verwijzing’: het is onduidelijk naar welk aspect van participatie of welke situatie de vraag informeert;

  3. 3.

    ‘onduidelijk perspectief’: het is onduidelijk of de respondent vanuit het eigen perspectief moet antwoorden of vanuit het perspectief van een groep of organisatie;

  4. 4.

    ‘woordgebruik/toon’: het taalgebruik is verwarrend of ongepast.

LST codeerde de feedback, waarna alle codes aan LB werden voorgelegd en een consensusbespreking plaatsvond.

LB en LST deden individueel een voorstel voor herformulering of eventueel verwijdering van vragen, waarna een consensusbespreking volgde. Wanneer geen consensus werd bereikt of onduidelijkheid over de interpretatie van de vraag bleef bestaan, werden de ontwikkelaars van de PPEET geconsulteerd.

Sensitiviteitsanalyse

In een aanvullende sensitiviteitsanalyse werden Cronbach’s alfa en de haalbaarheid nogmaals bepaald, waarbij enkel vragen werden meegenomen met een gemiddelde duidelijkheidsscore van ≥ 7. In het Nederlandse schoolcijfersysteem staat dit voor minimaal ruim voldoende.

Medisch-ethische goedkeuring en informed consent

De medisch-ethische toetsingscommissie Leiden-Den Haag-Delft verklaarde dat het onderzoek niet WMO-plichtig is en kon doorgaan (protocolnummer: N14.119, 28-08-2020). Deelnemers werd duidelijk gemaakt dat ze toestemming gaven voor deelname aan het onderzoek door de vragenlijst te retourneren. Hun antwoorden werden voorafgaand aan de analyses niet-herleidbaar gemaakt.

Resultaten

Deelnemers

Na de twee wervingsrondes ontvingen we van de participanten vijftien van de achttien (83%) verstuurde vragenlijsten en feedbackformulieren retour. Drie personen antwoordden niet. Van de projectcoördinatoren ontvingen wij zestien van de twintig (80%) vragenlijsten. Drie personen antwoordden niet en één persoon wilde niet deelnemen. Van de organisatiemanagers kregen wij vijftien van de 27 (56%) formulieren terug. Zes personen gaven aan geen tijd of te weinig inzicht in het participatieproces te hebben om feedback te geven. Zes anderen antwoordden niet.

De meerderheid van de deelnemers was hoog opgeleid en vrouw. De participanten waren voornamelijk oudere personen. Onderzoek, onderwijs en beleid in de gezondheidszorg waren vertegenwoordigd (tab. 1).

Tabel 1 Demografische kenmerken deelnemers (N = 46)

Haalbaarheid

De gemiddelde duidelijkheidsscores voor de verschillende onderdelen van de vragenlijsten varieerden van 5–10 (tab. 2). Feedback van alle groepen betrof het vaakst de categorie ‘woordgebruik/toon’. Zowel participanten als organisatiemanagers vonden het woord ‘personeelslid’ minder vriendelijk klinken dan ‘medewerker’.

Tabel 2 Gemiddelde duidelijkheidsscores per onderdeel van de PPEET-vragenlijsten

De vragenlijsten waren niet altijd volledig of correct ingevuld. Een incorrect antwoord dat een aantal keer voorkwam was het aankruisen van meer dan een antwoordoptie bij een vraag met een likertschaal.

De participanten gaven 625 (88%) correcte en 27 (4%) incorrecte antwoorden. Er ontbraken 18 (3%) antwoorden voor niet-optionele en 40 (6%) voor optionele vragen. Het merendeel van de vragen (35/49, 71%) was ‘duidelijk’ (score ≥ 8). Alle open vragen scoorden ≥ 8. Veertien van 49 vragen (29%) en de introductieteksten scoorden 6–7. Participanten gaven bij twaalf van deze vragen en introductieteksten feedback in de categorie ‘woordgebruik/toon’, bij vier vragen en één introductietekst ‘onduidelijke verwijzing’, bij drie vragen ‘onduidelijk perspectief’ en bij één vraag ‘beperkt van toepassing’. Uit de feedback ‘onduidelijk perspectief’ bleek onduidelijk te zijn om wiens participatiedoelen het gaat: de eigen (van de participant) of die van het project/de organisatie. Eén vraag uit de appendix werd verwijderd omdat deze ongepast werd gevonden. Dit was de vraag of de deelnemer zich tot een van de aangegeven groepen rekende, waarna verschillende kwetsbare groepen werden genoemd.

De projectcoördinatoren gaven 441 (87%) correcte en 22 (4%) incorrecte antwoorden. Er ontbraken 27 (5%) antwoorden voor niet-optionele en vijftien (3%) voor optionele vragen. Van de 38 vragen scoorden 22 (58%) ≥ 8, die dus ‘duidelijk’ werden gevonden. De overige 16/38 vragen (42%) en de introductieteksten scoorden 6–7. De feedback hierbij betrof bij zestien vragen en de introductieteksten de categorie ‘woordgebruik/toon’, bij negen vragen en twee introductieteksten ‘onduidelijke verwijzing’, bij twee vragen en één introductietekst ‘onduidelijk perspectief’ en bij twee vragen ‘beperkt van toepassing’. In de categorie ‘onduidelijke verwijzing’ was van ‘participatieplan’ niet helder of dit naar een onderzoeksplan of een algemeen beleid verwees. Formele afspraken en bijbehorende terminologie rondom participatie kwamen veel voor in deel I van module A. Deze werden geregeld niet duidelijk gevonden.

De organisatiemanagers gaven 315 (88%) correcte en twee (1%) incorrecte antwoorden. Er ontbraken twaalf (3%) antwoorden voor niet-optionele en 31 (9%) voor optionele vragen. Veertien van dertig vragen (47%) waren ‘duidelijk’ (score ≥ 8). Zestien vragen (53%) en de introductietekst scoorden 5–7. De feedback hierbij betrof bij zestien vragen en de introductietekst de categorie ‘woordgebruik/toon’, bij negen vragen en de introductietekst ‘onduidelijke verwijzing’, bij twee vragen ‘onduidelijk perspectief’ en bij één vraag ‘beperkt van toepassing’. In de categorie ‘beperkt van toepassing’ bleek dat ‘afdelingshoofden’ beter van toepassing zou zijn op onderzoeksinstellingen dan ‘bestuurders’. Ook in de organisatievragenlijst kwamen formele afspraken en bijbehorende terminologie rondom participatie veel voor in deel II. Deze werden geregeld niet duidelijk gevonden.

Betrouwbaarheid

Module A (Cronbach’s alfa (α) = 0,91, aantal deelnemers (n) = 13) en module B (α = 0,90; n = 13) van de participantenvragenlijst hadden een Cronbach’s α > 0,70. Van de projectvragenlijst scoorden module B (α = 0,71; n = 13) en module C (α = 0,99; n = 9) boven de grens van 0,70. Module A scoorde echter α = 0,67 (n = 11). De interne consistentie van de organisatievragenlijst werd berekend op basis van vier personen die de vragenlijst volledig hadden ingevuld, zonder gebruik te maken van de ‘Weet ik niet’-antwoordoptie, en scoorde α = 0,72. Een sensitiviteitsanalyse op basis van acht volledig ingevulde vragenlijsten, waarbij ‘Weet ik niet’-antwoorden als ‘Niet mee eens, niet mee oneens’ werden beschouwd, gaf α = 0,94 (n = 8). De power van deze berekeningen op basis van vier tot acht personen ligt echter onder de gestelde grenswaarde van 80%.

In de participantenvragenlijst verwees 60% van de antwoorden op open vragen terug naar onderwerpen uit eerdere vragen (als extra toelichting), 31% van de antwoorden droeg nieuwe thema’s aan. De open vragen in de projectvragenlijst waren voornamelijk ‘beschrijf’-vragen (in plaats van evaluerende vragen) en de meeste antwoorden sloten daar goed bij aan. De open vragen in de organisatievragenlijst boden de mogelijkheid tot extra toelichting op eerder gestelde gesloten vragen. De meeste antwoorden sloten goed aan bij de vragen.

Sensitiviteitsanalyse

Wanneer alleen ruim voldoende heldere vragen (duidelijkheidsscore ≥ 7) werden meegenomen, veranderde Cronbach’s alfa maximaal 0,05 vergeleken met de hierboven genoemde waarden. Percentages correcte, incorrecte en ontbrekende antwoorden veranderden maximaal 2% vergeleken met de hierboven genoemde percentages. De interpretatie van de resultaten bleef gelijk (zie digitaal aanvullende content A).

Een overzicht van de duidelijkheidsscores, feedback en responspercentages van de voorlopige vertaling van de PPEET is beschikbaar in digitaal aanvullende content B. De uiteindelijke vertaling van de vragenlijsten waarin de feedback is verwerkt is te vinden in digitaal aanvullende content C.

Beschouwing en conclusie

We hebben een Nederlandse versie van de PPEET ontwikkeld als hulpmiddel bij het plannen, uitvoeren en evalueren van participatie in onderzoek, onderwijs en beleid in de gezondheidszorg. Participanten, projectleiders en organisatiemanagers vonden alle vragen uit de voorlopige vertalingen voldoende helder en beantwoordden slechts enkele vragen niet (gemiddeld 4%) of incorrect (gemiddeld 3%). De participanten- en projectvragenlijsten bleken consistent of op de grenswaarde van acceptabele consistentie te scoren. De consistentie van de organisatievragenlijst lag boven de grenswaarde, maar werd berekend op basis van een te klein aantal deelnemers. Aanpassingen aan de hand van de feedback hebben wellicht geleid tot een verbeterde consistentie. De feedback van de deelnemers werd in alle vragenlijsten verwerkt, ofwel: wanneer verbeterpunten voor de organisatievragenlijst van toepassing waren werden ze ook toegepast in de project- en participantenvragenlijsten.

Het responspercentage voor organisatiemanagers was lager dan voor participanten en projectcoördinatoren. Dit kan mogelijk worden verklaard doordat organisatiemanagers vaak minder direct betrokken zijn bij participatie dan participanten en projectcoördinatoren.

Opvallend was dat de feedback impliceerde dat participatie in Nederland minder formeel georganiseerd is dan sommige vragen suggereren. Wellicht is participatie in Canada verder geformaliseerd dan in Nederland. In literatuur over participatie in de zorg vonden we echter alleen dat participatie zowel in Nederland als in Canada minder sterk geformaliseerd is dan in het Verenigd Koninkrijk [20, 21]. Uit de feedback bleek bovendien dat deelnemers behoefte hadden aan een definitie van participatie in de introductieteksten. Dit duidt erop dat in de internationale literatuur een eenduidige terminologie rond participatie ontbreekt, wat interpretatie bemoeilijkt [21]. We hebben een definitie toegevoegd: ‘Participatie is het betrekken van patiënten, cliënten, hun naasten, ervaringsdeskundigen of burgers, en hen invloed laten hebben op besluitvormende processen uit de praktijk van onderzoek, beleid en zorg’ (naar [22]). Uit resultaten van de Canadese evaluatie bleek eveneens dat deelnemers de formulering van vragen soms ingewikkeld vonden en van mening waren dat het doel van de vragenlijst niet helder was [11].

Veel participanten vonden de vraag tot welke van de verschillende genoemde kwetsbare groepen ze zich rekenden onduidelijk, onnodig of ongepast. Mogelijk spreekt hieruit de recente ontwikkeling van inclusief taalgebruik [23]. De gepastheid van een vraag naar seksuele voorkeur, genderidentiteit, migratieachtergrond, of beperkingen is zeer afhankelijk van de situatie [23]. Ook uit de resultaten van de Canadese evaluatie blijkt dat sommige deelnemers de vraag ongepast vonden [11]. We hebben de vraag daarom verwijderd en raden gebruikers aan om zelf een specifieke vraag toe te voegen die alleen naar voor het gebruiksdoel relevante achtergrondinformatie van de deelnemer vraagt. Een vergelijkbare aanpak staat beschreven in het begeleidend document bij de PPEET [24].

Verder gaven de deelnemers aan dat ze de antwoordoptie ‘Niet van toepassing’ misten voor de participanten- en projectvragenlijsten. Deze optie besloten wij daarom toe te voegen. Een vergelijkbare suggestie was gedaan in Canada voor de organisatievragenlijst, die er vervolgens een ‘Weet ik niet’-antwoordoptie bij kreeg [11].

Sterke punten en beperkingen van het onderzoek

Een sterk punt van dit onderzoek is dat we de PPEET hebben vertaald volgens richtlijnen van goede praktijk [13]. Dit bevordert de kwaliteit van vragenlijstresultaten en de vergelijkbaarheid tussen verschillende contexten [13]. Daarnaast hebben we in dit onderzoek de eerste stappen in de validatie gezet door twee onderdelen van validatie te bepalen: de haalbaarheid en de betrouwbaarheid.

Dit onderzoek kent ook enkele beperkingen. Ten eerste kwamen de sensitiviteitsanalyses op basis van minder items overeen met de oorspronkelijke analyses, waardoor de vertaling mogelijk redundante items bevat. Om de validiteit volledig te bepalen is toetsing in een grotere groep mensen nodig, zodat ook de constructvaliditeit kan worden bepaald. Ten tweede was het merendeel van de deelnemers hoogopgeleid en waren participanten veelal ouderen. De helderheid van de Nederlandse PPEET voor mensen met een lagere opleiding en voor jongeren vereist verder onderzoek. Het hoge opleidingsniveau van de participanten is echter representatief voor deze groep [25]. De deelnemers zijn deels geworven binnen de ouderenzorg, wat ook als een sterk punt kan worden gezien omdat participatiemethoden binnen de ouderenzorg nog onvoldoende ontwikkeld zijn [26, 27]. Daarnaast leverde de schriftelijke feedback mogelijk beperktere feedback op ten opzichte van cognitive debriefing door middel van interviews [15]. De deelnemers aan ons onderzoek hebben echter de hele vragenlijst ingevuld en beoordeeld, terwijl cognitive debriefing zich vaak beperkt tot een selectie uit de vragenlijst om de lengte van dergelijke interviews te beperken [28]. Bovendien konden de deelnemers de vragenlijsten in hun eigen tempo en omgeving invullen en beoordelen, wat juist rijkere data kan opleveren [29].

Conclusie en implicaties

Wij stellen een Nederlandstalige versie van de PPEET beschikbaar. Hierbij is het van belang om per situatie te beschouwen welke vragen uit de PPEET relevant zijn om te stellen en om antwoorden vertrouwelijk te behandelen. Vervolgonderzoek is nodig om na te gaan of de vertaling na de herformulering op basis van de feedback van de deelnemers volledig duidelijk wordt gevonden. En er moet onderzoek worden gedaan voor verdere validatie van de Nederlandse PPEET, waarbij ook de constructvaliditeit en redundantie worden bepaald. Daarna is het interessant om te onderzoeken of de vier kernwaarden van participatie in Nederland in gelijke mate vertegenwoordigd zijn [7]. Ook zou de bruikbaarheid van de PPEET buiten de zorgcontext onderzocht kunnen worden. De door ons vertaalde PPEET kan in Nederland gebruikt worden als hulpmiddel bij het plannen, uitvoeren en evalueren van participatie. Het gebruik van de PPEET als uitkomstmaat vereist meer onderzoek voor het optimaliseren van de vragenlijsten.