Advertisement

De werkzame elementen van een gecombineerde leefstijlinterventie voor mensen met een lage sociaaleconomische status. Een concept mapping-caseonderzoek

  • Lisanne S. MulderijEmail author
  • Kirsten T. Verkooijen
  • Maria A. Koelen
  • Annemarie Wagemakers
Open Access
Wetenschappelijk artikel

Samenvatting

Mensen met een lage sociaaleconomische status (SES) zijn minder gezond en hebben vaker overgewicht en obesitas dan mensen met een hoge SES. Gecombineerde leefstijlinterventies (GLI’s) kunnen worden ingezet voor de aanpak van overgewicht en obesitas. Het is echter niet duidelijk welke elementen van de GLI effectief zijn voor mensen met een lage SES. Het doel van dit onderzoek was daarom om de werkzame elementen van X‑Fittt 2.0, een GLI voor mensen met een lage SES, te bepalen. Negen professionals en één deelnemer van X‑Fittt 2.0 namen deel aan een concept mapping (CM)-proces om de werkzame elementen van X‑Fittt 2.0 in kaart te brengen. CM bestaat uit zes stappen: voorbereiden, brainstormen, clusteren, scoren, analyseren en discussiëren en interpreteren. Dit proces resulteerde in 72 werkzame elementen, ingedeeld in negen clusters, gericht op monitoring (12), interne (7) en externe (4) samenwerking, structuur en begeleiding (10), afspraken met deelnemers (5), beweegaanbod in de eerste twaalf weken (10), de beweegomgeving (10), wervingsstrategieën (5) en randvoorwaarden voor X‑Fittt 2.0 (9). Deze resultaten bieden een waardevolle eerste verkenning van de werkzame elementen van GLI’s voor mensen met een lage SES.

Trefwoorden

werkzame elementen gecombineerde leefstijlinterventie lage sociaaleconomische status concept mapping gezondheidsbevordering 

The effective elements of a combined lifestyle intervention for people with a low socioeconomic status. A concept mapping case study

Abstract

Health inequalities still exist between people with a low socioeconomic status (SES) and people with a high SES. Combined lifestyle interventions (CLIs) could benefit the health of people with a low SES. However, it is unclear which CLI elements are effective for this group. Therefore, this study aimed to determine the effective elements X‑Fittt 2.0, a CLI for people with a low SES. Nine professionals and one participant of X‑Fittt 2.0 participated in a concept mapping (CM) process to develop an overview of the effective elements of X‑Fittt 2.0. CM consists of six steps: preparing, brainstorming, clustering, scoring, analysing, and discussing and interpreting. This process resulted in 72 effective elements, grouped in nine clusters, focused on monitoring (12), internal (7) and external (4) collaborations, structure and guidance (10), agreements with participants (5), sports options in the first 12 weeks (10), the sports environment (10), recruitment strategies (5) and the preconditions for X‑Fittt 2.0 (9). These results provide a valuable first overview of effective elements of CLIs for people with a low SES.

Keywords

Effective elements Combined lifestyle intervention Low socioeconomic status Concept mapping Health promotion 

Inleiding

Net als in de rest van de wereld is het percentage inwoners met overgewicht (50 %) en obesitas (15 %) in Nederland hoog en is de verwachting dat dit verder toeneemt, vooral onder mensen met een lage sociaaleconomische status (SES) [1, 2]. Hoewel verschillende interventies worden ingezet om de gezondheidsverschillen tussen mensen met een lage en hoge SES te verminderen, laten recente cijfers zien dat deze ongelijkheden nog steeds bestaan. Zo leven mensen met een lage SES ongeveer zeven jaar korter dan mensen met een hoge SES, en achttien jaar korter in een goed ervaren gezondheid [1].

Een oorzaak voor deze gezondheidsverschillen is het verschil in leefstijl, zoals lichamelijke beweging en voeding [3]. Regelmatig bewegen heeft een gunstig effect op de gezondheid en op het voorkomen van chronische ziekten, zoals diabetes, kanker en hart- en vaatziekten [4, 5]. Een mogelijkheid om een gezonde leefstijl te stimuleren ligt in het ontwikkelen en implementeren van gezondheidsbevorderende initiatieven, zoals gecombineerde leefstijlinterventies (GLI’s) [6].

GLI’s richten zich op het verbeteren van de gezondheid door meerdere gezondheidsgedragingen tegelijkertijd aan te pakken, zoals bewegen en voeding. In deze GLI’s bieden gezondheidsprofessionals uit verschillende sectoren, zoals de sportsector en eerstelijnszorg, intensieve begeleiding [7], waardoor GLI’s succesvoller lijken te zijn dan interventies die zich op slechts één gezondheidsgedraging richten of vanuit één sector aangeboden worden [8, 9]. Tot op heden ontbreekt echter inzicht in de elementen die GLI’s effectief maken voor mensen met een lage SES [10].

Onderzoekers gebruiken verschillende termen om werkzame elementen te omschrijven, zoals actieve ingrediënten [11, 12], kerncomponenten [13], werkzame principes [14], goede praktijkkenmerken [15] en principes voor actie [16]. Onze definitie van werkzame elementen, gebaseerd op die van het Rijksinstituut voor Volksgezondheid en Milieu, luidt als volgt:

Werkzame elementen zijn de elementen die een interventie succesvol maken. Deze elementen moeten worden opgenomen wanneer de interventie wordt uitgevoerd [17].

De aanname is dat de effectiviteit van een interventie wordt beïnvloed door een combinatie van elementen en niet zozeer door één element [18].

Ondanks de toenemende aandacht voor GLI’s zijn de werkzame elementen van GLI’s specifiek voor mensen met een lage SES nog niet onderzocht. Eerdere onderzoeken vonden de belangrijkste werkzame elementen van GLI’s voor de algehele bevolking [19] en de voorwaarden voor leefstijlinterventies (niet de GLI) voor mensen met een lage SES [20]. Ook zijn, voor de algemene bevolking, ‘goede praktijkkenmerken’ van voedings- of beweeginterventies onderzocht [15] en zijn barrières en facilitators voor het meedoen aan beweegprogramma’s in kaart gebracht (geen GLI’s) [21]. In de praktijk blijkt dat met het huidige aanbod van GLI’s relatief weinig mensen met een lage SES bereikt worden [22, 23], wat erop kan duiden dat GLI’s te weinig aansluiten bij lage-SES-doelgroepen. Daarom draagt inzicht in de werkzame elementen van GLI’s voor mensen met een lage SES bij aan de verbetering van bestaande en de ontwikkeling van nieuwe GLI’s die gezond gedrag op lange termijn stimuleren bij mensen met een lage SES [24]. We richten ons in dit onderzoek op de GLI X‑Fittt 2.0, met als onderzoeksvraag: wat zijn de werkzame elementen van X‑Fittt 2.0?

Methode

Onderzoekscase

X‑Fittt 2.0 is de eerste Nederlandse GLI specifiek voor mensen met een lage SES, uitgevoerd in Arnhem [25]. De gemeente (Sportbedrijf Arnhem) en een zorgverzekeraar financierden samen X‑Fittt 2.0, dat zich richt op sociale minima (mensen met een minimuminkomen of lager) [26]. X‑Fittt 2.0 duurt twee jaar en begint met een intensief programma van twaalf weken, bestaande uit wekelijks twee sportsessies in een groep met een sportcoach en één individuele sportsessie, voedingsadvies en monitoring door een diëtist en vier uur leefstijlcoaching door een leefstijlcoach. Na deze twaalf weken worden deelnemers gestimuleerd de gezonde leefstijl vol te houden. Ze ontvangen in de resterende 21 maanden in totaal zes uur leefstijlcoaching. De eerste resultaten van X‑Fittt 2.0 laten een positieve impact op de deelnemers zien. In de eerste twaalf weken is het gewicht significant afgenomen, het vetpercentage verlaagd en zijn verbeteringen in kwaliteit van leven gemeten [26].

Methodologie

We hebben concept mapping (CM) gebruikt voor de ontwikkeling van een uitgebreid overzicht van de werkzame elementen van X‑Fittt 2.0 [27]. CM is een methode voor gestructureerde conceptualisering, geschikt voor groepen. CM bestaat uit zes stappen: voorbereiden, brainstormen, clusteren, scoren, analyseren en interpreteren (fig. 1).
Figuur 1

Stroomschema van het CM-proces om de werkzame elementen van X‑Fittt 2.0 te achterhalen, gebaseerd op Kane en Trochim [27]. Voor elke stap is het aantal respondenten en hun werkgebied aangegeven

Stap 1: voorbereiden

We hebben 22 mensen via e‑mail uitgenodigd om deel te nemen aan het CM-proces: alle zeventien professionals van X‑Fittt 2.0 (fig. 1) en vijf mensen met een lage SES die deelnamen aan X‑Fittt 2.0 in Arnhem (voorgesteld door de leefstijlcoaches). Uiteindelijk hebben tien respondenten (negen professionals, één deelnemer) meegedaan (fig. 1). De anderen hebben de uitnodiging noch de herinnering beantwoord (n = 6) of wilden om verschillende redenen niet deelnemen (n = 6).

Als voorbereiding ontvingen de respondenten een gedetailleerde onderzoekshandleiding met daarin de stappen van het CM-proces en onze definitie van werkzame elementen, aangepast voor X‑Fittt 2.0:

Met werkzame elementen bedoelen we de elementen van X‑Fittt 2.0 die zeker moeten worden opgenomen als X‑Fittt 2.0 in een andere gemeente wordt uitgevoerd. Met andere woorden, welke elementen van X‑Fittt 2.0 zijn nodig om het programma succesvol te maken?

Stap 2: brainstormen

De brainstorm is uitgevoerd via een online formulier dat vier weken open was. We verzochten de respondenten alles wat ze als een werkzaam element van X‑Fittt 2.0 beschouwden op te schrijven. We vroegen ze zo gedetailleerd en duidelijk mogelijk te zijn en alleen korte zinnen of keywords te gebruiken. Respondenten kregen een herinnering als ze het formulier na twee weken nog niet hadden ingevuld. Tien respondenten (negen professionals, één deelnemer) hebben het formulier ingevuld (fig. 1) en in totaal 135 werkzame elementen genoemd.

Stap 3 en 4: clusteren en scoren

Twee onderzoekers (LM, KV) hebben de 135 werkzame elementen ontdubbeld tot negentig elementen. Elk unieke werkzame element is vervolgens genummerd en afgedrukt op kleine kaartjes. Deze kaartjes werden samen met een instructiebrief en twintig lege A4-vellen opgestuurd naar de tien respondenten. In de instructiebrief werd uitgelegd dat de respondenten eerst alle werkzame elementen moesten clusteren met behulp van de kleine kaartjes. Instructies voor clusteren waren om:
  1. a)

    de elementen op een voor hen logische manier te clusteren,

     
  2. b)

    elk element slechts één keer te gebruiken,

     
  3. c)

    meer dan één element per cluster te clusteren,

     
  4. d)

    meer dan één cluster te vormen en

     
  5. e)

    alle elementen te clusteren.

     

Respondenten hebben elke cluster op een eigen A4-vel geplakt en gelabeld.

Daarna scoorden de respondenten elk unieke werkzame element op belangrijkheid met behulp van een scoreblad met daarop likertachtige schalen (1 = helemaal niet belangrijk, 5 = erg belangrijk). Negen respondenten (acht professionals, één deelnemer) hebben de A4-vellen en het scoreblad teruggestuurd (fig. 1).

Stap 5: analyseren

Voor de analyse hebben we de stappen van Kane en Trochim gebruikt [27]. Eerst zijn de volledige lijst met werkzame elementen en alle clusters en scores ontvangen van de respondenten ingevoerd in de Concept Systems Global MAX (CS Global MAX)-software [28]. Vervolgens is met multidimensional scaling een point map gegenereerd, waarop elk werkzaam element als een individuele punt op een kaart wordt weergegeven. Elementen die dichter bij elkaar liggen zijn vaker samen gesorteerd. Daarna zijn de individuele elementen aan de hand van een hiërarchische clusteranalyse in clusters van vergelijkbare elementen gegroepeerd. Twee onderzoekers (LM, KV) hebben het aantal clusters met de software stap voor stap teruggebracht, beginnend bij twintig clusters, waarbij elke volgende samenvoeging van twee clusters werd geëvalueerd. De mate van homogeniteit van een cluster werd aangegeven met bridging scores per cluster (0 = homogeen, 1 = heterogeen). Een te heterogene cluster betekent dat de werkzame elementen in de cluster onvoldoende met elkaar samenhangen. Wanneer de nieuwgevormde cluster door het samenvoegen van twee clusters te heterogeen was, stopten we met samenvoegen. Zo bereikten we het uiteindelijke aantal clusters, namelijk negen. De belangrijkheidsscores van de respondenten zijn vervolgens met de software verwerkt, wat resulteerde in de cluster rating map (fig. 2). Het aantal lagen in de cluster rating map geeft de gemiddelde belangrijkheid van elke cluster weer op basis van de belangrijkheidsscores voor de individuele elementen. Als laatst is elke cluster gelabeld.
Figuur 2

Cluster rating map zoals ontwikkeld tijdens de analyse in Concept Systems Global MAX [28]. Het aantal lagen geeft de gemiddelde belangrijkheid van elke cluster weer, gebaseerd op de belangrijkheidsscores (1–5) voor de individuele elementen

Stap 6: discussie en interpretatie

De respondenten zijn uitgenodigd voor een twee uur durende groepsbijeenkomst, waaraan uiteindelijk vier professionals deelnamen (fig. 1). Als voorbereiding ontvingen ze een week voor de groepsbijeenkomst de point map, een lijst met alle werkzame elementen zoals geclusterd in de negen clusters en de cluster rating map. De respondenten bespraken elke cluster om te bepalen of er afwijkende werkzame elementen waren, of er iets ontbrak en of het label klopte. Tijdens dat gesprek zijn clusters samengevoegd, toegevoegd en hernoemd en zijn elementen verplaatst, hernoemd, verwijderd, samengevoegd en toegevoegd. Het groepsgesprek is opgenomen en deze opname is gebruikt bij de uitwerking van de resultaten. Na de groepsbijeenkomst hebben de onderzoekers (LM, KV) de definitieve clusterlabels opnieuw geformuleerd in labels die richtlijnen bevatten die in de praktijk gebruikt kunnen worden.

Resultaten

Na de analyse bleken de clusters ‘Beweegaanbod’ en ‘Randvoorwaarden voor X‑Fittt 2.0’ het minst belangrijk en de clusters ‘Gestructureerde monitoring’, ‘Multidisciplinaire samenwerking’ en ‘Integrale aanpak’ het belangrijkst (fig. 2). Elementen die het minst belangrijk bleken (3,11 uit 5) waren element 3: ‘Lijst om alle gegevens van wat je test in te vullen voor beide kanten van het lichaam’ en element 18: ‘Op een groep van 12 deelnemers 1 sportcoach en 1 stagiaire tijdens de groepslessen (2 zien meer dan 1)’ (tab. 1). Het belangrijkste element (4,89 uit 5) was element 41: ‘Gecombineerde leefstijlinterventie: complete aanpak met sporten/bewegen, voeding, metingen bij fysiotherapeut’.
Tabel 1

Werkzame elementen, clusters en belangrijkheidsscores van X‑Fittt 2.0, zoals ontwikkeld tijdens de groepsbijeenkomst in stap 5 van het CM-proces, gerangschikt naar belangrijkheidsscore

Werkzame elementen

Belangrijkheida

1

Bied passende monitoring

4,44

 

84

Terugval voorkomen door goede handvatten te bieden na het programma die zich niet alleen richten op het sporten

4,78

 

 5

Valide metingen volgens protocol

4,67

 

34

Voeding inzetten op een patroon dat mensen kunnen volhouden: niet korte maar lange termijn

4,67

 

72

Deelnemers concrete doelen laten opstellen

4,67

 

29

Hoofddoel moet niet zijn afvallen en diëten, maar leefgewoonten aanpassen en fitter voelen

4,44

 

13

Elke week wegen op dezelfde weegschaal

4,33

 

24

Makkelijk leesbaar en compleet informatieboekje

4,33

 

40

Voeding (controle door diëtist of leefstijlcoach)

4,33

 

83

Voor- en nameting om resultaten te monitoren op fysiek en mentaal vlak

4,33

 

89

Intake, middenmeting en eindmeting

4,33

 

20

Meerdere controlemomenten

4,22

 

92

Eerst kennismaking/intake met leefstijlcoach en daarna pas met de rest van de professionals, zodat vragen al beantwoord zijn

4,22

2

Zorg voor interne multidisciplinaire samenwerking (binnen X‑Fittt 2.0)

4,32

 

 4

Met alle begeleiding op één lijn zitten

4,78

 

53

Multidisciplinaire samenwerking (sportcoaches, leefstijlcoaches, fysiotherapeuten, diëtisten)

4,67

 

 6

Gespecialiseerde en geschoolde begeleiding (sportcoaches, leefstijlcoaches, fysiotherapeuten, diëtisten)

4,44

 

88

Betrokken begeleiders willen een stapje extra doen voor elkaar en de deelnemers

4,11

 

78

Veel communicatie tussen betrokken begeleiders (sportcoaches, leefstijlcoaches, fysiotherapeuten, diëtisten)

4,00

 

75

Contact met leefstijlcoach via telefoon en e‑mail

3,89

 

97

Vaste kartrekker/vast aanspreekpunt binnen het programma

 

3

Zorg voor externe intersectorale samenwerking (binnen de gemeente)

4,25

 

16

Overal dezelfde informatie verspreiden (bijvoorbeeld naar gemeenten en deelnemers)

4,44

 

93

Goede communicatie tussen alle betrokken partijen, inclusief fysieke overlegmomenten

4,33

 

45

Vast aanspreekpunt (wie mogen ze mailen voor vragen?)

4,22

 

42

Netwerk (onder andere vanuit eerstelijnszorg en wijkteams) dat ondersteunt bij werving

4,00

4

Bied structuur en voldoende begeleiding tijdens X‑Fittt 2.0

4,24

 

12

Structuur in de eerste 12 weken (sporten en afspraken met professionals)

4,44

 

47

Sport- en beweegaanbod in kaart brengen voor na de eerste 12 weken

4,44

 

11

Eén opzet van het programma (niet veel verschillende versies, één standaard gebruiken)

4,33

 

17

Individuele aandacht

4,33

 

77

Leefstijlcoaches gebruiken motiverende gespreksvoering tijdens de gesprekken met de deelnemers

4,33

 

81

Goed vervolgtraject na de eerste 12 weken (bijvoorbeeld met dezelfde groep op dezelfde tijd doorsporten)

4,33

 

22

Toewerken naar meer zelfstandigheid

4,22

 

86

Langdurige begeleiding van de leefstijlcoach (2 jaar in totaal)

4,11

 

76

Overzichtelijke korte periode van sporten: 12 weken

4,00

 

80

Vertrouwenspersoon

3,89

5

Maak duidelijke afspraken voor deelname aan X‑Fittt 2.0

4,22

 

14

Verwachtingsmanagement richting deelnemers

4,44

 

30

Verplichte eisen voor deelname

4,44

 

33

Duidelijke afspraken met deelnemers over niet nakomen van afspraken

4,44

 

48

Contract moet ook de verplichtingen vanuit de organisatie van X‑Fittt 2.0 aangeven

4,00

 

91

Duidelijk en haalbaar contract opstellen met de deelnemers, waarin afspraken staan over de consequenties van het niet nakomen van afspraken en vroegtijdig stoppen

3,78

6

Bied een passend en aantrekkelijk beweegaanbod in de eerste 12 weken

4,17

 

23

Goede opbouw van de sportlessen om blessures te voorkomen

4,67

 

26

Trainingen/lessen in een groep

4,67

 

57

Deelnemers kunnen tijdens het sporten aangeven wat ze maximaal aankunnen, ze sporten op hun eigen niveau

4,56

 

58

Goed passend beweegaanbod afgestemd op de groep

4,56

 

96

Sportcoach met ervaring en affiniteit met de doelgroep

4,22

 

51

Voldoende variatie in de training

4,22

 

65

Het liefst 1 sportcoach

4,00

 

95

Groepsgrootte van minimaal 8 (sociale steun uit groep) en maximaal 10 (genoeg begeleiding en aandacht) deelnemers

3,95

 

36

Veel aandacht voor groepsproces en sfeer tijdens de lessen

3,78

 

18

Op een groep van 12 deelnemers 1 sportcoach en 1 stagiaire tijdens de groepslessen (2 zien meer dan 1)

3,11

7

Bied een aangename en toegankelijke beweegomgeving

4,17

 

59

Sociaal veilige omgeving

4,67

 

15

Laagdrempeligheid: iedereen is gelijk

4,44

 

46

Gemoedelijke sfeer in het centrum

4,44

 

19

Inzet op plezierbeleving

4,22

 

70

Groepsleden motiveren elkaar

4,22

 

71

Geen machocultuur in het beweegcentrum (weinig tot geen bodybuilders en dames in naveltruitjes, enzovoort)

4,22

 

66

Een beweegcentrum waar veel verschillende soorten mensen sporten

4,11

 

10

Opdoen van sociale contacten

4,00

 

31

Minimaal 2 trainingsmomenten in de week

3,78

 

61

Centrum dicht in de buurt, in de eigen wijk

3,56

8

Gebruik voldoende en passende wervingsstrategieën

4,05

 

63

Intrinsieke motivatie bij de deelnemers

4,56

 

67

Motivatie deelnemers goed nagaan bij intake leefstijlcoach

4,33

 

68

Voldoende tijd, geld en inzet voor goede werving en selectie van deelnemers

4,00

 

 2

Uitnodigingsbrief

3,78

 

52

Werving: telefonisch contact met geïnteresseerden

3,56

9

Zorg dat de randvoorwaarden voor X‑Fittt 2.0 op orde zijn

4,04

 

41

Gecombineerde leefstijlinterventie: complete aanpak met sporten/bewegen, voeding, metingen bij fysiotherapeut

4,89

 

87

Goed testmateriaal (weegschaal, meetlint, huidplooimeter, testfiets, knijpkrachtmeter, enzovoort)

4,56

 

82

Goede intakeruimte voor diëtisten en fysiotherapeuten

4,33

 

54

Gesloten ruimten voor de intake

4,22

 

62

Wekelijks weegmoment

4,11

 

94

Sporten in een grote, aparte groepsleszaal waar alle benodigde materialen aanwezig zijn

3,95

 

37

Samenwerking met gemeente

3,89

 

21

Lage kosten voor deelnemer

3,33

 

 3

Lijst om alle gegevens van wat je test in te vullen voor beide kanten van het lichaam

3,11

aBelangrijkheidsscores geven de gemiddelde belangrijkheid van clusters en elementen aan, gebaseerd op de scores gegeven door de individuele respondenten (1 = helemaal niet belangrijk, 5 = erg belangrijk). Voor nieuwe elementen (9197), ontstaan door samenvoeging van elementen, is de gemiddelde belangrijkheidsscore van de twee samengevoegde elementen weergegeven

Tijdens de groepsbijeenkomst zijn de clusters en de indeling van de werkzame elementen veranderd door het samenvoegen, toevoegen en hernoemen van clusters, en het verplaatsen, hernoemen, verwijderen, samenvoegen en toevoegen van elementen (tab. 2 in de bijlage).

Aanpassingen aan de clusters

De clusters ‘Gestructureerde monitoring’ en ‘Meten van progressie’ werden samengevoegd in één cluster met het label ‘Bied passende monitoring’, omdat deze twee clusters dezelfde soort elementen bevatten. De respondenten creëerden ook een nieuwe cluster ‘Gebruik voldoende en passende wervingsstrategieën’ met vijf van de werkzame elementen, om het belang van aandacht voor de werving voor X‑Fittt 2.0 te benadrukken.

De respondenten gaven sommige clusters een nieuw label als ze vonden dat het label niet de inhoud van de cluster dekte. Zo is de cluster ‘Multidisciplinaire samenwerking’ veranderd in ‘Zorg voor interne multidisciplinaire samenwerking (binnen X‑Fittt 2.0)’, omdat deze cluster gaat over de samenwerking binnen X‑Fittt 2.0 en moet worden onderscheiden van de samenwerking met stakeholders buiten X‑Fittt 2.0.

Aanpassingen aan de werkzame elementen

Voor bijna alle clusters werden elementen verplaatst naar een andere cluster. Zo hebben de respondenten verschillende elementen verplaatst naar de cluster ‘Randvoorwaarden voor X‑Fittt 2.0’, zoals element 54: ‘Gesloten ruimtes voor de intake’. Daar staat tegenover dat ze de elementen uit de oorspronkelijke cluster ‘Randvoorwaarden voor X‑Fittt 2.0’ over andere clusters hebben verspreid. Element 24: ‘Makkelijk leesbaar en compleet informatieboekje’ is bijvoorbeeld verplaatst naar de cluster ‘Bied passende monitoring’.

Respondenten hebben ook een aantal elementen hernoemd om ze specifieker te maken. Element 12: ‘Structuur in de eerste 12 weken’ is bijvoorbeeld veranderd in ‘Structuur in de eerste 12 weken (sporten en afspraken met professionals)’ en element 21: ‘Lage kosten’ in ‘Lage kosten voor deelnemers’. Element 59: ‘Veilige omgeving’ kon volgens de respondenten op twee manieren worden geïnterpreteerd:
  1. 1.

    een fysiek veilige omgeving die beschikt over de juiste expertise om iemands leven te redden in geval van een noodsituatie, of

     
  2. 2.

    een sociaal veilige omgeving waar mensen zich op hun gemak voelen en zich niet schamen voor hun lichaam.

     

De respondenten vonden dat de tweede interpretatie het best paste en hebben dit element ‘Sociaal veilige omgeving’ genoemd.

Enkele elementen waren volgens de respondenten niet geschikt voor de lage-SES-doelgroep en werden verwijderd uit de lijst met werkzame elementen. Bijvoorbeeld element 25: ‘Eventuele informatiebijeenkomst’, omdat volgens de respondenten de doelgroep niet geïnteresseerd is in een informatiebijeenkomst.

Een aantal elementen is samengevoegd. Bijvoorbeeld element 28: ‘Eerst intakes bij de leefstijlcoach en dan pas bij de rest, zodat vragen al beantwoord zijn’ en element 35: ‘Intake (kennismaking)’ zijn samengevoegd tot element 92: ‘Eerst kennismaking/intake met leefstijlcoach en daarna pas met de rest van de professionals, zodat vragen al beantwoord zijn’.

De respondenten voegden één werkzaam element toe aan de lijst, namelijk element 97: ‘Vaste kartrekker/vast aanspreekpunt binnen het programma’. Zij vonden het belangrijk dat iemand het voortouw neemt binnen de interventie. Deze persoon is de belangrijkste contactpersoon voor alle professionals die betrokken zijn bij X‑Fittt 2.0. Er is geen belangrijkheidsscore beschikbaar voor dit element, omdat het geen deel uitmaakte van stap 4 van het CM-proces.

Overzicht van clusters en werkzame elementen

Door de aanpassingen van de respondenten aan de clusters en elementen (bijlage, tab. 2) resulteerde de groepsbijeenkomst in iets andere clusters, met daarin 72 werkzame elementen (tab. 1). De clusterlabels zijn opnieuw geformuleerd in definitieve labels die richtlijnen bevatten die in de praktijk gebruikt kunnen worden (tab. 1). Zo is de cluster ‘Randvoorwaarden voor X‑Fittt 2.0’ veranderd in ‘Zorg dat de randvoorwaarden voor X‑Fittt 2.0 op orde zijn’.

Beschouwing

In dit caseonderzoek is CM gebruikt om de werkzame elementen van de GLI X‑Fittt 2.0 te ontrafelen. Dit resulteerde in 72 werkzame elementen, ingedeeld in negen clusters, gepresenteerd in de vorm van richtlijnen die bruikbaar zijn voor de praktijk. Onze clusters van werkzame elementen vertonen overeenkomsten met eerder onderzoek [15, 19, 20, 21], maar onderscheiden zich door de focus op GLI’s specifiek voor mensen met een lage SES, door volledigheid en bruikbaarheid voor de praktijk, en door de scores die het belang van de verschillende elementen aangeven.

Ons onderzoek is het eerste dat zich specifiek richt op de werkzame elementen van een GLI voor mensen met een lage SES. Een Delphi-onderzoek door Nagelhout et al. heeft de belangrijkste randvoorwaarden van leefstijlinterventies in het algemeen voor mensen met een lage SES onderzocht [20]. Deze randvoorwaarden zijn vergelijkbaar met enkele van de werkzame elementen in ons onderzoek, zoals de kosten en locatie van de interventie, en elementen met betrekking tot het begeleiden van deelnemers binnen de interventie. Ons onderzoek voegt daar elementen met betrekking tot monitoring, afspraken met deelnemers en het beweegaanbod aan toe.

In ons onderzoek is het aantal werkzame elementen uitgebreider. Dat geldt ook wanneer we ons overzicht vergelijken met eerdere overzichten. Zo vond het Kenniscentrum Sport twaalf werkzame elementen van GLI’s voor de algemene bevolking [19], tegenover de 72 werkzame elementen in ons onderzoek. Een ander onderzoek, door Morgan et al., inventariseerde de barrières en facilitators die volwassenen ervaren bij het gaan en blijven bewegen [21]. Deze barrières en facilitators lijken min of meer op onze werkzame elementen gericht op het aanpakken van belemmeringen voor en het stimuleren van facilitators om te bewegen, maar vooral in onze clusters ‘Bied structuur en voldoende begeleiding tijdens X‑Fittt 2.0’, ‘Bied een aangename en toegankelijke beweegomgeving’ en ‘Bied een passend en aantrekkelijk beweegaanbod in de eerste 12 weken’. Onze lijst is uitgebreider, omdat deze ook elementen bevat die betrekking hebben op de organisatie van X‑Fittt 2.0, zoals clusters over werving, randvoorwaarden en samenwerkingsverbanden. Ons overzicht is ook uitgebreider en gedetailleerder dan de checklist van goede praktijkkenmerken van voedings- en beweeginterventies, opgesteld door Horodyska et al. [15]. Een van die kenmerken is ‘Voortdurende ondersteuning door stakeholders verzekerd’. Dit komt overeen met ons element 86: ‘Langdurige begeleiding van de leefstijlcoach (2 jaar in totaal)’, dat gedetailleerder is beschreven. Een ander resultaat dat ons onderzoek toevoegt aan de bestaande kennis is de cluster ‘Maak duidelijke afspraken voor deelname aan X‑Fittt 2.0’. X‑Fittt 2.0-professionals benadrukten dat een contract tussen deelnemers en professionals belangrijk is omdat het ervoor zorgt dat alle betrokkenen weten wat ze van elkaar kunnen verwachten en wat de consequenties zijn wanneer ze afspraken niet nakomen en vroegtijdig stoppen met deelname. De reden hiervoor is dat de professionals hebben ondervonden dat veel X‑Fittt 2.0-deelnemers zich niet altijd aan afspraken houden of vroegtijdig met het programma ophouden, een probleem dat andere onderzoekers die leefstijlinterventies voor mensen met een lage SES onderzochten ook tegenkwamen [29, 30].

Een laatste verschil met eerdere onderzoeken is het scoren van individuele elementen op belangrijkheid (1 = helemaal niet belangrijk, 5 = erg belangrijk), wat de belangrijkheidsscores van de uiteindelijke clusters bepaalde. Deze scores verschilden enigszins tussen clusters, variërend van 4,04 voor de cluster ‘Zorg dat de randvoorwaarden voor X‑Fittt 2.0 op orde zijn’ en 4,44 voor de cluster ‘Bied passende monitoring’. Tijdens de groepsbijeenkomst gaven de respondenten echter aan dat zij de laagst scorende cluster ‘Zorg dat de randvoorwaarden voor X‑Fittt 2.0 op orde zijn’ het belangrijkst vinden, omdat de randvoorwaarden essentieel zijn om een GLI te kunnen starten. Net als in eerder onderzoek hebben de scores op die manier bijgedragen aan het krijgen van inzicht in de nuances van de resultaten, omdat ze de discussie over het belang van de verschillende clusters stimuleerden [31, 32].

Sterke en zwakke punten van het onderzoek

Dit onderzoek heeft met behulp van de CM-methode de werkzame elementen van een GLI voor mensen met een lage SES gevonden. Door de individuele deelname van respondenten tijdens stap 2, 3 en 4 in het CM-proces is de individuele input van alle respondenten in het eindproduct weergegeven. Dit heeft als voordeel dat de bijdrage van alle respondenten gelijkwaardig was. CM was nuttig voor ons onderzoeksdoel, maar er zijn enkele methodologische kwesties met betrekking tot de bridging scores, de groepsbijeenkomst en het gebruik van de CM-resultaten.

De bridging scores geven na de analyse een indicatie van de mate van heterogeniteit binnen een cluster. Vijf van de negen clusters, waaronder de drie belangrijkste (‘Bied passende monitoring’, ‘Zorg voor interne multidisciplinaire samenwerking (binnen X‑Fittt 2.0)’ en ‘Zorg voor externe intersectorale samenwerking (binnen de gemeente)’), hadden voorafgaand aan de groepsbijeenkomst een vrij hoge score (>0,5), wat duidt op grotere heterogeniteit. Deze scores zijn in dit onderzoek echter niet gebruikt bij het bepalen van het aantal clusters in de clustermap. We vonden dat het toepassen van de bridging scores geen meerwaarde had voor onze benadering van de CM-methode, waarbij we de clustermap met clusters en elementen bespraken, en aanpasten tijdens de groepsbijeenkomst.

Tijdens de groepsbijeenkomst reflecteerden de respondenten op de clusters uit de analyse om ervoor te zorgen dat het overzicht van de werkzame elementen de ideeën van de respondenten weergeeft. De resultaten van de analyse (multidimensional scaling en hiërarchische clusteranalyse) zijn gebruikt als input voor de groepsbijeenkomst om de discussie op gang te brengen. Onze respondenten hebben vervolgens clusters samengevoegd, toegevoegd en hernoemd, en werkzame elementen verplaatst, hernoemd, verwijderd, samengevoegd en toegevoegd als ze van mening waren dat dit het overzicht van de werkzame elementen van X‑Fittt 2.0 zou verbeteren. Volgens Kane en Trochim kunnen respondenten de clustermap tijdens de groepsbijeenkomst wijzigen of opnieuw rangschikken totdat deze voor hen klopt [27]. Toch laten andere onderzoeken, in tegenstelling tot ons onderzoek, beperkte aanpassingen zien tijdens deze stap; zij richten zich slechts op het bepalen van het aantal clusters, het labelen van clusters en/of het aanwijzen van regio’s van verwante clusters [33, 34, 35, 36, 37].

Tijdens de groepsbijeenkomst kregen we ook meer zicht op de betekenis en het belang van de elementen. Element 59: ‘Veilige omgeving’ (tijdens de groepsbijeenkomst hernoemd) kon bijvoorbeeld op verschillende manieren worden geïnterpreteerd (fysiek veilige omgeving of sociaal veilige omgeving), wat mogelijk invloed heeft gehad op de manier van clusteren door de individuele respondenten in stap 3. Hoewel er altijd een kans is dat werkzame elementen verschillend worden geïnterpreteerd, verdient dit in toekomstig onderzoek aandacht bij het herzien van de brainstormlijst. De respondenten hadden tijdens de groepsbijeenkomst de gelegenheid om deze interpretaties te bespreken en tot een consensus te komen, wat waardevol was en een gedetailleerder overzicht creëerde. Onze aanbeveling is daarom om in CM-onderzoek een uitgebreide groepsbijeenkomst met belanghebbenden te organiseren, wat de bruikbaarheid in de praktijk vergroot.

Aangezien dit een caseonderzoek is, kunnen de resultaten niet blindelings worden gekopieerd naar elke GLI voor mensen met een lage SES. Wat werkt voor X‑Fittt 2.0 in Arnhem werkt niet automatisch in andere gemeenten, omdat de context verschilt [14, 18]. Het aantal respondenten was klein (n = 10, groepsbijeenkomst: n = 4) en er nam naast de negen professionals slechts één X‑Fittt 2.0-deelnemer deel. Op de diëtisten na was tijdens het CM-proces en in de groepsbijeenkomst elke discipline binnen X‑Fittt 2.0 (coördinatoren, sportcoaches, fysiotherapeuten en leefstijlcoaches) vertegenwoordigd. Omdat slechts één deelnemer aan X‑Fittt 2.0 gedeeltelijk heeft deelgenomen aan het onderzoek, is het de vraag of de resultaten voldoende aansluiten bij de doelgroep met een lage SES. De X‑Fittt 2.0-deelnemer had een ‘ervaringsperspectief’ en benadrukte wat hem/haar hielp tijdens X‑Fittt 2.0. De professionals hadden meer een ‘organisatorisch perspectief’ en benadrukten vooral praktische zaken. Het is daarom aan te raden om bij vervolgonderzoek meer lage-SES-deelnemers te betrekken.

Om resultaten te krijgen die beter te generaliseren zijn, raden wij aan om soortgelijk onderzoek uit te voeren met een grotere groep respondenten die betrokken zijn bij verschillende GLI’s voor mensen met een lage SES, waardoor de focus van het onderzoek wordt verruimd. Dat kan een bredere en meer algemene kijk geven op de werkzame elementen van GLI’s voor mensen met een lage SES. Dit kan vervolgens ook worden gebruikt om andere GLI’s, zoals BeweegKuur, CooL en SLIMMER, geschikt te maken voor mensen met een lage SES, omdat deze GLI’s niet specifiek voor deze doelgroep zijn ontwikkeld [10].

Conclusie

Het belangrijkste doel van dit onderzoek was inzicht krijgen in de werkzame elementen van een GLI voor mensen met een lage SES. Dit is gedaan met een caseonderzoek dat focuste op de GLI X‑Fittt 2.0 en is uitgevoerd met behulp van de CM-methode. Het resultaat is een overzicht van 72 werkzame elementen van X‑Fittt 2.0, ingedeeld in negen betekenisvolle clusters:
  1. 1.

    ‘Bied passende monitoring’;

     
  2. 2.

    ‘Zorg voor interne multidisciplinaire samenwerking (binnen X‑Fittt 2.0)’;

     
  3. 3.

    ‘Zorg voor externe intersectorale samenwerking (binnen de gemeente)’;

     
  4. 4.

    ‘Bied structuur en voldoende begeleiding tijdens X‑Fittt 2.0’;

     
  5. 5.

    ‘Maak duidelijke afspraken voor deelname aan X‑Fittt 2.0’;

     
  6. 6.

    ‘Bied een passend en aantrekkelijk beweegaanbod in de eerste 12 weken’;

     
  7. 7.

    ‘Bied een aangename en toegankelijke beweegomgeving’;

     
  8. 8.

    ‘Gebruik voldoende en passende wervingsstrategieën’;

     
  9. 9.

    ‘Zorg ervoor dat de randvoorwaarden voor X‑Fittt 2.0 op orde zijn’.

     

Volgens onze respondenten zijn de randvoorwaarden van een GLI, zoals een goede locatie met de juiste apparatuur, het belangrijkst om het programma te starten. Voor de continuïteit van het gezonde gedrag zijn langdurige begeleiding door een leefstijlcoach en nuttige hulpmiddelen om terugval te voorkomen het belangrijkst.

CM was een nuttige en gestructureerde methode om de werkzame elementen van X‑Fittt 2.0 te achterhalen. We raden aan deze methode te gebruiken bij toekomstig onderzoek dat inzicht moet geven in de werkzame elementen van GLI’s voor mensen met een lage SES, waarbij een groep respondenten met een bredere kijk op GLI’s wordt geïncludeerd. Het overzicht van werkzame elementen zoals gepresenteerd in dit onderzoek biedt een eerste verkenning van de werkzame elementen van een GLI voor mensen met een lage SES. Het vormt een waardevolle basis voor vervolgonderzoek naar de werkzame elementen van GLI’s voor mensen met een lage SES.

Notes

Financiering

Dit onderzoek is gefinancierd door ZonMw (projectnummer 50–53110–98-003).

Literatuur

  1. 1.
    RIVM. Volksgezondheid Toekomst Verkenning 2018: Trendscenario Gezondheidsverschillen. Utrecht: RIVM; 2018. https://www.vtv2018.nl/gezondheidsverschillen. Geraadpleegd op 9 oktober 2019.Google Scholar
  2. 2.
    RIVM. Beweegrichtlijnen naar opleiding. Utrecht: RIVM; 2018. https://www.volksgezondheidenzorg.info/onderwerp/bewegen/cijfers-context/huidige-situatie#node-beweegrichtlijnen-naar-opleiding. Geraadpleegd op 9 oktober 2019.Google Scholar
  3. 3.
  4. 4.
    Warburton DER, Nicol CW, Bredin SSD. Health benefits of physical activity: the evidence. Can Med Assoc J. 2006;174(6):801–9.CrossRefGoogle Scholar
  5. 5.
    Miller CT, Fraser SF, Levinger I, Straznicky NE, Dixon JB, Reynolds J, et al. The effects of exercise training in addition to energy restriction on functional capacities and body composition in obese adults during weight loss: a systematic review. PLoS ONE. 2013;8(11):e81692.PubMedPubMedCentralCrossRefGoogle Scholar
  6. 6.
    Loketgezondleven.nl. Gecombineerde Leefstijlinterventie. Utrecht: RIVM; 2015. https://www.loketgezondleven.nl/leefstijlinterventies/gecombineerde-leefstijlinterventie. Geraadpleegd op 9 oktober 2019.Google Scholar
  7. 7.
    Storm I, Aarts MJ, Harting J, Schuit AJ. Opportunities to reduce health inequalities by ‘Health in All Policies’ in the Netherlands: an explorative study on the national level. Health Policy. 2011;103(2–3):130–40.PubMedCrossRefGoogle Scholar
  8. 8.
    Lion A, Vuillemin A, Thornton JS, Theisen D, Stranges S, Ward M. Physical activity promotion in primary care: a Utopian quest? Health Promot Int. 2019;34(4):877–86.PubMedCrossRefGoogle Scholar
  9. 9.
    Beenackers MA, Nusselder WJ, Oude Groeniger J, Lenthe FJ van. Het terugdringen van gezondheidsachterstanden: een systematisch overzicht van kansrijke en effectieve interventies. Rotterdam: Erasmus MC Universitair Medisch Centrum; 2015.Google Scholar
  10. 10.
    Mulderij L, Verkooijen K, Wagemakers A. Gecombineerde leefstijlinterventies voor mensen met een lage SES? Tijdschr Gezondheidswet. 2019;97(1):9–10.CrossRefGoogle Scholar
  11. 11.
    Goodwin L, Ostuzzi G, Khan N, Hotopf MH, Moss-Morris R. Can we identify the active ingredients of behaviour change interventions for coronary heart disease patients? A systematic review and meta-analysis. PLoS ONE. 2016;11(4):e153271.PubMedPubMedCentralCrossRefGoogle Scholar
  12. 12.
    Dombrowski SU, Sniehotta FF, Avenell A, Johnston M. Identifying active ingredients in complex behavioural interventions for obese adults with obesity-related co-morbidities or additional risk factors for co-morbidities: a systematic review. Health Psychol Rev. 2012;6(1):7–32.CrossRefGoogle Scholar
  13. 13.
    Blase K, Fixsen D. Core intervention components: identifying and operationalizing what makes programs work. ASPE Research Brief. US Dep Heal Hum Serv. 2013. pag. 2–21.Google Scholar
  14. 14.
    Wartna J, Vaandrager LL, Wagemakers A, Koelen M. ‘Er is geen enkel werkzaam principe dat altijd werkt.’ Een eerste verkenning van het begrip werkzame principes. Wageningen: Wageningen University; 2012. http://edepot.wur.nl/212691. Geraadpleegd op 9 oktober 2019.Google Scholar
  15. 15.
    Horodyska K, Luszczynska A, Berg M van den, Hendriksen M, Roos G, De Bourdeaudhuij I, et al. Good practice characteristics of diet and physical activity interventions and policies: an umbrella review. BMC Public Health. 2015;15(1):1–16.CrossRefGoogle Scholar
  16. 16.
    Herens M, Wagemakers A, Vaandrager L, Koelen M. Exploring participant appreciation of group-based principles for action in community-based physical activity programs for socially vulnerable groups in the Netherlands. Bmc Public Health. 2015;15(1):1173.PubMedPubMedCentralCrossRefGoogle Scholar
  17. 17.
    Loketgezondleven.nl. Werkzame elementen. Utrecht: RIVM; 2019. https://www.loketgezondleven.nl/leefstijlinterventies/werkzame-elementen. Geraadpleegd op 9 oktober 2019.Google Scholar
  18. 18.
    Kok MO, Vaandrager L, Bal R, Schuit J. Practitioner opinions on health promotion interventions that work: opening the ‘black box’ of a linear evidence-based approach. Soc Sci Med. 2012;74:715–23.PubMedCrossRefGoogle Scholar
  19. 19.
    Preller L, Schaars D. Generieke werkzame elementen van Gecombineerde leefstijlinterventies en duurzame uitvoerbaarheid. Ede: Kenniscentrum Sport; 2016. https://www.kenniscentrumsport.nl/publicatie/?generieke-werkzame-elementen-van-gecombineerde-leefstijlinterventies-en-duurzame-uitvoerbaarheid&kb_id=21788. Geraadpleegd op 9 oktober 2019.Google Scholar
  20. 20.
    Nagelhout GE, Verhagen D, Loos V, Vries H de. Belangrijke randvoorwaarden bij de ontwikkeling van leefstijlinterventies voor mensen met een lage sociaaleconomische status: een Delphi-onderzoek. Tijdschr Gezondheidswet. 2018;96(1):37–45.CrossRefGoogle Scholar
  21. 21.
    Morgan F, Battersby A, Weightman AL, Searchfield L, Turley R, Morgan H, et al. Adherence to exercise referral schemes by participants—what do providers and commissioners need to know? A systematic review of barriers and facilitators. BMC Public Health. 2016;16:227.PubMedPubMedCentralCrossRefGoogle Scholar
  22. 22.
    Bukman AJ, Teuscher D, Feskens EJM, Baak MA van, Meershoek A, Renes RJ. Perceptions on healthy eating, physical activity and lifestyle advice: opportunities for adapting lifestyle interventions to individuals with low socioeconomic status. MC Public Heal. 2014;14(1):1036.Google Scholar
  23. 23.
    Formupgrade. Eindverslag ZonMw. BeweegKuur voor allochtonen vrouwen in Arnhem. Projectnummer 524003049. Den Haag: ZonMw; 2016.Google Scholar
  24. 24.
    Dale D van, Lanting L, Delden J van. Werkzame elementen, is dat de toekomst? Tijdschr Gezondheidswet. 2015;93(6):199–201.CrossRefGoogle Scholar
  25. 25.
    Loketgezondleven.nl. Erkende interventies – volwassenen, lage SES. Utrecht: RIVM; 2018. https://interventies.loketgezondleven.nl/interventieoverzicht1?leeftijd=volwassen&lage_ses=1. Geraadpleegd op 9 oktober 2019.Google Scholar
  26. 26.
    Wagemakers A, Mulderij LS, Verkooijen KT, Groenewoud S, Koelen MA. Care-physical activity initiatives in the neighbourhood: study protocol for mixed-methods research on participation, effective elements, impact, and funding methods. BMC Public Health. 2018;18(812):1–14.Google Scholar
  27. 27.
    Kane M, Trochim WMK. Concept mapping for planning and evaluation. band 50. Thousand Oaks: SAGE; 2007.CrossRefGoogle Scholar
  28. 28.
    Kane M. CS global MAXTM. Ithaca: Concept Systems Incorporated; 2019. https://conceptsystems.com/home. Geraadpleegd op 9 oktober 2019.Google Scholar
  29. 29.
    Teuscher D. A lifestyle intervention study targeting individuals with low socioeconomic status of different ethnic origins: needs of the target group and research demands. Maastricht: Maastricht University; 2017.CrossRefGoogle Scholar
  30. 30.
    Roumen C, Feskens EJM, Corpeleijn E, Mensink M, Saris WH, Blaak EE. Predictors of lifestyle intervention outcome and dropout: the SLIM study. Eur J Clin Nutr. 2011;65(10):1141–7.PubMedCrossRefGoogle Scholar
  31. 31.
    Wagemakers A, Koelen MA, Lezwijn J, Vaandrager L. Coordinated action checklist: a tool for partnerships to facilitate and evaluate community health promotion. Glob Health Promot. 2010;17(3):17–28.PubMedCrossRefGoogle Scholar
  32. 32.
    Wagemakers A, Husen G van, Barrett JB, Koelen MA. Amsterdam’s STI/HIV programme: an innovative strategy to achieve and enhance the participation of migrant community-based organisations. Health Educ J. 2014;74(4):411–23.CrossRefGoogle Scholar
  33. 33.
    Roeg D, Goor I van de, Garretsen H. Towards quality indicators for assertive outreach programmes for severely impaired substance abusers: concept mapping with Dutch experts. Int J Qual Health Care. 2005;17(3):203–8.PubMedCrossRefGoogle Scholar
  34. 34.
    Nabitz U, Brink W van den, Jansen P. Using concept mapping to design an indicator framework for addiction treatment centres. Int J Qual Health Care. 2005;17(3):193–201.PubMedCrossRefGoogle Scholar
  35. 35.
    Lebel A, Cantinotti M, Pampalon R, Thériault M, Smith LA, Hamelin AM. Concept mapping of diet and physical activity: uncovering local stakeholders perception in the Quebec City region. Soc Sci Med. 2011;72(3):439–45.PubMedCrossRefGoogle Scholar
  36. 36.
    Tubbing L, Harting J, Stronks K. Unravelling the concept of integrated public health policy: concept mapping with Dutch experts from science, policy, and practice. Health Policy. 2015;119(6):749–59.PubMedCrossRefGoogle Scholar
  37. 37.
    Bon-Martens MJH van, Achterberg PW, Goor IAM van de, Oers HA van. Towards quality criteria for regional public health reporting: concept mapping with Dutch experts. Eur J Public Health. 2012;22(3):337–42.PubMedCrossRefGoogle Scholar

Copyright information

© The Author(s) 2019

Open Access This article is distributed under the terms of the Creative Commons Attribution 4.0 International License (http://creativecommons.org/licenses/by/4.0/), which permits unrestricted use, distribution, and reproduction in any medium, provided you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons license, and indicate if changes were made.

Authors and Affiliations

  • Lisanne S. Mulderij
    • 1
    Email author
  • Kirsten T. Verkooijen
    • 1
  • Maria A. Koelen
    • 1
  • Annemarie Wagemakers
    • 1
  1. 1.Gezondheid en MaatschappijWageningen University & ResearchWageningenNederland

Personalised recommendations