Skip to main content

Onderzoeksopzet evaluatie Gezonde School: onder welke condities doet het ertoe?

Design of a three-level evaluation of the Dutch Healthy School program

Samenvatting

Hoewel steeds meer scholen het vignet Gezonde School hebben behaald, is weinig bekend over de factoren, kenmerken en processen, ofwel condities, die de effectiviteit van het programma Gezonde School beïnvloeden. Daarom wordt een evaluatieonderzoek uitgevoerd op drie niveaus: de leerling, de school en de regio. De drie centrale onderzoeksvragen zijn gericht op: 1) condities voor leerlinguitkomsten, 2) condities voor implementatie op school, en 3) condities voor regionale ondersteuning. Daarbij worden de school en de regio beschouwd als complexe adaptieve systemen. Condities voor beoogde uitkomsten op leefstijl, gezondheid en schoolprestaties van leerlingen worden onderzocht met een combinatie van bestaande databronnen waaraan schoolcodes kunnen worden toegevoegd. Goed en minder goed presterende scholen worden geselecteerd voor een overwegend kwalitatieve vervolganalyse om verschillen in uitkomsten verder te verklaren. Om inzicht te krijgen in condities voor implementatie op school en de regionale ondersteuning in negen GGD-regio’s wordt met een vragenlijst de implementatiegraad bepaald, om daarna scholen te selecteren voor overwegend kwalitatief vervolgonderzoek. Dit onderzoek biedt niet alleen inzicht in de huidige stand van zaken op de drie niveaus, maar kan ook verschillen in uitkomsten tussen leerlingen, scholen en regio’s verklaren. Zo kunnen concrete aangrijpingspunten worden gegeven om de implementatie van Gezonde School verder te versterken.

Abstract

An increasing number of schools obtained a Healthy School certificate, yet little is known about factors, characteristics, and processes, i.e. conditions, influencing the effectiveness of the Healthy School program. Therefore, a mixed methods evaluation study will be conducted on three levels: the student, the school, and the region. The research questions are focused on: 1) conditions for student outcomes, 2) conditions for implementation in schools, and 3) conditions for regional support. For the evaluation, the school and region are considered complex adaptive systems. Conditions for intended outcomes on student lifestyle, health, and academic achievement will be examined using a combination of existing datasets including school codes. Based on student outcomes, best and worst performing schools will be selected for predominantly qualitative analysis to further explain differences. To get insight into conditions for implementation in schools and regional support in nine regions, the degree of implementation will be determined with a questionnaire to select schools for predominantly qualitative analysis. Combined, this study will not only provide insight into the current situation on the three levels, but also explain differences between regions, schools, and students. Consequently, it will be possible to provide concrete advice to strengthen implementation of the Healthy School program.

Inleiding

Om structureel een gezonde leefstijl bij leerlingen (in dit artikel ook studenten van het mbo) te stimuleren, heeft een toenemend aantal scholen in het Nederlandse primair onderwijs (po), voortgezet onderwijs (vo) en middelbaar beroepsonderwijs (mbo) het vignet Gezonde School (GS) (zie het artikel van Van Koperen et al. elders in dit nummer [1]. Tot op heden is echter beperkte wetenschappelijke kennis beschikbaar over de effectiviteit van het programma GS. Eerdere onderzoeken richtten zich veelal op de kortetermijneffecten van initiatieven op een van de pijlers (gezondheidseducatie, omgeving, signaleren en beleid) binnen een specifiek gezondheidsthema (voeding, bewegen en sport, welbevinden, roken-, alcohol- en drugspreventie, relaties en seksualiteit, fysieke veiligheid, (binnen)milieu en mediawijsheid) [2,3,4]. Daarnaast geldt voor dergelijke binnen- en buitenlandse onderzoeken dat het moeilijk is om eenduidige conclusies te trekken over de effectiviteit van (initiatieven vergelijkbaar met) GS [5, 6]. Dit kan mede worden verklaard door het beperkte inzicht in de factoren, kenmerken en processen, ofwel de condities, die de implementatie en beoogde uitkomsten van GS versterken [5,6,7].

De Nederlandse organisatie voor gezondheidsonderzoek en zorginnovatie (ZonMw) subsidieert daarom een landelijk evaluatieonderzoek naar de condities voor effectiviteit van GS. Het onderzoek beoogt niet alleen antwoord te geven op de vraag of GS ertoe doet, maar vooral ook aangrijpingspunten te vinden voor verbetering van de landelijke en regionale aanpak. Een breed consortium, bestaande uit drie academische werkplaatsen (Academische Werkplaats Publieke Gezondheid Limburg, Academische Werkplaats AGORA en Academische Werkplaats AMPHI), de Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek (TNO) en negen Gemeentelijke Gezondheidsdiensten (GGD’en), draagt zorg voor de uitvoering van het vierjarige project (startdatum: 1 april 2019). In dit artikel wordt de onderzoeksopzet beschreven, die is gericht op drie niveaus: de leerling, de school en de regio. Hoewel de focus hierbij op GS ligt, zal waar mogelijk breder worden gekeken naar het concept ‘gezonde school’. Een school zonder GS-vignet kan immers ook aan gezondheidsbevordering werken.

De centrale vraagstelling in het onderzoek luidt: onder welke condities doet Gezonde School ertoe? Het conceptueel raamwerk in fig. 1 vormt de basis van het onderzoek en is leidend geweest voor het formuleren van drie onderzoeksvragen:

  1. 1.

    Hoe ziet de ontwikkeling van leerlingen op het gebied van leefstijl, gezondheid en persoonsvorming, en schoolprestaties en -verzuim eruit, en hoe en in hoeverre kunnen verschillen tussen scholen worden verklaard door factoren in de schoolcontext?

  2. 2.

    Hoe ziet de implementatie van GS op scholen eruit, en hoe en in hoeverre kunnen verschillen tussen scholen worden verklaard door (interactie tussen) factoren in de schoolcontext en de regionale ondersteuning?

  3. 3.

    Hoe ziet de regionale ondersteuning in de negen GGD-regio’s eruit, en hoe en in hoeverre kunnen verschillen tussen regio’s worden verklaard door (interactie tussen) factoren in de school- en regionale context?

Figuur 1
figure 1

Voorlopige versie van het conceptueel raamwerk voor de evaluatie van Gezonde School in Nederland

Conceptueel raamwerk

Het conceptuele raamwerk onderscheidt drie niveaus, namelijk dat van de leerling, de school en de regio. De school en de regio worden beschouwd als zogenaamde complexe adaptieve systemen [7,8,9,10,11,12,13,14,15]. Dit houdt in dat het systemen zijn die uit vele componenten bestaan, die voortdurend met elkaar interacteren. Componenten zijn bijvoorbeeld de mensen in het systeem (de actoren) en de karakteristieken van het systeem (de factoren en kenmerken). Veranderingen in het ene deel (bijvoorbeeld implementatie van een GS-initiatief) leiden tot veranderingen in andere delen of worden geweerd, in een poging om als geheel in balans te blijven [8, 12, 14]. Hiervoor vindt voortdurende terugkoppeling plaats tussen de componenten [12]. Dit proces is onvoorspelbaar, waarbij kleine inspanningen kunnen leiden tot grote effecten en andersom [8, 14]. In elk systeem, oftewel elke school of regio, is daardoor sprake van een unieke context [7,8,9,10,11,12,13,14]. Gebaseerd op deze denkwijze biedt (de voorlopige versie van) het conceptuele raamwerk een visualisatie van het verwachte proces van de ondersteuning van GS op het niveau van de regio, de implementatie ervan op het niveau van de school en de uitkomsten op het niveau van de leerling (fig. 1).

De school heeft een centrale plek in het raamwerk en wordt gevisualiseerd door de cirkel in het midden. Het onderste deel geeft de implementatie van GS weer, als onderdeel van de context van het complexe adaptieve schoolsysteem. In het bovenste deel staan de actoren, factoren en kenmerken van de schoolcontext die van belang zijn voor implementatie van GS. Circulaire pijlen geven aan dat voortdurende terugkoppeling plaatsvindt tussen beide delen om het schoolsysteem in balans te houden [7, 16]. De golflijn in het schoolsysteem laat zien dat tussen de delen geen harde grens bestaat, maar dat ze in elkaar overlopen (bijvoorbeeld wanneer een GS-activiteit door een groep docenten wordt georganiseerd). Actoren in de schoolcontext zijn onder meer docenten, leerlingen, ouders, directie en zorgcoördinatoren. Relevante factoren kunnen direct gerelateerd zijn aan deze actoren (bijvoorbeeld de werkhouding van leerlingen of de pedagogische kwaliteiten voor GS van docenten), maar ook aan de school als organisatie (zoals het beschikbare aantal uren voor GS en de coördinatie vanuit de directie) en de sociaal-politieke omgeving (wet- en regelgeving omtrent GS) [16]. Daarnaast bepalen algemene schoolkenmerken (bijvoorbeeld schoolgrootte) en, indien van toepassing, GS-kenmerken (bijvoorbeeld welke GS-vignetten zijn behaald) de schoolcontext [17].

De regio wordt boven in het raamwerk weergegeven. Verondersteld wordt dat het implementatieproces van GS op scholen niet alleen afhankelijk is van factoren in de schoolcontext, maar ook van de ondersteuning die scholen hiervoor krijgen [18,19,20,21]. Top-downinput van het landelijke programma GS, bestaande uit financiële en praktische ondersteuning, treedt het complexe adaptieve regiosysteem binnen. Deze bereikt de school via een GS-adviseur van de GGD of gaat via de website direct naar de school [22]. Vervolgens wordt in het onderste deel van het regiosysteem de gerealiseerde regionale ondersteuning aan scholen weergegeven. In het bovenste deel staan de actoren, factoren en kenmerken van de context. Circulaire pijlen geven ook hier aan dat tussen deze twee delen voortdurend wordt teruggekoppeld om de balans in het systeem te behouden. De golflijn laat zien dat de delen in elkaar overlopen (bijvoorbeeld wanneer een GGD-professional onderdeel uitmaakt van de ondersteuning aan een school). In de overlap tussen het regio- en schoolsysteem wordt verder wederzijdse beïnvloeding verondersteld tussen de regionale ondersteuning en de schoolcontext, weergegeven door circulaire pijlen. Actoren in de regionale context zijn onder andere de GGD, gemeente(n), de jeugdgezondheidszorg, lokale sportbedrijven, milieugroepen en verslavingszorg. Vier categorieën van contextuele factoren zijn geselecteerd op basis van bestaande literatuur [18, 23,24,25]. Dit zijn factoren gerelateerd aan de professional (bijvoorbeeld attitude ten opzichte van GS-ondersteuning), de organisatie (onder andere beschikbare menskracht voor GS-ondersteuning), de bredere context (bijvoorbeeld gezamenlijke visie over regionaal preventiebeleid) en de samenwerking (zoals de manier van communicatie). De regionale context wordt tevens bepaald door algemene kenmerken (bijvoorbeeld het aantal samenwerkingspartners) en GS-kenmerken (zoals het jaar van adoptie van de GS-werkwijze).

Het raamwerk gaat verder uit van een relatie tussen GS en uitkomsten op leerlingniveau. Indicatoren voor deze uitkomsten zijn gebaseerd op de doelstellingen van GS: 1) een gezonde leefstijl, 2) gezondheid en persoonsvorming, en 3) schoolprestaties en schoolverzuim van leerlingen [26]. Dit is weergegeven in het onderste gedeelte van het raamwerk. Verondersteld wordt dat GS geassocieerd is met leefstijlen gerelateerd aan de thema’s van GS, waaronder groente- en fruitconsumptie, lichamelijke activiteit, middelengebruik en seksueel risicogedrag [6, 27]. Mogelijk verbeteren daardoor ook de algemene en psychosociale gezondheid [28,29,30]. Eerder onderzoek toont verder aan dat ongezonde leefstijlen en ongezondheid kunnen samenhangen met slechtere schoolprestaties, zoals lagere gemiddelde cijfers, een verhoogde kans op zittenblijven en schoolverzuim [2, 31,32,33]. Daarom wordt verondersteld dat GS via verbeteringen in leefstijl ook tot verbeteringen op de andere indicatoren kan leiden [6, 26, 29, 33]. Het gaat hierbij om een complex proces van wederzijdse beïnvloeding van leefstijl, gezondheid en schoolprestaties die vanuit thuis, de school en de bredere leefomgeving gevormd wordt [34,35,36]. Deze wederzijdse beïnvloeding wordt weergegeven door circulaire pijlen tussen de drie indicatoren. De impact van GS op leerlingniveau kan daarnaast per school verschillen, onder meer door de manier waarop GS in de school wordt geïmplementeerd [37]. Maar ook scholen die GS op vergelijkbare wijze implementeren kunnen variëren in uitkomsten, omdat die eveneens kunnen worden beïnvloed door de eerder beschreven factoren in de schoolcontext [38, 39]. De invloed van deze mogelijke moderatoren wordt gevisualiseerd door de pijl aan de linkerkant van het raamwerk.

Methode

Condities voor leerlinguitkomsten

Voor het beantwoorden van de eerste onderzoeksvraag worden twee deelonderzoeken uitgevoerd (fig. 1 en tab. 1). Voor deelonderzoek 1.1 wordt retrospectief geanalyseerd hoe leerlinguitkomsten zich ontwikkelen en welke kenmerken van scholen en leerlingen bijdragen aan de verklaring van de gevonden verschillen tussen scholen. Hiervoor worden bestaande datasets gebruikt van onder andere de deelnemende GGD’en en het Centraal Bureau voor de Statistiek (CBS), die indicatoren bevatten op het gebied van leefstijl, gezondheid en persoonsvorming, en/of schoolprestaties/-verzuim van leerlingen. Bruikbare datasets bevatten data op leerlingniveau van zowel scholen met, als scholen zonder een GS-vignet, waarbij kan worden vastgesteld welke leerlingen in die periode bij elkaar op school zaten. Voor het po zullen in het bijzonder gegevens uit het digitaal kinddossier van de GGD’en van ±5- en 10-jarigen worden gebruikt van meerdere geboortecohorten. Het betreft voornamelijk twee soorten data: 1) groeigegevens (lengte en gewicht), waarmee BMI z‑scores berekend worden en 2) uitkomsten van de Strengths and Difficulties Questionnaire (SDQ), waarmee psychosociale problematiek bij kinderen en jongeren wordt gemeten [40]. Voor het vo zullen voornamelijk gegevens worden gebruikt van de landelijke Gezondheidsmonitor Jeugd 2015 en 2019, die bij tweede en vierde klassen zijn afgenomen [41]. Dit betreft gegevens over gezondheid en leefstijl (onder andere voeding, bewegen, middelengebruik en seksueel risicogedrag), persoonsvorming (onder meer SDQ) en verzuim. Gegevens over schoolprestaties voor het po en vo zullen verkregen worden via onder andere de Dienst Uitvoering Onderwijs (DUO) en het CBS. Voor het mbo worden de mogelijkheden nog onderzocht.

Tabel 1 Overzicht van de dataverzameling per deelonderzoek

Voor deelonderzoek 1.1 worden methoden toegepast waarmee redelijkerwijs uitspraken kunnen worden gedaan over verbanden tussen GS en de beoogde uitkomsten. Dat kunnen bijvoorbeeld multilevel regressieanalyses of quasi-experimentele methoden zijn. De uiteindelijke keuze voor kwantitatieve analysestrategieën hangt af van de eigenschappen van de beschikbare gegevens over leerlingen en scholen. In de analyse zal allereerst de variatie tussen scholen voor de beoogde uitkomsten in kaart worden gebracht, waarna wordt gekeken hoe en in hoeverre verschillen kunnen worden verklaard door schoolkenmerken (zoals denominatie), schoolpopulatie (zoals opleidingsniveau van de leerlingen) en GS-kenmerken (zoals de behaalde vignetten). Om data van verschillende bronnen als geheel te analyseren, wordt gebruikgemaakt van dataharmonisatietechnieken. Dit zijn technieken waarmee voorafgaand aan de statistische analyses verschillende databronnen kunnen worden gecombineerd [42]. Om met ontbrekende gegevens om te gaan, zowel op individueel als schoolniveau, wordt gebruikgemaakt van multipele imputatie [43]. Om rekening te houden met de geneste structuur van de data, wordt multilevel imputatie toegepast [44].

Vervolgens zullen voor deelonderzoek 1.2 de schoolcondities voor leerlinguitkomsten nader worden onderzocht. Op basis van gegevens uit deelonderzoek 1.1 worden voor po, vo en mbo in totaal ±50 scholen geselecteerd die relatief meer en minder goed presteren op de beoogde vorderingen van leerlingen. Binnen deze selectie zal waar mogelijk matching worden toegepast op basis van kenmerken van de schoolpopulatie, zoals onderwijsniveau voor het vo. De vervolganalyse bestaat uit overwegend kwalitatief onderzoek. Data worden verzameld over schoolkenmerken (zoals fysieke voorzieningen), schoolpopulatie (bijvoorbeeld de attitude van leerkrachten) en GS-kenmerken (zoals de implementatiegraad van de activiteiten). Dit wordt gedaan via interviews met medewerkers, ouders en leerlingen, documentanalyse, observaties en – indien nog niet afgenomen op de school – de ontwikkelde vragenlijst voor de GS-implementatiegraad (zie deelonderzoek 2.1). De verzamelde data worden geanalyseerd met Qualitative Comparative Analysis (QCA) om verschillen tussen scholen te verklaren. QCA is een methode waarmee complexe verbanden kunnen worden onderzocht tussen veel factoren van verschillende vergelijkingsgroepen (in dit geval scholen) [45].

Condities voor implementatie op school

Voor het beantwoorden van de tweede onderzoeksvraag worden twee deelonderzoeken uitgevoerd (fig. 1 en tab. 1). Deelonderzoek 2.1 brengt in kaart hoe de implementatie van GS op scholen eruitziet. Daartoe wordt een vragenlijst ontwikkeld voor schoolmedewerkers. Voor dit ontwikkelingsproces worden experts in GS (n = 10–15) vanuit de wetenschap, GGD’en, scholen en het programma GS in semigestructureerde interviews gevraagd om de implementatiegraad voor GS te definiëren. Dit gebeurt aan de hand van zeven concepten: 1) naleving van het gedachtegoed (per GS-thema), 2) de intensiteit van GS-implementatie op de school, 3) de kwaliteit waarmee GS wordt aangeboden, 4) de mate waarin actoren betrokken zijn, 5) de mate waarin GS een verschil maakt voor de leerlingen, 6) de mate van adaptatie van GS aan de schoolcontext, en 7) de mate waarin GS onderdeel is van het DNA (de routines, normen en identiteit) van de school [46,47,48,49,50,51]. Met de data uit de interviews wordt een conceptvragenlijst samengesteld, die vervolgens in een online expertconsultatie (n = ±40 experts in GS) en een pretest onder schoolmedewerkers (n = ±10) wordt doorontwikkeld. De definitieve vragenlijst wordt verspreid onder alle po-, vo- en mbo-scholen van de negen deelnemende GGD-regio’s (n = ±3.000), en wordt ingevuld door degene op de school die de meeste kennis over de GS-werkwijze heeft. Dit resulteert in kwantitatieve data, waarmee scholen kunnen worden geordend voor elk van de zeven onderdelen (concepten).

Deelonderzoek 2.2 heeft tot doel om inzicht te krijgen in factoren in de schoolcontext die de GS-implementatiegraad kunnen beïnvloeden. Gebaseerd op de resultaten van deelonderzoek 2.1 worden ±50 scholen geselecteerd, gestratificeerd naar GS-implementatiegraad en schooltype. Hoewel deze scholen op basis van andere uitkomsten worden geselecteerd dan in deelonderzoek 1.2, kunnen de selecties overlappen. Op deze scholen worden data verzameld over verklarende factoren gerelateerd aan de actoren, de schoolorganisatie en de sociaal-politieke omgeving, en algemene en GS-kenmerken (zie ook ‘Conceptueel raamwerk’ en fig. 1). Uitgangspunt voor de selectie van factoren is het Measurement Instrument for Determinants of Innovations (MIDI) [52]. Tevens wordt de GS-implementatiegraad, zoals gevonden in deelonderzoek 2.1, geverifieerd. Deze data worden verzameld uit een combinatie van semigestructureerde (groeps)interviews, observaties, registratiesystemen en documentanalyse. De interviews worden gehouden met docenten, directie, zorgteam, ouders en leerlingen. Met de overwegend kwalitatieve data wordt een beschrijvende analyse gemaakt van de schoolcontext.

Vervolgens worden verschillen in GS-implementatiegraad (deelonderzoek 2.1) verklaard vanuit de schoolcontext (deelonderzoek 2.2) en de regionale ondersteuning (zie deelonderzoek 3.1 en 3.2). Data bestaande uit informatie over verklarende factoren worden daarvoor vergelijkend geanalyseerd met QCA [45]. Data betreffende de perceptie van actoren over het verband tussen verklarende factoren en de GS-implementatiegraad worden beschrijvend geanalyseerd.

Condities voor regionale ondersteuning

Voor beantwoording van de derde onderzoeksvraag worden drie deelonderzoeken gedaan (fig. 1 en tab. 1). Deelonderzoek 3.1 geeft inzicht in de regionale ondersteuning die door scholen wordt ontvangen. Steekproef hiervoor is de selectie van scholen (n = ±50) uit deelonderzoek 2.2. Op de scholen wordt de regionale ondersteuning via de interviews met medewerkers in kaart gebracht door bijvoorbeeld te vragen naar het type en de intensiteit van de ontvangen ondersteuning voor GS. In deelonderzoek 3.2 wordt het aanbod vanuit de deelnemende GGD-regio’s (n = 9) in kaart gebracht. Deze GGD-regio’s zijn op basis van variatie in locatie en bereidheid geselecteerd voor deelname. Voor elke regio worden data verzameld uit semigestructureerde (groeps)interviews, observaties, documentanalyse en bestaande registratiesystemen. Hierbij gaat het bijvoorbeeld om de beschikbare uren en financiële middelen voor het aanbieden van GS-ondersteuning. Deelnemers zijn in eerste instantie coördinatoren van GS-adviseurs uit de betreffende regio’s, waarna andere relevante stakeholders voor GS door de sneeuwbalmethode worden geïdentificeerd [53]. In deelonderzoek 3.3 wordt in elke regio informatie verzameld over de factoren in de regionale context gerelateerd aan de stakeholders en de organisaties waar zij werkzaam zijn, de bredere context en de samenwerking tussen de organisaties, en algemene en GS-kenmerken (zie ook ‘Conceptueel raamwerk’ en fig. 1). Deze data worden tegelijk met de data voor deelonderzoek 3.2 verzameld uit de semigestructureerde (groeps)interviews met stakeholders, observaties, documentanalyse en registratiesystemen.

De overwegend kwalitatieve data uit deelonderzoek 3.1, 3.2 en 3.3 worden ten eerste beschrijvend geanalyseerd. Daarna worden verschillen in de gerealiseerde regionale ondersteuning (deelonderzoek 3.1 en 3.2) verklaard vanuit de schoolcontext (zie deelonderzoek 2.2) en de regionale context (deelonderzoek 3.3). Data bestaande uit informatie over de verklarende factoren worden vergelijkend geanalyseerd met QCA [45]. Data betreffende de perceptie van actoren over het verband tussen de verklarende factoren en de regionale ondersteuning, worden beschrijvend geanalyseerd.

Community of Practice

In halfjaarlijkse bijeenkomsten van de zogenaamde Community of Practice wisselen onderzoekers en praktijkprofessionals informatie en kennis uit. Dit bevordert de aansluiting van het onderzoek op de dagelijkse realiteit en vergroot de kennis en kunde van de professionals op het gebied van schoolgezondheidsbevordering. Deelnemers zijn (coördinatoren van) GS-adviseurs en epidemiologen van GGD’en in Nederland, werknemers vanuit de landelijke ondersteuningsstructuur voor GS, werknemers van andere relevante organisaties uit de gezondheids- en educatiesector, en wetenschappers.

Beschouwing

Dit artikel beschrijft de onderzoeksopzet voor een evaluatie van de condities voor effectiviteit van GS. Daarvoor wordt een combinatie van zowel kwalitatieve als kwantitatieve methoden ingezet. Hiermee wordt inzicht gegeven in de uitkomsten van GS op het niveau van de leerling, de implementatie op school en de regionale ondersteuning. Door de combinatie van methoden wordt een completer en voor de praktijk relevanter beeld gevormd, in vergelijking met de methoden afzonderlijk [5]. Op elk van de drie niveaus wordt verder een contextgestuurde aanpak gehanteerd. One size fits all is namelijk niet langer het uitgangspunt voor interventieontwikkeling en evaluatieonderzoek, want de context moet meer centraal staan [5, 54]. Het onderzoeken van de invloed van de context is van belang om resultaten beter te kunnen duiden en de generaliseerbaarheid naar andere situaties te vergroten [39]. Dat maakt het mogelijk om verschillen binnen en tussen de niveaus verder te onderzoeken, hetgeen bijdraagt aan het verklaren van de effectiviteit van GS.

Een vooronderzoek door onderzoeksinstituut TNO beschrijft uitgebreid wat de onderzoeksmogelijkheden zijn om de condities voor effectiviteit van GS op leerlinguitkomsten te onderzoeken [5]. Dat onderzoek concludeert dat het klassieke gerandomiseerde experiment bij de huidige stand van kennis niet haalbaar is. Voor de eerste onderzoeksvraag wordt daarom gebruikgemaakt van een kwantitatief retrospectief onderzoek om inzicht te krijgen in (de condities voor) de leerlinguitkomsten. Doordat gebruik wordt gemaakt van bestaande datasets, blijft de tijdsinvestering voor leerlingen en scholen beperkt, maar kunnen wel data van een groot aantal leerlingen verspreid over Nederland worden geïncludeerd [5]. Verder wordt bij dit onderzoek uitgegaan van natuurlijke variatie tussen scholen, hetgeen de externe validiteit verhoogt [5, 55]. Het gebruiken van data die voor andere doeleinden zijn verzameld brengt echter ook uitdagingen met zich mee. De effectiviteit van GS kan enkel worden onderzocht voor indicatoren die voorkomen in bestaande databronnen [5]. Bovendien zijn voor het mbo beperkt data beschikbaar, en als ze wel beschikbaar zijn, betreft het voornamelijk cross-sectioneel verkregen data [5]. Dit tekort zou ten dele kunnen worden ondervangen door prospectief data te verzamelen met de vragenlijst van ‘Test je Leefstijl’ [56].

Daarnaast brengen verschillende deelonderzoeken met beschrijvende analyses de implementatie op school, de aangeboden en ontvangen regionale ondersteuning, en de school- en regionale context in kaart. Beschrijvend onderzoek is bij uitstek geschikt om dergelijke complexe systemen in de praktijksetting te onderzoeken. Het biedt gedetailleerd inzicht in het school- en regiosysteem, en maakt het vervolgens mogelijk om vergelijkende analyses te doen naar factoren die van invloed zijn op de processen. Dit resulteert in completere en rijke data, waarmee een reëel beeld wordt gecreëerd van de praktijksituatie. Dat draagt bij aan de externe validiteit [5, 57, 58]. Een belangrijke uitdaging hierin is de afhankelijkheid van de bereidheid van scholen om aan het onderzoek deel te nemen, wat tot selectiebias kan leiden [57]. Dit zou in grotere mate kunnen gelden voor scholen met een lagere implementatiegraad of minder goede uitkomsten van de leerlingen. Daarom is het belangrijk om waar mogelijk via bestaande connecties te werven (zoals GS-adviseurs, onderwijsstichtingen en lokale organisaties) en te benadrukken dat het geen beoordeling betreft. In de regio’s is het lokaliseren van de juiste mensen met de gehanteerde sneeuwbalmethode afhankelijk van doorverwijzing door de deelnemers [53]. Daarom zal in elke regio worden gestart bij (coördinatoren van) GS-adviseurs. Deze professionals zijn vertrouwd met de regionale ondersteuning en regionale context, en weten naar verwachting andere stakeholders goed te vinden. Een laatste en aan het bovenstaande gerelateerde uitdaging is de generaliseerbaarheid van de resultaten, waardoor mogelijk vooral conclusies kunnen worden getrokken over de deelnemende scholen en regio’s in het onderzoek [57, 58].

Voor het gehele onderzoek geldt verder dat de complexiteit een uitdaging is. Om een zo compleet mogelijk beeld te schetsen van de condities voor effectiviteit moeten namelijk veel verklarende factoren worden geïncludeerd, maar om de omvang van het onderzoek enigszins te beperken dient hierin een selectie te worden gemaakt. Bij interpretatie van de resultaten is het bovendien van belang om te erkennen dat met de contextuele benadering op drie niveaus dynamische processen worden verondersteld waarin continu veranderingen plaatsvinden, terwijl in deze evaluatie hiervan een momentopname wordt gemaakt.

Wij beschouwen de beschreven onderzoeksopzet als de best mogelijke methode om te onderzoeken onder welke condities GS ertoe doet. De resultaten zullen inzicht geven in de uitkomsten van GS op het niveau van de leerling, de implementatie op school en de regionale ondersteuning. Verder wordt inzicht gegeven in factoren en kenmerken die deze uitkomsten kunnen versterken dan wel belemmeren. Zo kan concreet advies worden gegeven over de optimalisatie van de condities op school- en regioniveau. Bovendien kan een aangetoonde relatie tussen GS en een gezonde leefstijl en betere schoolprestaties van leerlingen bijdragen aan het creëren van meer draagvlak bij zowel schoolmedewerkers als beleidsmakers en de positie van schoolgezondheidsbevordering verder versterken [5, 19]. Ten slotte is het de intentie om de gevormde Community of Practice na afronding van het onderzoek te laten voortbestaan en zo een blijvend lerend netwerk over schoolgezondheidsbevordering in Nederland te creëren. Zo kan het draagvlak onder professionals worden verhoogd en wordt de kans groter dat de resultaten worden geborgd in de praktijk.

Literatuur

  1. 1.

    Van Koperen M, Kruitwagen V, Westhuis A, Sobels M. Gezonde School: landelijke samenwerking voor een gezonde jeugd. Tijdschr Gezondheidswet. 2020. https://doi.org/10.1007/s12508-020-00279-3

    Article  Google Scholar 

  2. 2.

    Fekkes M, Paulussen T. Effecten van gezondheidsbevordering in het onderwijs op de leefstijl, schoolprestaties en -uitval van leerlingen; een literatuurreview. In: Bos V, de Jongh DM, Paulussen TG, redactie. Gezondheidsbevordering en preventie in het onderwijs: stand van zaken, effectiviteit en ervaringen van GGD’en en scholen. Bilthoven: RIVM; 2010.

    Google Scholar 

  3. 3.

    RIVM Centrum Gezond Leven. De effectiviteit van Gezonde School-activiteiten: wat is het verband tussen Gezonde School-activiteiten, een gezonde leefstijl en schoolprestaties? Bilthoven: RIVM Centrum Gezond Leven; 2016.

    Google Scholar 

  4. 4.

    Schokker D, Keulen H van, Vlasblom E, et al. Factsheet Gezonde School in het MBO: inventarisatie van aanbod en opstellen van een ontwikkelagenda. Leiden: TNO; 2014.

    Google Scholar 

  5. 5.

    Paulussen T, Buijs G, Zoonen R van, et al. Voorstudie effectonderzoek naar Gezonde School in Nederland. Leiden: TNO; 2017.

    Google Scholar 

  6. 6.

    Langford R, Bonell C, Jones H, et al. The World Health Organization’s Health Promoting Schools framework: a Cochrane systematic review and meta-analysis. BMC Public Health. 2015;15:130.

    PubMed  PubMed Central  Google Scholar 

  7. 7.

    Darlington EJ, Violon N, Jourdan D. Implementation of health promotion programmes in schools: an approach to understand the influence of contextual factors on the process? BMC Public Health. 2018;18(1):163.

    PubMed  PubMed Central  Google Scholar 

  8. 8.

    Egan M, McGill E, Penney T, et al. NIHR SPHR Guidance on systems approaches to local public health evaluation. part 1: introducing systems thinking. London: National Institute for Health Research School for Public Health Research; 2019.

    Google Scholar 

  9. 9.

    Plsek PE, Greenhalgh T. The challenge of complexity in health care. BMJ. 2001;323(7313):625.

    CAS  PubMed  PubMed Central  Google Scholar 

  10. 10.

    Rosas SR. Systems thinking and complexity: considerations for health promoting schools. Health Promot Int. 2017;32(2):301–11.

    PubMed  Google Scholar 

  11. 11.

    Keshavarz N, Nutbeam D, Rowling L, et al. Schools as social complex adaptive systems: a new way to understand the challenges of introducing the health promoting schools concept. Soc Sci Med. 2010;70(10):1467–74.

    PubMed  Google Scholar 

  12. 12.

    Dooley KJ. A complex adaptive systems model of organization change. Nonlinear Dynamics Psychol Life Sci. 1997;1(1):69–97.

    Google Scholar 

  13. 13.

    Turunen H, Sormunen M, Jourdan D, et al. Health Promoting Schools—a complex approach and a major means to health improvement. Health Promot Int. 2017;32(2):177–84.

    CAS  PubMed  Google Scholar 

  14. 14.

    Naaldenberg J, Vaandrager L, Koelen M, et al. Elaborating on systems thinking in health promotion practice. Glob Health Promot. 2009;16(1):39–47.

    PubMed  Google Scholar 

  15. 15.

    Patton MQ. Developmental evaluation: applying complexity concepts to enhance innovation and use. New York: Guilford; 2011.

    Google Scholar 

  16. 16.

    Fleuren MA, Paulussen TG, Dommelen P van, et al. Towards a measurement instrument for determinants of innovations. Int J Qual Health Care. 2014;26(5):501–10.

    PubMed  PubMed Central  Google Scholar 

  17. 17.

    Poland B, Krupa G, McCall D. Settings for health promotion: an analytic framework to guide intervention design and implementation. Health Promot Pract. 2009;10(4):505–16.

    PubMed  Google Scholar 

  18. 18.

    Leurs M. A collaborative approach to tailored whole-school health promotion: the Schoolbeat study. Maastricht: Maastricht University; 2008.

    Google Scholar 

  19. 19.

    Boot N. Gezondheidsbevordering en voortgezet onderwijs, verstandshuwelijk of echte liefde? Een onderzoek naar de implementatie van schoolgezondheidsbeleid binnen scholen voor voortgezet onderwijs. Maastricht: Maastricht University; 2011.

    Google Scholar 

  20. 20.

    Pucher KK. Optimizing intersectoral collaboration in school health promotion. Maastricht: Maastricht University; 2015.

    Google Scholar 

  21. 21.

    Tooher R, Collins J, Braunack-Mayer A, et al. Intersectoral collaboration to implement school-based health programmes: Australian perspectives. Health Promot Int. 2016;32(2):312–21.

    Google Scholar 

  22. 22.

    Borg S ter, Vennemann F, Milder I. Jaarrapportage Programma Gezonde School 2017. Gezonde School. 2018.

    Google Scholar 

  23. 23.

    Dittrich K, Schokker DF, Paulussen TG. Monitor AWPG 2.0. Leiden: TNO; 2014.

    Google Scholar 

  24. 24.

    Jansen MW, Vries NK de, Kok G, et al. Collaboration between practice, policy and research in local public health in the Netherlands. Health Policy. 2008;86(2–3):295–307.

    PubMed  Google Scholar 

  25. 25.

    Hanleybrown F, Kania J, Kramer M. Channeling change: making collective impact work. Stanf Soc Innov Rev. 2012;Jan 26:1–8.

  26. 26.

    Programma Gezonde School. Gezonde School Programma 2017–2020. Den Haag: ministerie van VWS; 2016.

    Google Scholar 

  27. 27.

    Beets MW, Flay BR, Vuchinich S, Snyder FJ, Acock A, Li KK, et al. Use of a social and character development program to prevent substance use, violent behaviors, and sexual activity among elementary-school students in Hawaii. Am J  Public Health. 2009; 99(8):1438–45.

    PubMed  Google Scholar 

  28. 28.

    Ruwaard D. Ongezonde leefstijl: wiens zorg? Tijdschr Gezondheidswet. 2011;89(6):293–5.

    Google Scholar 

  29. 29.

    Biddle SJ, Asare M. Physical activity and mental health in children and adolescents: a review of reviews. Br J Sports Med. 2011;45(11):886–95.

    PubMed  Google Scholar 

  30. 30.

    O’Neil A, Quirk SE, Housden S, et al. Relationship between diet and mental health in children and adolescents: a systematic review. Am J Public Health. 2014;104(10):31–42.

    Google Scholar 

  31. 31.

    Daniels DY. Examining attendance, academic performance, and behavior in obese adolescents. J Sch Nurs. 2008;24(6):379–87.

    PubMed  Google Scholar 

  32. 32.

    An R, Yan H, Shi X, et al. Childhood obesity and school absenteeism: a systematic review and meta-analysis. Ob Rev. 2017;18(12):1412–24.

    CAS  Google Scholar 

  33. 33.

    Bradley BJ, Greene AC. Do health and education agencies in the United States share responsibility for academic achievement and health? A review of 25 years of evidence about the relationship of adolescents’ academic achievement and health behaviors. J Adolesc Health. 2013;52(5):523–32.

    PubMed  Google Scholar 

  34. 34.

    Azevedo Da Silva M, Singh-Manoux A, Brunner EJ, et al. Bidirectional association between physical activity and symptoms of anxiety and depression: the Whitehall II study. Eur J Epidemiol. 2012;27(7):537–46.

    PubMed  PubMed Central  Google Scholar 

  35. 35.

    Esch P, Bocquet V, Pull C, et al. The downward spiral of mental disorders and educational attainment: a systematic review on early school leaving. BMC Psychiatry. 2014;14:237.

    PubMed  PubMed Central  Google Scholar 

  36. 36.

    Pacek LR, Martins SS, Crum RM. The bidirectional relationships between alcohol, cannabis, co-occuring and cannabis use disorders with major depressive disorder: results from a national sample. J Affect Disord. 2013;148(2–3):188–95.

    PubMed  Google Scholar 

  37. 37.

    Durlak JA, DuPre EP. Implementation matters: a review of research on the influence of implementation on program outcomes and the factors affecting implementation. Am J Community Psychol. 2008;41(3–4):327–50.

    PubMed  Google Scholar 

  38. 38.

    Bartelink N, Assema P van, Jansen M, et al. The moderating role of the school context on the effects of the Healthy Primary School of the Future. Int J Environ Res Public Health. 2019;16(13):2432.

    PubMed Central  Google Scholar 

  39. 39.

    Moore GF, Audrey S, Barker M, et al. Process evaluation of complex interventions: Medical Research Council guidance. BMJ. 2015;350:h1258.

    PubMed  PubMed Central  Google Scholar 

  40. 40.

    Goodman R. Sterke kanten en moeilijkheden: vragenlijst voor ouders of leerkracht (SDQ-Dut). 2005. www.sdqinfo.org. Geraadpleegd op 24 april 2020.

  41. 41.

    Rijksoverheid. Basisvragenlijst Gezondheidsmonitor Jeugd 2015. www.monitorgezondheid.nl/documenten/basisvragenlijst-gezondheidsmonitor-jeugd-2015. Geraadpleegd op 24 april 2020.

  42. 42.

    Veldkamp B, Schildkamp K, Keijsers M, et al. Verkenning data-gedreven onderwijsonderzoek in Nederland. Enschede: Universiteit Twente; 2017.

    Google Scholar 

  43. 43.

    Buuren S van. Flexible imputation of missing data. Boca Raton: CRC Press; 2013.

    Google Scholar 

  44. 44.

    Jolani S, Debray TP, Koffijberg H, et al. Imputation of systematically missing predictors in an individual participant data meta-analysis: a generalized approach using MICE. Stat Med. 2015;34(11):1841–63.

    PubMed  Google Scholar 

  45. 45.

    Cooper B, Glaesser J. Beyond mixed methods: using Qualitative Comparative Analysis (QCA) to integrate cross-case and within-case analyses. In: Cohen L, Morrison K, redactie. Research methods in education. 8e druk. Oxon, New York: Routledge; 2018. pag. 847–54.

    Google Scholar 

  46. 46.

    Programma Gezonde School. Gezonde School in 2018 – Highlights. 2019.

    Google Scholar 

  47. 47.

    Dane AV, Schneider BH. Program integrity in primary and early secondary prevention: are implementation effects out of control? Clin Psychol Rev. 1998;18(1):23–45.

    CAS  PubMed  Google Scholar 

  48. 48.

    Dusenbury L, Brannigan R, Falco M, et al. A review of research on fidelity of implementation: implications for drug abuse prevention in school settings. Health Educ Res. 2003;18(2):237–56.

    PubMed  Google Scholar 

  49. 49.

    Mihalic S. The importance of implementation fidelity. Emot Behav Disord Youth. 2004;4(4):83–105.

    Google Scholar 

  50. 50.

    Schaap R, Bessems K, Otten R, et al. Measuring implementation fidelity of school-based obesity prevention programmes: a systematic review. Int J Behav Nutr Phys. 2018;15(1):75.

    Google Scholar 

  51. 51.

    Kremers SPJ, Crutzen R. Nieuw leven in het fidelity-adaptation-debat. Tijdschr Gezondheidswet. 2018;96(1):11–3.

    Google Scholar 

  52. 52.

    Fleuren MA, Paulussen TG, Dommelen P van, et al. Measurement Instrument for Determinants of Innovations (MIDI). Leiden: TNO; 2014.

    Google Scholar 

  53. 53.

    Atkinson R, Flint J. Accessing hidden and hard-to-reach populations: snowball research strategies. Social Res Update. 2001;33:1–4.

  54. 54.

    Darlington E, McNamara PM, Jourdan D. Enhancing the efficacy of health education interventions: moving the spotlight from implementation fidelity to quality of the implementation process. Paper presented at: European Conference on Educational Research; 21.–25.08.; Copenhagen. 2017.

    Google Scholar 

  55. 55.

    Cohen L, Morrison K. Using secondary data in educational research. In: Cohen L, Morrison K, editors. Research methods in education. 8e druk. Oxon, New York: Routledge; 2018:586–92.

    Google Scholar 

  56. 56.

    Bernaards C, Keulen H van, Rijpstra A, et al. Beschrijving van de ontwikkeling van een automatische Test Je Leefstijl rapportage per school. Leiden: TNO; 2011.

    Google Scholar 

  57. 57.

    Langendam MW, Hooft L, Heus P. Alternatieven voor Randomized Controlled Trials in onderzoek naar de effectiviteit van interventies: eindrapport. Amsterdam: Academisch Medisch Centrum Amsterdam; 2013.

    Google Scholar 

  58. 58.

    Flyvbjerg B. Case study. In: Denzin NK, Lincoln YS, redactie. Sage handbook of qualitative research. 4e druk. Thousand Oaks: SAGE; 2011. pag. 301–16.

    Google Scholar 

Download references

Dankbetuiging

Wij danken Jeanette Lezwijn (Academische Werkplaats AGORA), Suhreta Mujakovic (GGD Zuid Limburg) en Pepijn van Empelen (TNO) voor hun huidige, en Theo Paulussen (TNO) voor zijn eerdere rol bij het onderzoek. Verder danken we GGD Amsterdam, GGD Gelderland-Midden, GGD Gelderland-Zuid, GGD IJsselland, GGD Kennemerland, GGD Limburg-Noord, GGD Noord- en Oost-Gelderland, GGD Zeeland en GGD Zuid Limburg voor hun deelname aan dit onderzoek.

Author information

Affiliations

Authors

Corresponding author

Correspondence to Gerjanne Vennegoor.

Additional information

Dit onderzoek wordt gefinancierd door een subsidie van de Nederlandse organisatie voor gezondheidsonderzoek en zorginnovatie (ZonMw, projectnummer: 531001113).

Gerjanne Vennegoor en Lisanne Vonk gelden beiden als eerste auteur.

Rights and permissions

Open Access This article is licensed under a Creative Commons Attribution 4.0 International License, which permits use, sharing, adaptation, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if changes were made. The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material. If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder. To view a copy of this licence, visit http://creativecommons.org/licenses/by/4.0/.

Reprints and Permissions

About this article

Verify currency and authenticity via CrossMark

Cite this article

Vennegoor, G., Vonk, L., van Assema, P. et al. Onderzoeksopzet evaluatie Gezonde School: onder welke condities doet het ertoe?. TSG Tijdschr Gezondheidswet 98, 25–33 (2020). https://doi.org/10.1007/s12508-020-00276-6

Download citation

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s12508-020-00276-6

Trefwoorden

  • Gezonde School
  • evaluatie
  • mixed methods
  • context

Keywords

  • Healthy schools
  • Evaluation
  • Mixed methods
  • Context