Samenvatting
Beleidsevaluatieonderzoek
Prof. dr. Henk Roose
, SOORTEN VAN EVALUATIEONDERZOEK (Swanborn)
Kernbegrippen:
Probleemanalyse Een fase die voorafgaat aan elke evaluatie-onderzoek, waarin de definitie,
de herkomst en het draagvlak van/voor het probleem en aanverwante
vragen worden gesteld en beantwoord; ten slotte: de vertaling van het
probleem in een probleemstelling voor wetenschappelijk onderzoek
Probleemstelling De zo precies mogelijk geformuleerde vraag waarop het onderzoek het
antwoord moet leveren
Doelsysteem Het object van interventie: het afgebakende geheel van groepen, mensen,
omstandigheden, plaats, tijd waarop de interventie gericht is
Diagnose De fase waarin de bestaande situatie zowel als de gewenste situatie
zorgvuldig worden beschreven
Planevaluatie Vorm van evaluatie-onderzoek waarin interventie wordt ontworpen en
eventueel alternatieve interventies worden geprioriteerd; de fase wordt
gekenmerkt door bureau-onderzoek en eventueel een gesystematiseerde
vorm van groepsgesprekken
Procesevaluatie Vorm van evaluatie-onderzoek waarbij de invoering van de interventie -
meestal op kleine schaal - op de voet wordt gevolgd; waarin zo nodig wordt
bijgestuurd, en waarin de aandacht vooral uitgaat naar de precieze werking
van de interventie via de sociale processen die hierbij een rol spelen
Productevaluatie Vorm van evaluatie-onderzoek waarin de effectiviteit van de interventie
wordt bepaald
De interventie/ Variant van de cyclus van empirisch wetenschappelijk onderzoek die
evaluatiecyclus speciaal is toegesneden op evaluatieonderzoek
→ ontwerpen van een interventie (planevaluatie), het begeleiden van het invoeringsproces
(procesevaluatie) en het evalueren van de gevolgen (productevaluatie)
Vóór onderzoek:
1. Aard van probleem ~ probleemanalyse
2. Bestaande situatie
3. Gewenste situatie
2.2 Probleemanalyse
→ Wanneer een actor een interventie overweegt, dan is het omdat de bestaande situatie (S)
afwijkt van de gewenste situatie (S*) vb. werkloosheid terug naar een aanvaardbaar niveau
De kloof tussen S en S* vormt het probleem
Is er te weinig informatie kan de beleidsevaluatie onderzoek uitvoeren MAAR onderzoek is
kostbaar
In de voorfase van het onderzoek ⇒ definiëren evaluatie probleem
- Hoe kwam het probleem op de agenda? Is het probleem gebaseerd op een al
lang bestaande toestand of op een recente toename? Waarom is de evaluatie
nodig?...
- Ook komen alternatieven voor onderzoek aan bod vb. herformuleren van
doelstellingen, beschikbare fondsen anders besteden…
1
, - Wanneer dan wel onderzoek? Wanneer voor de opdrachtgever de verwachte
baten van de informatie opwegen tegen de kosten (maar soms ook wettelijk
verplicht)
- Hoe denkt men de onderzoeksresultaten te gebruiken? Wat is het
doelsysteem waarvoor de interventie bedoeld is (kan tot verrassende
helderheid leiden, vb. jeugdcriminaliteit niet overal, maar bij enkele
gemeenten)? In welk stadium bevindt zich de interventie?
Kernvragen zijn belangrijkste, maar soms zal je minder interessante vragen moeten
beantwoorden om kernvraag te kunnen beantwoorden + sommige kernvragen zijn
onmogelijk om te beantwoorden (vb. hoeveel procent van de pogingen om zwart geld wit te
wassen, zijn dankzij de nieuwe wet aan het licht gekomen)
→ oplossing kan zijn om aandacht te besteden aan de interne gang van zaken (hoe gaan
baliemedewerkers om met in hun ogen verdachte transacties, wanneer melden ze dit,
hoeveel meldingen gaan door naar het centrale meldpunt… EN wat doet politie en justitie
ermee)
Het vervangen van moeilijk oplosbare door gemakkelijker op te lossen probleemstellingen
doet zich voor in een verschuiving van productevaluatie naar procesevaluatie
Onderscheid tussen de voorbereidingsfase (initiatief tot onderzoek, de onderhandelingen
tussen opdrachtgever en potentiële onderzoekers, onderzoeksplan opgesteld en komt het
tot een opdracht → voorfase van de probleemanalyse) en de nazorgfase (begeleiding van
onderzoeksrapport)
2.3 Diagnose
(Vooronderzoek)
Informatietekort tussen S en S*
- Een eerste opdracht kan zijn via een beschrijving een diagnose van S te geven en
wel op die kenmerken waar verbetering gewenst wordt (Hoe frequent is het
ongewenste verschijnsel, onder welke omstandigheden en bij welke groepen treedt
het op? Hoe wordt de bestaande situatie door allerlei groepen betrokkenen
omschreven?...)
- Wat betreft S*, behoort in vooronderzoek ook het onderzoek naar de door de actor
gewenste situatie
Weegprobleem: de weging van de operationele componenten moet ‘ergens op slaan’. Als er
verschillende doelstellingen zijn, zullen deze op een of andere manier in elkaar moeten
kunnen uitgedrukt worden
⇒ in de diagnose wordt de bestaande situatie dus nog een precies beschreven en de
doelstellingen worden gepreciseerd (pas daarna volgt het eigenlijke evaluatieonderzoek)
2.4 Planevaluatie
- Voornamelijk onderzoek achter het bureau
- Gebruik maken van rapporten empirisch onderzoek dat door anderen gedaan is
- Doordenken hoe we de bestaande situatie kunnen verklaren en hoe we deze kunnen
verbeteren
- Wat de effecten zijn van reeds bestaande interventies en deze verklaren
2
, - Inzichten gebruiken om 1 of meer nieuwe interventies te ontwerpen
→ Verklaringsproblemen (vb. Hoe komt het dat deze jongeren drugs gebruiken? Hoe komt
het dat deze patiënt ziekteverschijnselen vertoont? Hoe komt het dat veel automobilisten
zich niet aan de snelheid houden?)
→ Vervolgens worden theorieën gebruikt om voorspellingen af te leiden over de condities
waaronder verbetering zou kunnen optreden (vb. verbetering onderwijs of
verkeersdrempels): om het ontwerpprobleem op te lossen
Vragen: Wat zijn de oorzaken van de bestaande situatie? Welk onderzoek is al gedaan in
soortgelijke situaties en wat zijn de resultaten? Tot welke mogelijke interventies leiden de
voorspellingen die uit de theorieën zijn getrokken? Tot welke neveneffecten zou dit kunnen
leiden?...
Planevaluatie biedt ook de mogelijkheid vooraf te denken of productevaluatie mogelijk is →
functie van evaluability assessment → Is het proces- en productevaluatie rondom deze
interventie haalbaar? Hoe is de kosten/batenverhouding daarvan?
RESULTAAT = interventieplan (mix van maatregelen of verschillende pakketten waartussen
om grond van een effectenoverzicht een keuze kan worden gemaakt)
2.5 Procesevaluatie (vaak in kleinschalige context)
Bij planevaluatie is succes niet gegarandeerd
Zinvol om de invoering en uitvoering van een interventie op de voet te volgen → dit
begeleidings onderzoek noemen we procesevaluatie (tijdig verkrijgen van kennis over wat er
allemaal mis kan gaan met de interventie en de mogelijkheden om het bij te sturen
● Kan ook info verschaffen over waarom iets werkt en wat de tussenschakels zijn
● Welk element van de interventie dat cruciaal is
Vragen: Wat is de uitvoeringspraktijk? zijn er knelpunten of barrières? Welke onvoorziene
neveneffecten doen zich voor? Op welke wijze moet bijgestuurd worden?...
Term wordt ook gebruikt om achteraf het proces van de in- en uitvoering van een interventie
te analyseren ~ retrospective procesanalyse
2.6 Productevaluatie
→ informatie over de sterkte van de optredende effecten onder verschillende
omstandigheden + laat zien in welke mate de voorspellingen uit de fase van de
planevaluatie voor het gehele domein opgaan
⇒ Evaluatie van beleidsmaatregelen, de gevolgen van een interventie
Niet omdat we nu nog weinig effecten hebben vastgesteld, dat bij een verdere ontwikkeling
van de interventies geen effecten verwacht kunnen worden (argument experimenting
society1)
1
Een samenleving die beleid en sociale programma’s voortdurend ziet als experimenten: men voert
maatregelen in, test ze systematisch, meet de effecten en past ze aan of stopt ermee als ze niet
werken. Het idee komt van Donald T. Campbell
3
Beleidsevaluatieonderzoek
Prof. dr. Henk Roose
, SOORTEN VAN EVALUATIEONDERZOEK (Swanborn)
Kernbegrippen:
Probleemanalyse Een fase die voorafgaat aan elke evaluatie-onderzoek, waarin de definitie,
de herkomst en het draagvlak van/voor het probleem en aanverwante
vragen worden gesteld en beantwoord; ten slotte: de vertaling van het
probleem in een probleemstelling voor wetenschappelijk onderzoek
Probleemstelling De zo precies mogelijk geformuleerde vraag waarop het onderzoek het
antwoord moet leveren
Doelsysteem Het object van interventie: het afgebakende geheel van groepen, mensen,
omstandigheden, plaats, tijd waarop de interventie gericht is
Diagnose De fase waarin de bestaande situatie zowel als de gewenste situatie
zorgvuldig worden beschreven
Planevaluatie Vorm van evaluatie-onderzoek waarin interventie wordt ontworpen en
eventueel alternatieve interventies worden geprioriteerd; de fase wordt
gekenmerkt door bureau-onderzoek en eventueel een gesystematiseerde
vorm van groepsgesprekken
Procesevaluatie Vorm van evaluatie-onderzoek waarbij de invoering van de interventie -
meestal op kleine schaal - op de voet wordt gevolgd; waarin zo nodig wordt
bijgestuurd, en waarin de aandacht vooral uitgaat naar de precieze werking
van de interventie via de sociale processen die hierbij een rol spelen
Productevaluatie Vorm van evaluatie-onderzoek waarin de effectiviteit van de interventie
wordt bepaald
De interventie/ Variant van de cyclus van empirisch wetenschappelijk onderzoek die
evaluatiecyclus speciaal is toegesneden op evaluatieonderzoek
→ ontwerpen van een interventie (planevaluatie), het begeleiden van het invoeringsproces
(procesevaluatie) en het evalueren van de gevolgen (productevaluatie)
Vóór onderzoek:
1. Aard van probleem ~ probleemanalyse
2. Bestaande situatie
3. Gewenste situatie
2.2 Probleemanalyse
→ Wanneer een actor een interventie overweegt, dan is het omdat de bestaande situatie (S)
afwijkt van de gewenste situatie (S*) vb. werkloosheid terug naar een aanvaardbaar niveau
De kloof tussen S en S* vormt het probleem
Is er te weinig informatie kan de beleidsevaluatie onderzoek uitvoeren MAAR onderzoek is
kostbaar
In de voorfase van het onderzoek ⇒ definiëren evaluatie probleem
- Hoe kwam het probleem op de agenda? Is het probleem gebaseerd op een al
lang bestaande toestand of op een recente toename? Waarom is de evaluatie
nodig?...
- Ook komen alternatieven voor onderzoek aan bod vb. herformuleren van
doelstellingen, beschikbare fondsen anders besteden…
1
, - Wanneer dan wel onderzoek? Wanneer voor de opdrachtgever de verwachte
baten van de informatie opwegen tegen de kosten (maar soms ook wettelijk
verplicht)
- Hoe denkt men de onderzoeksresultaten te gebruiken? Wat is het
doelsysteem waarvoor de interventie bedoeld is (kan tot verrassende
helderheid leiden, vb. jeugdcriminaliteit niet overal, maar bij enkele
gemeenten)? In welk stadium bevindt zich de interventie?
Kernvragen zijn belangrijkste, maar soms zal je minder interessante vragen moeten
beantwoorden om kernvraag te kunnen beantwoorden + sommige kernvragen zijn
onmogelijk om te beantwoorden (vb. hoeveel procent van de pogingen om zwart geld wit te
wassen, zijn dankzij de nieuwe wet aan het licht gekomen)
→ oplossing kan zijn om aandacht te besteden aan de interne gang van zaken (hoe gaan
baliemedewerkers om met in hun ogen verdachte transacties, wanneer melden ze dit,
hoeveel meldingen gaan door naar het centrale meldpunt… EN wat doet politie en justitie
ermee)
Het vervangen van moeilijk oplosbare door gemakkelijker op te lossen probleemstellingen
doet zich voor in een verschuiving van productevaluatie naar procesevaluatie
Onderscheid tussen de voorbereidingsfase (initiatief tot onderzoek, de onderhandelingen
tussen opdrachtgever en potentiële onderzoekers, onderzoeksplan opgesteld en komt het
tot een opdracht → voorfase van de probleemanalyse) en de nazorgfase (begeleiding van
onderzoeksrapport)
2.3 Diagnose
(Vooronderzoek)
Informatietekort tussen S en S*
- Een eerste opdracht kan zijn via een beschrijving een diagnose van S te geven en
wel op die kenmerken waar verbetering gewenst wordt (Hoe frequent is het
ongewenste verschijnsel, onder welke omstandigheden en bij welke groepen treedt
het op? Hoe wordt de bestaande situatie door allerlei groepen betrokkenen
omschreven?...)
- Wat betreft S*, behoort in vooronderzoek ook het onderzoek naar de door de actor
gewenste situatie
Weegprobleem: de weging van de operationele componenten moet ‘ergens op slaan’. Als er
verschillende doelstellingen zijn, zullen deze op een of andere manier in elkaar moeten
kunnen uitgedrukt worden
⇒ in de diagnose wordt de bestaande situatie dus nog een precies beschreven en de
doelstellingen worden gepreciseerd (pas daarna volgt het eigenlijke evaluatieonderzoek)
2.4 Planevaluatie
- Voornamelijk onderzoek achter het bureau
- Gebruik maken van rapporten empirisch onderzoek dat door anderen gedaan is
- Doordenken hoe we de bestaande situatie kunnen verklaren en hoe we deze kunnen
verbeteren
- Wat de effecten zijn van reeds bestaande interventies en deze verklaren
2
, - Inzichten gebruiken om 1 of meer nieuwe interventies te ontwerpen
→ Verklaringsproblemen (vb. Hoe komt het dat deze jongeren drugs gebruiken? Hoe komt
het dat deze patiënt ziekteverschijnselen vertoont? Hoe komt het dat veel automobilisten
zich niet aan de snelheid houden?)
→ Vervolgens worden theorieën gebruikt om voorspellingen af te leiden over de condities
waaronder verbetering zou kunnen optreden (vb. verbetering onderwijs of
verkeersdrempels): om het ontwerpprobleem op te lossen
Vragen: Wat zijn de oorzaken van de bestaande situatie? Welk onderzoek is al gedaan in
soortgelijke situaties en wat zijn de resultaten? Tot welke mogelijke interventies leiden de
voorspellingen die uit de theorieën zijn getrokken? Tot welke neveneffecten zou dit kunnen
leiden?...
Planevaluatie biedt ook de mogelijkheid vooraf te denken of productevaluatie mogelijk is →
functie van evaluability assessment → Is het proces- en productevaluatie rondom deze
interventie haalbaar? Hoe is de kosten/batenverhouding daarvan?
RESULTAAT = interventieplan (mix van maatregelen of verschillende pakketten waartussen
om grond van een effectenoverzicht een keuze kan worden gemaakt)
2.5 Procesevaluatie (vaak in kleinschalige context)
Bij planevaluatie is succes niet gegarandeerd
Zinvol om de invoering en uitvoering van een interventie op de voet te volgen → dit
begeleidings onderzoek noemen we procesevaluatie (tijdig verkrijgen van kennis over wat er
allemaal mis kan gaan met de interventie en de mogelijkheden om het bij te sturen
● Kan ook info verschaffen over waarom iets werkt en wat de tussenschakels zijn
● Welk element van de interventie dat cruciaal is
Vragen: Wat is de uitvoeringspraktijk? zijn er knelpunten of barrières? Welke onvoorziene
neveneffecten doen zich voor? Op welke wijze moet bijgestuurd worden?...
Term wordt ook gebruikt om achteraf het proces van de in- en uitvoering van een interventie
te analyseren ~ retrospective procesanalyse
2.6 Productevaluatie
→ informatie over de sterkte van de optredende effecten onder verschillende
omstandigheden + laat zien in welke mate de voorspellingen uit de fase van de
planevaluatie voor het gehele domein opgaan
⇒ Evaluatie van beleidsmaatregelen, de gevolgen van een interventie
Niet omdat we nu nog weinig effecten hebben vastgesteld, dat bij een verdere ontwikkeling
van de interventies geen effecten verwacht kunnen worden (argument experimenting
society1)
1
Een samenleving die beleid en sociale programma’s voortdurend ziet als experimenten: men voert
maatregelen in, test ze systematisch, meet de effecten en past ze aan of stopt ermee als ze niet
werken. Het idee komt van Donald T. Campbell
3
