College 1: Wat is beleidsevaluatieonderzoek?
1. Wat is evalueren en beleidsevaluatie?
● Evalueren wordt gedefinieerd als "het verzamelen, interpreteren en presenteren van
informatie teneinde de waarde van een resultaat of proces te bepalen". Andere
definities benadrukken het proces van het vaststellen van de verdienste, waarde of
nut van iets. Het is de systematische toepassing van sociale onderzoeksprocedures
om de conceptualisering, het ontwerp, de implementatie en het nut van sociale
interventieprogramma's te beoordelen.
● Beleidsevaluatie is specifiek "het beoordelen van de inhoud, processen of effecten
van een beleid". Het is praktijkgericht onderzoek dat gericht is op het verbeteren van
een beleidsprobleem en het formuleren van aanbevelingen en advies.
2. Drie Dimensies van Beleidsevaluatie Beleidsevaluatie wordt vanuit drie dimensies
bekeken:
● Kennisdimensie (Evaluatie): Gaat over het verkrijgen van inzicht in de inhoud, het
proces en de effecten van beleid. Het draait om het verzamelen van kennis en
informatie.
● Waardedimensie (Verantwoording): Betreft het beoordelingskader en de criteria
om beleid te beoordelen.
● Gebruikersdimensie (Beidsleren): Richt zich op de benutting en verandering van
beleid. Het gaat om het trekken van lessen voor de toekomst. Deze drie dimensies
informeren, beoordelen en zorgen voor leren.
3. Waarom en Voor Wie wordt Evalueerd?
● Waarom evalueren? Evaluatieonderzoek moet antwoord geven op vragen zoals
"Wat werkt wel? Wat werkt niet?". Het doel is om te leren van geslaagd en minder
geslaagd beleid, en het is onmisbaar voor democratische controle en
verantwoording. Het onderzoekt in hoeverre beleid doet wat beoogd was, met welk
effect, tegen welke prijs, en waarom het wel of niet werkt.
● Wat wordt geëvalueerd? Overheidsorganisaties (zoals de Belastingdienst, UWV,
CBR) en overheidsbeleid (zoals toeslagenbeleid, corona-aanpak,
duurzaamheidsbeleid, obesitasbeleid). Het beoordeelt de inhoud, processen of
effecten van beleid. Een voorbeeld van beleid dat geëvalueerd kan worden, is het
Nationaal Preventieakkoord (NPA) met maatregelen tegen roken, alcoholgebruik en
overgewicht.
● Voor wie wordt geëvalueerd? Er zijn verschillende doelgroepen, waaronder
bestuurders, overheidsmanagers, uitvoerders, het parlement, burgers en
belangengroepen.
● Door wie wordt geëvalueerd? Diverse evaluatievoorzieningen zijn betrokken, zoals
beleidsvoerders, het parlement, rekenkamers, adviesorganen, belangengroepen,
media, internationale organen en de wetenschap. Evaluatie kan intern of extern
worden uitgevoerd, elk met eigen voor- en nadelen. Externe evaluatie biedt
, bijvoorbeeld expertise, geloofwaardigheid, objectiviteit en onafhankelijkheid, terwijl
interne evaluatie kennis, ervaring en vertrouwen kan bieden.
4. Hoe verkrijgen we informatie/kennis over beleid? Informatie en kennis over beleid kan
worden verkregen via 'trial & error' (ervaringen) of op basis van het beste bewijsmateriaal
(evidence), via wetenschappelijk (evaluatie)onderzoek. Wetenschappelijk onderzoek is
het systematisch en transparant ontwikkelen van een antwoord op een vooraf gestelde
vraag, volgens specifieke methoden en technieken en kwaliteitscriteria zoals
onafhankelijkheid, toetsbaarheid, betrouwbaarheid, informativiteit, generaliseerbaarheid en
validiteit. Het doel van onderzoek kan zijn 'to prove' (aantonen dat een theorie klopt) of 'to
improve' (beleid verbeteren en de waarde ervan verhogen).
College 2: Wat is Beleid?
1. Wat is Beleid?
● Beleid wordt breed gedefinieerd als "alles wat een overheid kiest te doen of niet te
doen" (Dye 1972: 2).
● Een meer gedetailleerde definitie stelt dat beleid "een geheel van onderling
samenhangende beslissingen is, genomen door een politieke actor of een groep
actoren, met betrekking tot de keuze van doelen en de middelen om deze te
bereiken binnen een bepaalde situatie, waarbij die beslissingen in principe binnen
de macht van deze actoren zouden moeten liggen om uit te voeren" (Jenkins, 1978).
● In essentie is beleid een plan van aanpak dat de overheid opstelt om
maatschappelijke problemen op te lossen, te verminderen of te voorkomen. Het
omvat een samenstel van doelen, instrumenten en tijdsaspecten.
● Beleid kan verschillende functies hebben: repressief/reactief (probleem elimineren
of reduceren), preventief/proactief (probleem voorkomen) of curatief (probleem
beheersen).
2. Beleidsproblemen & Beleidsdoelstellingen
● Beleid ontstaat als een antwoord op een maatschappelijk ongewenste toestand,
wat een beleidsprobleem wordt genoemd.
● Problemen kunnen worden ingedeeld in:
○ Getemde problemen: Hierover is voldoende kennis beschikbaar en er
bestaat consensus over de waarden en mogelijke oplossingen.
○ Ongedemde problemen: Er is sprake van onzekerheid of onwetendheid over
mogelijke oplossingen, en/of onenigheid over het probleem, de oplossing en
de gestelde doelen.
● De doelstelling van beleid is de gewenste situatie die de overheid wil bereiken om
het probleem op te lossen.
● Doelstellingen kunnen SMART zijn (Specifiek, Meetbaar, Acceptabel, Realistisch,
Tijdgebonden), zoals de doelen van het Nationaal Preventieakkoord voor 2040.
● Voor de analyse van doelstellingen kunnen verschillende typen worden
onderscheiden: einddoelen en tussendoelen, hoofddoelen en subdoelen,
urgente en minder urgente doelen, en prioritaire en posterieure doelen.
, ● In het evaluatieproject is stap 2 het beschrijven van de doelstellingen van het beleid
(en beoordelen of ze SMART zijn), en stap 3 het vaststellen van de doeltreffendheid,
oftewel de mate waarin de doelstellingen zijn bereikt.
3. Beleidsinstrumenten & Interventies
● Een beleidsinterventie is een "samenhangend stelsel van activiteiten en
maatregelen, een bewuste poging tot beïnvloeding van de werkelijkheid door een
actor, in de richting van expliciet gestelde doeleinden" (Swanborn 2007: 16).
Evaluatieonderzoek richt zich op deze interventies.
● Overheden hebben diverse interventiemogelijkheden of beleidsinstrumenten tot
hun beschikking. Deze zijn onder te verdelen volgens het NATO-model van Hood
(1983):
○ Nodaliteit (N): Informatie- en communicatie-instrumenten (bijv.
publiekscampagnes) die indirect via kennis beïnvloeden.
○ Autoriteit (A): Juridische instrumenten (bijv. wetten en regels) die direct
voorschrijven en kunnen straffen.
○ Schatkist (T): Financieel-economische instrumenten (bijv. subsidies,
belastingen) die indirect via geld stimuleren.
○ Organisatie (O): Faciliterende maatregelen (bijv. voorzieningen creëren) die
direct mogelijkheden en faciliteiten bieden.
● Naast instrumenten zijn ook de actoren die beleid uitvoeren en de beschikbare
middelen (geld, menskracht, organisatie) en tijdkeuzes (tijdstippen, tempo,
tijdsvolgorde) cruciaal voor de uitvoering van beleid.
● Voor het evaluatieproject omvat stap 2 het beschrijven van de interventie, inclusief
de inzet van instrumenten, middelen en betrokken actoren.
4. Gedragsbewust Beleid (Gedragssturing)
● Veel maatschappelijke problemen zijn gerelateerd aan menselijk gedrag, en beleid
streeft vaak naar gedragsverandering.
● Traditionele gedragssturing wordt vaak samengevat in de '3 B's':
○ Preek: Bewustwording creëren (zachte sturing).
○ Wortel: Belonen (harde sturing).
○ Knuppel: Boeten (harde sturing).
● Beleidsmakers gaan vaak uit van rationele keuzes van burgers. Echter, inzichten uit
de gedragseconomie en psychologie, zoals 'bounded rationality' (beperkte
rationaliteit) van Herbert Simon en Kahneman's 'weten is nog geen doen', tonen
aan dat mensen vaak voorspelbaar irrationeel handelen. Ze neigen bijvoorbeeld
naar uitstel of het vasthouden aan de 'default' optie.
● Dit heeft geleid tot de ontwikkeling van zachte sturing zoals "nudges". Een nudge
is "een subtiel duwtje in de rug de goede kant op", dat mensen naar betere keuzes
leidt zonder hun keuzevrijheid te beperken.
● Nudges kunnen worden toegepast door de default optie te wijzigen (bijv. donorwet),
stimulansen in te bouwen, of specifieke feedback te geven.
● De 'nudge-beweging' bepleit een realistische kijk op burgers en efficiënte, effectieve
interventies.
1. Wat is evalueren en beleidsevaluatie?
● Evalueren wordt gedefinieerd als "het verzamelen, interpreteren en presenteren van
informatie teneinde de waarde van een resultaat of proces te bepalen". Andere
definities benadrukken het proces van het vaststellen van de verdienste, waarde of
nut van iets. Het is de systematische toepassing van sociale onderzoeksprocedures
om de conceptualisering, het ontwerp, de implementatie en het nut van sociale
interventieprogramma's te beoordelen.
● Beleidsevaluatie is specifiek "het beoordelen van de inhoud, processen of effecten
van een beleid". Het is praktijkgericht onderzoek dat gericht is op het verbeteren van
een beleidsprobleem en het formuleren van aanbevelingen en advies.
2. Drie Dimensies van Beleidsevaluatie Beleidsevaluatie wordt vanuit drie dimensies
bekeken:
● Kennisdimensie (Evaluatie): Gaat over het verkrijgen van inzicht in de inhoud, het
proces en de effecten van beleid. Het draait om het verzamelen van kennis en
informatie.
● Waardedimensie (Verantwoording): Betreft het beoordelingskader en de criteria
om beleid te beoordelen.
● Gebruikersdimensie (Beidsleren): Richt zich op de benutting en verandering van
beleid. Het gaat om het trekken van lessen voor de toekomst. Deze drie dimensies
informeren, beoordelen en zorgen voor leren.
3. Waarom en Voor Wie wordt Evalueerd?
● Waarom evalueren? Evaluatieonderzoek moet antwoord geven op vragen zoals
"Wat werkt wel? Wat werkt niet?". Het doel is om te leren van geslaagd en minder
geslaagd beleid, en het is onmisbaar voor democratische controle en
verantwoording. Het onderzoekt in hoeverre beleid doet wat beoogd was, met welk
effect, tegen welke prijs, en waarom het wel of niet werkt.
● Wat wordt geëvalueerd? Overheidsorganisaties (zoals de Belastingdienst, UWV,
CBR) en overheidsbeleid (zoals toeslagenbeleid, corona-aanpak,
duurzaamheidsbeleid, obesitasbeleid). Het beoordeelt de inhoud, processen of
effecten van beleid. Een voorbeeld van beleid dat geëvalueerd kan worden, is het
Nationaal Preventieakkoord (NPA) met maatregelen tegen roken, alcoholgebruik en
overgewicht.
● Voor wie wordt geëvalueerd? Er zijn verschillende doelgroepen, waaronder
bestuurders, overheidsmanagers, uitvoerders, het parlement, burgers en
belangengroepen.
● Door wie wordt geëvalueerd? Diverse evaluatievoorzieningen zijn betrokken, zoals
beleidsvoerders, het parlement, rekenkamers, adviesorganen, belangengroepen,
media, internationale organen en de wetenschap. Evaluatie kan intern of extern
worden uitgevoerd, elk met eigen voor- en nadelen. Externe evaluatie biedt
, bijvoorbeeld expertise, geloofwaardigheid, objectiviteit en onafhankelijkheid, terwijl
interne evaluatie kennis, ervaring en vertrouwen kan bieden.
4. Hoe verkrijgen we informatie/kennis over beleid? Informatie en kennis over beleid kan
worden verkregen via 'trial & error' (ervaringen) of op basis van het beste bewijsmateriaal
(evidence), via wetenschappelijk (evaluatie)onderzoek. Wetenschappelijk onderzoek is
het systematisch en transparant ontwikkelen van een antwoord op een vooraf gestelde
vraag, volgens specifieke methoden en technieken en kwaliteitscriteria zoals
onafhankelijkheid, toetsbaarheid, betrouwbaarheid, informativiteit, generaliseerbaarheid en
validiteit. Het doel van onderzoek kan zijn 'to prove' (aantonen dat een theorie klopt) of 'to
improve' (beleid verbeteren en de waarde ervan verhogen).
College 2: Wat is Beleid?
1. Wat is Beleid?
● Beleid wordt breed gedefinieerd als "alles wat een overheid kiest te doen of niet te
doen" (Dye 1972: 2).
● Een meer gedetailleerde definitie stelt dat beleid "een geheel van onderling
samenhangende beslissingen is, genomen door een politieke actor of een groep
actoren, met betrekking tot de keuze van doelen en de middelen om deze te
bereiken binnen een bepaalde situatie, waarbij die beslissingen in principe binnen
de macht van deze actoren zouden moeten liggen om uit te voeren" (Jenkins, 1978).
● In essentie is beleid een plan van aanpak dat de overheid opstelt om
maatschappelijke problemen op te lossen, te verminderen of te voorkomen. Het
omvat een samenstel van doelen, instrumenten en tijdsaspecten.
● Beleid kan verschillende functies hebben: repressief/reactief (probleem elimineren
of reduceren), preventief/proactief (probleem voorkomen) of curatief (probleem
beheersen).
2. Beleidsproblemen & Beleidsdoelstellingen
● Beleid ontstaat als een antwoord op een maatschappelijk ongewenste toestand,
wat een beleidsprobleem wordt genoemd.
● Problemen kunnen worden ingedeeld in:
○ Getemde problemen: Hierover is voldoende kennis beschikbaar en er
bestaat consensus over de waarden en mogelijke oplossingen.
○ Ongedemde problemen: Er is sprake van onzekerheid of onwetendheid over
mogelijke oplossingen, en/of onenigheid over het probleem, de oplossing en
de gestelde doelen.
● De doelstelling van beleid is de gewenste situatie die de overheid wil bereiken om
het probleem op te lossen.
● Doelstellingen kunnen SMART zijn (Specifiek, Meetbaar, Acceptabel, Realistisch,
Tijdgebonden), zoals de doelen van het Nationaal Preventieakkoord voor 2040.
● Voor de analyse van doelstellingen kunnen verschillende typen worden
onderscheiden: einddoelen en tussendoelen, hoofddoelen en subdoelen,
urgente en minder urgente doelen, en prioritaire en posterieure doelen.
, ● In het evaluatieproject is stap 2 het beschrijven van de doelstellingen van het beleid
(en beoordelen of ze SMART zijn), en stap 3 het vaststellen van de doeltreffendheid,
oftewel de mate waarin de doelstellingen zijn bereikt.
3. Beleidsinstrumenten & Interventies
● Een beleidsinterventie is een "samenhangend stelsel van activiteiten en
maatregelen, een bewuste poging tot beïnvloeding van de werkelijkheid door een
actor, in de richting van expliciet gestelde doeleinden" (Swanborn 2007: 16).
Evaluatieonderzoek richt zich op deze interventies.
● Overheden hebben diverse interventiemogelijkheden of beleidsinstrumenten tot
hun beschikking. Deze zijn onder te verdelen volgens het NATO-model van Hood
(1983):
○ Nodaliteit (N): Informatie- en communicatie-instrumenten (bijv.
publiekscampagnes) die indirect via kennis beïnvloeden.
○ Autoriteit (A): Juridische instrumenten (bijv. wetten en regels) die direct
voorschrijven en kunnen straffen.
○ Schatkist (T): Financieel-economische instrumenten (bijv. subsidies,
belastingen) die indirect via geld stimuleren.
○ Organisatie (O): Faciliterende maatregelen (bijv. voorzieningen creëren) die
direct mogelijkheden en faciliteiten bieden.
● Naast instrumenten zijn ook de actoren die beleid uitvoeren en de beschikbare
middelen (geld, menskracht, organisatie) en tijdkeuzes (tijdstippen, tempo,
tijdsvolgorde) cruciaal voor de uitvoering van beleid.
● Voor het evaluatieproject omvat stap 2 het beschrijven van de interventie, inclusief
de inzet van instrumenten, middelen en betrokken actoren.
4. Gedragsbewust Beleid (Gedragssturing)
● Veel maatschappelijke problemen zijn gerelateerd aan menselijk gedrag, en beleid
streeft vaak naar gedragsverandering.
● Traditionele gedragssturing wordt vaak samengevat in de '3 B's':
○ Preek: Bewustwording creëren (zachte sturing).
○ Wortel: Belonen (harde sturing).
○ Knuppel: Boeten (harde sturing).
● Beleidsmakers gaan vaak uit van rationele keuzes van burgers. Echter, inzichten uit
de gedragseconomie en psychologie, zoals 'bounded rationality' (beperkte
rationaliteit) van Herbert Simon en Kahneman's 'weten is nog geen doen', tonen
aan dat mensen vaak voorspelbaar irrationeel handelen. Ze neigen bijvoorbeeld
naar uitstel of het vasthouden aan de 'default' optie.
● Dit heeft geleid tot de ontwikkeling van zachte sturing zoals "nudges". Een nudge
is "een subtiel duwtje in de rug de goede kant op", dat mensen naar betere keuzes
leidt zonder hun keuzevrijheid te beperken.
● Nudges kunnen worden toegepast door de default optie te wijzigen (bijv. donorwet),
stimulansen in te bouwen, of specifieke feedback te geven.
● De 'nudge-beweging' bepleit een realistische kijk op burgers en efficiënte, effectieve
interventies.
