2022 – 2023 Beleid III: Beleidsevaluatie
Hoorcollege 1: De theorie en praktijk van beleidsevaluatie
Overzicht hoorcollege:
- Wat is beleidsevaluatieonderzoek?
- Opzet van het vak Beleid III
- Literatuur voor deze week: Evalueren H1 & H2, artikel Nudging citizens 4-10
Opzet van het vak Beleid III
- Het vak Beleid III bouwt voort op Beleid I & Beleid II
- Literatuur:
o Swan, P. Evalueren, 2012 (tweede druk)
o Howlett, M., Ramesh, M. & Perl, A. 2009
o Selectie van artikelen
- De toetsing van dit vak bestaat uit een tentamen op vrijdag 31 maart van 13:00 tot 15:00 en het
evaluatierapport van het onderzoek met een deadline op maandag 27 maart voor 12:00.
Beleid is de oplossing die we voor een probleem hebben, oplossingen voor maatschappelijke vraagstukken.
Voorbeeld van beleid: wat voor maatregelen om obesitas te verminderen?
- Suikertaks
- Watertappunten in plaats van frisdrankautomaten
- Het verbieden van reclames
- Afschrikwekkende foto’s op frisdrank
Hekken om Europa: werkt het?
- Om die vraag te beantwoorden is beleidsevaluatie nodig!
FAQ Beleidsevaluatie
- Wat is evalueren?
o Evaluatie is het verzamelen, interpreteren en presenterne van informatie om de waarde van
een resultaat of proces te bepalen (Wikipedia)
- Wat wordt er geëvalueerd?
- Waarom wordt er geëvalueerd?
- Voor wie wordt er geëvalueerd?
- Door wie wordt er geëvalueerd?
Drie definities van beleidsevaluatie
- Scriven (1991): Refers to the process of determining the merit, worth, or value of something
- Rossi & Freeman (1985): is the systematic application of social research procedures in assessing the
conceptualization and design, implementation, and utility of social intervention programs
- Patton (1997): is a systematic collection of information about the activities, characteristics, and
outcomes of programs to make judgements about the programs, improve program effectiveness, or
inform decisions about future programming.
Beleidsevaluaties: drie dimensies
,Wat wordt geëvalueerd?
- Overheidsorganisaties
o Belastingdienst, UWV, CBR, Gemeentelijke sociale diensten, sociale verzekeringsbank
- Overheidsbeleid
o Toeslagenbeleid, coronabeleid, stikstofbeleid, obesitasbeleid
o Beoordelen van inhoud, processen of effecten van beleid
Waarom evalueren?
- Evaluatieonderzoek moet antwoorden geven op vragen als:
o Wat werkt wel? Wat werkt niet?
§ Doet het beleid wat was beoogd?
§ In welke mate? Met welk effect? Tegen een aanvaardbare prijs?
§ Waarom werkt het wel of niet?
- Doel van evalueren is:
o Om te kunnen leren van meer of minder geslaagd beleid
o Onmisbaar voor democratische controle en verantwoording
Voor wie evalueren?
1. Voor bestuurders die beslissen of beleid moet worden gecontinueerd
2. Voor overheidsmanagers
3. Voor uitvoerders
4. Voor het parlement
5. Voor burgers en belangengroepen
Wie evalueert?
- Diverse evaluatievoorzieningen
o Beleidsvoeders, parlement, rekenkamers, ombudslieden, toezichthouders, adviesorganen,
belangengroepen, media, internationale organen, wetenschap
Interne of externe evaluatie
Intern Extern
Voordelen Kennis, ervaring, vertrouwen Expertise, geloofwaardigheid,
objectiviteit, onafhankelijk
Nadelen Geen formele afspraken, beladen Weinig interne kennis, niet
verleden/blindheid, onderdeel passende oplossing, kostbaar,
hierarchie, geen buitenstander vertrouwen opbouwen,
verlengstuk management
Hoe verkrijgen we informatie/kennis over beleid?
- Trial & error: kennis van beleid, verworven door trial & error à ervaringen
- Evidence based: op basis van het beste bewijsmateriaal (evidence) à onderzoek
Via wetenschappelijk (evaluatie)onderzoek
- Het op systematisch en transparante wijze ontwikkelen van een antwoord op een van tevoren
gestelde vraag
- Volgens een aantal methoden en technieken van onderzoek
- Dat voldoet aan een aantal kwaliteitscriteria van onderzoek (onafhankelijkheid, toetsbaarheid,
betrouwbaarheid, informativiteit, generaliseerbaarheid, validiteit)
,Theorie/kennisgericht onderzoek: wat is het doel van onderzoek?
Wat is beleidsevaluatie onderzoek?
- Evaluatie: iets op waarde schatten; een beoordeling van verschijnsel aan de hand van bepaalde
criteria
- Beleidsevaluatie: het beoordelen van de inhoud, processen of effecten van een beleid
- Evaluatieonderzoek: het zoeken van informatie via de wetenschappelijke methoden, onderzoek
met het oog op een evaluatie
Beleidsevaluatie = praktijkonderzoek
- Een beleidsprobleem verbeteren door middel van aanbevelingen & advies
Evaluatieonderzoek
- Wetenschappelijk onderzoek, er is sprake van:
o Een duidelijk geformuleerde probleemstelling
o Een ontwerp voor een onderzoek
o Een systematische dataverzameling en -analyse
o Een rapport met de punten waarin wordt gesteld op welke punten de probleemstelling is
opgelost of niet opgelost is
- Evaluatieonderzoek is praktijkgericht om bij te dragen aan de sturing van het gedrag van
beleidsinstanties en uiteindelijk aan de verbetering van de situatie van doelgroepen en aflegging
van verantwoording aan de gemeenschap voor besteding schaarse middelen en kennisverwerving.
- Empowerment: Focus op het verkrijgen, analyseren en rapporteren van data, echter wordt er
intensief met doelgroepen/personen gewerkt zodat alle visies en gedragingen goed te peilen zijn
Drie fasen van evaluatieonderzoek
Voorafgaand aan elk evaluatieonderzoek moet er eerst een probleemanalyse en diagnose worden
vastgesteld:
- Een probleemanalyse is een fase waarin de definitie van het probleem, de herkomst van het
probleem, het draagvlak van het probleem en de aanverwante vragen worden gesteld en
beantwoord; ten slotte: de vertaling van het probleem in een probleemstelling voor
wetenschappelijk onderzoek. Hier worden de volgende vragen gesteld:
o Hoe kwam het probleem op de agenda; wie nam het initiatief?
o Is het probleem gebaseerd op een (al langer bestaande) toestand of op een (recente)
toename?
o Wie zijn de relevante actoren en wat verwachten zij van een onderzoek?
o Waarom is eigenlijk evaluatie nodig? Informatietekort of toch ander motieven?
o Wat is precies de veranderingsgeneigdheid en wat zijn de veranderingsplannen van de
beleidsinstantie?
o Wat is het doelsysteem waarvoor de interventie bedoeld is (horizonbepaling)?
o In welk stadium bevindt zich de interventie? Is ze nog niet begonnen, gaande of al
beëindigd?
, - Een diagnose is een fase waarin de bestaande situatie zowel als de gewenste situatie zorgvuldig
worden beschreven.
Na deze twee fasen zal een van de drie verschillende vormen zich aan doen:
- Planevaluatie: de vorm van evaluatieonderzoek waarin de interventie wordt ontworpen en
eventueel alternatieve interventies worden geprioriteerd; de fase wordt gekenmerkt door bureau-
onderzoek en eventueel een gesystematiseerde vorm van groepsgesprekken. Hier worden de
volgende vragen gesteld:
o Wat zijn de oorzaken van de bestaande (ongewenste) situatie?
o Als er reeds beleidsinterventies werden toegepast, waarom werken zij onvoldoende?
o Welk onderzoek is tot nu toe gedaan in soortgelijke situaties en welke inzichten leverde dit
op?
o Naar welke meer algemene problemen kan de specifieke problematiek vertaald worden en
welke theorieën komen in aanmerking voor gebruik?
o Wie zijn er bij betrokken en wat zijn hun ideeën en wensen?
o Tot welke mogelijke interventies leiden de voorspellingen die uit de in aanmerking komende
theorie(en) kunnen worden afgeleid?
o Gegeven deze interventies, tot welke (on)gewenste neveneffecten kunnen deze leiden?
o Wat is de verhouding tussen kosten en baten van deze interventie(s) en welke prioritering
van de interventies volgt hieruit?
- Procesevaluatie: de vorm van evaluatieonderzoek waarbij de invoering van de interventie - meestal
op kleine schaal/op de voet wordt gevolgd; waarin zo nodig wordt bijgestuurd, en waarin de
aandacht vooral uitgaat naar de precieze werking van de interventie via de sociale processen die
hierbij een rol spelen. Hier worden de volgende vragen gesteld:
o Wat is de uitvoeringspraktijk?
o Wat zijn de uitvoeringsmogelijkheden van de interventies?
o Zijn er knelpunten of barrières?
o Wat zijn de interventievarianten?
o Welke onvoorziene neveneffecten doen zich voor?
o Worden de doeleinden bereikt (indruk van doelgroepen en doeleinden)?
o Op welke wijze moet bijgestuurd worden?
o Wat is de precieze werking van de interventie?
- Productevaluatie: de vorm van evaluatieonderzoek waarin de effectiviteit van de interventie wordt
bepaald. Hier worden de volgende vragen gesteld:
o Treden de beoogde effecten op en zo ja, in welke mate?
o Wat is het bereikte sociale systeem naar plaats, tijd en mensen?
o Wat is de effectiviteit van de interventie, dat wil zeggen in hoeverre kunnen we de
gevonden effecten causaal toeschrijven aan de interventie?
o Welke precieze handreikingen voor het beleid biedt het onderzoek, zoals:
§ Stopzetting van de interventie
§ Stopzetting of wijziging van enkele elementen van de interventie
§ Verlegging van de zwaarteverhouding tussen aspecten van de interventie
§ Wijziging van de doelgroepen voor de diverse onderdelen
§ Geen verandering
§ Invoering van de interventie of onderdelen daarvan elders?
o Naar welke interventies, situaties, perioden, individuen of groepen zijn deze effecten
generaliseerbaar?
o Wat zijn de uiteindelijke kosten in relatie tot de balans van positieve en negatieve effecten.
Hoorcollege 2: Wat is beleid?
Overzicht hoorcollege:
- Wat is beleid?
o Problemen
Hoorcollege 1: De theorie en praktijk van beleidsevaluatie
Overzicht hoorcollege:
- Wat is beleidsevaluatieonderzoek?
- Opzet van het vak Beleid III
- Literatuur voor deze week: Evalueren H1 & H2, artikel Nudging citizens 4-10
Opzet van het vak Beleid III
- Het vak Beleid III bouwt voort op Beleid I & Beleid II
- Literatuur:
o Swan, P. Evalueren, 2012 (tweede druk)
o Howlett, M., Ramesh, M. & Perl, A. 2009
o Selectie van artikelen
- De toetsing van dit vak bestaat uit een tentamen op vrijdag 31 maart van 13:00 tot 15:00 en het
evaluatierapport van het onderzoek met een deadline op maandag 27 maart voor 12:00.
Beleid is de oplossing die we voor een probleem hebben, oplossingen voor maatschappelijke vraagstukken.
Voorbeeld van beleid: wat voor maatregelen om obesitas te verminderen?
- Suikertaks
- Watertappunten in plaats van frisdrankautomaten
- Het verbieden van reclames
- Afschrikwekkende foto’s op frisdrank
Hekken om Europa: werkt het?
- Om die vraag te beantwoorden is beleidsevaluatie nodig!
FAQ Beleidsevaluatie
- Wat is evalueren?
o Evaluatie is het verzamelen, interpreteren en presenterne van informatie om de waarde van
een resultaat of proces te bepalen (Wikipedia)
- Wat wordt er geëvalueerd?
- Waarom wordt er geëvalueerd?
- Voor wie wordt er geëvalueerd?
- Door wie wordt er geëvalueerd?
Drie definities van beleidsevaluatie
- Scriven (1991): Refers to the process of determining the merit, worth, or value of something
- Rossi & Freeman (1985): is the systematic application of social research procedures in assessing the
conceptualization and design, implementation, and utility of social intervention programs
- Patton (1997): is a systematic collection of information about the activities, characteristics, and
outcomes of programs to make judgements about the programs, improve program effectiveness, or
inform decisions about future programming.
Beleidsevaluaties: drie dimensies
,Wat wordt geëvalueerd?
- Overheidsorganisaties
o Belastingdienst, UWV, CBR, Gemeentelijke sociale diensten, sociale verzekeringsbank
- Overheidsbeleid
o Toeslagenbeleid, coronabeleid, stikstofbeleid, obesitasbeleid
o Beoordelen van inhoud, processen of effecten van beleid
Waarom evalueren?
- Evaluatieonderzoek moet antwoorden geven op vragen als:
o Wat werkt wel? Wat werkt niet?
§ Doet het beleid wat was beoogd?
§ In welke mate? Met welk effect? Tegen een aanvaardbare prijs?
§ Waarom werkt het wel of niet?
- Doel van evalueren is:
o Om te kunnen leren van meer of minder geslaagd beleid
o Onmisbaar voor democratische controle en verantwoording
Voor wie evalueren?
1. Voor bestuurders die beslissen of beleid moet worden gecontinueerd
2. Voor overheidsmanagers
3. Voor uitvoerders
4. Voor het parlement
5. Voor burgers en belangengroepen
Wie evalueert?
- Diverse evaluatievoorzieningen
o Beleidsvoeders, parlement, rekenkamers, ombudslieden, toezichthouders, adviesorganen,
belangengroepen, media, internationale organen, wetenschap
Interne of externe evaluatie
Intern Extern
Voordelen Kennis, ervaring, vertrouwen Expertise, geloofwaardigheid,
objectiviteit, onafhankelijk
Nadelen Geen formele afspraken, beladen Weinig interne kennis, niet
verleden/blindheid, onderdeel passende oplossing, kostbaar,
hierarchie, geen buitenstander vertrouwen opbouwen,
verlengstuk management
Hoe verkrijgen we informatie/kennis over beleid?
- Trial & error: kennis van beleid, verworven door trial & error à ervaringen
- Evidence based: op basis van het beste bewijsmateriaal (evidence) à onderzoek
Via wetenschappelijk (evaluatie)onderzoek
- Het op systematisch en transparante wijze ontwikkelen van een antwoord op een van tevoren
gestelde vraag
- Volgens een aantal methoden en technieken van onderzoek
- Dat voldoet aan een aantal kwaliteitscriteria van onderzoek (onafhankelijkheid, toetsbaarheid,
betrouwbaarheid, informativiteit, generaliseerbaarheid, validiteit)
,Theorie/kennisgericht onderzoek: wat is het doel van onderzoek?
Wat is beleidsevaluatie onderzoek?
- Evaluatie: iets op waarde schatten; een beoordeling van verschijnsel aan de hand van bepaalde
criteria
- Beleidsevaluatie: het beoordelen van de inhoud, processen of effecten van een beleid
- Evaluatieonderzoek: het zoeken van informatie via de wetenschappelijke methoden, onderzoek
met het oog op een evaluatie
Beleidsevaluatie = praktijkonderzoek
- Een beleidsprobleem verbeteren door middel van aanbevelingen & advies
Evaluatieonderzoek
- Wetenschappelijk onderzoek, er is sprake van:
o Een duidelijk geformuleerde probleemstelling
o Een ontwerp voor een onderzoek
o Een systematische dataverzameling en -analyse
o Een rapport met de punten waarin wordt gesteld op welke punten de probleemstelling is
opgelost of niet opgelost is
- Evaluatieonderzoek is praktijkgericht om bij te dragen aan de sturing van het gedrag van
beleidsinstanties en uiteindelijk aan de verbetering van de situatie van doelgroepen en aflegging
van verantwoording aan de gemeenschap voor besteding schaarse middelen en kennisverwerving.
- Empowerment: Focus op het verkrijgen, analyseren en rapporteren van data, echter wordt er
intensief met doelgroepen/personen gewerkt zodat alle visies en gedragingen goed te peilen zijn
Drie fasen van evaluatieonderzoek
Voorafgaand aan elk evaluatieonderzoek moet er eerst een probleemanalyse en diagnose worden
vastgesteld:
- Een probleemanalyse is een fase waarin de definitie van het probleem, de herkomst van het
probleem, het draagvlak van het probleem en de aanverwante vragen worden gesteld en
beantwoord; ten slotte: de vertaling van het probleem in een probleemstelling voor
wetenschappelijk onderzoek. Hier worden de volgende vragen gesteld:
o Hoe kwam het probleem op de agenda; wie nam het initiatief?
o Is het probleem gebaseerd op een (al langer bestaande) toestand of op een (recente)
toename?
o Wie zijn de relevante actoren en wat verwachten zij van een onderzoek?
o Waarom is eigenlijk evaluatie nodig? Informatietekort of toch ander motieven?
o Wat is precies de veranderingsgeneigdheid en wat zijn de veranderingsplannen van de
beleidsinstantie?
o Wat is het doelsysteem waarvoor de interventie bedoeld is (horizonbepaling)?
o In welk stadium bevindt zich de interventie? Is ze nog niet begonnen, gaande of al
beëindigd?
, - Een diagnose is een fase waarin de bestaande situatie zowel als de gewenste situatie zorgvuldig
worden beschreven.
Na deze twee fasen zal een van de drie verschillende vormen zich aan doen:
- Planevaluatie: de vorm van evaluatieonderzoek waarin de interventie wordt ontworpen en
eventueel alternatieve interventies worden geprioriteerd; de fase wordt gekenmerkt door bureau-
onderzoek en eventueel een gesystematiseerde vorm van groepsgesprekken. Hier worden de
volgende vragen gesteld:
o Wat zijn de oorzaken van de bestaande (ongewenste) situatie?
o Als er reeds beleidsinterventies werden toegepast, waarom werken zij onvoldoende?
o Welk onderzoek is tot nu toe gedaan in soortgelijke situaties en welke inzichten leverde dit
op?
o Naar welke meer algemene problemen kan de specifieke problematiek vertaald worden en
welke theorieën komen in aanmerking voor gebruik?
o Wie zijn er bij betrokken en wat zijn hun ideeën en wensen?
o Tot welke mogelijke interventies leiden de voorspellingen die uit de in aanmerking komende
theorie(en) kunnen worden afgeleid?
o Gegeven deze interventies, tot welke (on)gewenste neveneffecten kunnen deze leiden?
o Wat is de verhouding tussen kosten en baten van deze interventie(s) en welke prioritering
van de interventies volgt hieruit?
- Procesevaluatie: de vorm van evaluatieonderzoek waarbij de invoering van de interventie - meestal
op kleine schaal/op de voet wordt gevolgd; waarin zo nodig wordt bijgestuurd, en waarin de
aandacht vooral uitgaat naar de precieze werking van de interventie via de sociale processen die
hierbij een rol spelen. Hier worden de volgende vragen gesteld:
o Wat is de uitvoeringspraktijk?
o Wat zijn de uitvoeringsmogelijkheden van de interventies?
o Zijn er knelpunten of barrières?
o Wat zijn de interventievarianten?
o Welke onvoorziene neveneffecten doen zich voor?
o Worden de doeleinden bereikt (indruk van doelgroepen en doeleinden)?
o Op welke wijze moet bijgestuurd worden?
o Wat is de precieze werking van de interventie?
- Productevaluatie: de vorm van evaluatieonderzoek waarin de effectiviteit van de interventie wordt
bepaald. Hier worden de volgende vragen gesteld:
o Treden de beoogde effecten op en zo ja, in welke mate?
o Wat is het bereikte sociale systeem naar plaats, tijd en mensen?
o Wat is de effectiviteit van de interventie, dat wil zeggen in hoeverre kunnen we de
gevonden effecten causaal toeschrijven aan de interventie?
o Welke precieze handreikingen voor het beleid biedt het onderzoek, zoals:
§ Stopzetting van de interventie
§ Stopzetting of wijziging van enkele elementen van de interventie
§ Verlegging van de zwaarteverhouding tussen aspecten van de interventie
§ Wijziging van de doelgroepen voor de diverse onderdelen
§ Geen verandering
§ Invoering van de interventie of onderdelen daarvan elders?
o Naar welke interventies, situaties, perioden, individuen of groepen zijn deze effecten
generaliseerbaar?
o Wat zijn de uiteindelijke kosten in relatie tot de balans van positieve en negatieve effecten.
Hoorcollege 2: Wat is beleid?
Overzicht hoorcollege:
- Wat is beleid?
o Problemen
