College 6 - Inleiding Beleid
Policy evaluation and policy change
Agnieszka Kanas
Today
Policy evaluation
o Definition and different types of policy evaluation
o Four perspectives: evaluation criteria and design
Policy change
o Advocacy Coalition Framework
o Punctuated Equilibrium
Exam
We gaan het hebben over beleidsevaluatie. Het zal gaan om verschillende definities van
beleidsimplementatie en verschillende types. Volgens rationele benadering zie je in beleidsproces dat
dit de laatste stap is. Dit is het proces waar beleid dus geevalueerd worden, werken ze, zijn doelen
bereikt? Maar ook andere criteria! Die evluatie resulteert in: situatieverandering, of beleid blijft of
beleid wordt aangepast. Evaluatie is een belangrijke face in het beleidsproces omdat beleidsmakers
op basis van de evaluatie beslissingen nemen over de vervolgstappen.
We gaan wederom de 4 perspectieven op de implementatiefase toepassen. We zagen in eerdere
colleges dat de criteria van de 4 perspectieven bepalen op een beleid wel of niet als succesvol kan
worden bestempeld. Ze geven dus niet alleen verschillende criteria, maar ook verschillende
ontwerpmanieren waarop geevalueerd wordt.
Ten slotte gaan we, waar we bij beleidsverandering ook al naar keken, in op de Advocacy Coalition
Framework en de Punctuated Equilobrium. Deze 2 theorien stelden dat het beleidsproces altijd
padafhankelijk was en incrementieel, dus beleidsverandering in hele kleine stapjes. De 2 frameworks
geven ook condities waarbij grote radicale veranderingen plaatsvinden.
Voorbeeld:
Sydney Opera huis, gebouwd in de jaren 70. We gaan dit gebruik als case
waarbij we kijken naar het evaluatieproces dat vaak gezien werd als erg
omstreden. Toen het gebouw af was, werd het geëvalueerd als een
megablunder. De bouw kostte 14x meer en duurde 20 jaar. Er was ruzie tussen
de architect en de gemeente van Sydney. In het begin ging de gemeente het
gebouw zien als toeristenattractie en symbool van Sydney. Het werd een
iconisch gebouw voor het modernisme. De evalueerders gingen de kosten
opeens in een ander daglicht zien. Het gebouw was voornamelijk privaat gefinancierd en niet vanuit
publiek geld. Er kwam positie evaluatie. In de jaren 90 bleek alleen weer dat de restauratie en het
onderhoud heel veel geld kostte.
Kortom, evaluatie is enorm contingentiegevoellig! Dit komt omdat er veel betrokken stakeholders zijn
in het evaluatieproces. Het hangt van hun belangen, probleemdefinitie, oplossingsdefinitie af hoe ze
evalueren. Die wijze van evalueren veranderd met de tijd. Dit maakt de evaluatie dus contingent en
instabiel.
,Policy evaluations are a permanent source of news
Ook in NL zie je als je de krant bekikt dat beleidsevaluatie een grote nieuwsfactor is. Het hangt telkens
af van wie beleid evalueert en welke criteria worden gebruikt.
Why do we need evaluation research?
1. Political and social accountability (verantwoording)
2. As an input for learning process (leerproces).
Waarom hebben we beleidsevaluatie (onderzoek) nodig? Om 2 redenen:
1. Je kan enerzijds stellen dat beleidsevaluatie ervoor zorgt dat beleidsmakers
verantwoording moeten afleggen voor het beleid dat ze voorstellen, de
effecten van het beleid.
o Verantwoording (accountability) is dus gerelateerd aan
verantwoordelijkheid. Een minister of burgemeester is dus verantwoordelijk
voor beleid dat hij/zij maakt, dus voor de acties, efforts en effecten van beleid.
o Sterk gerelateerd hieraan is ‘Independance of policy evaluation’ = alleen
onafhankelijke evaluatie kan objectieve evaluatiecriteria bepalen.
2. Je kan anderzijds stellen dat beleidsevaluatie een bron van kennis is. Werkt beleid wel/niet,
zijn ze effectief, efficient? Maar is er ook draagvlak en zijn er voldoende resources
beschikbaar?
o Evaluatie wordt dan ook gezien als een belangrijke facilitator van ‘leren’. Leren is
belangrijk voor eventuele beleidsverandering, vaak niet radicale verandering, maar
incrementele kleine verandering.
Policy evaluation: definitions
Evaluation: Judging a certain phenomenon on the basis of specified criteria
Policy evaluation: Evaluating the instruments, content, processes or effects of policy
Evaluatieonderzoek: Beleidsgericht (wetenschappelijk) onderzoek naar de totstandkoming,
de implementatie, de onderbouwing, de effecten en neveneffecten van beleid (...)
(Hoogerwerf en Herweijer, 2014: 153-154).
Er zijn verschillende definities van beleidsevaluatie. Ze varieren in het soort criteria op basis waarvan
succes/falen wordt toegekent.
De basisdefinitie ‘evaluatie’ = een bepaald fenomeen beoordelen op basis van specifieke criteria.
Beleidsevaluatie = de evaluatie van instrumenten, inhoud, processen en effecten van beleid.
Evaluatieonderzoek = de laatste definitie: Beleidsgericht (wetenschappelijk) onderzoek naar de
totstandkoming, de implementatie, de onderbouwing, de effecten en neveneffecten van beleid.
, De laatste van deze 3 is dat evaluatie dus vaak focust op beleidseffecten en de resultaten.
Beleidsevaluatie gaat vaak om het hele beleidsproces, dus ook om beleidsimplementatie en
beleidsontwerp etc.
What is being evaluated?
Evaluations are an integral part of the policy process
1. Input evaluations (sufficient resources)
2. Goal achievement evaluations (output of policy)
3. Effectiveness evaluations (social effects)
4. Efficiency evaluations (costs versus benefits)
5. Process evaluations
We onderscheidde, met betrekking tot de focus op beleidsevaluatie, verschillende type evaluaties. De
focus op deze bredere uitkomsten van evaluatie maakt beleidsevaluatie een essentiele fase in het
beleidsproces. We kunnen niet alleen de outcomes, maar ook het proces zoals implementatie
beoordelen. De stap beleidsevaluatie kan dus heel belangrijk zijn voor de vervolgstap na het
beleidsproces, bijvoorbeeld als beleid aangepast moet worden.
Er is een lineaire relatie tussen de verschillende processen (zie foto). 1.Beleidsmakers kunnen met
evaluatie van input beginnen (dus kijken of er voldoende resources zijn voordat je implementeert).
2.Daarna throughoutput als referentie naar evaluatie van de implementatie, evaluatie van ontwerp
etc., dus meer beleidsproces. 3.Daarna kan je beleids output bekijken, dus zijn de doelen behaald?
4.Ten slotte de Impact evaluatie, dit is de outcome evaluatie, dus wat zijn beleidsuitkomsten en wat is
bredere impact buiten de output om?
Input evaluatie = evaluatie van bronnen/resources die in het beleid gebruikt moeten worden om zo de
beleidsresultaten te behalen. Voorbeelden: de kennis die nodig is voor beleidsimplementatie, geld,
materiele middelen zoals voldoende beleidsmedewerkers/street-level bureaucraten. Je kan hier ook
een onderscheid maken tussen kwalitatieve en kwantitatieve bronnen: ‘hebben we voldoende kennis
voor beleidsimplementatie?’ is gelijk aan ‘kwaliteit’.
Doelbereik evaluatie = evaluatie op basis van vraag ‘tot op welke hoogte de beleidsdoelen behaald
zijn’. Voorbeelden: stel je hebt beleid met als doel het aantal werkelozen doen afnemen met 5%, dan
zal je bij de doelbereik evaluatie evalueren in hoeverre dat doel bereikt is en de 5% gehaald is.
Effectiviteitsevaluatie = evaluatievorm waarbij een veel bredere uitkomst wordt meegenomen. Zowel
de outputevaluatie, dus of de beleidsdoelen behaald zijn, als de neveneffecten van beleid worden
meegenomen. Deze effecten kunnen positief zijn. Voorbeelden neveneffecten: aantal werkelozen nam
af, maar ook de sociale cohesie nam toe en de mentale gezondheid werd beter. Echter ook nadelen
mogelijk: inderdaad meer werkende mensen, maar deze mensen zijn ontevreden want de banen zijn
saai en onder niveau. Kortom, de bredere sociale impact wordt dus meegenomen, zowel positief als
negatief.
Efficientieevaluatie = de kosten-opbrengsten worden geevalueerd. Voorbeeld: hoe veel kostte het
aantal werkelozen aan baan helpen en hoeveel leverde het financieel op dat die mensen werken?
Procesevaluatie = evaluatie van verschillende processen m.b.t. beleid. Bijvoorbeeld: evalueren van
processen m.b.t. beleidsontwerp, m.b.t. beleidsimplementatie of monitoring. Vragen zijn dan: hoe is
het beleid geimplementeerd, waren de procedures duidelijk, waren ze transparant, faciliteerde ze de
implementatie, waren de stakeholders betrokken en blij met de beleidsimplementatie?
Policy evaluation and policy change
Agnieszka Kanas
Today
Policy evaluation
o Definition and different types of policy evaluation
o Four perspectives: evaluation criteria and design
Policy change
o Advocacy Coalition Framework
o Punctuated Equilibrium
Exam
We gaan het hebben over beleidsevaluatie. Het zal gaan om verschillende definities van
beleidsimplementatie en verschillende types. Volgens rationele benadering zie je in beleidsproces dat
dit de laatste stap is. Dit is het proces waar beleid dus geevalueerd worden, werken ze, zijn doelen
bereikt? Maar ook andere criteria! Die evluatie resulteert in: situatieverandering, of beleid blijft of
beleid wordt aangepast. Evaluatie is een belangrijke face in het beleidsproces omdat beleidsmakers
op basis van de evaluatie beslissingen nemen over de vervolgstappen.
We gaan wederom de 4 perspectieven op de implementatiefase toepassen. We zagen in eerdere
colleges dat de criteria van de 4 perspectieven bepalen op een beleid wel of niet als succesvol kan
worden bestempeld. Ze geven dus niet alleen verschillende criteria, maar ook verschillende
ontwerpmanieren waarop geevalueerd wordt.
Ten slotte gaan we, waar we bij beleidsverandering ook al naar keken, in op de Advocacy Coalition
Framework en de Punctuated Equilobrium. Deze 2 theorien stelden dat het beleidsproces altijd
padafhankelijk was en incrementieel, dus beleidsverandering in hele kleine stapjes. De 2 frameworks
geven ook condities waarbij grote radicale veranderingen plaatsvinden.
Voorbeeld:
Sydney Opera huis, gebouwd in de jaren 70. We gaan dit gebruik als case
waarbij we kijken naar het evaluatieproces dat vaak gezien werd als erg
omstreden. Toen het gebouw af was, werd het geëvalueerd als een
megablunder. De bouw kostte 14x meer en duurde 20 jaar. Er was ruzie tussen
de architect en de gemeente van Sydney. In het begin ging de gemeente het
gebouw zien als toeristenattractie en symbool van Sydney. Het werd een
iconisch gebouw voor het modernisme. De evalueerders gingen de kosten
opeens in een ander daglicht zien. Het gebouw was voornamelijk privaat gefinancierd en niet vanuit
publiek geld. Er kwam positie evaluatie. In de jaren 90 bleek alleen weer dat de restauratie en het
onderhoud heel veel geld kostte.
Kortom, evaluatie is enorm contingentiegevoellig! Dit komt omdat er veel betrokken stakeholders zijn
in het evaluatieproces. Het hangt van hun belangen, probleemdefinitie, oplossingsdefinitie af hoe ze
evalueren. Die wijze van evalueren veranderd met de tijd. Dit maakt de evaluatie dus contingent en
instabiel.
,Policy evaluations are a permanent source of news
Ook in NL zie je als je de krant bekikt dat beleidsevaluatie een grote nieuwsfactor is. Het hangt telkens
af van wie beleid evalueert en welke criteria worden gebruikt.
Why do we need evaluation research?
1. Political and social accountability (verantwoording)
2. As an input for learning process (leerproces).
Waarom hebben we beleidsevaluatie (onderzoek) nodig? Om 2 redenen:
1. Je kan enerzijds stellen dat beleidsevaluatie ervoor zorgt dat beleidsmakers
verantwoording moeten afleggen voor het beleid dat ze voorstellen, de
effecten van het beleid.
o Verantwoording (accountability) is dus gerelateerd aan
verantwoordelijkheid. Een minister of burgemeester is dus verantwoordelijk
voor beleid dat hij/zij maakt, dus voor de acties, efforts en effecten van beleid.
o Sterk gerelateerd hieraan is ‘Independance of policy evaluation’ = alleen
onafhankelijke evaluatie kan objectieve evaluatiecriteria bepalen.
2. Je kan anderzijds stellen dat beleidsevaluatie een bron van kennis is. Werkt beleid wel/niet,
zijn ze effectief, efficient? Maar is er ook draagvlak en zijn er voldoende resources
beschikbaar?
o Evaluatie wordt dan ook gezien als een belangrijke facilitator van ‘leren’. Leren is
belangrijk voor eventuele beleidsverandering, vaak niet radicale verandering, maar
incrementele kleine verandering.
Policy evaluation: definitions
Evaluation: Judging a certain phenomenon on the basis of specified criteria
Policy evaluation: Evaluating the instruments, content, processes or effects of policy
Evaluatieonderzoek: Beleidsgericht (wetenschappelijk) onderzoek naar de totstandkoming,
de implementatie, de onderbouwing, de effecten en neveneffecten van beleid (...)
(Hoogerwerf en Herweijer, 2014: 153-154).
Er zijn verschillende definities van beleidsevaluatie. Ze varieren in het soort criteria op basis waarvan
succes/falen wordt toegekent.
De basisdefinitie ‘evaluatie’ = een bepaald fenomeen beoordelen op basis van specifieke criteria.
Beleidsevaluatie = de evaluatie van instrumenten, inhoud, processen en effecten van beleid.
Evaluatieonderzoek = de laatste definitie: Beleidsgericht (wetenschappelijk) onderzoek naar de
totstandkoming, de implementatie, de onderbouwing, de effecten en neveneffecten van beleid.
, De laatste van deze 3 is dat evaluatie dus vaak focust op beleidseffecten en de resultaten.
Beleidsevaluatie gaat vaak om het hele beleidsproces, dus ook om beleidsimplementatie en
beleidsontwerp etc.
What is being evaluated?
Evaluations are an integral part of the policy process
1. Input evaluations (sufficient resources)
2. Goal achievement evaluations (output of policy)
3. Effectiveness evaluations (social effects)
4. Efficiency evaluations (costs versus benefits)
5. Process evaluations
We onderscheidde, met betrekking tot de focus op beleidsevaluatie, verschillende type evaluaties. De
focus op deze bredere uitkomsten van evaluatie maakt beleidsevaluatie een essentiele fase in het
beleidsproces. We kunnen niet alleen de outcomes, maar ook het proces zoals implementatie
beoordelen. De stap beleidsevaluatie kan dus heel belangrijk zijn voor de vervolgstap na het
beleidsproces, bijvoorbeeld als beleid aangepast moet worden.
Er is een lineaire relatie tussen de verschillende processen (zie foto). 1.Beleidsmakers kunnen met
evaluatie van input beginnen (dus kijken of er voldoende resources zijn voordat je implementeert).
2.Daarna throughoutput als referentie naar evaluatie van de implementatie, evaluatie van ontwerp
etc., dus meer beleidsproces. 3.Daarna kan je beleids output bekijken, dus zijn de doelen behaald?
4.Ten slotte de Impact evaluatie, dit is de outcome evaluatie, dus wat zijn beleidsuitkomsten en wat is
bredere impact buiten de output om?
Input evaluatie = evaluatie van bronnen/resources die in het beleid gebruikt moeten worden om zo de
beleidsresultaten te behalen. Voorbeelden: de kennis die nodig is voor beleidsimplementatie, geld,
materiele middelen zoals voldoende beleidsmedewerkers/street-level bureaucraten. Je kan hier ook
een onderscheid maken tussen kwalitatieve en kwantitatieve bronnen: ‘hebben we voldoende kennis
voor beleidsimplementatie?’ is gelijk aan ‘kwaliteit’.
Doelbereik evaluatie = evaluatie op basis van vraag ‘tot op welke hoogte de beleidsdoelen behaald
zijn’. Voorbeelden: stel je hebt beleid met als doel het aantal werkelozen doen afnemen met 5%, dan
zal je bij de doelbereik evaluatie evalueren in hoeverre dat doel bereikt is en de 5% gehaald is.
Effectiviteitsevaluatie = evaluatievorm waarbij een veel bredere uitkomst wordt meegenomen. Zowel
de outputevaluatie, dus of de beleidsdoelen behaald zijn, als de neveneffecten van beleid worden
meegenomen. Deze effecten kunnen positief zijn. Voorbeelden neveneffecten: aantal werkelozen nam
af, maar ook de sociale cohesie nam toe en de mentale gezondheid werd beter. Echter ook nadelen
mogelijk: inderdaad meer werkende mensen, maar deze mensen zijn ontevreden want de banen zijn
saai en onder niveau. Kortom, de bredere sociale impact wordt dus meegenomen, zowel positief als
negatief.
Efficientieevaluatie = de kosten-opbrengsten worden geevalueerd. Voorbeeld: hoe veel kostte het
aantal werkelozen aan baan helpen en hoeveel leverde het financieel op dat die mensen werken?
Procesevaluatie = evaluatie van verschillende processen m.b.t. beleid. Bijvoorbeeld: evalueren van
processen m.b.t. beleidsontwerp, m.b.t. beleidsimplementatie of monitoring. Vragen zijn dan: hoe is
het beleid geimplementeerd, waren de procedures duidelijk, waren ze transparant, faciliteerde ze de
implementatie, waren de stakeholders betrokken en blij met de beleidsimplementatie?
