Beleid- en Evaluatieonderzoek
- Week 1 –
De beleidscyclus gaat in zijn puurste vorm als volgt:
Uitkomsten -> agenda invullen -> beleid formuleren -> besluitvorming ->
implementatie ->
Er zijn drie typen beleidsevaluatie:
Ex Ante (formatief): gaat over voorbereiding en voorspellingen. Er is weinig
empirie, het gaat over inschattingen. Deze evaluatie ondersteund de
beleidsmaker.
Ex Durante (formatief): gaat over de implementatie en kijkt naar eerste
effecten en eventuele neveneffecten. Gaat nog steeds over inschattingen, maar
eerste conclusies worden al getrokken. Deze evaluatie stuurt beleid bij.
Ex Post (summatief): kijkt achteraf naar de effecten van beleid. Harde,
empirische conclusies worden getrokken. Deze evaluatie verantwoordt en
verbetert beleid.
Trend evidence based policy: beleid gebaseerd op bewijs.
In het westen was beleid een correctie van de open markt, dit zorgde voor een
toenemende vraag voor empirische en statistische informatie. De ontwikkeling
van gemengde economieën bracht namelijk nieuwe problemen met zich mee.
Tegenwoordig staat verantwoording centraal bij beleidsevaluatie. Efficiëntie en
evaluatie spelen hierin een belangrijke rol.
Beleid wordt binnen de beleidscontext onderzocht. Beleidsonderzoekers moeten
continu de context van hun onderzoeksveld in de gaten houden. Deze context
bestaat uit agendasetting, actoren met belangen en afhankelijkheden, evaluatie
design en wat er met de evaluatie gebeurt. Vooral actoren zorgen voor veel
complexiteit.
Ex Ante en Ex Post beleidsevaluatie ondersteunen elkaar en leren van elkaar. Er
is bij beleid een zekere coherentie tussen de twee, waarvan beleidsmakers
kunnen leren.
Verschillende factoren kunnen ervoor zorgen dat de interactie tussen Ex
Ante en Ex Post minder oplevert:
Procedural: de twee beleidsevaluaties worden niet in de juiste volgorde
uitgevoerd. Hierdoor kunnen beleidsmakers niet leren.
Political: de Ex Post is lichter omdat tijdens het uitvoeren van het beleid de
belangstelling voor het onderwerp is afgenomen.
Institutional: binnen een instituut gaat iets mis. Er worden mensen ontslagen,
informatie is niet goed opgeslagen of het instituut weidt niet genoeg aandacht
aan het onderwerp.
- Week 2 –
Alle sociale mechanismes bevinden zich binnen een bepaalde context. Deze
context moet bij (evaluatie)onderzoek natuurlijk meegenomen worden. Bij
klassieke experimenten is er simpelweg een meeting met en zonder manipulatie
, en wordt het effect van die manipulatie onderzocht. Realistisch
evaluatieonderzoek benadrukt de mechanismes achter een effect. Door deze
mechanismes te analyseren, is meer onderzoek mogelijk.
De acht principes van het uitvoeren van realistische evaluatie:
Principe 1) Generative causation
Niet het beleid zelf is essentieel, maar de stakeholders. Waarom zetten ze zich in
en hoe doen ze dat? Wie is er allemaal betrokken bij beleid? Er wordt effectief
naar een oorzakelijk verband tussen een onafhankelijke en afhankelijke variabele
gezocht.
Principe 2) Embeddedness
De plek, het verleden, de toekomst en het betrokken personeel wordt bekeken.
Een aantal factoren bepalen samen de effectiviteit van beleid. Dit zijn de sociale
regels en verwachtingen rondom de context, rondom de uitvoerders, rondom de
deelnemers en de interacties tussen deze factoren.
Principe 3) Mechanismen
Mechanismes maken sociale problemen en gedragsproblemen. Het is aan de
evaluatoren om uit te zoeken hoe deze mechanismes werken en wat voor
mechanismes dit kunnen neutraliseren of tegenwerken. Sociale interventies
werken dan ook alleen door actie van het mechanisme, door het verweven
proces van hulpbronnen en redenaties.
Principe 4) Context
Evaluatoren moeten de context begrijpen waar mechanismes van een probleem
zich in begeven. Alleen dan kun je begrijpen wanneer mechanismes invloed
hebben en hoe je ze wellicht in kan zetten.
Principe 5) Outcomes
Het mechanisme en de context waarin het zich bevindt zorgen samen voor een
uitkomst. De relatie tussen de onafhankelijke en afhankelijke variabele, met
inachtneming van context en mechanisme, heet een regularity. Het succes van
beleid kan alleen worden aangetoond door te geven wat het mechanisme is dat
werkt, in welke context het werkt en tot welke uitkomst het leidt.
Principe 6) Context-mechanism-outcome configurations
Om de conclusies van evaluaties te kunnen generaliseren naar andere contexten,
moeten de context, mechanismes en uitkomsten duidelijk zijn. Als het door beleid
geïmplementeerde mechanisme het oude mechanisme niet heeft doen buigen,
dan werkt het beleid niet.
Principe 7) Teacher-learner processes
Om die context-mechanism-outcome configurations te maken, moet je eerst van
beleidsmakers, beleidsuitvoerders en beleidsontvangers leren. De stakeholders
en hun verwachtingen kun je alleen vinden, door teacher-learning processes.
CMO-theorieën worden hierdoor aangescherpt.
Principe 8) Open systems
Mechanismes en interventies bestaan in een veranderlijke wereld. Het kan dus
zijn dat een mechanisme dat voorheen wel effectief was, dat ineens niet meer is.
Ook CMO-configuraties zijn dus veranderlijk.
Protocol based care in twee fases:
- Week 1 –
De beleidscyclus gaat in zijn puurste vorm als volgt:
Uitkomsten -> agenda invullen -> beleid formuleren -> besluitvorming ->
implementatie ->
Er zijn drie typen beleidsevaluatie:
Ex Ante (formatief): gaat over voorbereiding en voorspellingen. Er is weinig
empirie, het gaat over inschattingen. Deze evaluatie ondersteund de
beleidsmaker.
Ex Durante (formatief): gaat over de implementatie en kijkt naar eerste
effecten en eventuele neveneffecten. Gaat nog steeds over inschattingen, maar
eerste conclusies worden al getrokken. Deze evaluatie stuurt beleid bij.
Ex Post (summatief): kijkt achteraf naar de effecten van beleid. Harde,
empirische conclusies worden getrokken. Deze evaluatie verantwoordt en
verbetert beleid.
Trend evidence based policy: beleid gebaseerd op bewijs.
In het westen was beleid een correctie van de open markt, dit zorgde voor een
toenemende vraag voor empirische en statistische informatie. De ontwikkeling
van gemengde economieën bracht namelijk nieuwe problemen met zich mee.
Tegenwoordig staat verantwoording centraal bij beleidsevaluatie. Efficiëntie en
evaluatie spelen hierin een belangrijke rol.
Beleid wordt binnen de beleidscontext onderzocht. Beleidsonderzoekers moeten
continu de context van hun onderzoeksveld in de gaten houden. Deze context
bestaat uit agendasetting, actoren met belangen en afhankelijkheden, evaluatie
design en wat er met de evaluatie gebeurt. Vooral actoren zorgen voor veel
complexiteit.
Ex Ante en Ex Post beleidsevaluatie ondersteunen elkaar en leren van elkaar. Er
is bij beleid een zekere coherentie tussen de twee, waarvan beleidsmakers
kunnen leren.
Verschillende factoren kunnen ervoor zorgen dat de interactie tussen Ex
Ante en Ex Post minder oplevert:
Procedural: de twee beleidsevaluaties worden niet in de juiste volgorde
uitgevoerd. Hierdoor kunnen beleidsmakers niet leren.
Political: de Ex Post is lichter omdat tijdens het uitvoeren van het beleid de
belangstelling voor het onderwerp is afgenomen.
Institutional: binnen een instituut gaat iets mis. Er worden mensen ontslagen,
informatie is niet goed opgeslagen of het instituut weidt niet genoeg aandacht
aan het onderwerp.
- Week 2 –
Alle sociale mechanismes bevinden zich binnen een bepaalde context. Deze
context moet bij (evaluatie)onderzoek natuurlijk meegenomen worden. Bij
klassieke experimenten is er simpelweg een meeting met en zonder manipulatie
, en wordt het effect van die manipulatie onderzocht. Realistisch
evaluatieonderzoek benadrukt de mechanismes achter een effect. Door deze
mechanismes te analyseren, is meer onderzoek mogelijk.
De acht principes van het uitvoeren van realistische evaluatie:
Principe 1) Generative causation
Niet het beleid zelf is essentieel, maar de stakeholders. Waarom zetten ze zich in
en hoe doen ze dat? Wie is er allemaal betrokken bij beleid? Er wordt effectief
naar een oorzakelijk verband tussen een onafhankelijke en afhankelijke variabele
gezocht.
Principe 2) Embeddedness
De plek, het verleden, de toekomst en het betrokken personeel wordt bekeken.
Een aantal factoren bepalen samen de effectiviteit van beleid. Dit zijn de sociale
regels en verwachtingen rondom de context, rondom de uitvoerders, rondom de
deelnemers en de interacties tussen deze factoren.
Principe 3) Mechanismen
Mechanismes maken sociale problemen en gedragsproblemen. Het is aan de
evaluatoren om uit te zoeken hoe deze mechanismes werken en wat voor
mechanismes dit kunnen neutraliseren of tegenwerken. Sociale interventies
werken dan ook alleen door actie van het mechanisme, door het verweven
proces van hulpbronnen en redenaties.
Principe 4) Context
Evaluatoren moeten de context begrijpen waar mechanismes van een probleem
zich in begeven. Alleen dan kun je begrijpen wanneer mechanismes invloed
hebben en hoe je ze wellicht in kan zetten.
Principe 5) Outcomes
Het mechanisme en de context waarin het zich bevindt zorgen samen voor een
uitkomst. De relatie tussen de onafhankelijke en afhankelijke variabele, met
inachtneming van context en mechanisme, heet een regularity. Het succes van
beleid kan alleen worden aangetoond door te geven wat het mechanisme is dat
werkt, in welke context het werkt en tot welke uitkomst het leidt.
Principe 6) Context-mechanism-outcome configurations
Om de conclusies van evaluaties te kunnen generaliseren naar andere contexten,
moeten de context, mechanismes en uitkomsten duidelijk zijn. Als het door beleid
geïmplementeerde mechanisme het oude mechanisme niet heeft doen buigen,
dan werkt het beleid niet.
Principe 7) Teacher-learner processes
Om die context-mechanism-outcome configurations te maken, moet je eerst van
beleidsmakers, beleidsuitvoerders en beleidsontvangers leren. De stakeholders
en hun verwachtingen kun je alleen vinden, door teacher-learning processes.
CMO-theorieën worden hierdoor aangescherpt.
Principe 8) Open systems
Mechanismes en interventies bestaan in een veranderlijke wereld. Het kan dus
zijn dat een mechanisme dat voorheen wel effectief was, dat ineens niet meer is.
Ook CMO-configuraties zijn dus veranderlijk.
Protocol based care in twee fases:
