Bekkers – Beleid in beweging
Evalua e van beleid hee 2 doelen:
1. Evalueren als voorwaarde voor leren, om de kwaliteit en opbrengsten van het beleid met het
oog op de toekomst te verbeteren
2. Evalueren als voorwaarde om verantwoording af te leggen over de geboekte resultaten.
Ex ante: vooraf. Zijn gericht op het in kaart brengen van de te verwachten haalbaarheid van een
bepaald programma, zodat problemen in de uitvoering kunnen worden voorkomen.
Ex post: achteraf. Zijn gericht op het in kaart brengen van bestaande situa e waarover een oordeel
wordt uitgesproken, op grond van feitelijke resultaten.
Typen evalua es:
• Inputevalua es: gericht op de evalua e van de inspanningen die moeten worden verricht om
bepaalde doelstellingen te realiseren. Gaat meestal om een evalua e van de kwan teit en
kwaliteit van de hulpbronnen die zijn gemobiliseerd, zoals mensen of middelen.
• Doelbereikingsevalua es: gericht op het in kaart brengen van de mate waarin de beoogde
doelstellingen zijn gerealiseerd. Duidelijk onderscheid tussen output en outcomes (e ecten).
Het richt zich niet op de maatschappelijke e ecten.
• E ec viteitsevelua es: gericht op de mate waarin beleid de gewenste maatschappelijke
e ecten hee gehad. Duidelijk onderscheid tussen summa eve en forma eve evalua es.
Summa ef: zijn de beoogde doelen/e ecten gerealiseerd? Forma ef: waarom zijn de
gestelde doelstellingen al dan niet behaald?
• E ciency-evalua es: gericht op de evalua e van de (feitelijke of verwachte) kosten die met
de uitvoering van een bepaald beleidsprogramma gemoeid zijn en zet deze kosten af tegen
de baten.
• Procesevalua es: doel om in kaart te brengen hoe de processen die moeten worden
doorlopen om bepaalde doeleinden of e ecten te kunnen realiseren, daadwerkelijk verlopen.
Richt zich met name op de evalua e van de organisa e en het proces van uitvoering.
Evalua es kunnen ook nog een intern of extern karakter hebben. Intern: evalua e wordt binnen de
eigen organisa e uitgevoerd. Dus organisa e die is belast met de uitvoering van het beleid, voert ook
de evalua e uit. Extern: voor de evalua e wordt beroep gedaan op een ona ankelijke en een
gezaghebbende evaluator of groep evaluatoren, om schijn van par jdigheid te vermijden.
Beoordelingscriteria voor beleid:
Ra onele benadering:
• E ec viteit: mate waarin de genomen maatregelen en de ingeze e middelen daadwerkelijk
hebben geleid tot de realisa e van de beoogde doelstellingen (output) of de beoogde
resultaten (outcomes). In hoeverre komende feitelijk resultaten overeen met de beoogde
resultaten? Wat is de bijdrage van een bepaalde maatregel of van een bepaald instrument
aan de resultaten die feitelijk zijn geboekt?
• E ciency: de doelma gheid van het gevoerde beleid. Beleid is e ciënt als de doelstellingen
van het beleid worden gerealiseerd (in termen van baten) tegen de geringste kosten die met
de inzet van bepaalde middelen zijn gemoeid. Beleidsmakers kunnen kosten en baten
toerekenen aan bepaalde handelingen of ac viteiten. Belangrijk om onderscheid te maken
tussen kwan ta eve kosten en baten en kwalita eve kosten en baten.
, • Samenhang: hangt samen met het idee van de overheid als een perfect administra on.
Noodzakelijk dat alles nauwkeurig op elkaar is afgestemd. Beleid moet intern en extern
consistent zijn. Noodzaak van samenhang komt tot uitdrukking in de behoe e om
instrumenten zo te combineren dat er sprake is van een zogenoemde ‘instrumentenmix’.
Poli eke benadering:
• Posi ebehoud en draagvlak: draait om het veiligstellen van de eigen posi e en het
eigenbelang.
Culturele benadering:
• Draagvlak en leervermogen: overeenstemming tussen betrokken belanghebbende par jen.
Beleid is succesvol als het een gemeenschappelijk beeld kan creëren over nut en noodzaak
van een bepaalde aanpak. Communica e is erop gericht een collec ef leerproces te
faciliteren. Draagvlak is een gedeeld beeld van de werkelijkheid.
Ins tu onele benadering:
• Mul ra onaliteit en leervermogen: impliceert het bestaan van meer beoordelingskaders en
logica’s. in de oordeelsvorming moet nadrukkelijk aan de orde komen of beleid werkt, of het
e ec ef en e ciënt is en er interne en externe samenhang is. Stelt ook de vraag naar de
haalbaarheid van beleid.
Evalueren van beleid als proces van oordeelsvorming:
Ra onele benadering: evalua e als e ectme ng. Accent ligt op evalueren als meten. Het meten van
feitelijke resultaten stelt een beleidsvoerder in staat om tot een objec ef oordeel te komen over het
succes van beleid.
• Reconstruc e beleidstheorie: impliciete veronderstellingen moeten expliciet worden
gemaakt om inzicht te krijgen in de door de opsteller van het beleid gevolgde redeneerlijnen.
Daarbij moet worden bedacht dat de mate van samenhang tussen en de wetenschappelijke
onderbouwing van deze causale, nale (doel-middel) en norma eve veronderstellingen vaak
te wensen overlaten.
• Rol van doelstellingen: in hoeverre zijn de o ciële doelstellingen van het beleid een
betrouwbare maatstaf voor het uitspreken van een oordeel over het beleid? Soms zijn er ook
verborgen doelstellingen of doelverschuiving (aangepast aan feitelijke omstandigheden).
• Meten van e ecten: aantal problemen. Het is de vraag of de gemeten e ecten daadwerkelijk
zijn terug te voeren op het gevoerde beleid. Hou rekening met de bijdrage van andere
maatregelen of andere beleidsprogramma’s die bepaalde gewenste e ecten kunnen
versterken of teniet kunnen doen. Ook moet je onderscheid maken tussen beoogde en niet-
beoogde e ecten. Sommige e ecten kunnen op voorhand niet voorzien zijn, maar achteraf
wel zinvol zijn. Ook is termijn waarop bepaalde e ecten zichtbaar worden las g te bepalen.
Ook moeten wetenschappers en beleidsmakers het eens zijn over de betrouwbaarheid van
de in te ze en meetmethoden.
Poli eke benadering: evalua e als draagvlakme ng.
Oordeelsvorming over het proces van oordeelsvorming
Aard van oordeelsvorming: de vragen die hierna worden gesteld, moeten een proces van dialoog en
communica e faciliteren, waardoor overeenstemming kan ontstaan tussen de betrokken par jen. Er
moet ruimte zijn voor een open uitwisseling van ideeën, concepten en kri ek. Deze benadering past
in de culturele en de ra onele benadering van beleid. Cultureel: veel aandacht voor evalua e van
beleid als taalspel. Ra oneel: veel waarde aan kwaliteit van argumenta e.
, Er zijn een aantal discoursen waarop het proces van oordeelsvorming moet plaatsvinden:
• Technisch-analys sche discours: programmaveri ca e. Sterk verwantschap met ra onele
benadering. Gericht op het stellen van aantal technisch-analy sche vragen en het in kaart
brengen van een aantal empirische feiten over de e ecten van het gevoerde beleid. Vooral
mate waarin doelstellingen van beleid e ec ef en e ciënt zijn gerealiseerd.
• Contextuele discours: situa onele valida e. Gaat om de vraag of het betre ende programma
voldoende relevant is voor de speci eke situa e waarvoor het in het leven is geroepen.
• Systeemdiscours: maatschappelijke relevan e. Hee het gevoerde beleid voldoende
toegevoegde waarde voor de samenleving als geheel? Gaat om bepalen of beleid wel
voldoende maatschappelijk relevant is, of de doelstellingen een bepaalde func e vervullen in
de aanpak van een maatschappelijk probleem.
• Ideologische discours: maatschappelijke keuze. Gaat erom of de poli eke waarden die een
programma belichaamt en de afweging die in dit verband is gemaakt, ter discussie worden
gesteld. Manier waarop de samenleving in het licht van bepaalde problemen moet worden
ingericht en welke rol de overheid en het overheidsbeleid hierin dienen te spelen.
Kracht van het model is dat het laat zien dat oordeelsvorming over beleid gaat over de vraag hoe wij
onze samenleving wensen in te richten en welk poli eke waarden daarin een rol spelen.
Kan ekeningen: het hee weinig oog voor de andere kant van poli ek. Er is al jd een strijd tussen
belangen. Ook het oordeel of beleid al dan niet succesvol is, is onderdeel van een bepaalde strijd.
Modellen van doorwerking die iets zeggen over de mate waarin kennisproducten doorwerken in
beleid:
• Push-model: kwaliteit van nieuwe ideeën en inzichten is de belangrijkste determinant voor
de toepassing van kennis in beleid. Onderzoekers zijn de leveranciers van de kennis (de bron),
beleidsmakers zijn de ontvangers van de kennis. Evalua erapport leidt tot besluitvorming
over aanpassen van beleid etc. Kwaliteit van kennis die wordt ingebracht, bepaalt de mate
van doorwerking.
• Demand-pull-model: accent verschui naar gebruikers van aangereikte kennis. Naarmate
evalua erapport meer aansluit op de wensen en behoe en van gebruikers, neemt de kans
op doorwerking toe.
• Verspreidingsmodel: doorwerking staat in verband met de ac viteiten die onderzoekers of
adviseurs zelf ondernemen om de resultaten van hun evalua eonderzoek voor het voetlicht
te brengen. Voldoende verspreiding leidt tot doorwerking. Andere factoren zijn vormgeving,
ming, inhoud en wijze van verspreiding.
• Interac emodel: wordt vooral gekeken naar interac e tussen kennisproducent en
kennisgebruiker. Naarmate interac es langduriger en intensiever zijn, is de kans op
doorwerking groter. Hiermee wordt voorkomen dat er 2 gescheiden werelden met eigen
wensen, belangen, waarden en normen ontstaan.
• Enlightenment-model: kennis is een voedingsbodem voor verandering in de oriënta e van
beleidsmakers. Kennis hee vooral een agenderende func e. doorwerking is las g vast te
stellen.
• Poli ek-argumenta eve model: kennis is ammuni e die par jen gebruiken ter legi ma e
van hun eigen belangen en standpunten, zodat ze in het debat over het beleid sterker staan.
Ze hebben belang bij een argumenta e die gebaseerd is op ‘hun feiten’.
Vormen van doorwerking van kennis in beleid:
Evalua e van beleid hee 2 doelen:
1. Evalueren als voorwaarde voor leren, om de kwaliteit en opbrengsten van het beleid met het
oog op de toekomst te verbeteren
2. Evalueren als voorwaarde om verantwoording af te leggen over de geboekte resultaten.
Ex ante: vooraf. Zijn gericht op het in kaart brengen van de te verwachten haalbaarheid van een
bepaald programma, zodat problemen in de uitvoering kunnen worden voorkomen.
Ex post: achteraf. Zijn gericht op het in kaart brengen van bestaande situa e waarover een oordeel
wordt uitgesproken, op grond van feitelijke resultaten.
Typen evalua es:
• Inputevalua es: gericht op de evalua e van de inspanningen die moeten worden verricht om
bepaalde doelstellingen te realiseren. Gaat meestal om een evalua e van de kwan teit en
kwaliteit van de hulpbronnen die zijn gemobiliseerd, zoals mensen of middelen.
• Doelbereikingsevalua es: gericht op het in kaart brengen van de mate waarin de beoogde
doelstellingen zijn gerealiseerd. Duidelijk onderscheid tussen output en outcomes (e ecten).
Het richt zich niet op de maatschappelijke e ecten.
• E ec viteitsevelua es: gericht op de mate waarin beleid de gewenste maatschappelijke
e ecten hee gehad. Duidelijk onderscheid tussen summa eve en forma eve evalua es.
Summa ef: zijn de beoogde doelen/e ecten gerealiseerd? Forma ef: waarom zijn de
gestelde doelstellingen al dan niet behaald?
• E ciency-evalua es: gericht op de evalua e van de (feitelijke of verwachte) kosten die met
de uitvoering van een bepaald beleidsprogramma gemoeid zijn en zet deze kosten af tegen
de baten.
• Procesevalua es: doel om in kaart te brengen hoe de processen die moeten worden
doorlopen om bepaalde doeleinden of e ecten te kunnen realiseren, daadwerkelijk verlopen.
Richt zich met name op de evalua e van de organisa e en het proces van uitvoering.
Evalua es kunnen ook nog een intern of extern karakter hebben. Intern: evalua e wordt binnen de
eigen organisa e uitgevoerd. Dus organisa e die is belast met de uitvoering van het beleid, voert ook
de evalua e uit. Extern: voor de evalua e wordt beroep gedaan op een ona ankelijke en een
gezaghebbende evaluator of groep evaluatoren, om schijn van par jdigheid te vermijden.
Beoordelingscriteria voor beleid:
Ra onele benadering:
• E ec viteit: mate waarin de genomen maatregelen en de ingeze e middelen daadwerkelijk
hebben geleid tot de realisa e van de beoogde doelstellingen (output) of de beoogde
resultaten (outcomes). In hoeverre komende feitelijk resultaten overeen met de beoogde
resultaten? Wat is de bijdrage van een bepaalde maatregel of van een bepaald instrument
aan de resultaten die feitelijk zijn geboekt?
• E ciency: de doelma gheid van het gevoerde beleid. Beleid is e ciënt als de doelstellingen
van het beleid worden gerealiseerd (in termen van baten) tegen de geringste kosten die met
de inzet van bepaalde middelen zijn gemoeid. Beleidsmakers kunnen kosten en baten
toerekenen aan bepaalde handelingen of ac viteiten. Belangrijk om onderscheid te maken
tussen kwan ta eve kosten en baten en kwalita eve kosten en baten.
, • Samenhang: hangt samen met het idee van de overheid als een perfect administra on.
Noodzakelijk dat alles nauwkeurig op elkaar is afgestemd. Beleid moet intern en extern
consistent zijn. Noodzaak van samenhang komt tot uitdrukking in de behoe e om
instrumenten zo te combineren dat er sprake is van een zogenoemde ‘instrumentenmix’.
Poli eke benadering:
• Posi ebehoud en draagvlak: draait om het veiligstellen van de eigen posi e en het
eigenbelang.
Culturele benadering:
• Draagvlak en leervermogen: overeenstemming tussen betrokken belanghebbende par jen.
Beleid is succesvol als het een gemeenschappelijk beeld kan creëren over nut en noodzaak
van een bepaalde aanpak. Communica e is erop gericht een collec ef leerproces te
faciliteren. Draagvlak is een gedeeld beeld van de werkelijkheid.
Ins tu onele benadering:
• Mul ra onaliteit en leervermogen: impliceert het bestaan van meer beoordelingskaders en
logica’s. in de oordeelsvorming moet nadrukkelijk aan de orde komen of beleid werkt, of het
e ec ef en e ciënt is en er interne en externe samenhang is. Stelt ook de vraag naar de
haalbaarheid van beleid.
Evalueren van beleid als proces van oordeelsvorming:
Ra onele benadering: evalua e als e ectme ng. Accent ligt op evalueren als meten. Het meten van
feitelijke resultaten stelt een beleidsvoerder in staat om tot een objec ef oordeel te komen over het
succes van beleid.
• Reconstruc e beleidstheorie: impliciete veronderstellingen moeten expliciet worden
gemaakt om inzicht te krijgen in de door de opsteller van het beleid gevolgde redeneerlijnen.
Daarbij moet worden bedacht dat de mate van samenhang tussen en de wetenschappelijke
onderbouwing van deze causale, nale (doel-middel) en norma eve veronderstellingen vaak
te wensen overlaten.
• Rol van doelstellingen: in hoeverre zijn de o ciële doelstellingen van het beleid een
betrouwbare maatstaf voor het uitspreken van een oordeel over het beleid? Soms zijn er ook
verborgen doelstellingen of doelverschuiving (aangepast aan feitelijke omstandigheden).
• Meten van e ecten: aantal problemen. Het is de vraag of de gemeten e ecten daadwerkelijk
zijn terug te voeren op het gevoerde beleid. Hou rekening met de bijdrage van andere
maatregelen of andere beleidsprogramma’s die bepaalde gewenste e ecten kunnen
versterken of teniet kunnen doen. Ook moet je onderscheid maken tussen beoogde en niet-
beoogde e ecten. Sommige e ecten kunnen op voorhand niet voorzien zijn, maar achteraf
wel zinvol zijn. Ook is termijn waarop bepaalde e ecten zichtbaar worden las g te bepalen.
Ook moeten wetenschappers en beleidsmakers het eens zijn over de betrouwbaarheid van
de in te ze en meetmethoden.
Poli eke benadering: evalua e als draagvlakme ng.
Oordeelsvorming over het proces van oordeelsvorming
Aard van oordeelsvorming: de vragen die hierna worden gesteld, moeten een proces van dialoog en
communica e faciliteren, waardoor overeenstemming kan ontstaan tussen de betrokken par jen. Er
moet ruimte zijn voor een open uitwisseling van ideeën, concepten en kri ek. Deze benadering past
in de culturele en de ra onele benadering van beleid. Cultureel: veel aandacht voor evalua e van
beleid als taalspel. Ra oneel: veel waarde aan kwaliteit van argumenta e.
, Er zijn een aantal discoursen waarop het proces van oordeelsvorming moet plaatsvinden:
• Technisch-analys sche discours: programmaveri ca e. Sterk verwantschap met ra onele
benadering. Gericht op het stellen van aantal technisch-analy sche vragen en het in kaart
brengen van een aantal empirische feiten over de e ecten van het gevoerde beleid. Vooral
mate waarin doelstellingen van beleid e ec ef en e ciënt zijn gerealiseerd.
• Contextuele discours: situa onele valida e. Gaat om de vraag of het betre ende programma
voldoende relevant is voor de speci eke situa e waarvoor het in het leven is geroepen.
• Systeemdiscours: maatschappelijke relevan e. Hee het gevoerde beleid voldoende
toegevoegde waarde voor de samenleving als geheel? Gaat om bepalen of beleid wel
voldoende maatschappelijk relevant is, of de doelstellingen een bepaalde func e vervullen in
de aanpak van een maatschappelijk probleem.
• Ideologische discours: maatschappelijke keuze. Gaat erom of de poli eke waarden die een
programma belichaamt en de afweging die in dit verband is gemaakt, ter discussie worden
gesteld. Manier waarop de samenleving in het licht van bepaalde problemen moet worden
ingericht en welke rol de overheid en het overheidsbeleid hierin dienen te spelen.
Kracht van het model is dat het laat zien dat oordeelsvorming over beleid gaat over de vraag hoe wij
onze samenleving wensen in te richten en welk poli eke waarden daarin een rol spelen.
Kan ekeningen: het hee weinig oog voor de andere kant van poli ek. Er is al jd een strijd tussen
belangen. Ook het oordeel of beleid al dan niet succesvol is, is onderdeel van een bepaalde strijd.
Modellen van doorwerking die iets zeggen over de mate waarin kennisproducten doorwerken in
beleid:
• Push-model: kwaliteit van nieuwe ideeën en inzichten is de belangrijkste determinant voor
de toepassing van kennis in beleid. Onderzoekers zijn de leveranciers van de kennis (de bron),
beleidsmakers zijn de ontvangers van de kennis. Evalua erapport leidt tot besluitvorming
over aanpassen van beleid etc. Kwaliteit van kennis die wordt ingebracht, bepaalt de mate
van doorwerking.
• Demand-pull-model: accent verschui naar gebruikers van aangereikte kennis. Naarmate
evalua erapport meer aansluit op de wensen en behoe en van gebruikers, neemt de kans
op doorwerking toe.
• Verspreidingsmodel: doorwerking staat in verband met de ac viteiten die onderzoekers of
adviseurs zelf ondernemen om de resultaten van hun evalua eonderzoek voor het voetlicht
te brengen. Voldoende verspreiding leidt tot doorwerking. Andere factoren zijn vormgeving,
ming, inhoud en wijze van verspreiding.
• Interac emodel: wordt vooral gekeken naar interac e tussen kennisproducent en
kennisgebruiker. Naarmate interac es langduriger en intensiever zijn, is de kans op
doorwerking groter. Hiermee wordt voorkomen dat er 2 gescheiden werelden met eigen
wensen, belangen, waarden en normen ontstaan.
• Enlightenment-model: kennis is een voedingsbodem voor verandering in de oriënta e van
beleidsmakers. Kennis hee vooral een agenderende func e. doorwerking is las g vast te
stellen.
• Poli ek-argumenta eve model: kennis is ammuni e die par jen gebruiken ter legi ma e
van hun eigen belangen en standpunten, zodat ze in het debat over het beleid sterker staan.
Ze hebben belang bij een argumenta e die gebaseerd is op ‘hun feiten’.
Vormen van doorwerking van kennis in beleid:
