Samenvatting Beleid III, Bestuurskunde, derdejaarsvak.
Overzicht onderwerpen van de hoorcolleges:
Hoorcollege 1: wat is beleidsevaluatieonderzoek?
Hoorcollege 2: beleid ontleed
Hoorcollege 3: methoden beleidsevaluatie
Hoorcollege 4: falend beleid
Hoorcollege 5: kennis voor beleid
Hoorcollege 6: beleidsverandering
Hoorcollege 7: gastcollege
Hoorcollege 1
Wat is evalueren: evaluatie is het verzamelen, interpreteren en presenteren van informatie
teneinde de waarde van een resultaat of proces te bepalen.
Evaluatie beleid 3 definities
Scriven (1991): refers to the process of determining the merit, worth or value of
something.
Rossi & Freeman (1985): the systematic application of social research procedures in
assessing the conceptualization and design, implementation, and utility of social
intervention programs.
Patton (1997): systematic collection of information about activities, characteristics and
outcomes of programs to make judgements about the program, improve program
effectiveness or inform decisions about future programming.
Deze definities verwijzen allemaal naar het proces van evaluatie, dat wordt toegepast in
verschillende contexten, zoals sociale interventieprogramma's, beleidsmaatregelen, projecten,
enzovoort.
1. Scriven (1991) definieert evaluatie als het proces van het bepalen van de verdienste,
waarde of het belang van iets. Met andere woorden, het gaat erom te beoordelen hoe goed
iets presteert, welke waarde het toevoegt, of het de gestelde doelen bereikt, enzovoort.
2. Rossi & Freeman (1985) beschrijven evaluatie als de systematische toepassing van sociale
onderzoeksprocedures om de conceptuele uitwerking en ontwerp, uitvoering en
bruikbaarheid van sociale interventieprogramma's te beoordelen. Hierbij gaat het om het
nauwgezet beoordelen van alle aspecten van een programma, vanaf de planning ervan tot
aan de uitvoering en impact.
3. Patton (1997) omschrijft evaluatie als het systematisch verzamelen van informatie over de
activiteiten, kenmerken en resultaten van programma's om oordelen te vellen over het
programma, de effectiviteit ervan te verbeteren of beslissingen te informeren over
toekomstige programma's. Dit omvat het verzamelen van gegevens om te bepalen of een
programma zijn doelstellingen heeft bereikt, wat de sterke en zwakke punten ervan zijn,
en hoe het kan worden verbeterd.
Beleidsevaluatie: 3 dimensies
, 1. Informeren – kennisdimensie: evaluatie
Inzicht in inhoud, proces en effecten.
Kennis en info verzamelen van het beleid en de uitvoering ervan.
2. Beoordelen - waardedimensie: verantwoording
Beoordelingskader, criteria om het beleid te evalueren.
Beoordelen
3. Leren – gebruikersdimensie: beleidsleren
Benutting, verandering
Lessen – leren vanuit evaluatie.
Wat wordt geëvalueerd?
Beoordeel inhoud, processen of effecten van beleid.
Waarom evalueren?
Evaluatieonderzoek moet antwoord geven op vragen als:
Wat werkt wel en wat niet?
o Doet het beleid wat was beoogd?
o In welke mate, met welk effect en tegen een aanvaardbare prijs?
o Waarom werkt het wel of juist niet?
Doel:
1. Om te kunnen leren van meer en minder geslaagd beleid.
2. Onmisbaar voor democratische controle en verantwoording.
o Het stelt beleidsmakers in staat om verantwoording af te leggen aan het publiek.
Voor wie evalueren we?
1. Voor bestuurders die beslissen of het beleid moet worden gecontinueerd.
2. Voor overheidsmanagers
3. Voor uitvoerders
4. Voor het parlement
5. Voor burgers en belangengroepen (die krijgen uiteindelijk te maken met het beleid).
Wie evalueert?
1. Beleidsvoerders
2. Het parlement
3. Rekenkamers
4. Adviesorganen
5. Belangengroepen
6. Media
7. Internationale organen
8. Wetenschap
Externe of interne evaluatie?
Laten we het onderzoek doen door mensen binnen of buiten de organisatie staan?
,Intern onderzoek voordelen: mensen die intern binnen de organisatie ze zitten hebben meer
kennis, ervaring en vertrouwen erin.
Nadeel: ze staan niet buiten het proces.
Extern onderzoek voordelen: mensen hebben meer expertise, zijn geloofwaardiger en het is
objectief en onafhankelijk onderzoek.
Nadeel: weinig interne kennis, duur, vertrouwen opbouwen, niet passende oplossing, verlengstuk
management.
En wat is nu beter? Onafhankelijk onderzoek - doe het extern. Mensen hebben iets meer afstand
en zijn meer in staat iets hardere oordelen te stellen en iets feller kunnen zijn. Ze kunnen meer
zorgen dat bepaalde oplossingen echt gehoord worden. Extern
Hoe verkrijgen we informatie/kennis over beleid?
o Trial en error: ervaringen
o Proberen en fouten maken
o Nadeel: niet heel systematisch
o Evidence based: onderzoek
o Op basis van het beste bewijsmateriaal (evidence).
o Wetenschappelijke manier
Via wetenschappelijk onderzoek
o Het op systematische en transparante wijze ontwikkelen van een antwoord op een van
tevoren gestelde vraag.
o Volgens een aantal methoden en technieken van onderzoek.
o Dat voldoet aan een aantal kwaliteitscriteria van onderzoek (onafhankelijkheid,
toetsbaarheid, betrouwbaarheid, informativiteit, generaliseerbaarheid, validiteit).
Trial en error (proberen en fouten maken): Dit houdt in dat beleidsmakers experimenteren met
verschillende benaderingen om een probleem aan te pakken en vervolgens leren van de
resultaten van deze experimenten. Door te observeren wat werkt en wat niet werkt in de praktijk,
kunnen beleidsmakers hun aanpak aanpassen en verbeteren. Het nadeel van deze benadering is
dat het niet altijd systematisch is en dat het kan leiden tot verspilling van middelen als gevolg
van mislukkingen.
Evidence-based (op bewijs gebaseerd): Dit omvat het gebruik van wetenschappelijke
onderzoeksmethoden om beleidsmaatregelen te ontwikkelen en te evalueren op basis van het
beste beschikbare bewijsmateriaal. Dit kan verschillende vormen aannemen, zoals experimenten,
case studies, surveys en meta-analyses. Door beleid te baseren op empirisch onderzoek, wordt
gestreefd naar een meer doelgerichte en effectieve aanpak, omdat beslissingen worden genomen
op basis van betrouwbare en objectieve informatie.
Empirische cyclus: to prove
, o Produceren van kennis door te bewijzen.
o Bewijs is om aan te tonen dat theorie klopt of levensvatbaar is.
o Testen van hypothesen en vergaren van empirisch bewijs hiervoor.
o Inductief -> nieuwe theorie wordt gevormd (genereren van nieuwe kennis).
o Van bijzondere naar het algemene -> van observaties naar conclusies.
Regulatieve cyclus: to improve
o Gericht op verbeteren van kennis en praktijken door te leren en aan te passen.
o Deductief. -> Verbeteren al bestaande theorie, beter maken. Om de waarde van beleid te
verhogen -> praktijkgericht onderzoek.
o Reflecteren, evalueren en aanpassingen doen.
o Zowel inductief als deductief van toepassing.
o Er is een probleem in de samenleving, we proberen aan te gaven waardoor het komt, we
maken beleid en plan, we interveniëren als overheid en kijken of het werkt, we evalueren
o Adviezen geven
Wat is beleidsevaluatieonderzoek?
Evaluatie: iets op waarde schatten, een beoordeling van verschijnsel a.d.h.v. bepaalde
criteria.
Beleidsevaluatie: het beoordelen van de inhoud, processen of effecten van beleid,
o Praktijkonderzoek
Evaluatieonderzoek: het zoeken van informatie via de wetenschappelijke methoden,
onderzoek met het oog op evaluatie.
Hoorcollege 2: beleid ontleed
Terugblik op week 1: wat is beleidsevaluatieonderzoek?
o Evaluatie: iets op waarde schatten. Een beoordeling van verschijnsel aan de hand van
bepaalde criteria.
Overzicht onderwerpen van de hoorcolleges:
Hoorcollege 1: wat is beleidsevaluatieonderzoek?
Hoorcollege 2: beleid ontleed
Hoorcollege 3: methoden beleidsevaluatie
Hoorcollege 4: falend beleid
Hoorcollege 5: kennis voor beleid
Hoorcollege 6: beleidsverandering
Hoorcollege 7: gastcollege
Hoorcollege 1
Wat is evalueren: evaluatie is het verzamelen, interpreteren en presenteren van informatie
teneinde de waarde van een resultaat of proces te bepalen.
Evaluatie beleid 3 definities
Scriven (1991): refers to the process of determining the merit, worth or value of
something.
Rossi & Freeman (1985): the systematic application of social research procedures in
assessing the conceptualization and design, implementation, and utility of social
intervention programs.
Patton (1997): systematic collection of information about activities, characteristics and
outcomes of programs to make judgements about the program, improve program
effectiveness or inform decisions about future programming.
Deze definities verwijzen allemaal naar het proces van evaluatie, dat wordt toegepast in
verschillende contexten, zoals sociale interventieprogramma's, beleidsmaatregelen, projecten,
enzovoort.
1. Scriven (1991) definieert evaluatie als het proces van het bepalen van de verdienste,
waarde of het belang van iets. Met andere woorden, het gaat erom te beoordelen hoe goed
iets presteert, welke waarde het toevoegt, of het de gestelde doelen bereikt, enzovoort.
2. Rossi & Freeman (1985) beschrijven evaluatie als de systematische toepassing van sociale
onderzoeksprocedures om de conceptuele uitwerking en ontwerp, uitvoering en
bruikbaarheid van sociale interventieprogramma's te beoordelen. Hierbij gaat het om het
nauwgezet beoordelen van alle aspecten van een programma, vanaf de planning ervan tot
aan de uitvoering en impact.
3. Patton (1997) omschrijft evaluatie als het systematisch verzamelen van informatie over de
activiteiten, kenmerken en resultaten van programma's om oordelen te vellen over het
programma, de effectiviteit ervan te verbeteren of beslissingen te informeren over
toekomstige programma's. Dit omvat het verzamelen van gegevens om te bepalen of een
programma zijn doelstellingen heeft bereikt, wat de sterke en zwakke punten ervan zijn,
en hoe het kan worden verbeterd.
Beleidsevaluatie: 3 dimensies
, 1. Informeren – kennisdimensie: evaluatie
Inzicht in inhoud, proces en effecten.
Kennis en info verzamelen van het beleid en de uitvoering ervan.
2. Beoordelen - waardedimensie: verantwoording
Beoordelingskader, criteria om het beleid te evalueren.
Beoordelen
3. Leren – gebruikersdimensie: beleidsleren
Benutting, verandering
Lessen – leren vanuit evaluatie.
Wat wordt geëvalueerd?
Beoordeel inhoud, processen of effecten van beleid.
Waarom evalueren?
Evaluatieonderzoek moet antwoord geven op vragen als:
Wat werkt wel en wat niet?
o Doet het beleid wat was beoogd?
o In welke mate, met welk effect en tegen een aanvaardbare prijs?
o Waarom werkt het wel of juist niet?
Doel:
1. Om te kunnen leren van meer en minder geslaagd beleid.
2. Onmisbaar voor democratische controle en verantwoording.
o Het stelt beleidsmakers in staat om verantwoording af te leggen aan het publiek.
Voor wie evalueren we?
1. Voor bestuurders die beslissen of het beleid moet worden gecontinueerd.
2. Voor overheidsmanagers
3. Voor uitvoerders
4. Voor het parlement
5. Voor burgers en belangengroepen (die krijgen uiteindelijk te maken met het beleid).
Wie evalueert?
1. Beleidsvoerders
2. Het parlement
3. Rekenkamers
4. Adviesorganen
5. Belangengroepen
6. Media
7. Internationale organen
8. Wetenschap
Externe of interne evaluatie?
Laten we het onderzoek doen door mensen binnen of buiten de organisatie staan?
,Intern onderzoek voordelen: mensen die intern binnen de organisatie ze zitten hebben meer
kennis, ervaring en vertrouwen erin.
Nadeel: ze staan niet buiten het proces.
Extern onderzoek voordelen: mensen hebben meer expertise, zijn geloofwaardiger en het is
objectief en onafhankelijk onderzoek.
Nadeel: weinig interne kennis, duur, vertrouwen opbouwen, niet passende oplossing, verlengstuk
management.
En wat is nu beter? Onafhankelijk onderzoek - doe het extern. Mensen hebben iets meer afstand
en zijn meer in staat iets hardere oordelen te stellen en iets feller kunnen zijn. Ze kunnen meer
zorgen dat bepaalde oplossingen echt gehoord worden. Extern
Hoe verkrijgen we informatie/kennis over beleid?
o Trial en error: ervaringen
o Proberen en fouten maken
o Nadeel: niet heel systematisch
o Evidence based: onderzoek
o Op basis van het beste bewijsmateriaal (evidence).
o Wetenschappelijke manier
Via wetenschappelijk onderzoek
o Het op systematische en transparante wijze ontwikkelen van een antwoord op een van
tevoren gestelde vraag.
o Volgens een aantal methoden en technieken van onderzoek.
o Dat voldoet aan een aantal kwaliteitscriteria van onderzoek (onafhankelijkheid,
toetsbaarheid, betrouwbaarheid, informativiteit, generaliseerbaarheid, validiteit).
Trial en error (proberen en fouten maken): Dit houdt in dat beleidsmakers experimenteren met
verschillende benaderingen om een probleem aan te pakken en vervolgens leren van de
resultaten van deze experimenten. Door te observeren wat werkt en wat niet werkt in de praktijk,
kunnen beleidsmakers hun aanpak aanpassen en verbeteren. Het nadeel van deze benadering is
dat het niet altijd systematisch is en dat het kan leiden tot verspilling van middelen als gevolg
van mislukkingen.
Evidence-based (op bewijs gebaseerd): Dit omvat het gebruik van wetenschappelijke
onderzoeksmethoden om beleidsmaatregelen te ontwikkelen en te evalueren op basis van het
beste beschikbare bewijsmateriaal. Dit kan verschillende vormen aannemen, zoals experimenten,
case studies, surveys en meta-analyses. Door beleid te baseren op empirisch onderzoek, wordt
gestreefd naar een meer doelgerichte en effectieve aanpak, omdat beslissingen worden genomen
op basis van betrouwbare en objectieve informatie.
Empirische cyclus: to prove
, o Produceren van kennis door te bewijzen.
o Bewijs is om aan te tonen dat theorie klopt of levensvatbaar is.
o Testen van hypothesen en vergaren van empirisch bewijs hiervoor.
o Inductief -> nieuwe theorie wordt gevormd (genereren van nieuwe kennis).
o Van bijzondere naar het algemene -> van observaties naar conclusies.
Regulatieve cyclus: to improve
o Gericht op verbeteren van kennis en praktijken door te leren en aan te passen.
o Deductief. -> Verbeteren al bestaande theorie, beter maken. Om de waarde van beleid te
verhogen -> praktijkgericht onderzoek.
o Reflecteren, evalueren en aanpassingen doen.
o Zowel inductief als deductief van toepassing.
o Er is een probleem in de samenleving, we proberen aan te gaven waardoor het komt, we
maken beleid en plan, we interveniëren als overheid en kijken of het werkt, we evalueren
o Adviezen geven
Wat is beleidsevaluatieonderzoek?
Evaluatie: iets op waarde schatten, een beoordeling van verschijnsel a.d.h.v. bepaalde
criteria.
Beleidsevaluatie: het beoordelen van de inhoud, processen of effecten van beleid,
o Praktijkonderzoek
Evaluatieonderzoek: het zoeken van informatie via de wetenschappelijke methoden,
onderzoek met het oog op evaluatie.
Hoorcollege 2: beleid ontleed
Terugblik op week 1: wat is beleidsevaluatieonderzoek?
o Evaluatie: iets op waarde schatten. Een beoordeling van verschijnsel aan de hand van
bepaalde criteria.
