Samenvatting Methods and Techniques for
Evaluation-Research
- Samenvatting Evaluation a Systematic Approach
(8de editie, 2019).
- Samenvatting Experimental and Quasi-Experimental Designs for
Generalized Causal Inference.
,Evaluation a Systematic Approach
HOOFDSTUK 1 WHAT IS PROGRAM EVALUATION AND WHY IS IT NEEDED?
Programma evaluatie = programma’s moeten geavaleerd worden om te zien of goede resultaten
behaald worden. Een bestaand programma kan aangepast worden of er wordt iets nieuw opgezet.
Het bepalen hiervan wordt programma evaluatie genoemd.
“Het gebruik van sociaalwetenschappelijke onderzoeksmethoden om systematisch de effectiviteit
van sociale interventieprogramma's te onderzoeken, op manieren die zijn aangepast aan hun
politieke en organisatorische omgevingen en die zijn ontworpen om sociale actie te informeren met
het doel om sociale omstandigheden te verbeteren.”
- Sociaalwetenschappelijke onderzoeksmethoden: verzamelen, analyseren en interpreteren
van bewijs. Het moet geloofwaardig en verdedigbaar zijn en aangepast worden aan de
omstandigheden van het programma.
- Effectiviteit: uiteindelijke bijdrage aan de maatschappij van het programma.
- Politieke en organisatorische omgevingen: wie vraagt evaluatie aan? Sponsors, stakeholders
(individuen of organisaties met interesse in het programma)?
- Sociale actie informeren: beslissing makers, gaan we door met het programma of niet?
Als programma-evaluatie tot geldige conclusies wil komen over de prestaties van een programma,
moeten systematische methoden worden gebruikt die zijn gestructureerd om vertekening zoveel
mogelijk te vermijden. Je kunt dus moeilijk mensen vragen die meegedaan hebben aan het
programma of de programma aanbieders; ze neigen dingen te zien die er niet zijn (bevestigingbias).
Daarnaast is elk programma anders, waardoor andere vragen nodig zijn tijdens de evaluatie.
Soorten evaluatie:
- Formatieve evaluatie: doel hiervan is het programma helpen vormen of bij te sturen om
beter te presteren. Hierbij werken verschillende mensen samen en wordt er gekeken naar
verschillende aspecten, zoals: de impact van het programma, kosten, het gebruik ervan door
de doelpopulatie etc.
- Summatieve evaluatie: evaluatie om te bepalen of aan bepaalde verwachtingen voldaan
wordt en het efficiënt en effectief ingezet wordt (gunstige bijdragen voor de samenleving,
zoals belastinggeld).
- Onafhankelijke evaluatie: de evaluator kan de evaluatie autonoom leiden en is primair
verantwoordelijk.
- Samenwerkende evaluatie: evaluator samen met stakeholders maken beslissingen.
Elk programma kent verschillende individuen en groepen die samenwerken aan het programma:
- Beslissing makers: verantwoordelijk voor de beslissingen of het programma doorgaat, stopt,
herstructureerd wordt.
- Programma sponsors: personen met verantwoordelijke posities in de overheid of andere
organisaties die het programma initiëren en financieren.
- Evaluatie sponsors: kan hetzelfde zijn als programma sponsors.
- Doel deelnemers: mensen die de geëvalueerde interventies ontvangen.
- Programma managers: personeel verantwoordelijk voor toezicht op het programma.
, - Programma personeel: personeel verantwoordelijk voor het leveren van
programmadiensten.
- Programma concurrenten: organisaties die die concurreren met het programma.
- Contextuele stakeholders: organisaties/groepen/individuen in de omgeving van het
programma met interesse met wat er gebeurt in het programma.
- Evaluatie en onderzoek community: professionals die evaluaties lezen en beoordelen.
De vijf domeinen van evaluatie vragen en methoden
1. Need for the program: het gaat erom waarom een
interventie/programma nodig is (wordt vaak vergeten).
Wat is de aard van het probleem?
Wie worden erdoor getroffen? En hoe worden ze getroffen?
2. Program theory and design: het gaat om hoe het programma moet
werken om beoogde effecten te bereiken (design).
Zal het programma, zoals bedoeld, het sociale probleem
oplossen?
Zijn de doelen van het programma goed gedefinieerd?
Zijn alle functies van het programma juist omschreven?
Theory failure: wanneer het design niet werkt om de uitkomsten te bereiken.
3. Program process: de implementatie moet juist gebeuren.
Bereikt de interventie de doelgroep?
Wordt de interventie op de beoogde manier uitgevoerd?
Worden de beoogde diensten geleverd?
4. Program impact: er wordt gekeken of de behaalde resultaten beïnvloedt zijn.
Is de interventie effectief in het behalen van de beoogde doelen?
Heeft de interventie bijwerkingen?
Implementation failure: wanneer de effecten van het programma nul zijn.
5. Program cost-efficiency: het vinden van positieve effecten is onvoldoende, ook moet er
gekeken worden naar andere aspecten zoals de kosten.
Zijn de kosten van de interventie redelijke in vergelijking met de effectiviteit?
Zijn vergelijkbare interventies even duur of goedkoper?
Je begint onderaan in de piramide en werkt naar boven toe. Elke set aan vragen baseert zich op de
antwoorden van eerdere vragen uit de piramide.
Aanvulling vanuit college
Inherent conflict in evaluatieonderzoek tussen praktijk en wetenschap.
Organisatorische eisen van een Vereisten voor systematisch
sociaal programma dat zich Evaluatie vragen onderzoek en
toelegt op het leveren van en ontwerpen gegevensverzameling in verband
diensten en in stand houden met sociaal onderzoek.
van routines
Creëer een experimenterende “A good evaluation design is Evaluatie als kunst in plaats van
samenleving door rigoureuze one that fits the wetenschap. Evaluatie gericht op
circumstances while het voldoen aan de behoeften van
methoden uit de sociale
yielding credible and useful
wetenschappen te implementeren de belanghebbenden van het
answers to the questions”
(Cambell). programma (Cronbach).
, HOOFDSTUK 2 SOCIAL PROBLEMS AND ASSESSING THE NEED FOR A PROGRAM
THE ROLE OF EVALUATORS IN DIAGNOSING SOCIAL CONDITIONS AND SERVICE
NEEDS
Evaluatoren hebben geen belangrijke rol in het identificeren van sociale problemen en de motivatie
om deze aan te pakken. Ze leveren een belangrijke rol in het toepassen van onderzoekstechnieken
om de geschiktheid vast te stellen van interventies.
Programma’s kunnen op veel verschillende manieren vormgegeven worden, zoals door politieke
druk of observaties. Het is dan belangrijk dat de aard, omvang, doelpopulatie, relevante kenmerken
en de context waarin het programma opereert duidelijk zijn (behoeftes). Dit helpt voorkomen dat
onnodige programma’s worden ontworpen en geïmplementeerd worden. Met de behoefte worden
namelijk de onderliggende omstandigheden aangepakt.
Een voorbeeld waarbij bovenstaande niet van toepassing is: een programma dat anticonceptie
aanbiedt, alleen bieden ze de minder effectieve varianten aan vanwege hoge kosten.
Een evaluator moet dus ook de aannames over de aard van het sociale probleem en de doelgroep
ervan in kaart brengen om zo de behoefte in kaart te brengen. Dit kan door evaluatie van nieuwe
programma’s, maar ook van al bestaande programma’s.
DEFINING THE PROBLEM TO BE ADDRESSED
De vraag wat een maatschappelijk probleem is blijft een discussie tussen filosofen, wetenschappers
en sociologen. Het blijft moeilijk te bepalen wat een behoefte is en wat bijvoorbeeld een wens is.
Alegemeen wordt aangenomen dat armoede een maatschappelijk probleem is. Dit is de zien aan
nationale statistieken (geeft alleen aan hoe vaak iets voorkomt). Er is alleen niet een bepaalde grens
om te zeggen wanneer iets armoedig is. Hierdoor kunnen programma’s om armoede te bestrijden
sterk van elkaar verschillen.
Verder zijn maatschappelijke problemen niet altijd zichtbaar, zoals pesten, waardoor het lastig wordt
om deze problemen te kunnen aanpakken.
De drie fasen van needs assessment:
1. Preassessment:
a. Het probleem op een verkennende manier onderzoeken; wat is het probleem?
geografisch gebied; in welke stad/provincie/dorp ligt het probleem.
b. Identificeer de belangrijkste belanghebbenden en vorm een werkgroep.
c. Identificeer het verschil tussen de gewenste uitkomsten en de omstandigheden op
dit moment.
d. Communiceer het bewijs.
e. Maak beslissingen en neem vervolgstappen.
Doel: georganiseerd worden en vaststellen wat bekend is.
2. Assessment
a. Oriëntatie van het onderzoek.
b. Plan data collectie, welke data is nodig?
Evaluation-Research
- Samenvatting Evaluation a Systematic Approach
(8de editie, 2019).
- Samenvatting Experimental and Quasi-Experimental Designs for
Generalized Causal Inference.
,Evaluation a Systematic Approach
HOOFDSTUK 1 WHAT IS PROGRAM EVALUATION AND WHY IS IT NEEDED?
Programma evaluatie = programma’s moeten geavaleerd worden om te zien of goede resultaten
behaald worden. Een bestaand programma kan aangepast worden of er wordt iets nieuw opgezet.
Het bepalen hiervan wordt programma evaluatie genoemd.
“Het gebruik van sociaalwetenschappelijke onderzoeksmethoden om systematisch de effectiviteit
van sociale interventieprogramma's te onderzoeken, op manieren die zijn aangepast aan hun
politieke en organisatorische omgevingen en die zijn ontworpen om sociale actie te informeren met
het doel om sociale omstandigheden te verbeteren.”
- Sociaalwetenschappelijke onderzoeksmethoden: verzamelen, analyseren en interpreteren
van bewijs. Het moet geloofwaardig en verdedigbaar zijn en aangepast worden aan de
omstandigheden van het programma.
- Effectiviteit: uiteindelijke bijdrage aan de maatschappij van het programma.
- Politieke en organisatorische omgevingen: wie vraagt evaluatie aan? Sponsors, stakeholders
(individuen of organisaties met interesse in het programma)?
- Sociale actie informeren: beslissing makers, gaan we door met het programma of niet?
Als programma-evaluatie tot geldige conclusies wil komen over de prestaties van een programma,
moeten systematische methoden worden gebruikt die zijn gestructureerd om vertekening zoveel
mogelijk te vermijden. Je kunt dus moeilijk mensen vragen die meegedaan hebben aan het
programma of de programma aanbieders; ze neigen dingen te zien die er niet zijn (bevestigingbias).
Daarnaast is elk programma anders, waardoor andere vragen nodig zijn tijdens de evaluatie.
Soorten evaluatie:
- Formatieve evaluatie: doel hiervan is het programma helpen vormen of bij te sturen om
beter te presteren. Hierbij werken verschillende mensen samen en wordt er gekeken naar
verschillende aspecten, zoals: de impact van het programma, kosten, het gebruik ervan door
de doelpopulatie etc.
- Summatieve evaluatie: evaluatie om te bepalen of aan bepaalde verwachtingen voldaan
wordt en het efficiënt en effectief ingezet wordt (gunstige bijdragen voor de samenleving,
zoals belastinggeld).
- Onafhankelijke evaluatie: de evaluator kan de evaluatie autonoom leiden en is primair
verantwoordelijk.
- Samenwerkende evaluatie: evaluator samen met stakeholders maken beslissingen.
Elk programma kent verschillende individuen en groepen die samenwerken aan het programma:
- Beslissing makers: verantwoordelijk voor de beslissingen of het programma doorgaat, stopt,
herstructureerd wordt.
- Programma sponsors: personen met verantwoordelijke posities in de overheid of andere
organisaties die het programma initiëren en financieren.
- Evaluatie sponsors: kan hetzelfde zijn als programma sponsors.
- Doel deelnemers: mensen die de geëvalueerde interventies ontvangen.
- Programma managers: personeel verantwoordelijk voor toezicht op het programma.
, - Programma personeel: personeel verantwoordelijk voor het leveren van
programmadiensten.
- Programma concurrenten: organisaties die die concurreren met het programma.
- Contextuele stakeholders: organisaties/groepen/individuen in de omgeving van het
programma met interesse met wat er gebeurt in het programma.
- Evaluatie en onderzoek community: professionals die evaluaties lezen en beoordelen.
De vijf domeinen van evaluatie vragen en methoden
1. Need for the program: het gaat erom waarom een
interventie/programma nodig is (wordt vaak vergeten).
Wat is de aard van het probleem?
Wie worden erdoor getroffen? En hoe worden ze getroffen?
2. Program theory and design: het gaat om hoe het programma moet
werken om beoogde effecten te bereiken (design).
Zal het programma, zoals bedoeld, het sociale probleem
oplossen?
Zijn de doelen van het programma goed gedefinieerd?
Zijn alle functies van het programma juist omschreven?
Theory failure: wanneer het design niet werkt om de uitkomsten te bereiken.
3. Program process: de implementatie moet juist gebeuren.
Bereikt de interventie de doelgroep?
Wordt de interventie op de beoogde manier uitgevoerd?
Worden de beoogde diensten geleverd?
4. Program impact: er wordt gekeken of de behaalde resultaten beïnvloedt zijn.
Is de interventie effectief in het behalen van de beoogde doelen?
Heeft de interventie bijwerkingen?
Implementation failure: wanneer de effecten van het programma nul zijn.
5. Program cost-efficiency: het vinden van positieve effecten is onvoldoende, ook moet er
gekeken worden naar andere aspecten zoals de kosten.
Zijn de kosten van de interventie redelijke in vergelijking met de effectiviteit?
Zijn vergelijkbare interventies even duur of goedkoper?
Je begint onderaan in de piramide en werkt naar boven toe. Elke set aan vragen baseert zich op de
antwoorden van eerdere vragen uit de piramide.
Aanvulling vanuit college
Inherent conflict in evaluatieonderzoek tussen praktijk en wetenschap.
Organisatorische eisen van een Vereisten voor systematisch
sociaal programma dat zich Evaluatie vragen onderzoek en
toelegt op het leveren van en ontwerpen gegevensverzameling in verband
diensten en in stand houden met sociaal onderzoek.
van routines
Creëer een experimenterende “A good evaluation design is Evaluatie als kunst in plaats van
samenleving door rigoureuze one that fits the wetenschap. Evaluatie gericht op
circumstances while het voldoen aan de behoeften van
methoden uit de sociale
yielding credible and useful
wetenschappen te implementeren de belanghebbenden van het
answers to the questions”
(Cambell). programma (Cronbach).
, HOOFDSTUK 2 SOCIAL PROBLEMS AND ASSESSING THE NEED FOR A PROGRAM
THE ROLE OF EVALUATORS IN DIAGNOSING SOCIAL CONDITIONS AND SERVICE
NEEDS
Evaluatoren hebben geen belangrijke rol in het identificeren van sociale problemen en de motivatie
om deze aan te pakken. Ze leveren een belangrijke rol in het toepassen van onderzoekstechnieken
om de geschiktheid vast te stellen van interventies.
Programma’s kunnen op veel verschillende manieren vormgegeven worden, zoals door politieke
druk of observaties. Het is dan belangrijk dat de aard, omvang, doelpopulatie, relevante kenmerken
en de context waarin het programma opereert duidelijk zijn (behoeftes). Dit helpt voorkomen dat
onnodige programma’s worden ontworpen en geïmplementeerd worden. Met de behoefte worden
namelijk de onderliggende omstandigheden aangepakt.
Een voorbeeld waarbij bovenstaande niet van toepassing is: een programma dat anticonceptie
aanbiedt, alleen bieden ze de minder effectieve varianten aan vanwege hoge kosten.
Een evaluator moet dus ook de aannames over de aard van het sociale probleem en de doelgroep
ervan in kaart brengen om zo de behoefte in kaart te brengen. Dit kan door evaluatie van nieuwe
programma’s, maar ook van al bestaande programma’s.
DEFINING THE PROBLEM TO BE ADDRESSED
De vraag wat een maatschappelijk probleem is blijft een discussie tussen filosofen, wetenschappers
en sociologen. Het blijft moeilijk te bepalen wat een behoefte is en wat bijvoorbeeld een wens is.
Alegemeen wordt aangenomen dat armoede een maatschappelijk probleem is. Dit is de zien aan
nationale statistieken (geeft alleen aan hoe vaak iets voorkomt). Er is alleen niet een bepaalde grens
om te zeggen wanneer iets armoedig is. Hierdoor kunnen programma’s om armoede te bestrijden
sterk van elkaar verschillen.
Verder zijn maatschappelijke problemen niet altijd zichtbaar, zoals pesten, waardoor het lastig wordt
om deze problemen te kunnen aanpakken.
De drie fasen van needs assessment:
1. Preassessment:
a. Het probleem op een verkennende manier onderzoeken; wat is het probleem?
geografisch gebied; in welke stad/provincie/dorp ligt het probleem.
b. Identificeer de belangrijkste belanghebbenden en vorm een werkgroep.
c. Identificeer het verschil tussen de gewenste uitkomsten en de omstandigheden op
dit moment.
d. Communiceer het bewijs.
e. Maak beslissingen en neem vervolgstappen.
Doel: georganiseerd worden en vaststellen wat bekend is.
2. Assessment
a. Oriëntatie van het onderzoek.
b. Plan data collectie, welke data is nodig?
