Literatuur Methods and techniques for evaluation research
Alle schuingedrukte Engelse begrippen zijn dikgedrukte begrippen in de literatuur.
Inhoud
Rossi, Lipsey & Henry H1: What Is Program Evaluation and Why Is It Needed?........................................................2
Rossi, Lipsey & Henry H2: Social Problems and Assessing the Need for a Program.................................................5
Rossi, Lipsey & Henry H3: Assessing Program Theory and Design.................................................................................8
Rossi, Lipsey & Henry H4: Assessing Program Process and Implementation...........................................................12
Rossi, Lipsey & Henry H5: Measuring and Monitoring Program Outcomes..............................................................15
Rossi, Lipsey & Henry H6: Impact Evaluation. Isolating the Effects of Social Programs in the Real World. .18
Rossi, Lipsey & Henry H7: Impact Evaluation. Comparison Group Designs..............................................................19
Rossi, Lipsey & Henry H11: Planning an Evaluation........................................................................................................... 23
Rossi, Lipsey & Henry H12: The Social and Political Context of Evaluation..............................................................27
Shadish, Cook & Campbell H1: Experiments and Generalized Causal Inference......................................................30
Shadish, Cook & Campbell H2: Statistical Conclusion Validity and Internal Validity.............................................35
Shadish, Cook & Campbell H3: Construct Validity and External Validity....................................................................39
Shadish, Cook & Campbell H4: Quasi-Experimental Designs That Either Lack a Control Group or Lack
Pretest Observations on the Outcome...................................................................................................................................... 45
Shadish, Cook & Campbell H5: Quasi-Experimental Designs That Use Both Control Groups and Pretests...51
Shadish, Cook & Campbell H6: Quasi-Experiments: Interrupted Time-Series Designs.........................................56
Shadish, Cook & Campbell H8: Randomized Experiments: Rationale, Designs, and Conditions Conducive to
Doing Them......................................................................................................................................................................................... 59
, 2
Rossi, Lipsey & Henry H1: What Is Program Evaluation and Why Is It Needed?
What Is Program Evaluation?
Program evaluation: systematische beoordeling van programma’s die ontwikkeld zijn om
(sociale) omstandigheden en ons individuele en collectieve welzijn te verbeteren.
o Richt zich op relevante uitkomsten, maar ook mogelijk op behoefte aan een programma,
design, werking, efficiency.
Why is Program Evaluation Needed?
Goede intenties en intuïtief logische interventies ≠ betere uitkomsten.
Goede implementatie nodig voor positieve uitkomsten.
Negatieve bijwerkingen mogelijk.
Kosten kunnen te hoog zijn om het programma duurzaam aan te bieden/goedkopere opties
mogelijk.
Why Systematic Evaluation?
Meerdere uitdagingen in evaluatie die vragen om een systematische aanpak:
o Relativiteit van programma-effecten: verbetering kan ook natuurlijk ontstaan kan
leiden tot overdrijven van programma-effecten daarom vergelijken met uitkomsten
zonder het programma.
Deelnemers vragen geeft geen accurate beoordeling, aanbieders vragen geeft
risico op confirmation bias.
Systematic Program Evaluation
Program evaluation: sociale onderzoekmethoden toepassen om systematisch de effectiviteit van
sociale interventieprogramma’s te onderzoeken die zijn aangepast aan de politieke en
organisatorische context en die zijn ontwikkeld om te zorgen voor sociale actie die leidt tot
verbetering van sociale omstandigheden.
Application of Social Research Methods
Valide omschrijving van programmawerking opstellen waarmee je het met de criteria kunt
vergelijken.
Social research methods: ontwikkeld om feitelijke omschrijvingen van sociale fenomenen te geven
kan dus goed programmawerking op geloofwaardige en verdedigbare manier beschrijven.
o Juiste (combinatie van) onderzoeksmethode(n) kiezen voor evaluatie en blijven
innoveren.
The Effectiveness of Social Programs
Sociale programma’s zijn gericht op verbetering van sociale problemen of omstandigheden.
Vijf domeinen van evaluatie: behoefte aan het programma; design en theorie; implementatie en
servicelevering; uitkomsten en impact; efficiëntie.
Adapting to the Political and Organizational Context
Programmaevaluatie moet aangepast worden aan het specifieke programma en de
omstandigheden.
o Afhankelijk van doel, doelpopulatie, soort programma, politieke/organisatorische
context.
Evaluation sponsor: geeft opdracht tot evaluatie.
Stakeholders: belanghebbenden.
Eerste evaluatievragen vaak vaag en algemeen, nadenken over betekenis voor stakeholders.
Evaluatie moet bruikbaar zijn voor doelen van stakeholders.
Evaluatie moet rekening houden met organisatie, bv. manieren van opslaan van bestanden en
data, toegang hiertoe, mate van contact tussen programma en cliënten.
, 3
Influencing Social Action to Improve Social Conditions
Evaluatie is gericht op een publiek dat beslissingen maakt en actie onderneemt op basis van de
evaluatie.
o Zowel directe als indirecte invloed, soms ook sociale doelen verder dan het specifieke
programma.
Demonstration programs: sociale interventieprogramma’s die de waarde van een innovatief
programmaconcept testen informatie over waarde van bredere implementatie.
The Central Role of Evaluation Questions
Geen one-size-fits-all evaluatie, goed evaluatiedesign past benaderingen, technieken en concepten
voor evaluatie aan op het programma om te leiden tot geloofwaardige en bruikbare antwoorden
op evaluatievragen.
The Purpose of Evaluation
Programma verbeteren; belangenbehartiging bij tegenstanders; kennisontwikkeling over
effecten; input voor beslissingen of financiering, structuur of administratie; reageren op politieke
druk.
Doel van evaluatie vaststellen is belangrijk voor evaluatievragen.
Program Improvement
Formative evaluation: evaluatie gericht op informatie verkrijgen voor programmaverbetering
gericht op planners, administratoren, besturen, financiers die de effectiviteit willen verbeteren.
o Gaat over behoefte, design, implementatie, impact, kosten, maar vaak over
programmahandelingen, servicelevering, gebruik van service door doelpopulatie.
Accountability
Een programma moet bronnen effectief en efficiënt gebruiken en hiermee de beoogde voordelen
produceren.
Summative evaluation: evaluatie gericht op bovenstaande oordeel over programmaprestatie
gericht op besluitmakers in bv. financiering of politiek.
Knowledge Generation
Evaluatie kan gaan over interventies gericht op bijdragen aan kennis wordt gedaan met zo
rigoreus mogelijke methoden gericht op sponsoren van programma’s, geïnteresseerde
studenten, beleidsmakers.
o Resultaten gebruikt voor wetenschappelijke tijdschriften en artikelen.
Hidden Agendas
Het echte doel van een evaluatie kan soms anders zijn dan informatiewinning over het
programma, bv. indruk maken op financiers of politiek, reden voor al genomen beslissing,
vertraging van beslissingen.
Politieke/publieke belangen als reden voor evaluatie kunnen integriteit van evaluatie
beïnvloeden.
The Evaluator-Stakeholder Relationship
De relatie tussen de evaluator en de stakeholders beïnvloedt de evaluatievragen.
o Belangrijke stakeholders: besluitmakers, programmasponsoren, evaluatiesponsoren,
doelparticipanten, programmamanagers, programmapersoneel,
programmaconcurrenten, contextuele stakeholders, evaluatie- en
onderzoeksgemeenschap.
Independent evaluation: evaluator heeft primaire verantwoordelijkheid voor ontwikkelen
evaluatievragen in samenwerking met belangrijke stakeholders, uitvoeren van evaluatie en
verspreiden van resultaten.
Participatory or collaborative evaluation: teamproject met evaluator en vertegenwoordigers van
een of meer stakeholders die gezamenlijk beslissingen maken over de evaluatie.
, 4
Empowerment evaluation: samenwerkrelatie tussen evaluator en stakeholder, evaluator moet ook
de capaciteit van stakeholders vergroten om zelf evaluaties uit te voeren, resultaten te gebruiken
en eigenaarschap te hebben over een programma dat hun leven beïnvloedt.
Criteria for Program Performance
Evaluaties draaien om prestatie en de
criteria waarop prestatie beoordeeld kan
worden.
o Performance criterion en
prestatiedimensie.
De prestatieverwachting wordt meestal
vastgesteld in relatie tot de verwachte
uitkomst bij afwezigheid van het programma
en een oordeel over of het programma heeft
geholpen (vaak gebaseerd op statistische
criteria).
The Five Domains of Evaluation Questions and Methods
Evaluation questions geven structuur aan evaluatie, leiden tot goede planning en vormen een
basis voor discussie over de antwoorden.
Vijf domeinen voor evaluatievragen: behoefte aan het programma; programmatheorie en -design;
programmaproces; programma-impact; programmaefficiëntie.
Need for the Program: Needs Assessment
Primaire reden voor sociaal programma: sociaal probleem verlichten.
Evaluatie toetst de aard, omvang en verspreiding van het sociale probleem; mate waarin er een
interventie nodig is; implicaties van de omstandigheden voor dit programma needs assessment.
o Kloof tussen huidige situatie en acceptabele situatie belangrijk in dit proces.
Assessment of Program Theory and Design
Conceptualisering en operationeel plan voor een programma moet valide assumpties over het
probleem weerspiegelen en een mogelijke oplossing om de kloof te overbruggen bieden
assessment of program theory and design.
o Programmatheorie: aannames en verwachtingen over de werking van het programma
om de beoogde effecten te hebben.
Logisch model met benodigde input voor een programma, te ondernemen handelingen, output
van de handelingen, directe/tussenliggende/uiteindelijke beoogde uitkomsten van het
programma.
Assessment of Program Process
Goed implementatie nodig voor kans op verbetering van sociaal probleem.
Assessment of program process: evaluatie van trouwheid en kwaliteit van implementatie.
o Program monitoring: doorgaande procesevaluatie.
o Outcome monitoring: informatie over participanten en beoogde uitkomsten na afronding
van het programma.
Grote waarde van procesevaluatie wanneer er geen impact van het programma gevonden wordt.
Effectiveness of the Program: Impact Evaluation
Effectiviteit van programma: veroorzaakte veranderingen wat betreft uitkomsten die beoogd
werden, verbetering van sociale omstandigheden.
Impact evaluation: kijkt of beoogde uitkomsten zijn ontstaan en of er onbedoelde bijwerkingen
waren.
Alle schuingedrukte Engelse begrippen zijn dikgedrukte begrippen in de literatuur.
Inhoud
Rossi, Lipsey & Henry H1: What Is Program Evaluation and Why Is It Needed?........................................................2
Rossi, Lipsey & Henry H2: Social Problems and Assessing the Need for a Program.................................................5
Rossi, Lipsey & Henry H3: Assessing Program Theory and Design.................................................................................8
Rossi, Lipsey & Henry H4: Assessing Program Process and Implementation...........................................................12
Rossi, Lipsey & Henry H5: Measuring and Monitoring Program Outcomes..............................................................15
Rossi, Lipsey & Henry H6: Impact Evaluation. Isolating the Effects of Social Programs in the Real World. .18
Rossi, Lipsey & Henry H7: Impact Evaluation. Comparison Group Designs..............................................................19
Rossi, Lipsey & Henry H11: Planning an Evaluation........................................................................................................... 23
Rossi, Lipsey & Henry H12: The Social and Political Context of Evaluation..............................................................27
Shadish, Cook & Campbell H1: Experiments and Generalized Causal Inference......................................................30
Shadish, Cook & Campbell H2: Statistical Conclusion Validity and Internal Validity.............................................35
Shadish, Cook & Campbell H3: Construct Validity and External Validity....................................................................39
Shadish, Cook & Campbell H4: Quasi-Experimental Designs That Either Lack a Control Group or Lack
Pretest Observations on the Outcome...................................................................................................................................... 45
Shadish, Cook & Campbell H5: Quasi-Experimental Designs That Use Both Control Groups and Pretests...51
Shadish, Cook & Campbell H6: Quasi-Experiments: Interrupted Time-Series Designs.........................................56
Shadish, Cook & Campbell H8: Randomized Experiments: Rationale, Designs, and Conditions Conducive to
Doing Them......................................................................................................................................................................................... 59
, 2
Rossi, Lipsey & Henry H1: What Is Program Evaluation and Why Is It Needed?
What Is Program Evaluation?
Program evaluation: systematische beoordeling van programma’s die ontwikkeld zijn om
(sociale) omstandigheden en ons individuele en collectieve welzijn te verbeteren.
o Richt zich op relevante uitkomsten, maar ook mogelijk op behoefte aan een programma,
design, werking, efficiency.
Why is Program Evaluation Needed?
Goede intenties en intuïtief logische interventies ≠ betere uitkomsten.
Goede implementatie nodig voor positieve uitkomsten.
Negatieve bijwerkingen mogelijk.
Kosten kunnen te hoog zijn om het programma duurzaam aan te bieden/goedkopere opties
mogelijk.
Why Systematic Evaluation?
Meerdere uitdagingen in evaluatie die vragen om een systematische aanpak:
o Relativiteit van programma-effecten: verbetering kan ook natuurlijk ontstaan kan
leiden tot overdrijven van programma-effecten daarom vergelijken met uitkomsten
zonder het programma.
Deelnemers vragen geeft geen accurate beoordeling, aanbieders vragen geeft
risico op confirmation bias.
Systematic Program Evaluation
Program evaluation: sociale onderzoekmethoden toepassen om systematisch de effectiviteit van
sociale interventieprogramma’s te onderzoeken die zijn aangepast aan de politieke en
organisatorische context en die zijn ontwikkeld om te zorgen voor sociale actie die leidt tot
verbetering van sociale omstandigheden.
Application of Social Research Methods
Valide omschrijving van programmawerking opstellen waarmee je het met de criteria kunt
vergelijken.
Social research methods: ontwikkeld om feitelijke omschrijvingen van sociale fenomenen te geven
kan dus goed programmawerking op geloofwaardige en verdedigbare manier beschrijven.
o Juiste (combinatie van) onderzoeksmethode(n) kiezen voor evaluatie en blijven
innoveren.
The Effectiveness of Social Programs
Sociale programma’s zijn gericht op verbetering van sociale problemen of omstandigheden.
Vijf domeinen van evaluatie: behoefte aan het programma; design en theorie; implementatie en
servicelevering; uitkomsten en impact; efficiëntie.
Adapting to the Political and Organizational Context
Programmaevaluatie moet aangepast worden aan het specifieke programma en de
omstandigheden.
o Afhankelijk van doel, doelpopulatie, soort programma, politieke/organisatorische
context.
Evaluation sponsor: geeft opdracht tot evaluatie.
Stakeholders: belanghebbenden.
Eerste evaluatievragen vaak vaag en algemeen, nadenken over betekenis voor stakeholders.
Evaluatie moet bruikbaar zijn voor doelen van stakeholders.
Evaluatie moet rekening houden met organisatie, bv. manieren van opslaan van bestanden en
data, toegang hiertoe, mate van contact tussen programma en cliënten.
, 3
Influencing Social Action to Improve Social Conditions
Evaluatie is gericht op een publiek dat beslissingen maakt en actie onderneemt op basis van de
evaluatie.
o Zowel directe als indirecte invloed, soms ook sociale doelen verder dan het specifieke
programma.
Demonstration programs: sociale interventieprogramma’s die de waarde van een innovatief
programmaconcept testen informatie over waarde van bredere implementatie.
The Central Role of Evaluation Questions
Geen one-size-fits-all evaluatie, goed evaluatiedesign past benaderingen, technieken en concepten
voor evaluatie aan op het programma om te leiden tot geloofwaardige en bruikbare antwoorden
op evaluatievragen.
The Purpose of Evaluation
Programma verbeteren; belangenbehartiging bij tegenstanders; kennisontwikkeling over
effecten; input voor beslissingen of financiering, structuur of administratie; reageren op politieke
druk.
Doel van evaluatie vaststellen is belangrijk voor evaluatievragen.
Program Improvement
Formative evaluation: evaluatie gericht op informatie verkrijgen voor programmaverbetering
gericht op planners, administratoren, besturen, financiers die de effectiviteit willen verbeteren.
o Gaat over behoefte, design, implementatie, impact, kosten, maar vaak over
programmahandelingen, servicelevering, gebruik van service door doelpopulatie.
Accountability
Een programma moet bronnen effectief en efficiënt gebruiken en hiermee de beoogde voordelen
produceren.
Summative evaluation: evaluatie gericht op bovenstaande oordeel over programmaprestatie
gericht op besluitmakers in bv. financiering of politiek.
Knowledge Generation
Evaluatie kan gaan over interventies gericht op bijdragen aan kennis wordt gedaan met zo
rigoreus mogelijke methoden gericht op sponsoren van programma’s, geïnteresseerde
studenten, beleidsmakers.
o Resultaten gebruikt voor wetenschappelijke tijdschriften en artikelen.
Hidden Agendas
Het echte doel van een evaluatie kan soms anders zijn dan informatiewinning over het
programma, bv. indruk maken op financiers of politiek, reden voor al genomen beslissing,
vertraging van beslissingen.
Politieke/publieke belangen als reden voor evaluatie kunnen integriteit van evaluatie
beïnvloeden.
The Evaluator-Stakeholder Relationship
De relatie tussen de evaluator en de stakeholders beïnvloedt de evaluatievragen.
o Belangrijke stakeholders: besluitmakers, programmasponsoren, evaluatiesponsoren,
doelparticipanten, programmamanagers, programmapersoneel,
programmaconcurrenten, contextuele stakeholders, evaluatie- en
onderzoeksgemeenschap.
Independent evaluation: evaluator heeft primaire verantwoordelijkheid voor ontwikkelen
evaluatievragen in samenwerking met belangrijke stakeholders, uitvoeren van evaluatie en
verspreiden van resultaten.
Participatory or collaborative evaluation: teamproject met evaluator en vertegenwoordigers van
een of meer stakeholders die gezamenlijk beslissingen maken over de evaluatie.
, 4
Empowerment evaluation: samenwerkrelatie tussen evaluator en stakeholder, evaluator moet ook
de capaciteit van stakeholders vergroten om zelf evaluaties uit te voeren, resultaten te gebruiken
en eigenaarschap te hebben over een programma dat hun leven beïnvloedt.
Criteria for Program Performance
Evaluaties draaien om prestatie en de
criteria waarop prestatie beoordeeld kan
worden.
o Performance criterion en
prestatiedimensie.
De prestatieverwachting wordt meestal
vastgesteld in relatie tot de verwachte
uitkomst bij afwezigheid van het programma
en een oordeel over of het programma heeft
geholpen (vaak gebaseerd op statistische
criteria).
The Five Domains of Evaluation Questions and Methods
Evaluation questions geven structuur aan evaluatie, leiden tot goede planning en vormen een
basis voor discussie over de antwoorden.
Vijf domeinen voor evaluatievragen: behoefte aan het programma; programmatheorie en -design;
programmaproces; programma-impact; programmaefficiëntie.
Need for the Program: Needs Assessment
Primaire reden voor sociaal programma: sociaal probleem verlichten.
Evaluatie toetst de aard, omvang en verspreiding van het sociale probleem; mate waarin er een
interventie nodig is; implicaties van de omstandigheden voor dit programma needs assessment.
o Kloof tussen huidige situatie en acceptabele situatie belangrijk in dit proces.
Assessment of Program Theory and Design
Conceptualisering en operationeel plan voor een programma moet valide assumpties over het
probleem weerspiegelen en een mogelijke oplossing om de kloof te overbruggen bieden
assessment of program theory and design.
o Programmatheorie: aannames en verwachtingen over de werking van het programma
om de beoogde effecten te hebben.
Logisch model met benodigde input voor een programma, te ondernemen handelingen, output
van de handelingen, directe/tussenliggende/uiteindelijke beoogde uitkomsten van het
programma.
Assessment of Program Process
Goed implementatie nodig voor kans op verbetering van sociaal probleem.
Assessment of program process: evaluatie van trouwheid en kwaliteit van implementatie.
o Program monitoring: doorgaande procesevaluatie.
o Outcome monitoring: informatie over participanten en beoogde uitkomsten na afronding
van het programma.
Grote waarde van procesevaluatie wanneer er geen impact van het programma gevonden wordt.
Effectiveness of the Program: Impact Evaluation
Effectiviteit van programma: veroorzaakte veranderingen wat betreft uitkomsten die beoogd
werden, verbetering van sociale omstandigheden.
Impact evaluation: kijkt of beoogde uitkomsten zijn ontstaan en of er onbedoelde bijwerkingen
waren.
