EVALUATIE
Een systematische aanpak
,Inhoud
Hoofdstuk één: Wat is programma-evaluatie en waarom is het nodig?................................................6
Evaluatie van het programma............................................................................................................6
Uitdagingen waarmee elke evaluatieaanpak moet omgaan..............................................................7
Systematische programma-evaluatie................................................................................................7
Aanpassing aan de politieke en organisatorische context.................................................................8
Beïnvloeding van sociale actie om sociale omstandigheden te verbeteren.......................................8
Het doel van de evaluatie..................................................................................................................9
Redenen voor een evaluatie..............................................................................................................9
Belanghebbenden............................................................................................................................10
Criteria voor programmaprestaties.................................................................................................12
De vijf domeinen van evaluatievragen en -methoden.....................................................................12
Behoefte aan het programma: behoeftenanalyse...........................................................................13
Beoordeling van programmatheorie en -ontwerp...........................................................................13
Beoordeling van het programmaproces..........................................................................................14
Effectiviteit van het programma: Impact Evaluatie..........................................................................15
Kostenanalyse en efficiëntiebeoordeling.........................................................................................16
Het samenspel tussen de evaluatiedomeinen.................................................................................17
Kritisch denken/discussievragen......................................................................................................18
Hoofdstuk 2: Sociale problemen en het beoordelen van de behoefte aan een programma...............19
De rol van evaluatoren bij het diagnosticeren van sociale omstandigheden en servicebehoeften. 19
Het probleem definiëren dat moet worden aangepakt...................................................................20
Fasen van een behoefteanalyse.......................................................................................................20
De omvang van het probleem specificeren: wanneer, waar en hoe groot?....................................21
Bestaande gegevensbronnen gebruiken om schattingen te ontwikkelen en trends in sociale
indicatoren te identificeren.............................................................................................................21
Het schatten van probleemparameters door middel van sociaal onderzoek...................................21
Prognosebehoeften.........................................................................................................................22
Definiëren en identificeren van de doelpopulaties van interventies...............................................23
Doelgrenzen.....................................................................................................................................23
Risico, behoefte en vraag.................................................................................................................24
Incidentie en prevalentie.................................................................................................................24
Tarieven...........................................................................................................................................24
De aard van servicebehoeften beschrijven......................................................................................25
Kwalitatieve methoden voor het beschrijven van behoeften..........................................................25
1
, Kritisch denken/discussievragen......................................................................................................27
Toepassingsoefeningen...................................................................................................................27
Hoofdstuk 3: Beoordeling van programmatheorie en -ontwerp.........................................................28
Beoordeling van de uitvoerbaarheid...............................................................................................28
Programmatheorie beschrijven.......................................................................................................29
Programma Impact Theorie.............................................................................................................30
Plan voor servicegebruik..................................................................................................................31
Organisatieplan................................................................................................................................32
Programmatheorie ontlokken..........................................................................................................33
Het definiëren van de grenzen van het programma........................................................................33
De programmatheorie uitleggen.....................................................................................................34
Programma doelen en doelstellingen..............................................................................................34
Programmafuncties, componenten en activiteiten.........................................................................35
De logica of volgorde koppelen programma functies, activiteiten en componenten......................35
Het bevestigen van de beschrijving van de programmatheorie.......................................................35
Beoordeling van de programmatheorie...........................................................................................36
Beoordeling in relatie tot sociale behoeften....................................................................................36
Beoordeling van logica en plausibiliteit...........................................................................................37
Beoordeling door vergelijking met onderzoek en praktijk...............................................................39
Beoordeling via voorafgaande observatie.......................................................................................40
Mogelijke uitkomsten van programmatheoriebeoordeling.............................................................41
Kritisch denken/discussievragen......................................................................................................43
Toepassingsoefeningen...................................................................................................................43
Hoofdstuk 4: Beoordeling van het programmaproces en de implementatie.......................................44
Wat is evaluatie en monitoring van het programmaproces?...........................................................44
Criteria instellen voor het beoordelingsprogrammaproces.............................................................46
Gemeenschappelijke vormen van procesevaluaties........................................................................47
Procesevaluatie................................................................................................................................47
Procesmonitoring en administratieve gegevenssystemen...............................................................49
Procesbeoordeling vanuit het perspectief van de evaluator...........................................................49
Procesbeoordeling vanuit een verantwoordingsperspectief...........................................................49
Procesbeoordeling vanuit een managementperspectief.................................................................50
Servicegebruik beoordelen..............................................................................................................50
Dekking en vooringenomenheid......................................................................................................51
Dekking meten.................................................................................................................................51
Programma-records.........................................................................................................................52
2
, Enquêtes..........................................................................................................................................52
Bias beoordelen: programmagebruikers, in aanmerking komende en drop-outs...........................53
Beoordeling van organisatorische functies......................................................................................53
Het leveringssysteem.......................................................................................................................54
Specificatie van diensten.................................................................................................................54
Toegankelijkheid..............................................................................................................................55
Programma-ondersteuningsfuncties...............................................................................................55
Kritisch denken/discussievragen......................................................................................................56
Toepassingsoefeningen...................................................................................................................56
Hoofdstuk 5 Resultaten van meet- enmonitoringprogramma's..........................................................57
Resultaten van het programma.......................................................................................................57
Uitkomstniveau, uitkomstverandering en programma-effect.........................................................57
Stakeholderperspectieven over resultaten......................................................................................59
Programma Impact Theorie.............................................................................................................59
Voorafgaand onderzoek..................................................................................................................61
Onbedoelde effecten.......................................................................................................................61
Programma-uitkomsten meten.......................................................................................................62
Meetprocedures en -eigenschappen...............................................................................................63
Betrouwbaarheid.............................................................................................................................63
Geldigheid........................................................................................................................................64
Gevoeligheid....................................................................................................................................64
Keuze van uitkomstmaten...............................................................................................................64
Monitoring programma-resultaten..................................................................................................65
Indicatoren voor resultaatmonitoring.............................................................................................65
Valkuilen in Outcome Monitoring....................................................................................................65
Uitkomstgegevens interpreteren.....................................................................................................66
Kritisch denken/discussievragen......................................................................................................67
Toepassingsoefeningen...................................................................................................................67
Hoofdstuk 6 Impactevaluatie Isolatie van de effecten van sociale programma's in de echte wereld..69
De aard en het belang van effectbeoordeling..................................................................................69
Aanvullende vragen over impact.....................................................................................................69
Wanneer is een impactevaluatie geschikt?......................................................................................70
Wat zou er gebeurd zijn zonder het programma?...........................................................................70
De logica van impactevaluatie: het kader voor mogelijke uitkomsten............................................71
Het fundamentele probleem van causale gevolgtrekking: onvermijdelijk ontbrekende gegevens. 73
De geldigheid van programma-effectschattingen............................................................................73
3
Een systematische aanpak
,Inhoud
Hoofdstuk één: Wat is programma-evaluatie en waarom is het nodig?................................................6
Evaluatie van het programma............................................................................................................6
Uitdagingen waarmee elke evaluatieaanpak moet omgaan..............................................................7
Systematische programma-evaluatie................................................................................................7
Aanpassing aan de politieke en organisatorische context.................................................................8
Beïnvloeding van sociale actie om sociale omstandigheden te verbeteren.......................................8
Het doel van de evaluatie..................................................................................................................9
Redenen voor een evaluatie..............................................................................................................9
Belanghebbenden............................................................................................................................10
Criteria voor programmaprestaties.................................................................................................12
De vijf domeinen van evaluatievragen en -methoden.....................................................................12
Behoefte aan het programma: behoeftenanalyse...........................................................................13
Beoordeling van programmatheorie en -ontwerp...........................................................................13
Beoordeling van het programmaproces..........................................................................................14
Effectiviteit van het programma: Impact Evaluatie..........................................................................15
Kostenanalyse en efficiëntiebeoordeling.........................................................................................16
Het samenspel tussen de evaluatiedomeinen.................................................................................17
Kritisch denken/discussievragen......................................................................................................18
Hoofdstuk 2: Sociale problemen en het beoordelen van de behoefte aan een programma...............19
De rol van evaluatoren bij het diagnosticeren van sociale omstandigheden en servicebehoeften. 19
Het probleem definiëren dat moet worden aangepakt...................................................................20
Fasen van een behoefteanalyse.......................................................................................................20
De omvang van het probleem specificeren: wanneer, waar en hoe groot?....................................21
Bestaande gegevensbronnen gebruiken om schattingen te ontwikkelen en trends in sociale
indicatoren te identificeren.............................................................................................................21
Het schatten van probleemparameters door middel van sociaal onderzoek...................................21
Prognosebehoeften.........................................................................................................................22
Definiëren en identificeren van de doelpopulaties van interventies...............................................23
Doelgrenzen.....................................................................................................................................23
Risico, behoefte en vraag.................................................................................................................24
Incidentie en prevalentie.................................................................................................................24
Tarieven...........................................................................................................................................24
De aard van servicebehoeften beschrijven......................................................................................25
Kwalitatieve methoden voor het beschrijven van behoeften..........................................................25
1
, Kritisch denken/discussievragen......................................................................................................27
Toepassingsoefeningen...................................................................................................................27
Hoofdstuk 3: Beoordeling van programmatheorie en -ontwerp.........................................................28
Beoordeling van de uitvoerbaarheid...............................................................................................28
Programmatheorie beschrijven.......................................................................................................29
Programma Impact Theorie.............................................................................................................30
Plan voor servicegebruik..................................................................................................................31
Organisatieplan................................................................................................................................32
Programmatheorie ontlokken..........................................................................................................33
Het definiëren van de grenzen van het programma........................................................................33
De programmatheorie uitleggen.....................................................................................................34
Programma doelen en doelstellingen..............................................................................................34
Programmafuncties, componenten en activiteiten.........................................................................35
De logica of volgorde koppelen programma functies, activiteiten en componenten......................35
Het bevestigen van de beschrijving van de programmatheorie.......................................................35
Beoordeling van de programmatheorie...........................................................................................36
Beoordeling in relatie tot sociale behoeften....................................................................................36
Beoordeling van logica en plausibiliteit...........................................................................................37
Beoordeling door vergelijking met onderzoek en praktijk...............................................................39
Beoordeling via voorafgaande observatie.......................................................................................40
Mogelijke uitkomsten van programmatheoriebeoordeling.............................................................41
Kritisch denken/discussievragen......................................................................................................43
Toepassingsoefeningen...................................................................................................................43
Hoofdstuk 4: Beoordeling van het programmaproces en de implementatie.......................................44
Wat is evaluatie en monitoring van het programmaproces?...........................................................44
Criteria instellen voor het beoordelingsprogrammaproces.............................................................46
Gemeenschappelijke vormen van procesevaluaties........................................................................47
Procesevaluatie................................................................................................................................47
Procesmonitoring en administratieve gegevenssystemen...............................................................49
Procesbeoordeling vanuit het perspectief van de evaluator...........................................................49
Procesbeoordeling vanuit een verantwoordingsperspectief...........................................................49
Procesbeoordeling vanuit een managementperspectief.................................................................50
Servicegebruik beoordelen..............................................................................................................50
Dekking en vooringenomenheid......................................................................................................51
Dekking meten.................................................................................................................................51
Programma-records.........................................................................................................................52
2
, Enquêtes..........................................................................................................................................52
Bias beoordelen: programmagebruikers, in aanmerking komende en drop-outs...........................53
Beoordeling van organisatorische functies......................................................................................53
Het leveringssysteem.......................................................................................................................54
Specificatie van diensten.................................................................................................................54
Toegankelijkheid..............................................................................................................................55
Programma-ondersteuningsfuncties...............................................................................................55
Kritisch denken/discussievragen......................................................................................................56
Toepassingsoefeningen...................................................................................................................56
Hoofdstuk 5 Resultaten van meet- enmonitoringprogramma's..........................................................57
Resultaten van het programma.......................................................................................................57
Uitkomstniveau, uitkomstverandering en programma-effect.........................................................57
Stakeholderperspectieven over resultaten......................................................................................59
Programma Impact Theorie.............................................................................................................59
Voorafgaand onderzoek..................................................................................................................61
Onbedoelde effecten.......................................................................................................................61
Programma-uitkomsten meten.......................................................................................................62
Meetprocedures en -eigenschappen...............................................................................................63
Betrouwbaarheid.............................................................................................................................63
Geldigheid........................................................................................................................................64
Gevoeligheid....................................................................................................................................64
Keuze van uitkomstmaten...............................................................................................................64
Monitoring programma-resultaten..................................................................................................65
Indicatoren voor resultaatmonitoring.............................................................................................65
Valkuilen in Outcome Monitoring....................................................................................................65
Uitkomstgegevens interpreteren.....................................................................................................66
Kritisch denken/discussievragen......................................................................................................67
Toepassingsoefeningen...................................................................................................................67
Hoofdstuk 6 Impactevaluatie Isolatie van de effecten van sociale programma's in de echte wereld..69
De aard en het belang van effectbeoordeling..................................................................................69
Aanvullende vragen over impact.....................................................................................................69
Wanneer is een impactevaluatie geschikt?......................................................................................70
Wat zou er gebeurd zijn zonder het programma?...........................................................................70
De logica van impactevaluatie: het kader voor mogelijke uitkomsten............................................71
Het fundamentele probleem van causale gevolgtrekking: onvermijdelijk ontbrekende gegevens. 73
De geldigheid van programma-effectschattingen............................................................................73
3
