Samenvatting Effectief Ingrijpen
Week 2 – WODC-notitie, Interventies in uitvoering
Evaluatieonderzoek heeft als doel om meer inzicht te krijgen in de effectiviteit van
een beleidsprogramma en om te bestuderen of een programma wordt uitgevoerd
zoals de oorspronkelijke programmabeschrijving dat voorschrijft. De effectiviteit van
een interventie loopt gevaar als die interventie niet op de juiste wijze wordt
toegepast. Uit onderzoek is gebleken dat de uitvoering van beleidsinterventies en
programma’s in de praktijk lang niet altijd volgens het boekje verloopt. Dit kan dus
een risico inhouden voor de effectiviteit. De bedoeling is om meer inzicht te krijgen in
de uitvoering van interventies – met nadruk op de problemen waarmee uitvoerders
worden geconfronteerd bij de interventies – en in mogelijke oorzaken van
geconstateerde uitvoeringsproblemen. De procesevaluaties maken vaak ook melding
van belemmeringen waar de onderzoekers zelf mee te maken hebben gekregen in
hun onderzoek.
De evaluatieketen bestaat uit drie fasen: planevaluatie, procesevaluatie &
productevaluatie.
- In een planevaluatie worden de veronderstellingen achter een interventie
expliciet gemaakt en wordt aan de hand van bestaand onderzoek getoetst of
de interventie kansrijk is en de beoogde effecten waar zal kunnen maken.
- De procesevaluatie vindt plaats tijdens de implementatiefase van de
interventie of na deze fase. Hierbij wordt nagegaan of de interventie wordt
uitgevoerd zoals beschreven in de plannen. Het is belangrijk dat een
programma een duidelijke opzet heeft, anders is het moeilijk om te bepalen of
de uitvoering volgens plan verloopt.
- De resultaten en effecten van de interventie worden nader bekeken zowel in
termen van programmadoelen als in termen van recidive tijdens de
productevaluatie.
Een procesevaluatie kan er ook toe leiden dat beter wordt begrepen hoe en waarom
een interventie werkt en hoe de uitvoering kan worden verbeterd. Het belang van een
procesevaluatie betreft dus ook het bijsturen van het programma en – in combinatie
met een productevaluatie – het meer inzicht geven in de precieze werking van
onderdelen van een programma of beleid. Een procesevaluatie van een interventie
kan een handvat zijn voor toekomstige programmaontwikkelaars. Met een
procesevaluatie kan ook nagegaan worden waarom het programma niet leidt tot het
beoogde effect. Procesevaluaties kunnen zelfs nog voor een veel later tijdstip in de
evaluatieketen vruchten afwerpen.
- Implementatieproces = fase van invoering. Dit is de fase waarin de condities
voor de interventie moeten worden geschapen en waarin de eerste ervaringen
met de interventies worden opgedaan.
- Summatieve procesevaluatie = er wordt bestudeerd of het programma wordt
uitgevoerd op een manier die verenigbaar is met de opzet.
Er zijn allerlei factoren die ervoor kunnen zorgen dat de voorschriften van een
interventie niet worden gevolgd: het proces wordt niet goed gemanaged; het
programma wordt beïnvloed door de politiek; er is onvoldoende personeel of er zijn
onvoldoende faciliteiten; het personeel is niet genoeg gemotiveerd; het personeel
, heeft onvoldoende ervaring om het programma uit te voeren zoals het is bedoeld; er
zijn niet genoeg deelnemers te vinden of de deelnemers willen niet meewerken. De
context waarin een interventie wordt uitgevoerd is dus van invloed: een andere
context kan leiden tot een andere wijze van uitvoering.
Problemen in de uitvoering van interventies:
- Afwijken van handleidingen & methodiekbeschrijvingen;
- Wankel draagvlak;
- Problemen rond personeel;
- Tegenvallende instroom en onjuiste selectie van deelnemers;
- Gebrekkige ketensamenwerking (zie p.25-27 voor oorzaken).
Belemmeringen waar onderzoekers tegenaanlopen:
- Onvolledige registraties = lacunes in het vastleggen van kenmerken van
deelnemers of van trainingssessies;
- Tegenvallende medewerking van respondenten = medewerkers van
organisaties die niet mee wilden werken aan de procesevaluatie of
medewerkers die niet in staat waren de benodigde informatie te verstrekken.
- Hiaten en tegenstijdigheden in de informatie = onvoldoende informatie om op
verantwoorde wijze algemene conclusies te kunnen trekken over de
programma-integriteit. Tevens komt het enkele keer voor dat informatie uit
verschillende bronnen tegenstrijdigheden oplevert (p.33-36 voor conclusie).
Week 2 - Scared straight and other juvenile awareness programs for preventing
juvenile delinquency: A systematic review of the randomized experimental
evidence.
Dit is een meta-analyse van alle studies die gedaan zijn naar de Scared Straight
interventie. Uit de samenvoeging van alle uitkomsten blijkt dat de interventie er juist
voor zorgt dat de deelnemers vaker worden gearresteerd. Opvallend is dat de
interventie populair bleef ondanks dat er meerdere vormen van tegengeluid waren
die aangaven dat de interventie helemaal niet effectief zou zijn, omdat afschrikking
niet zou werken. Als reactie op het feit dat de interventie ineffectief is, werd er
gevraagd om de evaluatie te stoppen in plaats van de interventie die een
criminogeen effect heeft.
Week 2 – een meta-analyse van Nederlands recidiveonderzoek naar de effecten
van strafrechtelijke interventies.
Eerst leek het alsof geen van de interventies effect had op het recidiverisico, maar
later bleek dat interventies wel invloed konden hebben als zij toegespitst werden op
de risico’s, behoeften en het leervermogen van specifieke personen. Er is een meta-
analyse uitgevoerd om te kijken naar de uitkomsten van de geselecteerde, primaire
evaluatiestudies. Het gaat om een gehele review zonder dat er hele erge
onderscheidingen worden gemaakt (duur etc. maakt niet uit van de interventie). De
meta-analyse bevat een overzicht van de OR’s van de verschillende meegenomen
evaluaties. Er zijn een aantal kenmerken waardoor studies hoger of lager scoren
(zoals methodologische keuzes of leeftijd van deelnemers). Programma’s gericht op
begeleiding of behandeling van justitiabelen zijn succesvoller gebleken in het
terugdringen van recidive dan interventies die uitgaan van repressie. Het
onderscheid van resocialisatie of afschrikking geeft slechts een zeer grove indeling
van de interventies die zijn onderzocht. Hierbij kunnen eventueel ook andere factoren
Week 2 – WODC-notitie, Interventies in uitvoering
Evaluatieonderzoek heeft als doel om meer inzicht te krijgen in de effectiviteit van
een beleidsprogramma en om te bestuderen of een programma wordt uitgevoerd
zoals de oorspronkelijke programmabeschrijving dat voorschrijft. De effectiviteit van
een interventie loopt gevaar als die interventie niet op de juiste wijze wordt
toegepast. Uit onderzoek is gebleken dat de uitvoering van beleidsinterventies en
programma’s in de praktijk lang niet altijd volgens het boekje verloopt. Dit kan dus
een risico inhouden voor de effectiviteit. De bedoeling is om meer inzicht te krijgen in
de uitvoering van interventies – met nadruk op de problemen waarmee uitvoerders
worden geconfronteerd bij de interventies – en in mogelijke oorzaken van
geconstateerde uitvoeringsproblemen. De procesevaluaties maken vaak ook melding
van belemmeringen waar de onderzoekers zelf mee te maken hebben gekregen in
hun onderzoek.
De evaluatieketen bestaat uit drie fasen: planevaluatie, procesevaluatie &
productevaluatie.
- In een planevaluatie worden de veronderstellingen achter een interventie
expliciet gemaakt en wordt aan de hand van bestaand onderzoek getoetst of
de interventie kansrijk is en de beoogde effecten waar zal kunnen maken.
- De procesevaluatie vindt plaats tijdens de implementatiefase van de
interventie of na deze fase. Hierbij wordt nagegaan of de interventie wordt
uitgevoerd zoals beschreven in de plannen. Het is belangrijk dat een
programma een duidelijke opzet heeft, anders is het moeilijk om te bepalen of
de uitvoering volgens plan verloopt.
- De resultaten en effecten van de interventie worden nader bekeken zowel in
termen van programmadoelen als in termen van recidive tijdens de
productevaluatie.
Een procesevaluatie kan er ook toe leiden dat beter wordt begrepen hoe en waarom
een interventie werkt en hoe de uitvoering kan worden verbeterd. Het belang van een
procesevaluatie betreft dus ook het bijsturen van het programma en – in combinatie
met een productevaluatie – het meer inzicht geven in de precieze werking van
onderdelen van een programma of beleid. Een procesevaluatie van een interventie
kan een handvat zijn voor toekomstige programmaontwikkelaars. Met een
procesevaluatie kan ook nagegaan worden waarom het programma niet leidt tot het
beoogde effect. Procesevaluaties kunnen zelfs nog voor een veel later tijdstip in de
evaluatieketen vruchten afwerpen.
- Implementatieproces = fase van invoering. Dit is de fase waarin de condities
voor de interventie moeten worden geschapen en waarin de eerste ervaringen
met de interventies worden opgedaan.
- Summatieve procesevaluatie = er wordt bestudeerd of het programma wordt
uitgevoerd op een manier die verenigbaar is met de opzet.
Er zijn allerlei factoren die ervoor kunnen zorgen dat de voorschriften van een
interventie niet worden gevolgd: het proces wordt niet goed gemanaged; het
programma wordt beïnvloed door de politiek; er is onvoldoende personeel of er zijn
onvoldoende faciliteiten; het personeel is niet genoeg gemotiveerd; het personeel
, heeft onvoldoende ervaring om het programma uit te voeren zoals het is bedoeld; er
zijn niet genoeg deelnemers te vinden of de deelnemers willen niet meewerken. De
context waarin een interventie wordt uitgevoerd is dus van invloed: een andere
context kan leiden tot een andere wijze van uitvoering.
Problemen in de uitvoering van interventies:
- Afwijken van handleidingen & methodiekbeschrijvingen;
- Wankel draagvlak;
- Problemen rond personeel;
- Tegenvallende instroom en onjuiste selectie van deelnemers;
- Gebrekkige ketensamenwerking (zie p.25-27 voor oorzaken).
Belemmeringen waar onderzoekers tegenaanlopen:
- Onvolledige registraties = lacunes in het vastleggen van kenmerken van
deelnemers of van trainingssessies;
- Tegenvallende medewerking van respondenten = medewerkers van
organisaties die niet mee wilden werken aan de procesevaluatie of
medewerkers die niet in staat waren de benodigde informatie te verstrekken.
- Hiaten en tegenstijdigheden in de informatie = onvoldoende informatie om op
verantwoorde wijze algemene conclusies te kunnen trekken over de
programma-integriteit. Tevens komt het enkele keer voor dat informatie uit
verschillende bronnen tegenstrijdigheden oplevert (p.33-36 voor conclusie).
Week 2 - Scared straight and other juvenile awareness programs for preventing
juvenile delinquency: A systematic review of the randomized experimental
evidence.
Dit is een meta-analyse van alle studies die gedaan zijn naar de Scared Straight
interventie. Uit de samenvoeging van alle uitkomsten blijkt dat de interventie er juist
voor zorgt dat de deelnemers vaker worden gearresteerd. Opvallend is dat de
interventie populair bleef ondanks dat er meerdere vormen van tegengeluid waren
die aangaven dat de interventie helemaal niet effectief zou zijn, omdat afschrikking
niet zou werken. Als reactie op het feit dat de interventie ineffectief is, werd er
gevraagd om de evaluatie te stoppen in plaats van de interventie die een
criminogeen effect heeft.
Week 2 – een meta-analyse van Nederlands recidiveonderzoek naar de effecten
van strafrechtelijke interventies.
Eerst leek het alsof geen van de interventies effect had op het recidiverisico, maar
later bleek dat interventies wel invloed konden hebben als zij toegespitst werden op
de risico’s, behoeften en het leervermogen van specifieke personen. Er is een meta-
analyse uitgevoerd om te kijken naar de uitkomsten van de geselecteerde, primaire
evaluatiestudies. Het gaat om een gehele review zonder dat er hele erge
onderscheidingen worden gemaakt (duur etc. maakt niet uit van de interventie). De
meta-analyse bevat een overzicht van de OR’s van de verschillende meegenomen
evaluaties. Er zijn een aantal kenmerken waardoor studies hoger of lager scoren
(zoals methodologische keuzes of leeftijd van deelnemers). Programma’s gericht op
begeleiding of behandeling van justitiabelen zijn succesvoller gebleken in het
terugdringen van recidive dan interventies die uitgaan van repressie. Het
onderscheid van resocialisatie of afschrikking geeft slechts een zeer grove indeling
van de interventies die zijn onderzocht. Hierbij kunnen eventueel ook andere factoren
