Evaluation: A systematic approach
H1 – An overview of program evaluation
Het doel van programma evaluatie is het onderscheiden van werkende sociale
programma’s van de niet effectieve programma’s. Er worden vragen gesteld als:
Wat is de oorzaak van het probleem? Wie heeft te maken met het probleem?
Welke interventies lijken geschikt? Wordt de doelgroep bereikt met de
interventie? Is het programma effectief en efficiënt?
Mensen die werken in het evaluatie-veld houden zich bezig met het evalueren
van programma’s aan de hand van onder andere de bovenstaande vragen.
Het gaat in dit boek om social programs = Programma’s die ontwikkelt zijn om
de omgeving van mensen te verbeteren. De programma’s zijn niet bedoelt om
verdiensten te verhogen of meer invloed/kracht te krijgen. Er zijn veel soorten
sociale programma’s, de evaluatie heeft gemeen dat ze allemaal de uitkomsten
van het programma beoordelen. Daarnaast richt een evaluatie zich op:
Behoefte om programma te includeren
Programma-ontwerp
Werking van het programma
Effectiviteit
Efficiëntie
Beoordeling uitkomsten programma
Geschiedenis van evaluatie
De historische roots gaan terug naar de 17e eeuw, maar systematisch evaluatie
onderzoek is echt iets van de 20e eeuw.
Voor de 1e wereldoorlog richtte evaluatieonderzoek zich met name op de
gezondheidszorg om op die manier het sterftecijfer terug te dringen. Vanaf 1930
richtte men zich ook op bijvoorbeeld leiderschap. Tijdens de 2 e wereldoorlog is
het aantal onderzoeken sterk toegenomen, bijvoorbeeld het volgen van soldaten
en het onderzoeken van eetgewoontes onder de Amerikaanse bevolking.
In de periode na de 2e wereldoorlog is er veel onderzoek gedaan naar de
uitkomsten van sociale programma’s. Aan het einde van de jaren ’50 was
programma evaluatie normaal geworden. Vanaf deze periode werd het onderzoek
niet alleen uitgevoerd in de goed ontwikkelde landen (Amerika en Europa) maar
begonnen ook Azië, Afrika en Latijns-Amerika er mee.
Vanaf 1970 ontwikkelde evaluatieonderzoek zich als een specifiek gebied binnen
de sociale wetenschappen.
Er vonden een aantal veranderingen plaats ten opzichte van evaluatieonderzoek
zoals het eerst werd uitgevoerd: In latere stadia kreeg de opdrachtgever steeds
meer invloed in het veld van het evaluatieonderzoek. Met de resultaten van het
evaluatieonderzoek worden beslissingen genomen, het onderzoek moet gezien
worden als een deel van het sociale beleid en de kant die het openbaar bestuur
op gaat.
Sociaal beleid en de bewegingen van het openbaar bestuur
Vanaf 1930 begonnen de sociale sector en de overheid te groeien. Er ontstond
een groeiende vraag naar goed management, dat was wel al aanwezig bij
, bedrijven en industrie en vanaf 1930 begon ook de overheid zich daar steeds
meer op te richten. Er kwam aandacht voor kwaliteitscontrole, begrotingen,
kosten-baten analyse etc.
In dezelfde periode kwamen er meer geschoolde mensen die zich specifiek
richtten op het beleid en management. De overheid werd steeds technischer en
dus waren er geschoolde mensen nodig en was vriendjespolitiek van de baan. De
behoefte aan geschoold management in de overheid was groot.
Vanaf 1960 begon in Amerika de strijd tegen de armoede, waarbij veel sociale
programma’s zijn gebruikt. Van deze programma’s was niet bekend of ze werkten
en velen werkten niet. Vanaf 1970 werd er veel onderzoek gedaan naar de
kosten-baten van de verschillende sociale programma’s.
De politiek heeft veel invloed op de ontwikkeling van het evaluatieonderzoek
gehad. Daarnaast heeft de strijd tegen armoede bijgedragen aan veel onderzoek.
The defining Characteristics of Program Evaluation
Program evaluation = Het gebruik van sociale onderzoeksmethoden om op
een systematische manier de effectiviteit van sociale interventies te
onderzoeken, met betrekking tot hun politieke en organisatorische omgeving, en
het design die bedoelt is om sociale verbetering te bewerkstelligen.
Een centrale taak van de evaluator is het creëren van een omschrijving van de
uitkomsten van het programma, waarbij er gebruik wordt gemaakt van
standaards en criteria. Elke evaluatie gaat op een systematische manier.
Sociale programma’s hebben per definitie het doel “om iets goeds te doen”: een
probleem oplossen of de situatie verbeteren. De evaluatie van sociale
programma’s bevatten 1 of meer van de volgende 5 domeinen:
De behoefte voor het programma
Het ontwerp van het programma
De implementatie van het programma + de verzorgde service
De impact van het programma/de uitkomsten
De efficiëntie van het programma
Bij evaluatie van een programma moeten de onderzoekers rekening houden met
de specifieke omstandigheden waarin het programma wordt gebruikt,
bijvoorbeeld de context.
Evaluation sponsor = opdrachtgever voor de evaluatie van een programma.
Stakeholders = Individuen, groepen of organisaties die interesse hebben in hoe
goed een programma werkt.
De onderzoeker moet met de opdrachtgever en stakeholders praten, zodat
duidelijk wordt wat zij precies willen weten. Aan de hand daarvan kan de
onderzoeker een geschikte evaluatie starten. Het is heel belangrijk dat er uit het
evaluatieonderzoek gegevens komen die bruikbaar zijn voor de praktijk (binnen
een bepaalde tijd, in begrijpelijke taal, uitvoerbaar in de praktijk).
Het doel van evaluatie is dat het actie tot gevolg heeft.
Evaluation Research in Practise
Er kan spanning ontstaan als er voor het onderzoek data verzameld moeten
worden, aangezien dit soms extra werk tot gevolg heeft voor de werknemers. Er
H1 – An overview of program evaluation
Het doel van programma evaluatie is het onderscheiden van werkende sociale
programma’s van de niet effectieve programma’s. Er worden vragen gesteld als:
Wat is de oorzaak van het probleem? Wie heeft te maken met het probleem?
Welke interventies lijken geschikt? Wordt de doelgroep bereikt met de
interventie? Is het programma effectief en efficiënt?
Mensen die werken in het evaluatie-veld houden zich bezig met het evalueren
van programma’s aan de hand van onder andere de bovenstaande vragen.
Het gaat in dit boek om social programs = Programma’s die ontwikkelt zijn om
de omgeving van mensen te verbeteren. De programma’s zijn niet bedoelt om
verdiensten te verhogen of meer invloed/kracht te krijgen. Er zijn veel soorten
sociale programma’s, de evaluatie heeft gemeen dat ze allemaal de uitkomsten
van het programma beoordelen. Daarnaast richt een evaluatie zich op:
Behoefte om programma te includeren
Programma-ontwerp
Werking van het programma
Effectiviteit
Efficiëntie
Beoordeling uitkomsten programma
Geschiedenis van evaluatie
De historische roots gaan terug naar de 17e eeuw, maar systematisch evaluatie
onderzoek is echt iets van de 20e eeuw.
Voor de 1e wereldoorlog richtte evaluatieonderzoek zich met name op de
gezondheidszorg om op die manier het sterftecijfer terug te dringen. Vanaf 1930
richtte men zich ook op bijvoorbeeld leiderschap. Tijdens de 2 e wereldoorlog is
het aantal onderzoeken sterk toegenomen, bijvoorbeeld het volgen van soldaten
en het onderzoeken van eetgewoontes onder de Amerikaanse bevolking.
In de periode na de 2e wereldoorlog is er veel onderzoek gedaan naar de
uitkomsten van sociale programma’s. Aan het einde van de jaren ’50 was
programma evaluatie normaal geworden. Vanaf deze periode werd het onderzoek
niet alleen uitgevoerd in de goed ontwikkelde landen (Amerika en Europa) maar
begonnen ook Azië, Afrika en Latijns-Amerika er mee.
Vanaf 1970 ontwikkelde evaluatieonderzoek zich als een specifiek gebied binnen
de sociale wetenschappen.
Er vonden een aantal veranderingen plaats ten opzichte van evaluatieonderzoek
zoals het eerst werd uitgevoerd: In latere stadia kreeg de opdrachtgever steeds
meer invloed in het veld van het evaluatieonderzoek. Met de resultaten van het
evaluatieonderzoek worden beslissingen genomen, het onderzoek moet gezien
worden als een deel van het sociale beleid en de kant die het openbaar bestuur
op gaat.
Sociaal beleid en de bewegingen van het openbaar bestuur
Vanaf 1930 begonnen de sociale sector en de overheid te groeien. Er ontstond
een groeiende vraag naar goed management, dat was wel al aanwezig bij
, bedrijven en industrie en vanaf 1930 begon ook de overheid zich daar steeds
meer op te richten. Er kwam aandacht voor kwaliteitscontrole, begrotingen,
kosten-baten analyse etc.
In dezelfde periode kwamen er meer geschoolde mensen die zich specifiek
richtten op het beleid en management. De overheid werd steeds technischer en
dus waren er geschoolde mensen nodig en was vriendjespolitiek van de baan. De
behoefte aan geschoold management in de overheid was groot.
Vanaf 1960 begon in Amerika de strijd tegen de armoede, waarbij veel sociale
programma’s zijn gebruikt. Van deze programma’s was niet bekend of ze werkten
en velen werkten niet. Vanaf 1970 werd er veel onderzoek gedaan naar de
kosten-baten van de verschillende sociale programma’s.
De politiek heeft veel invloed op de ontwikkeling van het evaluatieonderzoek
gehad. Daarnaast heeft de strijd tegen armoede bijgedragen aan veel onderzoek.
The defining Characteristics of Program Evaluation
Program evaluation = Het gebruik van sociale onderzoeksmethoden om op
een systematische manier de effectiviteit van sociale interventies te
onderzoeken, met betrekking tot hun politieke en organisatorische omgeving, en
het design die bedoelt is om sociale verbetering te bewerkstelligen.
Een centrale taak van de evaluator is het creëren van een omschrijving van de
uitkomsten van het programma, waarbij er gebruik wordt gemaakt van
standaards en criteria. Elke evaluatie gaat op een systematische manier.
Sociale programma’s hebben per definitie het doel “om iets goeds te doen”: een
probleem oplossen of de situatie verbeteren. De evaluatie van sociale
programma’s bevatten 1 of meer van de volgende 5 domeinen:
De behoefte voor het programma
Het ontwerp van het programma
De implementatie van het programma + de verzorgde service
De impact van het programma/de uitkomsten
De efficiëntie van het programma
Bij evaluatie van een programma moeten de onderzoekers rekening houden met
de specifieke omstandigheden waarin het programma wordt gebruikt,
bijvoorbeeld de context.
Evaluation sponsor = opdrachtgever voor de evaluatie van een programma.
Stakeholders = Individuen, groepen of organisaties die interesse hebben in hoe
goed een programma werkt.
De onderzoeker moet met de opdrachtgever en stakeholders praten, zodat
duidelijk wordt wat zij precies willen weten. Aan de hand daarvan kan de
onderzoeker een geschikte evaluatie starten. Het is heel belangrijk dat er uit het
evaluatieonderzoek gegevens komen die bruikbaar zijn voor de praktijk (binnen
een bepaalde tijd, in begrijpelijke taal, uitvoerbaar in de praktijk).
Het doel van evaluatie is dat het actie tot gevolg heeft.
Evaluation Research in Practise
Er kan spanning ontstaan als er voor het onderzoek data verzameld moeten
worden, aangezien dit soms extra werk tot gevolg heeft voor de werknemers. Er
