Inhoud
Algemene inleiding ................................................................................................................................... 2
Inleiding beleidsevaluatieonderzoek: wat is beleidsevaluatieonderzoek? .............................................. 2
Terminologie en benaderingen ............................................................................................................ 2
Sociaalwetenschappelijk onderzoek .................................................................................................... 3
Samenvattend................................................................................................................................... 5
Onderdeel beleidsproces ..................................................................................................................... 5
Samenvattend................................................................................................................................... 6
Vorm van emancipatie ......................................................................................................................... 6
Planevaluatie: casuaal veldmodel en doelstellingen ............................................................................... 9
Planevaluatie: algemeen, wat houdt het in? ..................................................................................... 11
Startpunt: gebruik van een theorie .................................................................................................... 11
Planevaluatie: algemeen .................................................................................................................... 13
Expliciteren doel hiërarchie ................................................................................................................ 13
Indicatoren? ....................................................................................................................................... 14
Kennis doelgroep ................................................................................................................................ 14
Planevaluatie: impactmodel................................................................................................................... 15
Planevaluatie: algemeen .................................................................................................................... 15
Interventie .......................................................................................................................................... 16
Hoe overtuigen? ................................................................................................................................. 18
Theory of planned behaviour ............................................................................................................. 21
Rol van deskundigen........................................................................................................................... 21
Procesevaluatie ...................................................................................................................................... 21
Productevaluatie .................................................................................................................................... 25
Klassieke experimentele ontwerp .................................................................................................. 26
Afwijkingen van ideaal: alternatieven. ........................................................................................... 28
Gevoeligheid: power (statistische power)...................................................................................... 29
Gastcollege ............................................................................................................................................. 30
Inleidend............................................................................................................................................. 30
Mobiliteit in Gent: circulatieplan 3 april 2017 ................................................................................... 30
Circulatieplan 2017............................................................................................................................. 31
Stedelijke vernieuwing in de 19e -eeuwse gordelwijken: zuurstof voor de Brugse Poort (2000-2015)
............................................................................................................................................................ 33
,Algemene inleiding
Examen: definities/theorie + toepassingen.
Projectvoorstel: sociaal probleem identificeren, analyseren (oorzaken hiervan, nuances, theorieën) en
nadenken over aanpak.
- Eerst bij Henk checken of probleem en maatregel oke zijn (in de komende 1 à 2 weken).
Niet naar elke presentatiesessie komen.
Inleiding beleidsevaluatieonderzoek: wat is
beleidsevaluatieonderzoek?
Literatuur:
- Swanborn, Peter (2007), Evalueren, Amsterdam: Uitgeverij Boom Onderwijs, pp. 36-60.
- Pawson, Ray & Nick Tilley (1997), Realistic Evaluation, London: Sage Publications, pp. 1-29.
- Optioneel: Gielen, Amy-Jane (2017), “Evaluatie van de bestrijding van gewelddadig
extremisme,” in: Colaert, Lore [red.], ‘Deradicalisering’. Wetenschappelijke inzichten voor een
Vlaams beleid. Brussel: Vlaams Vredesinstituut, pp. 105-124.
Grote moeilijkheid: beleid luistert niet altijd naar wetenschappers.
Terminologie en benaderingen
Onderscheid tsn:
- Evaluatie: beoordeling en het denkproces dat daarachter zit.
o Gebruikt criteria met standaarden voor elk criterium.
- Evaluatieonderzoek: wetenschappelijke methodes inzetten om iets of iemand en de kwaliteit
daarvan te beoordelen.
- Beleidsevaluatieonderzoek: synoniem met evaluatieonderzoek, wetenschappelijke methodes
gebruiken om beleidsmaatregelen te beoordelen op hun effectiviteit en werking.
o Op verschillende niveaus: macro (politiek) – micro (organisatie).
3 grote perspectieven in geschiedenis evaluatieonderzoek:
- (1) Als sociaal wetenschappelijk onderzoek: enkel door wetenschappers gedaan, doel =
wetenschappelijke kennis genereren.
o Naïef gedachtegoed.
o ’60-70.
o Probleem: niemand gebruikte de resultaten van deze onderzoeken, politici luisteren
niet naar wetenschappers/waarheid want zijn gebonden aan hun ideologie.
▪ Rationaliteit wetenschap =/= rationaliteit politiek.
, - (2) Als onderdeel van het beleidsproces: user oriented evaluation research, onderzoek
meteen inbedden in beleidsproces zodat resultaten effectief gebruikt worden.
o Werkt beter, MAAR is afstappen van het zoeken naar de waarheid, want men is op
zoek naar bruikbare kennis (komt niet altijd overeen met betrouwbare, valide
kennis).
o BV. eindigheid in de werkloosheidsuitkering in België: idee hierachter = meer push
om te gaan werken, dan gaan meer mensen werken want kloof tsn werkenden en
niet-werkenden wordt groter, meer incentive.
▪ Maar: mensen die geen werk kunnen vinden gaan in de armoede belanden.
▪ Verschil links en rechts idee.
▪ Afhankelijk van de indicator die je meet, krijg je een andere werkelijkheid =>
werkelijkheid wordt mee beslist door de persoon die bepaald wat gemeten
wordt.
• Idealiter zou je beide meten, maar dat kost veel en er wordt vaak
gewoon niets onderzocht.
• Machtsprocessen in keuze indicatoren.
- (3) Als vorm van emancipatie, empowerment: co-creatie, mensen die er belang aan hebben
(stakeholders) mee betrekken in het onderzoek.
o Niet meer onderzoek doen OVER een bepaalde groep mensen (bv. armen), maar
onderzoek MET deze groep.
o Empowerment: door inzicht te krijgen in eigen situatie, kan je er misschien zelf
uitkomen.
Sociaalwetenschappelijk onderzoek
- Goal oriented, goal atttainment model => dit soort onderzoek is gefocust op het doel, gaat
enkel na of een maatregel zijn vooraf voorgeschreven doel bereikt.
- Achterliggend idee van social engineering.
o Welvaartsstaat in de stijgers zetten, een betere samenleving maken.
- BV. welke factoren leiden tot armoede? => deze factoren aanpakken.
- Samenleving als laboratorium, ideaal van experimenting society (Campbell).
o Samenleving als labo voor wetenschappers om dingen uit te proberen => politici
gebruiken wat werkte.
o Gebruik van experimenten (experimentele designs): meetbare criteria (kwantitatieve,
betrouwbare criteria).
o Centrale vraag: bereiken interventies hun doel?
o Doel: welke maatregelen werken het beste bij welke sociale problemen?
- Probleem:
o Er wordt enkel gefocust op het doel, wat met neveneffecten?
▪ Niet gemeten = niet geweten.
o Ethische belemmeringen.
o Gebrek aan context: experimenteel design heeft een gecontroleerde context nodig
met 2 situaties die enkel verschillen in het ding dat je wilt onderzoeken.
▪ Impact van andere contextuele factoren heb je niet onder controle.
, VB. Western Electric Company (Chicago, ’20-30) = telefoonfabriek met assemblage aan de lopende
band.
- Achtergrond: discussie over motiveren van arbeiders (deze discussie bestaat nu nog steeds).
- Toen: Taylorisme = iedereen een aparte taak geven waardoor het sneller gaat, proces
opdelen in delen om elke deeltaak zo efficiënt mogelijk in te vullen door mensen die
gespecialiseerd zijn in die deeltaak (omdat ze heel de tijd hetzelfde doen).
o Motivatie ging naar beneden.
- Niet enkel loon als motivatie, ook evalueren van fysische werkomstandigheden.
o Enkel loon: mensen geraken gewoon aan hun nieuwe loon en motivatie daalt weer =>
oplossing: kijken naar werkomstandigheden (bv. aantal werkuren, verlichting).
- Eerst: effect van verlichting?
- Later: wat beïnvloedt productiviteit?
- Experimenteel design en varianten: experimentele groep met stimulus (gemanipuleerde
belichting) + controlegroep => welke invloed heeft dit op motivatie?
o Elke gemanipuleerde lichtsituatie gaf een goed resultaat tov de beginsituatie, zelfs bij
minimaal licht.
o
- Relay assembly study: mensen in kleine groepen indelen ipv veel mensen in een heel grote
kamer => verhoogde productiviteit.
- Bevindingen?
o Toename belichting => toename productiviteit.
o Afname belichting => toename productiviteit (?).
o Gevolg: aandacht van onderzoekers zorgde voor verhoogde motivatie = Hawthorne
effect.
o En: goed geïntegreerd binnen kleine groep => goede verstandhouding => goed
moreel => toename productiviteit.
- Basis voor human relations benadering (Elton Mayo).
Of toch niet?
- Heranalysering van Western Electric Company volgens moderne normen en moderne
analyse.
- 90% variatie verklaard door:
o Sterke controle managers.
o Econ depressie.
o Regelmaat rustpauzes.
- Slechts 10% verklaard door ‘goede verstandhouding’ in kleine groepen.
o Eigenlijk is de geboorte van de human relations benadering dus toeval.
VB. sesamstraat.
Algemene inleiding ................................................................................................................................... 2
Inleiding beleidsevaluatieonderzoek: wat is beleidsevaluatieonderzoek? .............................................. 2
Terminologie en benaderingen ............................................................................................................ 2
Sociaalwetenschappelijk onderzoek .................................................................................................... 3
Samenvattend................................................................................................................................... 5
Onderdeel beleidsproces ..................................................................................................................... 5
Samenvattend................................................................................................................................... 6
Vorm van emancipatie ......................................................................................................................... 6
Planevaluatie: casuaal veldmodel en doelstellingen ............................................................................... 9
Planevaluatie: algemeen, wat houdt het in? ..................................................................................... 11
Startpunt: gebruik van een theorie .................................................................................................... 11
Planevaluatie: algemeen .................................................................................................................... 13
Expliciteren doel hiërarchie ................................................................................................................ 13
Indicatoren? ....................................................................................................................................... 14
Kennis doelgroep ................................................................................................................................ 14
Planevaluatie: impactmodel................................................................................................................... 15
Planevaluatie: algemeen .................................................................................................................... 15
Interventie .......................................................................................................................................... 16
Hoe overtuigen? ................................................................................................................................. 18
Theory of planned behaviour ............................................................................................................. 21
Rol van deskundigen........................................................................................................................... 21
Procesevaluatie ...................................................................................................................................... 21
Productevaluatie .................................................................................................................................... 25
Klassieke experimentele ontwerp .................................................................................................. 26
Afwijkingen van ideaal: alternatieven. ........................................................................................... 28
Gevoeligheid: power (statistische power)...................................................................................... 29
Gastcollege ............................................................................................................................................. 30
Inleidend............................................................................................................................................. 30
Mobiliteit in Gent: circulatieplan 3 april 2017 ................................................................................... 30
Circulatieplan 2017............................................................................................................................. 31
Stedelijke vernieuwing in de 19e -eeuwse gordelwijken: zuurstof voor de Brugse Poort (2000-2015)
............................................................................................................................................................ 33
,Algemene inleiding
Examen: definities/theorie + toepassingen.
Projectvoorstel: sociaal probleem identificeren, analyseren (oorzaken hiervan, nuances, theorieën) en
nadenken over aanpak.
- Eerst bij Henk checken of probleem en maatregel oke zijn (in de komende 1 à 2 weken).
Niet naar elke presentatiesessie komen.
Inleiding beleidsevaluatieonderzoek: wat is
beleidsevaluatieonderzoek?
Literatuur:
- Swanborn, Peter (2007), Evalueren, Amsterdam: Uitgeverij Boom Onderwijs, pp. 36-60.
- Pawson, Ray & Nick Tilley (1997), Realistic Evaluation, London: Sage Publications, pp. 1-29.
- Optioneel: Gielen, Amy-Jane (2017), “Evaluatie van de bestrijding van gewelddadig
extremisme,” in: Colaert, Lore [red.], ‘Deradicalisering’. Wetenschappelijke inzichten voor een
Vlaams beleid. Brussel: Vlaams Vredesinstituut, pp. 105-124.
Grote moeilijkheid: beleid luistert niet altijd naar wetenschappers.
Terminologie en benaderingen
Onderscheid tsn:
- Evaluatie: beoordeling en het denkproces dat daarachter zit.
o Gebruikt criteria met standaarden voor elk criterium.
- Evaluatieonderzoek: wetenschappelijke methodes inzetten om iets of iemand en de kwaliteit
daarvan te beoordelen.
- Beleidsevaluatieonderzoek: synoniem met evaluatieonderzoek, wetenschappelijke methodes
gebruiken om beleidsmaatregelen te beoordelen op hun effectiviteit en werking.
o Op verschillende niveaus: macro (politiek) – micro (organisatie).
3 grote perspectieven in geschiedenis evaluatieonderzoek:
- (1) Als sociaal wetenschappelijk onderzoek: enkel door wetenschappers gedaan, doel =
wetenschappelijke kennis genereren.
o Naïef gedachtegoed.
o ’60-70.
o Probleem: niemand gebruikte de resultaten van deze onderzoeken, politici luisteren
niet naar wetenschappers/waarheid want zijn gebonden aan hun ideologie.
▪ Rationaliteit wetenschap =/= rationaliteit politiek.
, - (2) Als onderdeel van het beleidsproces: user oriented evaluation research, onderzoek
meteen inbedden in beleidsproces zodat resultaten effectief gebruikt worden.
o Werkt beter, MAAR is afstappen van het zoeken naar de waarheid, want men is op
zoek naar bruikbare kennis (komt niet altijd overeen met betrouwbare, valide
kennis).
o BV. eindigheid in de werkloosheidsuitkering in België: idee hierachter = meer push
om te gaan werken, dan gaan meer mensen werken want kloof tsn werkenden en
niet-werkenden wordt groter, meer incentive.
▪ Maar: mensen die geen werk kunnen vinden gaan in de armoede belanden.
▪ Verschil links en rechts idee.
▪ Afhankelijk van de indicator die je meet, krijg je een andere werkelijkheid =>
werkelijkheid wordt mee beslist door de persoon die bepaald wat gemeten
wordt.
• Idealiter zou je beide meten, maar dat kost veel en er wordt vaak
gewoon niets onderzocht.
• Machtsprocessen in keuze indicatoren.
- (3) Als vorm van emancipatie, empowerment: co-creatie, mensen die er belang aan hebben
(stakeholders) mee betrekken in het onderzoek.
o Niet meer onderzoek doen OVER een bepaalde groep mensen (bv. armen), maar
onderzoek MET deze groep.
o Empowerment: door inzicht te krijgen in eigen situatie, kan je er misschien zelf
uitkomen.
Sociaalwetenschappelijk onderzoek
- Goal oriented, goal atttainment model => dit soort onderzoek is gefocust op het doel, gaat
enkel na of een maatregel zijn vooraf voorgeschreven doel bereikt.
- Achterliggend idee van social engineering.
o Welvaartsstaat in de stijgers zetten, een betere samenleving maken.
- BV. welke factoren leiden tot armoede? => deze factoren aanpakken.
- Samenleving als laboratorium, ideaal van experimenting society (Campbell).
o Samenleving als labo voor wetenschappers om dingen uit te proberen => politici
gebruiken wat werkte.
o Gebruik van experimenten (experimentele designs): meetbare criteria (kwantitatieve,
betrouwbare criteria).
o Centrale vraag: bereiken interventies hun doel?
o Doel: welke maatregelen werken het beste bij welke sociale problemen?
- Probleem:
o Er wordt enkel gefocust op het doel, wat met neveneffecten?
▪ Niet gemeten = niet geweten.
o Ethische belemmeringen.
o Gebrek aan context: experimenteel design heeft een gecontroleerde context nodig
met 2 situaties die enkel verschillen in het ding dat je wilt onderzoeken.
▪ Impact van andere contextuele factoren heb je niet onder controle.
, VB. Western Electric Company (Chicago, ’20-30) = telefoonfabriek met assemblage aan de lopende
band.
- Achtergrond: discussie over motiveren van arbeiders (deze discussie bestaat nu nog steeds).
- Toen: Taylorisme = iedereen een aparte taak geven waardoor het sneller gaat, proces
opdelen in delen om elke deeltaak zo efficiënt mogelijk in te vullen door mensen die
gespecialiseerd zijn in die deeltaak (omdat ze heel de tijd hetzelfde doen).
o Motivatie ging naar beneden.
- Niet enkel loon als motivatie, ook evalueren van fysische werkomstandigheden.
o Enkel loon: mensen geraken gewoon aan hun nieuwe loon en motivatie daalt weer =>
oplossing: kijken naar werkomstandigheden (bv. aantal werkuren, verlichting).
- Eerst: effect van verlichting?
- Later: wat beïnvloedt productiviteit?
- Experimenteel design en varianten: experimentele groep met stimulus (gemanipuleerde
belichting) + controlegroep => welke invloed heeft dit op motivatie?
o Elke gemanipuleerde lichtsituatie gaf een goed resultaat tov de beginsituatie, zelfs bij
minimaal licht.
o
- Relay assembly study: mensen in kleine groepen indelen ipv veel mensen in een heel grote
kamer => verhoogde productiviteit.
- Bevindingen?
o Toename belichting => toename productiviteit.
o Afname belichting => toename productiviteit (?).
o Gevolg: aandacht van onderzoekers zorgde voor verhoogde motivatie = Hawthorne
effect.
o En: goed geïntegreerd binnen kleine groep => goede verstandhouding => goed
moreel => toename productiviteit.
- Basis voor human relations benadering (Elton Mayo).
Of toch niet?
- Heranalysering van Western Electric Company volgens moderne normen en moderne
analyse.
- 90% variatie verklaard door:
o Sterke controle managers.
o Econ depressie.
o Regelmaat rustpauzes.
- Slechts 10% verklaard door ‘goede verstandhouding’ in kleine groepen.
o Eigenlijk is de geboorte van de human relations benadering dus toeval.
VB. sesamstraat.
