Probleem 4 – Worstelen met causaliteit
Leerdoelen:
Leerdoel 1: Wat betekent causaliteit?
Leerdoel 2: Welke onderzoeksopzet moet worden gebruikt voor het kunnen doen van causale uitspraken?
Leerdoel 3: Welke elementen moet die onderzoeksopzet hebben?
Leerdoel 4: Aan welke eisen moet die onderzoeksopzet voldoen? Of: Welke bedreigers van causaliteit/validiteit
zijn er?
Leerdoel 5: Is experimenteel onderzoek mogelijk in de criminologie?
Boek 1: Methoden en Technieken van Onderzoek in de criminologie, hoofdstuk 4
Leerdoel 1: Wat betekent causaliteit?
Causaliteit: X mag niet zomaar als een oorzaak van Y worden gedefinieerd. Voor een correct causaal
verband moet er voldaan worden aan drie voorwaarden:
1. X gaat vooraf aan Y.
2. X hangt empirisch samen met Y.
3. Er is geen alternatieve verklaring voor de samenhang tussen X en Y.
Leerdoel 2: Welke onderzoeksopzet moet worden gebruikt voor het kunnen doen van causale uitspraken?
Observationeel onderzoek: de onderzoekers hebben het niet in de hand om de interventie te manipuleren
en kunnen ook de groepen niet samenstellen.
Omdat er observaties kunnen worden gedaan op verschillende momenten door de tijd heen, kunnen
er veranderingen waargenomen worden, maar kunnen ook de gevolgen van die veranderingen
waargenomen worden. Daardoor is het erg makkelijk om oorzaken aan te wijzen en causale uitspraken
te doen.
Quasi-experimenteel: het ondervangt de beperking van het observationeel onderzoek dat er geen
vergelijkingsgroep is. Er is een experimentele groep en een controlegroep.
Experimenteel: de ideale situatie.
Leerdoel 3: Welke elementen moet die onderzoeksopzet hebben?
Variabelen: zijn belangrijk in een onderzoeksopzet en kunnen onafhankelijk of afhankelijk zijn.
Onafhankelijke variabele: is meestal wel te manipuleren door de onderzoeker, behalve bij
observationeel onderzoek.
Afhankelijke variabele: is afhankelijk van de onafhankelijke variabele. Kan niet gemanipuleerd worden
door de onderzoeker. Wordt meestal aangegeven als het gevolg.
Interventie: als er een interventie ingezet wordt, moet er op twee momenten gemeten worden om een
causaal verband aan te kunnen tonen:
1. Een meting voor het toedienen van de interventie (voormeting).
2. Een meting na het toedienen van de interventie (nameting).
Quasi-experimenteel: heeft een experimentele groep en een controlegroep:
Experimentele groep: de groep die de interventie wel toegediend krijgt.
Controlegroep: de groep die de interventie niet toegediend krijgt.
Alles wat de experimentele groep vooruit gaat is toe te schrijven aan te interventie.
Experimenteel: heeft een experimentele groep en een controlegroep:
Experimentele groep: krijgt de interventie wel toegediend, door de onderzoeker.
Controlegroep: krijgt de interventie niet toegediend.
De onderzoeker bepaalt wie er in de experimentele groep en wie er in de controlegroep terechtkomt.
In de praktijk wordt dit meestal door toeval bepaald, zodat er geen systematische verschillen zijn
tussen de personen in de groepen. Dit wordt de indeling at random of de aselecte indeling
genoemd. De groepen heten statistisch equivalent.
Wordt ook wel aangeduid als het klassieke experiment of een randomized controlled trial.
, Leerdoel 4: Aan welke eisen moet die onderzoeksopzet voldoen? Of: Welke bedreigers van causaliteit/validiteit
zijn er?
Kwantitatieve opzet: een aantal veronderstellingen:
1. De observatie-eenheden zijn replicaties van dezelfde structuur: de respondenten zijn niet identiek
aan elkaar, maar hebben wel een bepaalde structuur gemeen, zodat de steekproef representatief is
voor de hele populatie.
2. Observatie-eenheden vertonen onafhankelijk van elkaar het te onderzoeken gedrag: als dit niet zo
is, is het vaak zo dat er een paar dominante respondenten zijn en is er geen sprake meer van een
algemene grote gemene deler.
3. De groep observatie-eenheden is representatief voor een populatie.
4. Observatie-eenheden werken mee, en vertonen hun natuurlijk gedrag: als het onderzoek te
opvallend is, kunnen de observatie-eenheden zich anders gaan gedragen en kan de onderzoeksvraag
nooit beantwoord worden.
Observationeel onderzoek: heeft als bedreiger van causaliteit dat er geen groep is om mee te vergelijken
en dat de observatie echt volledig afhankelijk is van wat er gezien wordt. De onderzoeker heeft geen
invloed.
Quasi-experimenteel: heeft als bedreiger van causaliteit dat de onderzoeker het moet doen met bestaande
groepen, die misschien op meer vlakken dan alleen op het vlak van de interventie van elkaar verschillen.
Experimenteel: het is niet altijd even makkelijk om groepen te randomiseren. Zo zijn er soms ethische
kwesties of bezwaren van hulpverleners tegen het randomiseren.
Bij propensity score matching zijn er ook meerdere bedreigers van causaliteit:
1. Er gaan respondenten verloren tijdens het matchen.
2. De techniek achter de score gaat uit van bepaalde aannames.
Statistische validiteit: betreft de vraag of een gevonden samenhang als toevallig beschouwd mag worden
of als niet-toevallig beschouwd mag worden. Bedreigers hiervan:
Type 1 fout: de nulhypothese is waar, maar de alternatieve hypothese wordt aangenomen.
Type 2 fout: er wordt niet ontdekt dat er wat bijzonders aan de hand is, doordat de nulhypothese
onterecht wordt aangenomen.
Er is een te kleine steekproef genomen om aan te tonen dat er een verband bestaat tussen X en Y.
Er is een te grote steekproef genomen, waardoor ieder verband significant wordt.
Er zit te veel ruis in de data, waardoor de bestaande samenhang hier helemaal in verdwijnt.
De aannames van de toetsingsprocedure zijn geschonden, terwijl deze wel zijn aangenomen.
Interne validiteit: er moet verzekerd worden dat er geen alternatieve verklaring bestaat voor het gevonden
effect. Er zijn in totaal tien verschillende bedreigers van interne validiteit:
History: er is gelijktijdig met de interventie iets gebeurd, waardoor de respondenten beïnvloed zijn.
Rijping (maturation): het waargenomen effect is niet door de interventie veroorzaakt, maar door een
ander effect in het ontwikkelingsproces binnen de respondenten.
Testeffecten (testing): de waargenomen verandering is niet door de interventie veroorzaakt, maar
door de voormeting zelf. De respondenten zijn tijdens de voormeting anders gaan denken.
Instrumentatie: de observatiemethode krijgt door de loop van de tijd heen een andere betekenis,
waardoor het niet meetbaar meer is. Dit is vooral een probleem bij langlopend onderzoek, er kunnen
twee effecten optreden:
Plafondeffect: de respondenten zitten al aan de top van de schaal en er is geen verbetering waar
te nemen.
Vloereffect: de onderzoeker probeert iets te meten bij een groep die bijna helemaal niet ermee te
maken heeft.
Selectie: de groepen zijn niet aselect uitgekozen en de interventie kan dus ook toegewezen worden
aan het uitkiezen van de groepen.
Uitval: de respondenten haken tijdens het onderzoek af. Dit wordt experimentele mortaliteit
genoemd.
Onvoldoende scheiding tussen groepen: de twee groepen zien elkaar zo af en toe en hierdoor
vermengen de groepen zich en zullen ze beide wat onterecht vooruit gaan. Dit wordt contamination
genoemd en er is over het algemeen niet veel tegen te doen.
Waargenomen verschil tussen groepen: de groepen hebben weet van het feit dat de ene groep een
experiment ondergaat en de andere groep niet en worden hier gedemoraliseerd of competitief van.
Leerdoelen:
Leerdoel 1: Wat betekent causaliteit?
Leerdoel 2: Welke onderzoeksopzet moet worden gebruikt voor het kunnen doen van causale uitspraken?
Leerdoel 3: Welke elementen moet die onderzoeksopzet hebben?
Leerdoel 4: Aan welke eisen moet die onderzoeksopzet voldoen? Of: Welke bedreigers van causaliteit/validiteit
zijn er?
Leerdoel 5: Is experimenteel onderzoek mogelijk in de criminologie?
Boek 1: Methoden en Technieken van Onderzoek in de criminologie, hoofdstuk 4
Leerdoel 1: Wat betekent causaliteit?
Causaliteit: X mag niet zomaar als een oorzaak van Y worden gedefinieerd. Voor een correct causaal
verband moet er voldaan worden aan drie voorwaarden:
1. X gaat vooraf aan Y.
2. X hangt empirisch samen met Y.
3. Er is geen alternatieve verklaring voor de samenhang tussen X en Y.
Leerdoel 2: Welke onderzoeksopzet moet worden gebruikt voor het kunnen doen van causale uitspraken?
Observationeel onderzoek: de onderzoekers hebben het niet in de hand om de interventie te manipuleren
en kunnen ook de groepen niet samenstellen.
Omdat er observaties kunnen worden gedaan op verschillende momenten door de tijd heen, kunnen
er veranderingen waargenomen worden, maar kunnen ook de gevolgen van die veranderingen
waargenomen worden. Daardoor is het erg makkelijk om oorzaken aan te wijzen en causale uitspraken
te doen.
Quasi-experimenteel: het ondervangt de beperking van het observationeel onderzoek dat er geen
vergelijkingsgroep is. Er is een experimentele groep en een controlegroep.
Experimenteel: de ideale situatie.
Leerdoel 3: Welke elementen moet die onderzoeksopzet hebben?
Variabelen: zijn belangrijk in een onderzoeksopzet en kunnen onafhankelijk of afhankelijk zijn.
Onafhankelijke variabele: is meestal wel te manipuleren door de onderzoeker, behalve bij
observationeel onderzoek.
Afhankelijke variabele: is afhankelijk van de onafhankelijke variabele. Kan niet gemanipuleerd worden
door de onderzoeker. Wordt meestal aangegeven als het gevolg.
Interventie: als er een interventie ingezet wordt, moet er op twee momenten gemeten worden om een
causaal verband aan te kunnen tonen:
1. Een meting voor het toedienen van de interventie (voormeting).
2. Een meting na het toedienen van de interventie (nameting).
Quasi-experimenteel: heeft een experimentele groep en een controlegroep:
Experimentele groep: de groep die de interventie wel toegediend krijgt.
Controlegroep: de groep die de interventie niet toegediend krijgt.
Alles wat de experimentele groep vooruit gaat is toe te schrijven aan te interventie.
Experimenteel: heeft een experimentele groep en een controlegroep:
Experimentele groep: krijgt de interventie wel toegediend, door de onderzoeker.
Controlegroep: krijgt de interventie niet toegediend.
De onderzoeker bepaalt wie er in de experimentele groep en wie er in de controlegroep terechtkomt.
In de praktijk wordt dit meestal door toeval bepaald, zodat er geen systematische verschillen zijn
tussen de personen in de groepen. Dit wordt de indeling at random of de aselecte indeling
genoemd. De groepen heten statistisch equivalent.
Wordt ook wel aangeduid als het klassieke experiment of een randomized controlled trial.
, Leerdoel 4: Aan welke eisen moet die onderzoeksopzet voldoen? Of: Welke bedreigers van causaliteit/validiteit
zijn er?
Kwantitatieve opzet: een aantal veronderstellingen:
1. De observatie-eenheden zijn replicaties van dezelfde structuur: de respondenten zijn niet identiek
aan elkaar, maar hebben wel een bepaalde structuur gemeen, zodat de steekproef representatief is
voor de hele populatie.
2. Observatie-eenheden vertonen onafhankelijk van elkaar het te onderzoeken gedrag: als dit niet zo
is, is het vaak zo dat er een paar dominante respondenten zijn en is er geen sprake meer van een
algemene grote gemene deler.
3. De groep observatie-eenheden is representatief voor een populatie.
4. Observatie-eenheden werken mee, en vertonen hun natuurlijk gedrag: als het onderzoek te
opvallend is, kunnen de observatie-eenheden zich anders gaan gedragen en kan de onderzoeksvraag
nooit beantwoord worden.
Observationeel onderzoek: heeft als bedreiger van causaliteit dat er geen groep is om mee te vergelijken
en dat de observatie echt volledig afhankelijk is van wat er gezien wordt. De onderzoeker heeft geen
invloed.
Quasi-experimenteel: heeft als bedreiger van causaliteit dat de onderzoeker het moet doen met bestaande
groepen, die misschien op meer vlakken dan alleen op het vlak van de interventie van elkaar verschillen.
Experimenteel: het is niet altijd even makkelijk om groepen te randomiseren. Zo zijn er soms ethische
kwesties of bezwaren van hulpverleners tegen het randomiseren.
Bij propensity score matching zijn er ook meerdere bedreigers van causaliteit:
1. Er gaan respondenten verloren tijdens het matchen.
2. De techniek achter de score gaat uit van bepaalde aannames.
Statistische validiteit: betreft de vraag of een gevonden samenhang als toevallig beschouwd mag worden
of als niet-toevallig beschouwd mag worden. Bedreigers hiervan:
Type 1 fout: de nulhypothese is waar, maar de alternatieve hypothese wordt aangenomen.
Type 2 fout: er wordt niet ontdekt dat er wat bijzonders aan de hand is, doordat de nulhypothese
onterecht wordt aangenomen.
Er is een te kleine steekproef genomen om aan te tonen dat er een verband bestaat tussen X en Y.
Er is een te grote steekproef genomen, waardoor ieder verband significant wordt.
Er zit te veel ruis in de data, waardoor de bestaande samenhang hier helemaal in verdwijnt.
De aannames van de toetsingsprocedure zijn geschonden, terwijl deze wel zijn aangenomen.
Interne validiteit: er moet verzekerd worden dat er geen alternatieve verklaring bestaat voor het gevonden
effect. Er zijn in totaal tien verschillende bedreigers van interne validiteit:
History: er is gelijktijdig met de interventie iets gebeurd, waardoor de respondenten beïnvloed zijn.
Rijping (maturation): het waargenomen effect is niet door de interventie veroorzaakt, maar door een
ander effect in het ontwikkelingsproces binnen de respondenten.
Testeffecten (testing): de waargenomen verandering is niet door de interventie veroorzaakt, maar
door de voormeting zelf. De respondenten zijn tijdens de voormeting anders gaan denken.
Instrumentatie: de observatiemethode krijgt door de loop van de tijd heen een andere betekenis,
waardoor het niet meetbaar meer is. Dit is vooral een probleem bij langlopend onderzoek, er kunnen
twee effecten optreden:
Plafondeffect: de respondenten zitten al aan de top van de schaal en er is geen verbetering waar
te nemen.
Vloereffect: de onderzoeker probeert iets te meten bij een groep die bijna helemaal niet ermee te
maken heeft.
Selectie: de groepen zijn niet aselect uitgekozen en de interventie kan dus ook toegewezen worden
aan het uitkiezen van de groepen.
Uitval: de respondenten haken tijdens het onderzoek af. Dit wordt experimentele mortaliteit
genoemd.
Onvoldoende scheiding tussen groepen: de twee groepen zien elkaar zo af en toe en hierdoor
vermengen de groepen zich en zullen ze beide wat onterecht vooruit gaan. Dit wordt contamination
genoemd en er is over het algemeen niet veel tegen te doen.
Waargenomen verschil tussen groepen: de groepen hebben weet van het feit dat de ene groep een
experiment ondergaat en de andere groep niet en worden hier gedemoraliseerd of competitief van.
