Samenvatting ‘Experimental and quasi-experimental designs’
Hoofdstuk 1: Experimenten en gestandaardiseerde causale gevolgtrekking
De wetenschappelijke revolutie in de 17e eeuw had drie gevolgen voor he gebruik van
observatie in onderzoek:
1. Om fouten in een theorie te corrigeren. Eerder werd het ingezet om een theorie te
bewijzen.
2. Experiment wordt uitgevoerd en effecten van de manipulatie geobserveerd. Eerder
werden bestaande systemen geobserveerd (= passieve observatie).
3. Factoren onder controle houden die observaties in de weg staan. Gevolg hiervan is
aselecte toewijzing en toevoeging van controlegroep.
Experimenten en gevolgen
Er moet een goede definitie zijn van oorzaak en gevolg. Ook de manier waarop deze twee
factoren samenhangen is van belang. Zo kan er sprake zijn van oorzaak-gevolg, maar ook van
een wederkerige relatie (= correlatie).
Oorzaak
Definitie: een variabele die een gevolg of resultaat produceert. Is moeilijk om aan te wijzen,
vaak zijn er verschillende (deel)oorzaken. Dan is het lastig te duiden welke oorzaken nu
rechtstreeks verantwoordelijk zijn voor het opgetreden effect.
Mackie: INUS-voorwaarde.
“an Insufficient but Nonredundant part of an Unnecessary but Sufficient condition”.
Onvoldoende: lucifers alleen
Niet overbodig: bij aanwezigheid van zuurstof en droge bladeren
Niet noodzakelijk: brand kan ook gemaakt worden door iets anders dan een lucifer
Voldoende voorwaarde: je kunt met een lucifer brand maken
Gevolg
Zijn beter te begrijpen a.d.h.v. een ‘counterfactual model’. In zo’n model wordt bekeken wat
er zou zijn gebeurd als de groep geen experiment had ondergaan. Het verschil hiertussen is
dan het gevolg. Maar dit is lastig aangezien een groep niet op hetzelfde moment twee
experimenten kan ondergaan. Dit is mogelijk met een controlegroep (wel weer
kanttekeningen bij te plaatsen).
Causaliteit
J.S. Mill zegt dat een causaal verband bestaat uit drie aspecten:
1. De oorzaak ging vooraf aan het gevolg
2. De oorzaak is verbonden met het gevolg
3. Er zijn geen andere verklaringen te geven voor het gevolg anders dan de oorzaak
In experimenten is deze driedeling terug te vinden in de gebruikte methode:
1. We manipuleren de veronderstelde oorzaak en observeren het gevolg achteraf.
2. We kijken of variatie in oorzaak veranderingen in het gevolg teweegbrengt.
3. We gebruiken verschillende methoden gedurende het experiment om andere
verklaringen uit te sluiten.
, Correlatie en causaliteit verschillen per definitie van elkaar! Correlatie tussen twee
factoren bewijst niet welke factoren de oorzaak zijn. Soms kan de relatie ook veroorzaakt
worden door een derde variabele (= confound variable). Daarnaast moet je er ook rekening
mee houden dat alleen manipuleerbare factoren onderwerp van een experiment kunnen
zijn. Effecten van niet-manipuleerbare factoren zijn lastig te onderzoeken. Een oplossing
hiervoor is het gebruik van analoge experimenten. Dat is een experiment dat een oorzaak
manipuleert die gelijkwaardig is aan de te onderzoeken oorzaak, om zo meer te weten te
komen over die te onderzoeken oorzaak.
Het is van belang onderscheid te maken tussen causale beschrijving (= molar causation) en
causale verklaring (= moleculair causation)
Beschrijving: tamelijk oppervlakkig. Bijv. lichtknopje indrukken en er is licht = verband.
- Molar: kijk je naar het gehele verband tussen een complex van interveniërende factoren en
het effect daarvan. Heeft het effect ja of nee?
Verklaring: dieper. Bijv. lichtknopje sluit de elektrische cyclus waardoor de stroom rond kan
gaan = verband.
- Moleculair: welke delen van een interventie zijn verantwoordelijk voor het effect.
→ Dit is van belang voor de generalisatie van causale beschrijvingen, omdat je zo te weten
kunt komen wat noodzakelijke onderdelen van de oorzaak zijn.
Experimenten
1. Gerandomiseerd experiment
Twee groepen (controle en experimentele) die aselect zijn samengesteld.
→ groepen zijn vergelijkbaar
2. Quasi-experiment
Het doel is hetzelfde: testen en beschrijven van causale verwachtingen over manipuleerbare
oorzaken. Het verschil is de randomisatie. Dit heeft als gevolg dat de groepen op meer
punten van elkaar verschillen dan de aanwezigheid van de interventie. Hierdoor is niet met
zekerheid te zeggen waardoor de gevonden verschillen veroorzaakt zijn. Ook is het
rijpingsproces niet gelijk.
3. Natuurlijk experiment
Onderzoekt de effecten van een natuurlijk optredende gebeurtenis. Dit wordt gedaan
wanneer de gebeurtenis niet te manipuleren is (bijv. aardbeving).
4. Non-experimenteel design
Variabelen worden geobserveerd en niet gemanipuleerd. Er is geen randomisatie en geen
pre-test of controlegroepen (= mijn onderzoek).
Experimenten en generaliseerbaarheid van causale verbanden
Sterke kant: causale verbanden blootleggen
Zwakke kant: in hoeverre is dit te generaliseren?
Bij zwakke generalisatie hoeft het experiment niet daarom slecht te zijn.
Cronbach beschreef experimenten in termen van UTOS waarbinnen het experiment
plaatsvindt. In samenhang daarmee formuleerde hij twee typen generalisatie:
Hoofdstuk 1: Experimenten en gestandaardiseerde causale gevolgtrekking
De wetenschappelijke revolutie in de 17e eeuw had drie gevolgen voor he gebruik van
observatie in onderzoek:
1. Om fouten in een theorie te corrigeren. Eerder werd het ingezet om een theorie te
bewijzen.
2. Experiment wordt uitgevoerd en effecten van de manipulatie geobserveerd. Eerder
werden bestaande systemen geobserveerd (= passieve observatie).
3. Factoren onder controle houden die observaties in de weg staan. Gevolg hiervan is
aselecte toewijzing en toevoeging van controlegroep.
Experimenten en gevolgen
Er moet een goede definitie zijn van oorzaak en gevolg. Ook de manier waarop deze twee
factoren samenhangen is van belang. Zo kan er sprake zijn van oorzaak-gevolg, maar ook van
een wederkerige relatie (= correlatie).
Oorzaak
Definitie: een variabele die een gevolg of resultaat produceert. Is moeilijk om aan te wijzen,
vaak zijn er verschillende (deel)oorzaken. Dan is het lastig te duiden welke oorzaken nu
rechtstreeks verantwoordelijk zijn voor het opgetreden effect.
Mackie: INUS-voorwaarde.
“an Insufficient but Nonredundant part of an Unnecessary but Sufficient condition”.
Onvoldoende: lucifers alleen
Niet overbodig: bij aanwezigheid van zuurstof en droge bladeren
Niet noodzakelijk: brand kan ook gemaakt worden door iets anders dan een lucifer
Voldoende voorwaarde: je kunt met een lucifer brand maken
Gevolg
Zijn beter te begrijpen a.d.h.v. een ‘counterfactual model’. In zo’n model wordt bekeken wat
er zou zijn gebeurd als de groep geen experiment had ondergaan. Het verschil hiertussen is
dan het gevolg. Maar dit is lastig aangezien een groep niet op hetzelfde moment twee
experimenten kan ondergaan. Dit is mogelijk met een controlegroep (wel weer
kanttekeningen bij te plaatsen).
Causaliteit
J.S. Mill zegt dat een causaal verband bestaat uit drie aspecten:
1. De oorzaak ging vooraf aan het gevolg
2. De oorzaak is verbonden met het gevolg
3. Er zijn geen andere verklaringen te geven voor het gevolg anders dan de oorzaak
In experimenten is deze driedeling terug te vinden in de gebruikte methode:
1. We manipuleren de veronderstelde oorzaak en observeren het gevolg achteraf.
2. We kijken of variatie in oorzaak veranderingen in het gevolg teweegbrengt.
3. We gebruiken verschillende methoden gedurende het experiment om andere
verklaringen uit te sluiten.
, Correlatie en causaliteit verschillen per definitie van elkaar! Correlatie tussen twee
factoren bewijst niet welke factoren de oorzaak zijn. Soms kan de relatie ook veroorzaakt
worden door een derde variabele (= confound variable). Daarnaast moet je er ook rekening
mee houden dat alleen manipuleerbare factoren onderwerp van een experiment kunnen
zijn. Effecten van niet-manipuleerbare factoren zijn lastig te onderzoeken. Een oplossing
hiervoor is het gebruik van analoge experimenten. Dat is een experiment dat een oorzaak
manipuleert die gelijkwaardig is aan de te onderzoeken oorzaak, om zo meer te weten te
komen over die te onderzoeken oorzaak.
Het is van belang onderscheid te maken tussen causale beschrijving (= molar causation) en
causale verklaring (= moleculair causation)
Beschrijving: tamelijk oppervlakkig. Bijv. lichtknopje indrukken en er is licht = verband.
- Molar: kijk je naar het gehele verband tussen een complex van interveniërende factoren en
het effect daarvan. Heeft het effect ja of nee?
Verklaring: dieper. Bijv. lichtknopje sluit de elektrische cyclus waardoor de stroom rond kan
gaan = verband.
- Moleculair: welke delen van een interventie zijn verantwoordelijk voor het effect.
→ Dit is van belang voor de generalisatie van causale beschrijvingen, omdat je zo te weten
kunt komen wat noodzakelijke onderdelen van de oorzaak zijn.
Experimenten
1. Gerandomiseerd experiment
Twee groepen (controle en experimentele) die aselect zijn samengesteld.
→ groepen zijn vergelijkbaar
2. Quasi-experiment
Het doel is hetzelfde: testen en beschrijven van causale verwachtingen over manipuleerbare
oorzaken. Het verschil is de randomisatie. Dit heeft als gevolg dat de groepen op meer
punten van elkaar verschillen dan de aanwezigheid van de interventie. Hierdoor is niet met
zekerheid te zeggen waardoor de gevonden verschillen veroorzaakt zijn. Ook is het
rijpingsproces niet gelijk.
3. Natuurlijk experiment
Onderzoekt de effecten van een natuurlijk optredende gebeurtenis. Dit wordt gedaan
wanneer de gebeurtenis niet te manipuleren is (bijv. aardbeving).
4. Non-experimenteel design
Variabelen worden geobserveerd en niet gemanipuleerd. Er is geen randomisatie en geen
pre-test of controlegroepen (= mijn onderzoek).
Experimenten en generaliseerbaarheid van causale verbanden
Sterke kant: causale verbanden blootleggen
Zwakke kant: in hoeverre is dit te generaliseren?
Bij zwakke generalisatie hoeft het experiment niet daarom slecht te zijn.
Cronbach beschreef experimenten in termen van UTOS waarbinnen het experiment
plaatsvindt. In samenhang daarmee formuleerde hij twee typen generalisatie:
