Samenvatting: Onderzoekspracticum - experimenteel onderzoek
Thema 1 – Experimenten
Studietaak 1.1 – Wat is een experiment?
Leerdoelen:
- Het verschil tussen een volledig gerandomiseerd, gedeeltelijk gerandomiseerd en
quasi-experimenteel design beschrijven
- Beschrijven wat een een binnenproefpersoon-, tussenproefpersoon- en een mixed-
design inhouden
- Beschrijven welke manieren van experimentele controle er zijn om gedeeltelijk te
randomiseren.
Door een experiment is een onderzoeker in staat om valide conclusies te trekken; om een
theorie te toetsen (ipv bewijzen), door causale relaties empirisch te observeren en
evalueren.
- Validiteit: meten wat je wilt meten; je kunt conclusies trekken die je denkt te kunnen
trekken.
- Experimenten zijn geknutselde observaties, gemaakt door mensen terwijl het ook
iets zegt over (een populatie) mensen.
- De enige manier om een oorzakelijk verband (causaliteit) vast te stellen, is om een
experiment uit te voeren. Dit laat zien hoe verschillende observaties en uitkomsten
met elkaar samenhangen.
- Cetris paribus: alleen de onafhankelijke variabele wordt gemanipuleerd, terwijl de
overige omstandigheden gelijk blijven.
Mill’s method of difference: om een causaal effect van X op Y aan te tonen, moet je ook
kunnen aantonen dat Y niet voorkomt in afwezigheid van X. Dit leidt tot een experimentele
én een controlegroep om een causale claim te kunnen maken:
1. Methode van overeenkomst: aantonen dat X voldoende is om het effect in Y te
veroorzaken; als X, dan Y.
2. Methode van verschil: aantonen X onmiskenbaar is voor het effect in Y; als niet-X,
dan niet-Y.
Controleconditie/-groep: een experimentele conditie waarin de manipulatie niet
wordt toegepast; een neutrale situatie in de brede zin = referentiepunt voor de
vergelijking met de conditie waarin de manipulatie wel wordt toegepast.
Verschillende type experimentele ontwerpen die een oplossing bieden voor de ruis die
wordt veroorzaakt door individuele verschillen:
1. Volledig gerandomiseerd: een zuiver experiment, waarbij deelnemers willekeurig
worden toegewezen aan experimentele condities of manipulaties.
Doel: de verspreiding van individuele proefpersoonskenmerken (ruis voor
onderzoek) verdelen over alle condities.
, Het is niet van belang hoe proefpersonen in de steekproef terecht komen, wel
hoe ze worden toegewezen aan hun experimentele conditie. Namelijk:
gerandomiseerd.
Positief: kan wat zeggen over causaliteit.
Negatief: verminderde ecologische validiteit, vanwege het onnatuurlijke karakter
van de experimenten.
2. Quasi-experiment: bestaande groepen worden geobserveerd en gemanipuleerd,
waardoor proefpersonen niet random worden toegewezen aan een groep.
Persoonskenmerken kunnen hierdoor wél invloed hebben op de groep.
Negatief: zwakkere aantoning van causale relaties.
Positief: toename van ecologische validiteit: door te observeren in de natuurlijke
omgeving, zegt het onderzoek meer over de alledaagse praktijk.
3. Gedeeltelijk/cluster gerandomiseerd: bestaande clusters van deelnemers worden
random verdeeld over de condities.
Positief: gebruik van natuurlijke groepen.
Negatief: geen perfecte randomisatie, waarbij de deelnemers binnen de groepen
lijken meer op elkaar dan tussen de groepen.
Twee aanvullende designs:
1. Between-subjects design: toewijzing van proefpersonen aan één experimentele
conditie, wat resulteert in verschillende groepen proefpersonen die met elkaar
worden vergeleken; tussen proefpersonen.
2. Within-subjects design: alle proefpersonen worden blootgesteld aan alle
experimentele- én controlecondities; binnen proefpersonen.
Ook wel: repeated measures design, omdat de proefpersonen na elke
manipulatie opnieuw gemeten worden.
Counterbalancing: het variëren van de volgorde van condities om ‘volgorde
effecten’ (waarbij de reacties worden beïnvloed door de volgorde waarin de
condities worden aangeboden) te voorkomen.
3. Mixed designs: het combineren van between en within subjects designs, waarin
manipulaties zowel tussen als binnen proefpersonen plaatsvinden.
Bijv. de voortgang van twee groepen (tussen) patiënten op drie verschillende
tijdstippen (binnen) worden gemeten.
Experimentele controle: de maatregelen die worden genomen om de invloed van storende
variabelen te beheersen, zodat een beter begrip gekregen wordt van de specifieke effecten
van de manipulatie op de afhankelijke variabele; het onder controle houden van
persoonskenmerken kan via:
1. Randomisatie: zie hierboven. essentieel en noodzakelijk voor een experiment.
2. Groepsgewijs matchen in blokdesigns: eerst experimentele controle toepassen door
mensen bewust in te delen in homogene categorieën op basis van verstorende
kenmerken (bijv geslacht/leeftijd/etc), vervolgens de personen random toewijzen
over de experimentele condities (2 groepen).
Dit is mogelijk bij een beperkt aantal verstorende variabelen en vereist een grote
steekproef.
3. Matchen: het gelijk houden van de experimentele- en controlegroep op bekende en
beïnvloedende kenmerken op de afhankelijke variabelen.
, Twee methoden:
- Precisiecontrole: voor elk persoon in de ene conditie, een vergelijkbaar
persoon in de andere conditie vinden, en deze random toewijzen aan de
experimentele- of controleconditie; gematchte paren van proefpersonen.
i Nadeel: grote steekproef.
- Globale controle: gelijke frequenties van belangrijke kenmerken in beide
groepen, zonder noodzakelijk exacte overeenkomst tussen individuen.
i Nadeel: minder precieze controle.
Door het matchen kan er data verzameld worden van proefpersonen met
verschillende kenmerken. Een meer diverse steekproef is meer representatief
voor de doelpopulatie, maar brengt ook ruis met zich mee (= lastig voor subtiele
effecten en dus statistische patronen).
4. Homogeniseren: het zo selecteren van proefpersonen dat de groepen zo homogeen
mogelijk zijn mbt de externe variabelen; het onderzoek toespitsen op een specifieke
categorie (bijv. alleen ouderen). Door de verminderde variatie, neemt ruis (en
externe validiteit) af en statistische power toe (= kans een effect te detecteren).
Studietaak 1.2 – Experimentele designs
Leerdoelen
- De bekendste algemene pre-experimentele designs benoemen
- De bekendste algemene gerandomiseerde experimentele designs benoemen
- De bekendste algemene quasi-experimentele designs benoemen
- De bekendste algemene longitudinale designs benoemen.
Experimentele taal:
- O1 = eerste observatie enz.
- X = ondergaan van experimentele stimulus (treatment)
- R = randomisatie noodzakelijk bij meerdere groepen (= zuiver experiment)
- NR = geen randomisatie
- T1 = tijdstip 1 enz.
Alle experimentele designs zijn fijngeslepen instrumenten om zo veel mogelijk verstorende
factoren uit te sluiten, met als doel om causaliteit te kunnen vaststellen volgens de Mills-
methode. Soorten experimentele designs (zie studietaak 1.2 voor schematische weergave):
1. Pre-experimenteel: bevatten elementen van een experiment, maar hebben een te
beperkt vermogen om validiteitsbedreigers onder controle te houden en dus een
causale uitspraak te doen.
One shot case study: een enkele manipulatie wordt uitgevoerd en het effect
wordt geobserveerd.
One-group pre-post design: observatie voorafgaand en na de manipulatie.
Posttest only design met bestaande groepen: afwezig van random toewijzen aan
condities/groepen en geen voormeting = onvoldoende vergelijkingsmateriaal.
2. Zuiver experimenteel/gerandomiseerde experimenten: ??
Posttest-only control(group): (makkelijkst) geen voormeting (= geen testeffect)
verhoogd de validiteit, maar er is wel mogelijk sprake van:
- Plafondeffect: te makkelijke test, wat niet ontdekt is bij een voormeting.
, - Bodemeffect: te moeilijke test.
Pretest-posttest control(group) design/klassieke experimentele ontwerp:
(meestgebruikt in sociale wetenschap) willekeurige toewijzing aan groepen en
beide onderhevig aan een voor- en nameting.
- Verschil is bijna zeker toe te schrijven aan de manipulatie, maar mogelijk
spraken van validiteitsbedreigers door voormeting.
Solomon vier-groependesign: combi van bovenstaande, waarbij de
experimentele- en controle groep onderverdeeld zijn over beide 2 groepen,
waarvan 1 groep een voormeting krijgt en de andere groep niet. Voordelen:
- Checken of randomisatie is geslaagd en dus vergelijking mogelijk is.
- Voormeting: voorkomen van plafond-/bodeneffect.
- Geen voormeting: voorkomen van testeffect of pretest-treatment-interactie
c.q. voormetingssensitisatie (= bewust worden van het onderzoek en naar die
verwachting handelen).
3. Quasi-experimenteel: ??
Pretest-posttest control design: twee bestaande, niet random groepen worden
vergeleken door beide een voor- en nameting en 1 groep met manipulatie.
4. Longitudinale designs: meerdere metingen over de tijd bij dezelfde mensen.
Enkelvoudige tijdreeks: bij dezelfde proefpersonen worden op verschillende
tijdstippen (voor en na manipulatie) metingen verricht (= langetermijneffecten).
- Uitbreiding op one-group pre-post design.
Meervoudige tijdreeks: random toewijzing aan controle- of experimentele groep
en deze groep op verschillende tijdstippen meten.
- Een follow-up is niet per definitie een longitudinaal design!
Studietaak 1.3 – Validiteit bij experimenten
Leerdoelen
- Het verschil tussen interne en externe validiteit beschrijven
- Bedreigers van de interne validiteit herkennen
- Bedreigers van de externe validiteit herkennen
- Kritisch reflecteren op de opzet van een onderzoek in termen van het type
validiteitsbedreiging
- Uitleggen hoe geëvalueerd kan worden of de experimentele manipulatie is geslaagd.
Het oplossen van het ene validiteitsprobleem kan een ander validiteitsprobleem versterken.
Dit komt met name tot uiting in:
1. Externe validiteit: zijn de resultaten generaliseerbaar naar de doelpopulatie?
Twee soorten generaliseerbaarheid:
- Ecologische validiteit: tussen de situaties van het experiment en het dagelijkse
leven.
- Populatievaliditeit: tussen de onderzoeksdeelnemers en de doelpopulatie.
Validiteitsbedreigingen:
- Interactie-effect voormeting en experimentele stimulus: de voormeting
creëert een situatie die zich buiten het experiment niet voor zou doen.
- Niet-representatieve steekproeven: selectie van proefpersonen wijkt af van de
populatie waar het effect in plaats zou moeten vinden.
Thema 1 – Experimenten
Studietaak 1.1 – Wat is een experiment?
Leerdoelen:
- Het verschil tussen een volledig gerandomiseerd, gedeeltelijk gerandomiseerd en
quasi-experimenteel design beschrijven
- Beschrijven wat een een binnenproefpersoon-, tussenproefpersoon- en een mixed-
design inhouden
- Beschrijven welke manieren van experimentele controle er zijn om gedeeltelijk te
randomiseren.
Door een experiment is een onderzoeker in staat om valide conclusies te trekken; om een
theorie te toetsen (ipv bewijzen), door causale relaties empirisch te observeren en
evalueren.
- Validiteit: meten wat je wilt meten; je kunt conclusies trekken die je denkt te kunnen
trekken.
- Experimenten zijn geknutselde observaties, gemaakt door mensen terwijl het ook
iets zegt over (een populatie) mensen.
- De enige manier om een oorzakelijk verband (causaliteit) vast te stellen, is om een
experiment uit te voeren. Dit laat zien hoe verschillende observaties en uitkomsten
met elkaar samenhangen.
- Cetris paribus: alleen de onafhankelijke variabele wordt gemanipuleerd, terwijl de
overige omstandigheden gelijk blijven.
Mill’s method of difference: om een causaal effect van X op Y aan te tonen, moet je ook
kunnen aantonen dat Y niet voorkomt in afwezigheid van X. Dit leidt tot een experimentele
én een controlegroep om een causale claim te kunnen maken:
1. Methode van overeenkomst: aantonen dat X voldoende is om het effect in Y te
veroorzaken; als X, dan Y.
2. Methode van verschil: aantonen X onmiskenbaar is voor het effect in Y; als niet-X,
dan niet-Y.
Controleconditie/-groep: een experimentele conditie waarin de manipulatie niet
wordt toegepast; een neutrale situatie in de brede zin = referentiepunt voor de
vergelijking met de conditie waarin de manipulatie wel wordt toegepast.
Verschillende type experimentele ontwerpen die een oplossing bieden voor de ruis die
wordt veroorzaakt door individuele verschillen:
1. Volledig gerandomiseerd: een zuiver experiment, waarbij deelnemers willekeurig
worden toegewezen aan experimentele condities of manipulaties.
Doel: de verspreiding van individuele proefpersoonskenmerken (ruis voor
onderzoek) verdelen over alle condities.
, Het is niet van belang hoe proefpersonen in de steekproef terecht komen, wel
hoe ze worden toegewezen aan hun experimentele conditie. Namelijk:
gerandomiseerd.
Positief: kan wat zeggen over causaliteit.
Negatief: verminderde ecologische validiteit, vanwege het onnatuurlijke karakter
van de experimenten.
2. Quasi-experiment: bestaande groepen worden geobserveerd en gemanipuleerd,
waardoor proefpersonen niet random worden toegewezen aan een groep.
Persoonskenmerken kunnen hierdoor wél invloed hebben op de groep.
Negatief: zwakkere aantoning van causale relaties.
Positief: toename van ecologische validiteit: door te observeren in de natuurlijke
omgeving, zegt het onderzoek meer over de alledaagse praktijk.
3. Gedeeltelijk/cluster gerandomiseerd: bestaande clusters van deelnemers worden
random verdeeld over de condities.
Positief: gebruik van natuurlijke groepen.
Negatief: geen perfecte randomisatie, waarbij de deelnemers binnen de groepen
lijken meer op elkaar dan tussen de groepen.
Twee aanvullende designs:
1. Between-subjects design: toewijzing van proefpersonen aan één experimentele
conditie, wat resulteert in verschillende groepen proefpersonen die met elkaar
worden vergeleken; tussen proefpersonen.
2. Within-subjects design: alle proefpersonen worden blootgesteld aan alle
experimentele- én controlecondities; binnen proefpersonen.
Ook wel: repeated measures design, omdat de proefpersonen na elke
manipulatie opnieuw gemeten worden.
Counterbalancing: het variëren van de volgorde van condities om ‘volgorde
effecten’ (waarbij de reacties worden beïnvloed door de volgorde waarin de
condities worden aangeboden) te voorkomen.
3. Mixed designs: het combineren van between en within subjects designs, waarin
manipulaties zowel tussen als binnen proefpersonen plaatsvinden.
Bijv. de voortgang van twee groepen (tussen) patiënten op drie verschillende
tijdstippen (binnen) worden gemeten.
Experimentele controle: de maatregelen die worden genomen om de invloed van storende
variabelen te beheersen, zodat een beter begrip gekregen wordt van de specifieke effecten
van de manipulatie op de afhankelijke variabele; het onder controle houden van
persoonskenmerken kan via:
1. Randomisatie: zie hierboven. essentieel en noodzakelijk voor een experiment.
2. Groepsgewijs matchen in blokdesigns: eerst experimentele controle toepassen door
mensen bewust in te delen in homogene categorieën op basis van verstorende
kenmerken (bijv geslacht/leeftijd/etc), vervolgens de personen random toewijzen
over de experimentele condities (2 groepen).
Dit is mogelijk bij een beperkt aantal verstorende variabelen en vereist een grote
steekproef.
3. Matchen: het gelijk houden van de experimentele- en controlegroep op bekende en
beïnvloedende kenmerken op de afhankelijke variabelen.
, Twee methoden:
- Precisiecontrole: voor elk persoon in de ene conditie, een vergelijkbaar
persoon in de andere conditie vinden, en deze random toewijzen aan de
experimentele- of controleconditie; gematchte paren van proefpersonen.
i Nadeel: grote steekproef.
- Globale controle: gelijke frequenties van belangrijke kenmerken in beide
groepen, zonder noodzakelijk exacte overeenkomst tussen individuen.
i Nadeel: minder precieze controle.
Door het matchen kan er data verzameld worden van proefpersonen met
verschillende kenmerken. Een meer diverse steekproef is meer representatief
voor de doelpopulatie, maar brengt ook ruis met zich mee (= lastig voor subtiele
effecten en dus statistische patronen).
4. Homogeniseren: het zo selecteren van proefpersonen dat de groepen zo homogeen
mogelijk zijn mbt de externe variabelen; het onderzoek toespitsen op een specifieke
categorie (bijv. alleen ouderen). Door de verminderde variatie, neemt ruis (en
externe validiteit) af en statistische power toe (= kans een effect te detecteren).
Studietaak 1.2 – Experimentele designs
Leerdoelen
- De bekendste algemene pre-experimentele designs benoemen
- De bekendste algemene gerandomiseerde experimentele designs benoemen
- De bekendste algemene quasi-experimentele designs benoemen
- De bekendste algemene longitudinale designs benoemen.
Experimentele taal:
- O1 = eerste observatie enz.
- X = ondergaan van experimentele stimulus (treatment)
- R = randomisatie noodzakelijk bij meerdere groepen (= zuiver experiment)
- NR = geen randomisatie
- T1 = tijdstip 1 enz.
Alle experimentele designs zijn fijngeslepen instrumenten om zo veel mogelijk verstorende
factoren uit te sluiten, met als doel om causaliteit te kunnen vaststellen volgens de Mills-
methode. Soorten experimentele designs (zie studietaak 1.2 voor schematische weergave):
1. Pre-experimenteel: bevatten elementen van een experiment, maar hebben een te
beperkt vermogen om validiteitsbedreigers onder controle te houden en dus een
causale uitspraak te doen.
One shot case study: een enkele manipulatie wordt uitgevoerd en het effect
wordt geobserveerd.
One-group pre-post design: observatie voorafgaand en na de manipulatie.
Posttest only design met bestaande groepen: afwezig van random toewijzen aan
condities/groepen en geen voormeting = onvoldoende vergelijkingsmateriaal.
2. Zuiver experimenteel/gerandomiseerde experimenten: ??
Posttest-only control(group): (makkelijkst) geen voormeting (= geen testeffect)
verhoogd de validiteit, maar er is wel mogelijk sprake van:
- Plafondeffect: te makkelijke test, wat niet ontdekt is bij een voormeting.
, - Bodemeffect: te moeilijke test.
Pretest-posttest control(group) design/klassieke experimentele ontwerp:
(meestgebruikt in sociale wetenschap) willekeurige toewijzing aan groepen en
beide onderhevig aan een voor- en nameting.
- Verschil is bijna zeker toe te schrijven aan de manipulatie, maar mogelijk
spraken van validiteitsbedreigers door voormeting.
Solomon vier-groependesign: combi van bovenstaande, waarbij de
experimentele- en controle groep onderverdeeld zijn over beide 2 groepen,
waarvan 1 groep een voormeting krijgt en de andere groep niet. Voordelen:
- Checken of randomisatie is geslaagd en dus vergelijking mogelijk is.
- Voormeting: voorkomen van plafond-/bodeneffect.
- Geen voormeting: voorkomen van testeffect of pretest-treatment-interactie
c.q. voormetingssensitisatie (= bewust worden van het onderzoek en naar die
verwachting handelen).
3. Quasi-experimenteel: ??
Pretest-posttest control design: twee bestaande, niet random groepen worden
vergeleken door beide een voor- en nameting en 1 groep met manipulatie.
4. Longitudinale designs: meerdere metingen over de tijd bij dezelfde mensen.
Enkelvoudige tijdreeks: bij dezelfde proefpersonen worden op verschillende
tijdstippen (voor en na manipulatie) metingen verricht (= langetermijneffecten).
- Uitbreiding op one-group pre-post design.
Meervoudige tijdreeks: random toewijzing aan controle- of experimentele groep
en deze groep op verschillende tijdstippen meten.
- Een follow-up is niet per definitie een longitudinaal design!
Studietaak 1.3 – Validiteit bij experimenten
Leerdoelen
- Het verschil tussen interne en externe validiteit beschrijven
- Bedreigers van de interne validiteit herkennen
- Bedreigers van de externe validiteit herkennen
- Kritisch reflecteren op de opzet van een onderzoek in termen van het type
validiteitsbedreiging
- Uitleggen hoe geëvalueerd kan worden of de experimentele manipulatie is geslaagd.
Het oplossen van het ene validiteitsprobleem kan een ander validiteitsprobleem versterken.
Dit komt met name tot uiting in:
1. Externe validiteit: zijn de resultaten generaliseerbaar naar de doelpopulatie?
Twee soorten generaliseerbaarheid:
- Ecologische validiteit: tussen de situaties van het experiment en het dagelijkse
leven.
- Populatievaliditeit: tussen de onderzoeksdeelnemers en de doelpopulatie.
Validiteitsbedreigingen:
- Interactie-effect voormeting en experimentele stimulus: de voormeting
creëert een situatie die zich buiten het experiment niet voor zou doen.
- Niet-representatieve steekproeven: selectie van proefpersonen wijkt af van de
populatie waar het effect in plaats zou moeten vinden.
