Experimenteel onderzoek
Thema 1 experimenteren
Hoofdstuk 7 Experimentele designs
Experimenten zijn geschikt om causale claims te onderzoeken omdat de
onderzoeker strenge controle heeft over de variabelen die worden
onderzocht. Ideaal; alleen de onafhankelijke variabelen veranderd/
manipuleert en alle andere mogelijke invloeden worden constant
gehouden.
Een experiment wordt versterkt door het toevoegen van een controle
conditie. Dit is een conditie waarin de manipulatie niet wordt toegepast.
Ook wel Mill’s methode. Het draait niet alleen om aantonen van een
effect maar ook het weerleggen van het tegenovergestelde.
- methode van overeenkomst: als X zich voordoet, doet Y zich ook
voor. X is voldoende voorwaarde voor Y. experimentele groep.
- methode van verschil: als X zich niet voordoet, Y zich ook niet
voordoet. Dan is X een noodzakelijke voorwaarde voor Y. controle
groep.
Wegens ethische redenen is het niet mogelijk om altijd een controlegroep
toe te voegen aan een experiment.
Het belangrijkste doel van een experiment= het testen van hypotheses en
het beantwoorden van een onderzoeksvraag.
Het feit dat mensen van elkaar verschillen zorgt voor ruis in dit
onderzoeksproces.
- Volledig gerandomiseerde experimenten. Zuiver experiment.
Randomisatie wordt gebruikt om deelnemers willekeurig toegewezen
aan experimentele condities of manipulaties.
- Quasi experimenten. Worden deelnemers niet random aan
condities toegewezen. Bestaande groepen worden geobserveerd en
gemanipuleerd. In een quasi-experiment worden bestaande groepen
onderzocht die op één aspect (variabele) verschillen en op de
resterende aspecten (variabelen) zo vergelijkbaar mogelijk zijn. Dit
soort onderzoek is iets zwakker in het aantonen van een causale
relaties. Maar dit soort onderzoek zal wel meer zeggen over de
alledaagse praktijk. De ecologische validiteit neemt toe. Volledige
randomisatie is niet altijd natuurlijk.
Randomisatie; iedere proefpersoon heeft gelijke kans om in een van de
condities terecht te komen. het is niet van belang hoe ze in de steekproef
terecht komen maar hoe ze worden toegewezen aan hun experimentele
conditie.
Randomisatie garandeert dat alle ruis weg is. daarom is een voldoende
hoeveelheid proefpersonen belangrijk. dan zal de willekeurige toewijzing
1
,de invloed van de persoonskenmerken (ruis) verspreiden over alle
condities.
- Ertussenin ligt cluster randomisatie. Bestaande clusters worden
random verdeeld over de condities. Voordeel: gebruik van natuurlijke
groepen. Nadeel: geen perfecte randomisatie. Invloed van ruis is niet
volledig uitgesloten.
Experimentele controle; betekent dat er rekening wordt gehouden met
(of ‘gecontroleerd wordt voor’) kenmerken van onderzoekseenheden
(meestal proefpersonen) die mogelijk een verstorende rol kunnen spelen in
het experiment. Er zijn verschillende vormen van experimentele controle;
blokontwerp, precisie controle, globale controle.
- Blokontwerp; Een gerandomiseerd blokontwerp is een
experimenteel ontwerp waarbij zowel randomisatie over
experimentele condities als experimentele controle worden
toegepast.
De proefpersonen voorafgaand aan het eigenlijke experiment
ingedeeld in homogene categorieën op basis van bepaalde
kenmerken (geslacht of leeftijdsgroepen). Ook wel groepsgewijs
matchen. Maar het is niet altijd wenselijk om extra variabelen op te
nemen. Dit vereist ook extra proefpersonen.
Naast randomisatie en groepsgewijs matchen in blokdesigns, zijn er ook
andere oplossingen mogelijk binnen experimentele condities zonder extra
variabelen toe te voegen en die soms kunnen helpen om minder
deelnemers te hoeven werven. Het matchen en homogeniseren van
deelnemers zijn bijvoorbeeld populaire alternatieve toewijzingsprocedures.
Matchen; experimentele en controle groep zijn gelijk op externe bekende
kenmerken. Twee manieren om dit te doen; precisiecontrole en globale
controle.
- precisie controle: voor elke proefpersoon in experimentele groep
een bijpassende proefpersoon in de controle groep te vinden met
vergelijkbare kenmerken.
- globale controle: gestreefd naar gelijke frequentie van belangrijke
kenmerken in zowel experimentele als de controlegroep. Kenmerken
individuen gelijkmatig verdelen over de condities zonder exacte
overeenkomst tussen individuen te bereiken.
Homogeniseren; proefpersonen worden zo geselecteerd dat de groepen
zo homogeen mogelijk blijven. Door proefpersonen te selecteren die op
variabelen op elkaar lijken, wordt de variatie minder en neemt te ruis af.
Dit zorgt voor een hogere statistische power (kans om een werkelijk effect
in de populatie te detecteren). Deze power gaat ten koste van externe
validiteit. Dit omdat de steekproef minder representatief is voor de
algemene populatie.
Bij een between-subject design vindt de manipulatie plaats tussen
proefpersonen. Er worden meerdere groepen van proefpersonen gevormd
en elke groep ontvangt een andere manipulatie (of treatment).
2
, Bij een within-subject design vindt de manipulatie plaats binnen
proefpersonen. Dat betekent dat dezelfde proefpersonen aan alle condities
worden blootgesteld. Hierin kan de volgorde gevarieerd worden.
Een mixed-design is een combinatie van een between-subject en een
within-subject design. De manipulaties vinden dus zowel tussen als binnen
proefpersonen plaats. Bijvoorbeeld, in een medicijn-placebo-onderzoek
met een voormeting en een nameting wordt er zowel tussen
proefpersonen (medicijn-placebo) als binnen proefpersonen (voormeting:
geen pilletje genomen - nameting wel pilletje genomen) gemanipuleerd.
Voorbeelden experimentele designs
O= observation; waarneming of meting van de afhankelijke variabelen
X= het ondergaan van de experimentele stimulus (treatment)
R= er is sprake van randomisatie
NR= er is geen sprake van randomisatie
Pre-experimentele designs= bevatten een of meerdere elementen van
experimenten (zoals bijvoorbeeld een manipulatie of meerdere
observaties), maar stellen de onderzoeker niet in staat om voldoende
controle te houden over externe invloeden om bij benadering causale
uitspraken te kunnen doen.
Pre-experimentele designs
- One-shot case study; eerst word teen manipulatie (treatment)
uitgevoerd en vervolgens geobserveerd wat het effect is op de
proefpersonen.
X O1
T1
Dit design maakt het onmogelijk om de uitkomsten te vergelijken.
- one-group pre-post design; de proefpersonen worden na de
manipulatie geobserveerd.
O1 X O2
T1 T2
dit is nog steeds pre-experimenteel omdat er geen vergelijkingsconditie is
(X). Dit is verwant aan de single case designs.
-posttest only design; door het niet random toewijzen aan condities in
combinatie met de afwezigheid van een voormeting is het onmogelijk om
de observaties tussen de groepen goed te vergelijken
NR X O1
NR O2
T1 T2
Gerandomiseerde experimenten
- posttest only control design;
R X O1
R O2
T1 T2
door randomisatie; vanuit mogen gaan dat groepen gelijk zijn aan het
begin van het experiment. Het ontbreken van een voormeting kan voor
voordeel hebben; minder bedreiging voor interne validiteit, testeffect.
3
Thema 1 experimenteren
Hoofdstuk 7 Experimentele designs
Experimenten zijn geschikt om causale claims te onderzoeken omdat de
onderzoeker strenge controle heeft over de variabelen die worden
onderzocht. Ideaal; alleen de onafhankelijke variabelen veranderd/
manipuleert en alle andere mogelijke invloeden worden constant
gehouden.
Een experiment wordt versterkt door het toevoegen van een controle
conditie. Dit is een conditie waarin de manipulatie niet wordt toegepast.
Ook wel Mill’s methode. Het draait niet alleen om aantonen van een
effect maar ook het weerleggen van het tegenovergestelde.
- methode van overeenkomst: als X zich voordoet, doet Y zich ook
voor. X is voldoende voorwaarde voor Y. experimentele groep.
- methode van verschil: als X zich niet voordoet, Y zich ook niet
voordoet. Dan is X een noodzakelijke voorwaarde voor Y. controle
groep.
Wegens ethische redenen is het niet mogelijk om altijd een controlegroep
toe te voegen aan een experiment.
Het belangrijkste doel van een experiment= het testen van hypotheses en
het beantwoorden van een onderzoeksvraag.
Het feit dat mensen van elkaar verschillen zorgt voor ruis in dit
onderzoeksproces.
- Volledig gerandomiseerde experimenten. Zuiver experiment.
Randomisatie wordt gebruikt om deelnemers willekeurig toegewezen
aan experimentele condities of manipulaties.
- Quasi experimenten. Worden deelnemers niet random aan
condities toegewezen. Bestaande groepen worden geobserveerd en
gemanipuleerd. In een quasi-experiment worden bestaande groepen
onderzocht die op één aspect (variabele) verschillen en op de
resterende aspecten (variabelen) zo vergelijkbaar mogelijk zijn. Dit
soort onderzoek is iets zwakker in het aantonen van een causale
relaties. Maar dit soort onderzoek zal wel meer zeggen over de
alledaagse praktijk. De ecologische validiteit neemt toe. Volledige
randomisatie is niet altijd natuurlijk.
Randomisatie; iedere proefpersoon heeft gelijke kans om in een van de
condities terecht te komen. het is niet van belang hoe ze in de steekproef
terecht komen maar hoe ze worden toegewezen aan hun experimentele
conditie.
Randomisatie garandeert dat alle ruis weg is. daarom is een voldoende
hoeveelheid proefpersonen belangrijk. dan zal de willekeurige toewijzing
1
,de invloed van de persoonskenmerken (ruis) verspreiden over alle
condities.
- Ertussenin ligt cluster randomisatie. Bestaande clusters worden
random verdeeld over de condities. Voordeel: gebruik van natuurlijke
groepen. Nadeel: geen perfecte randomisatie. Invloed van ruis is niet
volledig uitgesloten.
Experimentele controle; betekent dat er rekening wordt gehouden met
(of ‘gecontroleerd wordt voor’) kenmerken van onderzoekseenheden
(meestal proefpersonen) die mogelijk een verstorende rol kunnen spelen in
het experiment. Er zijn verschillende vormen van experimentele controle;
blokontwerp, precisie controle, globale controle.
- Blokontwerp; Een gerandomiseerd blokontwerp is een
experimenteel ontwerp waarbij zowel randomisatie over
experimentele condities als experimentele controle worden
toegepast.
De proefpersonen voorafgaand aan het eigenlijke experiment
ingedeeld in homogene categorieën op basis van bepaalde
kenmerken (geslacht of leeftijdsgroepen). Ook wel groepsgewijs
matchen. Maar het is niet altijd wenselijk om extra variabelen op te
nemen. Dit vereist ook extra proefpersonen.
Naast randomisatie en groepsgewijs matchen in blokdesigns, zijn er ook
andere oplossingen mogelijk binnen experimentele condities zonder extra
variabelen toe te voegen en die soms kunnen helpen om minder
deelnemers te hoeven werven. Het matchen en homogeniseren van
deelnemers zijn bijvoorbeeld populaire alternatieve toewijzingsprocedures.
Matchen; experimentele en controle groep zijn gelijk op externe bekende
kenmerken. Twee manieren om dit te doen; precisiecontrole en globale
controle.
- precisie controle: voor elke proefpersoon in experimentele groep
een bijpassende proefpersoon in de controle groep te vinden met
vergelijkbare kenmerken.
- globale controle: gestreefd naar gelijke frequentie van belangrijke
kenmerken in zowel experimentele als de controlegroep. Kenmerken
individuen gelijkmatig verdelen over de condities zonder exacte
overeenkomst tussen individuen te bereiken.
Homogeniseren; proefpersonen worden zo geselecteerd dat de groepen
zo homogeen mogelijk blijven. Door proefpersonen te selecteren die op
variabelen op elkaar lijken, wordt de variatie minder en neemt te ruis af.
Dit zorgt voor een hogere statistische power (kans om een werkelijk effect
in de populatie te detecteren). Deze power gaat ten koste van externe
validiteit. Dit omdat de steekproef minder representatief is voor de
algemene populatie.
Bij een between-subject design vindt de manipulatie plaats tussen
proefpersonen. Er worden meerdere groepen van proefpersonen gevormd
en elke groep ontvangt een andere manipulatie (of treatment).
2
, Bij een within-subject design vindt de manipulatie plaats binnen
proefpersonen. Dat betekent dat dezelfde proefpersonen aan alle condities
worden blootgesteld. Hierin kan de volgorde gevarieerd worden.
Een mixed-design is een combinatie van een between-subject en een
within-subject design. De manipulaties vinden dus zowel tussen als binnen
proefpersonen plaats. Bijvoorbeeld, in een medicijn-placebo-onderzoek
met een voormeting en een nameting wordt er zowel tussen
proefpersonen (medicijn-placebo) als binnen proefpersonen (voormeting:
geen pilletje genomen - nameting wel pilletje genomen) gemanipuleerd.
Voorbeelden experimentele designs
O= observation; waarneming of meting van de afhankelijke variabelen
X= het ondergaan van de experimentele stimulus (treatment)
R= er is sprake van randomisatie
NR= er is geen sprake van randomisatie
Pre-experimentele designs= bevatten een of meerdere elementen van
experimenten (zoals bijvoorbeeld een manipulatie of meerdere
observaties), maar stellen de onderzoeker niet in staat om voldoende
controle te houden over externe invloeden om bij benadering causale
uitspraken te kunnen doen.
Pre-experimentele designs
- One-shot case study; eerst word teen manipulatie (treatment)
uitgevoerd en vervolgens geobserveerd wat het effect is op de
proefpersonen.
X O1
T1
Dit design maakt het onmogelijk om de uitkomsten te vergelijken.
- one-group pre-post design; de proefpersonen worden na de
manipulatie geobserveerd.
O1 X O2
T1 T2
dit is nog steeds pre-experimenteel omdat er geen vergelijkingsconditie is
(X). Dit is verwant aan de single case designs.
-posttest only design; door het niet random toewijzen aan condities in
combinatie met de afwezigheid van een voormeting is het onmogelijk om
de observaties tussen de groepen goed te vergelijken
NR X O1
NR O2
T1 T2
Gerandomiseerde experimenten
- posttest only control design;
R X O1
R O2
T1 T2
door randomisatie; vanuit mogen gaan dat groepen gelijk zijn aan het
begin van het experiment. Het ontbreken van een voormeting kan voor
voordeel hebben; minder bedreiging voor interne validiteit, testeffect.
3
