Onderzoekspracticum Experimenteel design
Thema 1
Studietaak 1.1
Hoofdstuk 7: experimentele designs
7.1
7.1.1
Een controleconditie is een (experimentele) conditie waarin de manipulatie niet wordt toegepast, en
die dient als referentiepunt voor vergelijking met de conditie waarin de manipulatie wel wordt
toegepast. De term “controlegroep” wordt ook vaak gebruikt in plaats van controleconditie.
7.1.2
Het idee van een ‘controlegroep’ is bekend geworden door de filosoof John Stuart Mill en het concept
staat ook wel bekend als de “methode van Mill”. Het concept van de controlegroep leidt tot een
logisch gefundeerd bewijs, waarbij het niet alleen draait om het aantonen van een effect, maar ook
om het weerleggen van het tegenovergestelde.
Experimentele groep Controle groep
Als X, dan Y Als -X, dan -Y
7.2
Over het algemeen zijn er twee hoofdcategorieën van experimenten: volledig gerandomiseerde
experimenten en quasi-experimenten.
Deze twee categorieën kunnen vervolgens worden onderverdeeld in twee soorten ontwerpen:
tussen-proefpersoonsontwerpen en binnen-proefpersoonsontwerpen.
7.3
7.3.1
Het is essentieel dat randomisatie ervoor zorgt dat elke waarnemingseenheid (meestal een
proefpersoon) in het experiment een gelijke kans heeft om in een van de experimentele condities
terecht te komen.
7.3.2
In een quasi-experimenteel onderzoek worden bestaande groepen geobserveerd en gemanipuleerd.
Proefpersonen worden niet willekeurig toegewezen aan groepen.
7.3.3
Volledige randomisatie en helemaal geen randomisatie zijn natuurlijk de twee extreme einden van
een continuüm. Ertussen ligt ‘cluster randomisatie’, waarbij er gebruik wordt gemaakt van bestaande
clusters van deelnemers (bijvoorbeeld schoolklassen).
7.3.3.1
,Experimentele controle verwijst naar de maatregelen die genomen worden om de invloed van
storende variabelen te beheersen.
7.3.4
Een gerandomiseerd blokontwerp is een experimenteel ontwerp waarbij zowel randomisatie over
experimentele condities als experimentele controle worden toegepast. In het geval van een quasi-
experiment met experimentele controle wordt dit vaak kortweg een blokontwerp genoemd.
Bij een blokontwerp worden proefpersonen voorafgaand aan het eigenlijke experiment ingedeeld in
homogene categorieën op basis van bepaalde kenmerken, zoals geslacht of leeftijdsgroepen.
7.3.5
Het is niet altijd wenselijk om extra variabelen op te nemen in het onderzoeksdesign. Elke extra
variabele vereist namelijk extra proefpersonen om ervoor te zorgen dat elk blok voldoende
deelnemers heeft.
Randomisatie kan helpen bij het onder controle houden van verschillende externe factoren die effect
kunnen hebben op de afhankelijke variabele, naast of in plaats van de gemanipuleerde variabele,
maar effectieve randomisatie vereist eigenlijk ook dat veel proefpersonen nodig zijn, vooral als de
onderzoeker weet dat veel variabelen echt in overweging moeten worden genomen.
Naast randomisatie en groepsgewijs matchen in blokdesigns, zijn er ook andere oplossingen mogelijk
binnen experimentele condities zonder extra variabelen toe te voegen en die soms kunnen helpen
om minder deelnemers te hoeven werven. Het matchen en homogeniseren van deelnemers zijn
bijvoorbeeld populaire alternatieve toewijzingsprocedures.
7.3.5.1
Matchen is een methode om ervoor te zorgen dat de experimentele en controlegroep gelijk zijn op
externe bekende kenmerken die naar verwachting een belangrijke invloed hebben op de afhankelijke
variabele. Er zijn twee benaderingen om dit te doen zonder extra variabelen toe te voegen:
precisiecontrole en globale controle.
Bij precisiecontrole probeert men voor elke proefpersoon in de experimentele groep een bijpassende
proefpersoon in de controlegroep te vinden die vergelijkbare kenmerken heeft. Deze paren van
proefpersonen worden gematcht.
De tweede methode is globale controle, waarbij gestreefd wordt naar gelijke frequenties van
belangrijke kenmerken in zowel de experimentele als de controlegroep. Dit is een meer algemene
vorm van matchen. Bij globale controle wordt geprobeerd om de kenmerken van individuen
gelijkmatig te verdelen over de condities, zonder noodzakelijk exacte overeenkomsten tussen
individuen te bereiken.
7.3.5.2
Om het effect van een externe variabele op een afhankelijke variabele te isoleren, kan men ervoor
kiezen om proefpersonen te homogeniseren. Dit betekent dat proefpersonen zo worden geselecteerd
dat de groepen zo homogeen mogelijk zijn wat betreft de externe variabele.
7.4
Naast de indeling in gerandomiseerde en quasi-experimenten kunnen experimentele designs ook
worden ingedeeld in between subjects en within subjects designs.
,In een between subjects design worden proefpersonen toegewezen aan slechts één experimentele
conditie, wat resulteert in verschillende groepen proefpersonen die met elkaar kunnen worden
vergeleken.
Bij within subjects designs worden alle proefpersonen blootgesteld aan alle experimentele en
controlecondities.
Een potentieel probleem bij within subjects designs is het optreden van volgorde-effecten, waarbij
bijvoorbeeld de reacties worden beïnvloed door de volgorde waarin de condities worden
aangeboden. Om dit te voorkomen, kan in sommige gevallen de volgorde van de condities worden
gevarieerd. Deze vorm van controle wordt counterbalancing genoemd.
Daarnaast is het ook mogelijk om een mix van between en within subjects designs te gebruiken, zoals
bij klinisch onderzoek waarbij de voortgang van twee groepen patiënten op drie verschillende
tijdstippen wordt gemeten. Deze designs worden mixed designs genoemd.
, Studietaak 1.2
7.5
Uiteindelijk is het doel van een experiment om causaliteit te kunnen vaststellen volgens de Mills-
methode.
7.5.1
Campell en Stanley (1963) hebben een lijst opgesteld van experimentele designs om ervaren
onderzoekers te helpen om validiteitsbedreigers te voorkomen bij het kiezen van een ontwerp.
O = Observation
X = Het ondergaan van de experimentele stimulus
R = Randomisatie
NR = Geen randomisatie
T= tijdstip
7.5.2
Pre-experimentele designs: Pre-experimentele designs bevatten een of meerdere elementen van
experimenten (zoals bijvoorbeeld een manipulatie of meerdere observaties), maar stellen de
onderzoeker niet in staat om voldoende controle te houden over externe invloeden om bij
benadering causale uitspraken te kunnen doen.
7.5.2.1
One shot case study: In de one-shot case study wordt eerst een manipulatie (treatment) uitgevoerd
en vervolgens geobserveerd wat het effect is op de proefpersonen.
7.5.2.2
One-group pre-post design: De proefpersonen worden voor en na de manipulatie geobserveerd.
Verder is er geen vergelijkingsconditie.
7.5.2.3
Pre-experimenteel posttest only: door het niet-random toewijzen aan condities in combinatie met
afwezigheid van een voormeting is het vrijwel onmogelijk om observaties tussen de groepen goed te
vergelijken.
7.5.3
Gerandomiseerde experimenten:
7.5.3.1
Posttest-only control: Het eenvoudigste gerandomiseerde experimentele ontwerp.
7.5.3.2
Pretest-posttest control design: Het klassieke experimentele ontwerp. Proefpersonen worden
willekeurig toegewezen aan de experimentele dan wel aan de controlegroep. Bij beide groepen is er
sprake van een voor- en nameting.
Thema 1
Studietaak 1.1
Hoofdstuk 7: experimentele designs
7.1
7.1.1
Een controleconditie is een (experimentele) conditie waarin de manipulatie niet wordt toegepast, en
die dient als referentiepunt voor vergelijking met de conditie waarin de manipulatie wel wordt
toegepast. De term “controlegroep” wordt ook vaak gebruikt in plaats van controleconditie.
7.1.2
Het idee van een ‘controlegroep’ is bekend geworden door de filosoof John Stuart Mill en het concept
staat ook wel bekend als de “methode van Mill”. Het concept van de controlegroep leidt tot een
logisch gefundeerd bewijs, waarbij het niet alleen draait om het aantonen van een effect, maar ook
om het weerleggen van het tegenovergestelde.
Experimentele groep Controle groep
Als X, dan Y Als -X, dan -Y
7.2
Over het algemeen zijn er twee hoofdcategorieën van experimenten: volledig gerandomiseerde
experimenten en quasi-experimenten.
Deze twee categorieën kunnen vervolgens worden onderverdeeld in twee soorten ontwerpen:
tussen-proefpersoonsontwerpen en binnen-proefpersoonsontwerpen.
7.3
7.3.1
Het is essentieel dat randomisatie ervoor zorgt dat elke waarnemingseenheid (meestal een
proefpersoon) in het experiment een gelijke kans heeft om in een van de experimentele condities
terecht te komen.
7.3.2
In een quasi-experimenteel onderzoek worden bestaande groepen geobserveerd en gemanipuleerd.
Proefpersonen worden niet willekeurig toegewezen aan groepen.
7.3.3
Volledige randomisatie en helemaal geen randomisatie zijn natuurlijk de twee extreme einden van
een continuüm. Ertussen ligt ‘cluster randomisatie’, waarbij er gebruik wordt gemaakt van bestaande
clusters van deelnemers (bijvoorbeeld schoolklassen).
7.3.3.1
,Experimentele controle verwijst naar de maatregelen die genomen worden om de invloed van
storende variabelen te beheersen.
7.3.4
Een gerandomiseerd blokontwerp is een experimenteel ontwerp waarbij zowel randomisatie over
experimentele condities als experimentele controle worden toegepast. In het geval van een quasi-
experiment met experimentele controle wordt dit vaak kortweg een blokontwerp genoemd.
Bij een blokontwerp worden proefpersonen voorafgaand aan het eigenlijke experiment ingedeeld in
homogene categorieën op basis van bepaalde kenmerken, zoals geslacht of leeftijdsgroepen.
7.3.5
Het is niet altijd wenselijk om extra variabelen op te nemen in het onderzoeksdesign. Elke extra
variabele vereist namelijk extra proefpersonen om ervoor te zorgen dat elk blok voldoende
deelnemers heeft.
Randomisatie kan helpen bij het onder controle houden van verschillende externe factoren die effect
kunnen hebben op de afhankelijke variabele, naast of in plaats van de gemanipuleerde variabele,
maar effectieve randomisatie vereist eigenlijk ook dat veel proefpersonen nodig zijn, vooral als de
onderzoeker weet dat veel variabelen echt in overweging moeten worden genomen.
Naast randomisatie en groepsgewijs matchen in blokdesigns, zijn er ook andere oplossingen mogelijk
binnen experimentele condities zonder extra variabelen toe te voegen en die soms kunnen helpen
om minder deelnemers te hoeven werven. Het matchen en homogeniseren van deelnemers zijn
bijvoorbeeld populaire alternatieve toewijzingsprocedures.
7.3.5.1
Matchen is een methode om ervoor te zorgen dat de experimentele en controlegroep gelijk zijn op
externe bekende kenmerken die naar verwachting een belangrijke invloed hebben op de afhankelijke
variabele. Er zijn twee benaderingen om dit te doen zonder extra variabelen toe te voegen:
precisiecontrole en globale controle.
Bij precisiecontrole probeert men voor elke proefpersoon in de experimentele groep een bijpassende
proefpersoon in de controlegroep te vinden die vergelijkbare kenmerken heeft. Deze paren van
proefpersonen worden gematcht.
De tweede methode is globale controle, waarbij gestreefd wordt naar gelijke frequenties van
belangrijke kenmerken in zowel de experimentele als de controlegroep. Dit is een meer algemene
vorm van matchen. Bij globale controle wordt geprobeerd om de kenmerken van individuen
gelijkmatig te verdelen over de condities, zonder noodzakelijk exacte overeenkomsten tussen
individuen te bereiken.
7.3.5.2
Om het effect van een externe variabele op een afhankelijke variabele te isoleren, kan men ervoor
kiezen om proefpersonen te homogeniseren. Dit betekent dat proefpersonen zo worden geselecteerd
dat de groepen zo homogeen mogelijk zijn wat betreft de externe variabele.
7.4
Naast de indeling in gerandomiseerde en quasi-experimenten kunnen experimentele designs ook
worden ingedeeld in between subjects en within subjects designs.
,In een between subjects design worden proefpersonen toegewezen aan slechts één experimentele
conditie, wat resulteert in verschillende groepen proefpersonen die met elkaar kunnen worden
vergeleken.
Bij within subjects designs worden alle proefpersonen blootgesteld aan alle experimentele en
controlecondities.
Een potentieel probleem bij within subjects designs is het optreden van volgorde-effecten, waarbij
bijvoorbeeld de reacties worden beïnvloed door de volgorde waarin de condities worden
aangeboden. Om dit te voorkomen, kan in sommige gevallen de volgorde van de condities worden
gevarieerd. Deze vorm van controle wordt counterbalancing genoemd.
Daarnaast is het ook mogelijk om een mix van between en within subjects designs te gebruiken, zoals
bij klinisch onderzoek waarbij de voortgang van twee groepen patiënten op drie verschillende
tijdstippen wordt gemeten. Deze designs worden mixed designs genoemd.
, Studietaak 1.2
7.5
Uiteindelijk is het doel van een experiment om causaliteit te kunnen vaststellen volgens de Mills-
methode.
7.5.1
Campell en Stanley (1963) hebben een lijst opgesteld van experimentele designs om ervaren
onderzoekers te helpen om validiteitsbedreigers te voorkomen bij het kiezen van een ontwerp.
O = Observation
X = Het ondergaan van de experimentele stimulus
R = Randomisatie
NR = Geen randomisatie
T= tijdstip
7.5.2
Pre-experimentele designs: Pre-experimentele designs bevatten een of meerdere elementen van
experimenten (zoals bijvoorbeeld een manipulatie of meerdere observaties), maar stellen de
onderzoeker niet in staat om voldoende controle te houden over externe invloeden om bij
benadering causale uitspraken te kunnen doen.
7.5.2.1
One shot case study: In de one-shot case study wordt eerst een manipulatie (treatment) uitgevoerd
en vervolgens geobserveerd wat het effect is op de proefpersonen.
7.5.2.2
One-group pre-post design: De proefpersonen worden voor en na de manipulatie geobserveerd.
Verder is er geen vergelijkingsconditie.
7.5.2.3
Pre-experimenteel posttest only: door het niet-random toewijzen aan condities in combinatie met
afwezigheid van een voormeting is het vrijwel onmogelijk om observaties tussen de groepen goed te
vergelijken.
7.5.3
Gerandomiseerde experimenten:
7.5.3.1
Posttest-only control: Het eenvoudigste gerandomiseerde experimentele ontwerp.
7.5.3.2
Pretest-posttest control design: Het klassieke experimentele ontwerp. Proefpersonen worden
willekeurig toegewezen aan de experimentele dan wel aan de controlegroep. Bij beide groepen is er
sprake van een voor- en nameting.
