Samenvatting Onderzoekspracticum experimenteel onderzoek – thema 1
Met een valide experiment ben je in staat om valide conclusies te trekken. Validiteit meten wat je
wilt meten.
7.1 Inleiding
Het probleem met observaties is dat we wel kunnen zien dat B volgt op A, maar dat we niet zonder
meer kunnen concluderen dat A de oorzaak was van B. De enige manier om een oorzakelijk verband
(causaliteit) vast te stellen, is door een experiment uit te voeren.
Doel van experimenten causale relaties empirisch observeren en evalueren. De onderzoeker
heeft strenge controle over de variabelen die worden onderzocht, waardoor causale claims kunnen
worden gedaan. In een ideaal geval wordt alleen de onafhankelijke variabele (de veronderstelde
oorzaak) veranderd of gemanipuleerd, terwijl alle andere mogelijke invloeden constant worden
gehouden.
Ceteris Paribus alle overige omstandigheden gelijkblijvend.
Manipulatie opzettelijk veranderen van een variabele.
7.1.1 Controlegroepen
Controleconditie (controlegroep) versterkt het experiment. Is een conditie waarin de manipulatie
niet wordt toegepast, en die dient als referentiepunt voor vergelijking met de conditie waarin de
manipulatie wel wordt toegepast.
7.1.2 Mill’s Methode
Het concept van de controlegroep (Methode van Mill) leidt tot een logisch gefundeerd bewijs,
waarbij het niet alleen draait om het aantonen van een effect, maar ook om het weerleggen van het
tegenovergestelde. Methode van Mill waarborgt dat onderzoekers niet alleen bewijs verzamelen
vóór een bepaalde theorie of hypothese, maar ook het tegenovergestelde toetsen.
De eerste vorm van bewijs, de “methode van overeenkomst”, stelt dat een experiment allereerst
moet aantonen dat als X zich voordoet, Y zich ook voordoet. Dit betekent dat als er ten minste twee
situaties zijn waarin Y zich voordoet, en X is aanwezig in elk van die gevallen, dan is X een voldoende
(sufficiënt) voorwaarde voor Y. Met andere woorden, X is voldoende om het effect in Y te
veroorzaken.
Als tweede vorm van bewijs stelde Mill dat met behulp van de “methode van verschil” moet worden
vastgesteld dat als X zich niet voordoet (-X), Y zich ook niet voordoet (-Y). Dit betekent dat als het
vermoede effect Y afwezig is wanneer X ook afwezig is, dan is X een noodzakelijke (necessary)
voorwaarde voor Y. Met andere woorden, X is onmisbaar voor het effect in Y.
7.3 Volledig gerandomiseerd ontwerp versus quasi-experiment
Volledig gerandomiseerd ontwerp (zuiver experiment) randomisatie wordt gebruikt om
deelnemers willekeurig toe te wijzen aan experimentele condities of manipulaties.
Quasi-experimentele ontwerpen geen randomisatie, vaak in een echte setting.
,7.3.1 Randomisatie
Randomisatie zorgt ervoor dat elke waarnemingseenheid (meestal een proefpersoon) in het
experiment een gelijke kans heeft om in een van de experimentele condities terecht te komen. Het is
niet van belang hoe proefpersonen in de steekproef terechtkomen, maar hoe ze worden toegewezen
aan hun experimentele conditie. Randomisatie garandeert niet dat alle verstorende factoren gelijk
verdeeld worden over alle condities.
7.3.2 Quasi-experiment
Quasi-experimenteel onderzoek bestaande groepen worden geobserveerd en gemanipuleerd.
Proefpersonen worden niet willekeurig toegewezen aan groepen.
Quasi-experimenteel onderzoek is iets zwakker in het aantonen van causale relaties dan volledig
gerandomiseerde ontwerpen. Ondanks de mogelijke vertekening in de verdeling van
achtergrondkenmerken over de condities, biedt het vaak wel de mogelijkheid om onderzoek uit te
voeren in een natuurlijke omgeving. Hierdoor kan het onderzoek waarschijnlijk meer zeggen over de
alledaagse praktijk, oftewel de ecologische validiteit neemt toe.
In quasi-experimenten is het mogelijk om de toewijzing aan condities zoveel mogelijk gelijk te
houden op basis van proefpersoon kenmerken (matching) of om achtergrondinformatie over
proefpersonen te verzamelen, zodat een goed beeld kan worden gevormd van eventuele relevante
structurele verschillen tussen deelnemers (blokdesigns en statistische controle).
7.3.3 Gedeeltelijk randomiseren
Cluster randomisatie er wordt gebruik gemaakt van bestaande clusters van deelnemers
(bijvoorbeeld schoolklassen). Deze clusters worden vervolgens random verdeeld over de condities.
De verdeling is niet volledig random omdat het niet willekeurig is dat bv. een bepaalde leerling in een
bepaalde klas zit. Deze tussenweg heeft als voordeel dat het gebruik maakt van natuurlijke groepen.
De nadeel is echter wel dat niet perfecte randomisatie plaatsvindt waardoor de invloed van storende
variabelen niet volledig kan worden uitgesloten.
7.3.3.1 Experimentele controle
Experimentele controle maatregelen die genomen worden om de invloed van storende
variabelen te beheersen. Zo kan de onderzoeker proberen de invloed van storende variabelen te
minimaliseren en zo een beter begrip te krijgen van de specifieke effecten van de manipulatie op de
afhankelijke variabele.
Randomisatie kan helpen bij het onder controle houden van verschillende externe factoren die effect
kunnen hebben op de afhankelijke variabele, naast of in plaats van de gemanipuleerde variabele,
maar effectieve randomisatie vereist eigenlijk ook dat veel proefpersonen nodig zijn, vooral als de
onderzoeker weet dat veel variabelen echt in overweging moeten worden genomen.
Verschillende manieren van experimentele controle
Blokontwerp Bij dit ontwerp worden proefpersonen voorafgaand aan het experiment
ingedeeld in homogene categorieën (bijvoorbeeld mannen en vrouwen) op basis van een
veronderstelde verstorende variabele (gender). Binnen elke categorie worden de
proefpersonen vervolgens random toegewezen aan de experimentele condities of
controlegroep. Bij een experiment met twee condities (bijvoorbeeld medicijn en placebo)
, ontstaan zo dus 2 x 2, dus in totaal vier onderzoeksgroepen. Dit design is geschikt wanneer er
een beperkt aantal verstorende variabelen zijn en vereist een groter aantal proefpersonen.
Het gerandomiseerd blokontwerp combineert de voordelen van randomisatie en precieze
experimentele controle door mensen met vergelijkbare kenmerken te matchen en in
groepen bij elkaar te plaatsen. Deze methode van het toewijzen van proefpersonen wordt
soms ook wel “groepsgewijs matchen” genoemd.
Matchen
Precisie controle Bij deze manier van experimentele controle worden paren van
proefpersonen die op basis van allerlei achtergrondkenmerken zo veel mogelijk op elkaar
lijken, vooraf aan het experiment geïdentificeerd. Van elk paar wordt er vervolgens (random)
één proefpersoon in de controleconditie ingedeeld en één proefpersoon in de
interventieconditie. Als je op een groot aantal achtergrondkenmerken wilt matchen, moet je
over een grote steekproef beschikken om tot gelijke paren te kunnen komen.
Globale controle Hierbij wordt ernaar gestreefd om het gemiddelde en/of de frequentie
van een aantal achtergrondkenmerken in alle condities gelijk te laten zijn (bijvoorbeeld
hetzelfde aantal jongens en meisjes, hetzelfde gemiddelde IQ enzovoort). Omdat de
condities slechts per afzonderlijk kenmerk aan elkaar gelijk zijn en niet wat betreft de
combinaties aan kenmerken, is dit een grovere wijze van experimentele controle dan
precisiecontrole.
7.3.5 Matchen en homogeniseren
7.3.5.2 Homogeniseren
Om het effect van een externe variabele op een afhankelijke variabele te isoleren, kan men ervoor
kiezen om proefpersonen te homogeniseren proefpersonen worden zo geselecteerd dat de
groepen zo homogeen mogelijk zijn wat betreft de externe variabele. Door proefpersonen te
selecteren die op relevante variabelen op elkaar lijken, wordt de variatie verminderd en neemt de
ruis af. Dit resulteert in een hogere statistische power (de kans om een werkelijk effect in de
populatie te detecteren). Echter, deze winst in power gaat ten koste van de externe validiteit, omdat
de steekproef minder representatief is voor de algemene populatie.
Bij het homogeniseren en matchen is het belangrijk om te focussen op externe kenmerken waarvan
bekend is, of op zijn minst vermoed wordt, dat ze invloed hebben op de afhankelijke variabele. Deze
procedures kunnen niet op zichzelf gebruikt worden als vervanging voor randomisatie, maar kunnen
wel in combinatie daarmee worden toegepast, indien mogelijk.
7.4 Between-subjects versus within-subjects designs
Between-subject design manipulatie vindt plaats tussen proefpersonen. Er worden meerdere
groepen van proefpersonen gevormd en elke groep ontvangt een andere manipulatie (of treatment).
Within-subject design (repeated measures designs) manipulatie vindt plaats binnen
proefpersonen. Dat betekent dat dezelfde proefpersonen aan alle condities worden blootgesteld.
Hierin kan de volgorde gevarieerd worden counter balancing. Daarmee kan het volgorde effect
worden vermeden.
Mixed-design combinatie van een between-subject en een within-subject design. De manipulaties
vinden dus zowel tussen als binnen proefpersonen plaats. Bijvoorbeeld, in een medicijn-placebo-
onderzoek met een voormeting en een nameting wordt er zowel tussen proefpersonen (medicijn-
, placebo) als binnen proefpersonen (voormeting: geen pilletje genomen - nameting wel pilletje
genomen) gemanipuleerd.
7.5 Voorbeelden van experimentele designs
Essentie experimentele designs meetinstrument om zoveel mogelijk verstorende factoren uit te
sluiten.
7.5.1 Symbolische notatie van experimentele designs
Campbell en Stanley ontwikkelden symbolische notatie om experimenten samen te vatten.
Daarmee kunnen validiteitsbedriegers voorkomen worden bij het kiezen van een ontwerp.
O (Observation) waarneming of meting van de afhankelijke variabele.
X ondergaan van de experimentele stimulus (treatment, enkele manipulatie-conditie).
R sprake van randomisatie.
NR geen sprake van randomisatie.
Schema eenvoudig experiment
Op tijdstip 1 (t1) wordt de afhankelijke variabele gemeten: de voormeting. Vervolgens wordt de
experimentele treatment ondergaan. Daarna wordt op tijdstip t2 de afhankelijke variabele opnieuw
gemeten: de nameting. In dit design ontbreekt de letter R (randomisatie) voorafgaand aan t1, wat in
deze context niet nodig zou zijn, omdat er geen verschillende condities zijn om proefpersonen aan
toe te wijzen. Bij meer dan één experimentele groep zou de aan- of afwezigheid van R duidelijk
maken of het een zuiver experiment betreft.
7.5.2 Pre-experimentele designs
Pre-experimentele designs bevatten één of meerdere elementen van experimenten (bijv.
manipulatie of meerdere observaties), maar stellen de onderzoeker niet in staat om voldoende
controle te houden over externe invloeden om bij benadering causale uitspraken te kunnen doen.
twee typen experimenten waarvan het vermogen om validiteitsbedreigers onder controle te houden
belabberd is. Een vergelijkingsconditie (-X) is afwezig, dus voldoet niet aan de Mills ´method of
difference´.
One shot case study eerst een manipulatie (treatment) uitgevoerd en vervolgens
observeren wat het effect is op de proefpersonen.
One-group pre-post design zelfde als one shot case study, maar dan worden de
proefpersonen voor en na de manipulatie geobserveerd. Verwant aan single case designs,
waarbij slechts één of enkele proefpersonen worden onderzocht, maar wel meermaals
worden gemeten (meerdere O’s).
Met een valide experiment ben je in staat om valide conclusies te trekken. Validiteit meten wat je
wilt meten.
7.1 Inleiding
Het probleem met observaties is dat we wel kunnen zien dat B volgt op A, maar dat we niet zonder
meer kunnen concluderen dat A de oorzaak was van B. De enige manier om een oorzakelijk verband
(causaliteit) vast te stellen, is door een experiment uit te voeren.
Doel van experimenten causale relaties empirisch observeren en evalueren. De onderzoeker
heeft strenge controle over de variabelen die worden onderzocht, waardoor causale claims kunnen
worden gedaan. In een ideaal geval wordt alleen de onafhankelijke variabele (de veronderstelde
oorzaak) veranderd of gemanipuleerd, terwijl alle andere mogelijke invloeden constant worden
gehouden.
Ceteris Paribus alle overige omstandigheden gelijkblijvend.
Manipulatie opzettelijk veranderen van een variabele.
7.1.1 Controlegroepen
Controleconditie (controlegroep) versterkt het experiment. Is een conditie waarin de manipulatie
niet wordt toegepast, en die dient als referentiepunt voor vergelijking met de conditie waarin de
manipulatie wel wordt toegepast.
7.1.2 Mill’s Methode
Het concept van de controlegroep (Methode van Mill) leidt tot een logisch gefundeerd bewijs,
waarbij het niet alleen draait om het aantonen van een effect, maar ook om het weerleggen van het
tegenovergestelde. Methode van Mill waarborgt dat onderzoekers niet alleen bewijs verzamelen
vóór een bepaalde theorie of hypothese, maar ook het tegenovergestelde toetsen.
De eerste vorm van bewijs, de “methode van overeenkomst”, stelt dat een experiment allereerst
moet aantonen dat als X zich voordoet, Y zich ook voordoet. Dit betekent dat als er ten minste twee
situaties zijn waarin Y zich voordoet, en X is aanwezig in elk van die gevallen, dan is X een voldoende
(sufficiënt) voorwaarde voor Y. Met andere woorden, X is voldoende om het effect in Y te
veroorzaken.
Als tweede vorm van bewijs stelde Mill dat met behulp van de “methode van verschil” moet worden
vastgesteld dat als X zich niet voordoet (-X), Y zich ook niet voordoet (-Y). Dit betekent dat als het
vermoede effect Y afwezig is wanneer X ook afwezig is, dan is X een noodzakelijke (necessary)
voorwaarde voor Y. Met andere woorden, X is onmisbaar voor het effect in Y.
7.3 Volledig gerandomiseerd ontwerp versus quasi-experiment
Volledig gerandomiseerd ontwerp (zuiver experiment) randomisatie wordt gebruikt om
deelnemers willekeurig toe te wijzen aan experimentele condities of manipulaties.
Quasi-experimentele ontwerpen geen randomisatie, vaak in een echte setting.
,7.3.1 Randomisatie
Randomisatie zorgt ervoor dat elke waarnemingseenheid (meestal een proefpersoon) in het
experiment een gelijke kans heeft om in een van de experimentele condities terecht te komen. Het is
niet van belang hoe proefpersonen in de steekproef terechtkomen, maar hoe ze worden toegewezen
aan hun experimentele conditie. Randomisatie garandeert niet dat alle verstorende factoren gelijk
verdeeld worden over alle condities.
7.3.2 Quasi-experiment
Quasi-experimenteel onderzoek bestaande groepen worden geobserveerd en gemanipuleerd.
Proefpersonen worden niet willekeurig toegewezen aan groepen.
Quasi-experimenteel onderzoek is iets zwakker in het aantonen van causale relaties dan volledig
gerandomiseerde ontwerpen. Ondanks de mogelijke vertekening in de verdeling van
achtergrondkenmerken over de condities, biedt het vaak wel de mogelijkheid om onderzoek uit te
voeren in een natuurlijke omgeving. Hierdoor kan het onderzoek waarschijnlijk meer zeggen over de
alledaagse praktijk, oftewel de ecologische validiteit neemt toe.
In quasi-experimenten is het mogelijk om de toewijzing aan condities zoveel mogelijk gelijk te
houden op basis van proefpersoon kenmerken (matching) of om achtergrondinformatie over
proefpersonen te verzamelen, zodat een goed beeld kan worden gevormd van eventuele relevante
structurele verschillen tussen deelnemers (blokdesigns en statistische controle).
7.3.3 Gedeeltelijk randomiseren
Cluster randomisatie er wordt gebruik gemaakt van bestaande clusters van deelnemers
(bijvoorbeeld schoolklassen). Deze clusters worden vervolgens random verdeeld over de condities.
De verdeling is niet volledig random omdat het niet willekeurig is dat bv. een bepaalde leerling in een
bepaalde klas zit. Deze tussenweg heeft als voordeel dat het gebruik maakt van natuurlijke groepen.
De nadeel is echter wel dat niet perfecte randomisatie plaatsvindt waardoor de invloed van storende
variabelen niet volledig kan worden uitgesloten.
7.3.3.1 Experimentele controle
Experimentele controle maatregelen die genomen worden om de invloed van storende
variabelen te beheersen. Zo kan de onderzoeker proberen de invloed van storende variabelen te
minimaliseren en zo een beter begrip te krijgen van de specifieke effecten van de manipulatie op de
afhankelijke variabele.
Randomisatie kan helpen bij het onder controle houden van verschillende externe factoren die effect
kunnen hebben op de afhankelijke variabele, naast of in plaats van de gemanipuleerde variabele,
maar effectieve randomisatie vereist eigenlijk ook dat veel proefpersonen nodig zijn, vooral als de
onderzoeker weet dat veel variabelen echt in overweging moeten worden genomen.
Verschillende manieren van experimentele controle
Blokontwerp Bij dit ontwerp worden proefpersonen voorafgaand aan het experiment
ingedeeld in homogene categorieën (bijvoorbeeld mannen en vrouwen) op basis van een
veronderstelde verstorende variabele (gender). Binnen elke categorie worden de
proefpersonen vervolgens random toegewezen aan de experimentele condities of
controlegroep. Bij een experiment met twee condities (bijvoorbeeld medicijn en placebo)
, ontstaan zo dus 2 x 2, dus in totaal vier onderzoeksgroepen. Dit design is geschikt wanneer er
een beperkt aantal verstorende variabelen zijn en vereist een groter aantal proefpersonen.
Het gerandomiseerd blokontwerp combineert de voordelen van randomisatie en precieze
experimentele controle door mensen met vergelijkbare kenmerken te matchen en in
groepen bij elkaar te plaatsen. Deze methode van het toewijzen van proefpersonen wordt
soms ook wel “groepsgewijs matchen” genoemd.
Matchen
Precisie controle Bij deze manier van experimentele controle worden paren van
proefpersonen die op basis van allerlei achtergrondkenmerken zo veel mogelijk op elkaar
lijken, vooraf aan het experiment geïdentificeerd. Van elk paar wordt er vervolgens (random)
één proefpersoon in de controleconditie ingedeeld en één proefpersoon in de
interventieconditie. Als je op een groot aantal achtergrondkenmerken wilt matchen, moet je
over een grote steekproef beschikken om tot gelijke paren te kunnen komen.
Globale controle Hierbij wordt ernaar gestreefd om het gemiddelde en/of de frequentie
van een aantal achtergrondkenmerken in alle condities gelijk te laten zijn (bijvoorbeeld
hetzelfde aantal jongens en meisjes, hetzelfde gemiddelde IQ enzovoort). Omdat de
condities slechts per afzonderlijk kenmerk aan elkaar gelijk zijn en niet wat betreft de
combinaties aan kenmerken, is dit een grovere wijze van experimentele controle dan
precisiecontrole.
7.3.5 Matchen en homogeniseren
7.3.5.2 Homogeniseren
Om het effect van een externe variabele op een afhankelijke variabele te isoleren, kan men ervoor
kiezen om proefpersonen te homogeniseren proefpersonen worden zo geselecteerd dat de
groepen zo homogeen mogelijk zijn wat betreft de externe variabele. Door proefpersonen te
selecteren die op relevante variabelen op elkaar lijken, wordt de variatie verminderd en neemt de
ruis af. Dit resulteert in een hogere statistische power (de kans om een werkelijk effect in de
populatie te detecteren). Echter, deze winst in power gaat ten koste van de externe validiteit, omdat
de steekproef minder representatief is voor de algemene populatie.
Bij het homogeniseren en matchen is het belangrijk om te focussen op externe kenmerken waarvan
bekend is, of op zijn minst vermoed wordt, dat ze invloed hebben op de afhankelijke variabele. Deze
procedures kunnen niet op zichzelf gebruikt worden als vervanging voor randomisatie, maar kunnen
wel in combinatie daarmee worden toegepast, indien mogelijk.
7.4 Between-subjects versus within-subjects designs
Between-subject design manipulatie vindt plaats tussen proefpersonen. Er worden meerdere
groepen van proefpersonen gevormd en elke groep ontvangt een andere manipulatie (of treatment).
Within-subject design (repeated measures designs) manipulatie vindt plaats binnen
proefpersonen. Dat betekent dat dezelfde proefpersonen aan alle condities worden blootgesteld.
Hierin kan de volgorde gevarieerd worden counter balancing. Daarmee kan het volgorde effect
worden vermeden.
Mixed-design combinatie van een between-subject en een within-subject design. De manipulaties
vinden dus zowel tussen als binnen proefpersonen plaats. Bijvoorbeeld, in een medicijn-placebo-
onderzoek met een voormeting en een nameting wordt er zowel tussen proefpersonen (medicijn-
, placebo) als binnen proefpersonen (voormeting: geen pilletje genomen - nameting wel pilletje
genomen) gemanipuleerd.
7.5 Voorbeelden van experimentele designs
Essentie experimentele designs meetinstrument om zoveel mogelijk verstorende factoren uit te
sluiten.
7.5.1 Symbolische notatie van experimentele designs
Campbell en Stanley ontwikkelden symbolische notatie om experimenten samen te vatten.
Daarmee kunnen validiteitsbedriegers voorkomen worden bij het kiezen van een ontwerp.
O (Observation) waarneming of meting van de afhankelijke variabele.
X ondergaan van de experimentele stimulus (treatment, enkele manipulatie-conditie).
R sprake van randomisatie.
NR geen sprake van randomisatie.
Schema eenvoudig experiment
Op tijdstip 1 (t1) wordt de afhankelijke variabele gemeten: de voormeting. Vervolgens wordt de
experimentele treatment ondergaan. Daarna wordt op tijdstip t2 de afhankelijke variabele opnieuw
gemeten: de nameting. In dit design ontbreekt de letter R (randomisatie) voorafgaand aan t1, wat in
deze context niet nodig zou zijn, omdat er geen verschillende condities zijn om proefpersonen aan
toe te wijzen. Bij meer dan één experimentele groep zou de aan- of afwezigheid van R duidelijk
maken of het een zuiver experiment betreft.
7.5.2 Pre-experimentele designs
Pre-experimentele designs bevatten één of meerdere elementen van experimenten (bijv.
manipulatie of meerdere observaties), maar stellen de onderzoeker niet in staat om voldoende
controle te houden over externe invloeden om bij benadering causale uitspraken te kunnen doen.
twee typen experimenten waarvan het vermogen om validiteitsbedreigers onder controle te houden
belabberd is. Een vergelijkingsconditie (-X) is afwezig, dus voldoet niet aan de Mills ´method of
difference´.
One shot case study eerst een manipulatie (treatment) uitgevoerd en vervolgens
observeren wat het effect is op de proefpersonen.
One-group pre-post design zelfde als one shot case study, maar dan worden de
proefpersonen voor en na de manipulatie geobserveerd. Verwant aan single case designs,
waarbij slechts één of enkele proefpersonen worden onderzocht, maar wel meermaals
worden gemeten (meerdere O’s).
