Research Methods in Social Relations H10 Randomised
experiments – Maruyama & Ryan (2014)
Sleutelconcepten:
Onafhankelijke Variabele (IV): Gemanipuleerd door de onderzoeker om de uitkomst te
beïnvloeden.
Afhankelijke Variabele (DV): De uitkomst die wordt beïnvloed door de OV.
Controlevariabelen: Isoleren van de causale relatie door andere OV's te controleren.
Experimentele Variabelen: Variabelen die gemanipuleerd kunnen worden.
Individuele Verschillen of Onderwerpvariabelen: Niet-manipuleerbare variabelen zoals
religie of inkomen.
Randomisatie: Deelnemers willekeurig toewijzen aan condities om de interne validiteit te
verbeteren.
Falen van Randomisatie: Ongelijke verdeling van deelnemers over groepen kan de interne
validiteit in gevaar brengen; replicatie is nodig voor betrouwbaarheid.
Within-Participants Design: Alle deelnemers ervaren alle condities.
Counterbalancing: Variëren van de volgorde van condities om carry-over effecten
(vermoeidheid, het afleiden van het doel na de eerste conditie, enz.) te controleren.
Bedreigingen voor de interne validiteit:
Selectie: Vooraf bestaande verschillen die de uitkomsten beïnvloeden, vooral wanneer
deelnemers zichzelf selecteren of wanneer onderzoekers vooraf bestaande groepen
selecteren die op verschillende kenmerken kunnen verschillen.
Rijping: Natuurlijke veranderingen in deelnemers in de loop van de tijd. Deze kunnen zowel
over langere perioden (bijv. natuurlijke ontwikkeling) als binnen een experimentele sessie
(bijv. vermoeidheid) optreden.
Geschiedenis: Externe gebeurtenissen die de studie beïnvloeden.
Instrumentatie: Veranderingen in meetprocedures in de loop van de tijd.
Mortaliteit (Uitval): Uitvalpercentages die de representativiteit beïnvloeden, omdat groepen
niet langer gelijkwaardig zijn.
Differentiële Mortaliteit: Ongelijke uitval tussen groepen.
Selectie op Basis van Rijping: Verschillen in rijpingssnelheden worden verward met
behandelingseffecten. Gebruik randomisatie om verschillen gelijkmatig te verdelen of
gebruik vergelijkingsgroepen.
Alternatieve experimentele ontwerpen:
,1. Randomised Two-Group Design: Dit bevat willekeurige toewijzing, behandelings- en niet-
behandelingsgroepen, en observaties na de behandeling. Dit vermindert de bedreiging van
selectie, rijping en geschiedenis.
2. Pretest-Posttest Two-Group Design: Vergelijkt observaties voor en na de behandeling.
Echter, als pretesting de reacties in beide groepen beïnvloedt, bedreigt dit de externe
validiteit; als het de groepen verschillend beïnvloedt, bedreigt het de interne validiteit.
3. Solomon Four-Group Design: Combineert de eerste twee ontwerpen, met twee vooraf
geteste (behandeling en controle) groepen en twee niet vooraf geteste groepen. Dit maakt
het mogelijk om te beoordelen of de verschillen voortkomen uit de behandeling, de pretest
of hun interactie.
4. Between-Participants Factorial Design: Test meerdere onafhankelijke variabelen in elke
mogelijke combinatie, en onthult hoe verschillende factoren met elkaar interageren.
o Main effects (hoofdeffecten): Impact van één onafhankelijke variabele op de
afhankelijke variabele, ongeacht andere variabelen (bijv. hoe feedback over het
algemeen de uitkomsten beïnvloedt).
o Simple effects (eenvoudige effecten): Impact van één onafhankelijke variabele op
een specifiek niveau van een andere variabele (bijv. de impact van positieve
feedback specifiek voor mannelijke managers).
o Interactieve effecten: Treed op wanneer het effect van één variabele afhangt van
het niveau van een andere, en onthult een complexere relatie (bijv. de impact van
positieve feedback varieert afhankelijk van of de manager mannelijk of vrouwelijk is).
, Repeated Measures Designs: Stellen dezelfde deelnemers bloot aan meerdere behandelingen,
waardoor de gevoeligheid toeneemt en er minder deelnemers nodig zijn. Individuele
verschilvariabelen (bijv. leeftijd, geslacht) worden behandeld als tussen-deelnemers factoren, omdat
ze niet kunnen worden gemanipuleerd. Dit ontwerp verhoogt de statistische kracht door binnen-
individuele veranderingen te meten, maar er moet voorzichtigheid worden betracht om
vooringenomenheid en langdurige effecten te vermijden. Onderzoekers kunnen filler-taken
gebruiken of tijd tussen behandelingen toestaan om carry-over effecten te verminderen.
Gegevensanalyse in experimentele ontwerpen:
Gegevensanalyse in experimentele ontwerpen richt zich op het vergelijken van gemiddelden van
verschillende behandelingscondities met behulp van t-toetsen voor twee groepen of variantieanalyse
(ANOVA) voor complexere ontwerpen. Een variant zoals MANOVA behandelt meerdere afhankelijke
variabelen en ANCOVA controleert voor verstorende factoren (covariantie).
Nadelen van randomised experiments:
Experimentele artefacten: Onbedoelde effecten op de afhankelijke variabele die worden
veroorzaakt door een kenmerk van de experimentele setting, anders dan de onafhankelijke
variabele (bijv. onderzoeker bias, vraaggestuurde kenmerken, enz.). Artefacten kunnen
optreden, ongeacht het gebruikte onderzoeksontwerp.
Beperkte externe validiteit: De generaliseerbaarheid kan in gevaar komen voor de interne
validiteit. Hoewel laboratoriumexperimenten kunstmatig kunnen lijken, zijn ze soms
effectiever dan hun realistische maar alledaagse tegenhangers, en hun relevantie wordt het
beste getest door replicatie in verschillende contexten.
Afhankelijkheid van studentenpools: Dit beperkt de generaliseerbaarheid en benadrukt de
noodzaak voor een meer heterogene pool om de representativiteit te verbeteren.
Geen nuttige beschrijvende gegevens: Randomised experiments missen vaak
generaliseerbare gegevens over gedragingen omdat ze doorgaans gebruikmaken van
convenience samples in plaats van representatieve monsters. In tegenstelling hiermee
selecteren probabiliteitsenquêtes willekeurige monsters die de grotere populatie
weerspiegelen, waardoor onderzoekers hun bevindingen kunnen generaliseren.
experiments – Maruyama & Ryan (2014)
Sleutelconcepten:
Onafhankelijke Variabele (IV): Gemanipuleerd door de onderzoeker om de uitkomst te
beïnvloeden.
Afhankelijke Variabele (DV): De uitkomst die wordt beïnvloed door de OV.
Controlevariabelen: Isoleren van de causale relatie door andere OV's te controleren.
Experimentele Variabelen: Variabelen die gemanipuleerd kunnen worden.
Individuele Verschillen of Onderwerpvariabelen: Niet-manipuleerbare variabelen zoals
religie of inkomen.
Randomisatie: Deelnemers willekeurig toewijzen aan condities om de interne validiteit te
verbeteren.
Falen van Randomisatie: Ongelijke verdeling van deelnemers over groepen kan de interne
validiteit in gevaar brengen; replicatie is nodig voor betrouwbaarheid.
Within-Participants Design: Alle deelnemers ervaren alle condities.
Counterbalancing: Variëren van de volgorde van condities om carry-over effecten
(vermoeidheid, het afleiden van het doel na de eerste conditie, enz.) te controleren.
Bedreigingen voor de interne validiteit:
Selectie: Vooraf bestaande verschillen die de uitkomsten beïnvloeden, vooral wanneer
deelnemers zichzelf selecteren of wanneer onderzoekers vooraf bestaande groepen
selecteren die op verschillende kenmerken kunnen verschillen.
Rijping: Natuurlijke veranderingen in deelnemers in de loop van de tijd. Deze kunnen zowel
over langere perioden (bijv. natuurlijke ontwikkeling) als binnen een experimentele sessie
(bijv. vermoeidheid) optreden.
Geschiedenis: Externe gebeurtenissen die de studie beïnvloeden.
Instrumentatie: Veranderingen in meetprocedures in de loop van de tijd.
Mortaliteit (Uitval): Uitvalpercentages die de representativiteit beïnvloeden, omdat groepen
niet langer gelijkwaardig zijn.
Differentiële Mortaliteit: Ongelijke uitval tussen groepen.
Selectie op Basis van Rijping: Verschillen in rijpingssnelheden worden verward met
behandelingseffecten. Gebruik randomisatie om verschillen gelijkmatig te verdelen of
gebruik vergelijkingsgroepen.
Alternatieve experimentele ontwerpen:
,1. Randomised Two-Group Design: Dit bevat willekeurige toewijzing, behandelings- en niet-
behandelingsgroepen, en observaties na de behandeling. Dit vermindert de bedreiging van
selectie, rijping en geschiedenis.
2. Pretest-Posttest Two-Group Design: Vergelijkt observaties voor en na de behandeling.
Echter, als pretesting de reacties in beide groepen beïnvloedt, bedreigt dit de externe
validiteit; als het de groepen verschillend beïnvloedt, bedreigt het de interne validiteit.
3. Solomon Four-Group Design: Combineert de eerste twee ontwerpen, met twee vooraf
geteste (behandeling en controle) groepen en twee niet vooraf geteste groepen. Dit maakt
het mogelijk om te beoordelen of de verschillen voortkomen uit de behandeling, de pretest
of hun interactie.
4. Between-Participants Factorial Design: Test meerdere onafhankelijke variabelen in elke
mogelijke combinatie, en onthult hoe verschillende factoren met elkaar interageren.
o Main effects (hoofdeffecten): Impact van één onafhankelijke variabele op de
afhankelijke variabele, ongeacht andere variabelen (bijv. hoe feedback over het
algemeen de uitkomsten beïnvloedt).
o Simple effects (eenvoudige effecten): Impact van één onafhankelijke variabele op
een specifiek niveau van een andere variabele (bijv. de impact van positieve
feedback specifiek voor mannelijke managers).
o Interactieve effecten: Treed op wanneer het effect van één variabele afhangt van
het niveau van een andere, en onthult een complexere relatie (bijv. de impact van
positieve feedback varieert afhankelijk van of de manager mannelijk of vrouwelijk is).
, Repeated Measures Designs: Stellen dezelfde deelnemers bloot aan meerdere behandelingen,
waardoor de gevoeligheid toeneemt en er minder deelnemers nodig zijn. Individuele
verschilvariabelen (bijv. leeftijd, geslacht) worden behandeld als tussen-deelnemers factoren, omdat
ze niet kunnen worden gemanipuleerd. Dit ontwerp verhoogt de statistische kracht door binnen-
individuele veranderingen te meten, maar er moet voorzichtigheid worden betracht om
vooringenomenheid en langdurige effecten te vermijden. Onderzoekers kunnen filler-taken
gebruiken of tijd tussen behandelingen toestaan om carry-over effecten te verminderen.
Gegevensanalyse in experimentele ontwerpen:
Gegevensanalyse in experimentele ontwerpen richt zich op het vergelijken van gemiddelden van
verschillende behandelingscondities met behulp van t-toetsen voor twee groepen of variantieanalyse
(ANOVA) voor complexere ontwerpen. Een variant zoals MANOVA behandelt meerdere afhankelijke
variabelen en ANCOVA controleert voor verstorende factoren (covariantie).
Nadelen van randomised experiments:
Experimentele artefacten: Onbedoelde effecten op de afhankelijke variabele die worden
veroorzaakt door een kenmerk van de experimentele setting, anders dan de onafhankelijke
variabele (bijv. onderzoeker bias, vraaggestuurde kenmerken, enz.). Artefacten kunnen
optreden, ongeacht het gebruikte onderzoeksontwerp.
Beperkte externe validiteit: De generaliseerbaarheid kan in gevaar komen voor de interne
validiteit. Hoewel laboratoriumexperimenten kunstmatig kunnen lijken, zijn ze soms
effectiever dan hun realistische maar alledaagse tegenhangers, en hun relevantie wordt het
beste getest door replicatie in verschillende contexten.
Afhankelijkheid van studentenpools: Dit beperkt de generaliseerbaarheid en benadrukt de
noodzaak voor een meer heterogene pool om de representativiteit te verbeteren.
Geen nuttige beschrijvende gegevens: Randomised experiments missen vaak
generaliseerbare gegevens over gedragingen omdat ze doorgaans gebruikmaken van
convenience samples in plaats van representatieve monsters. In tegenstelling hiermee
selecteren probabiliteitsenquêtes willekeurige monsters die de grotere populatie
weerspiegelen, waardoor onderzoekers hun bevindingen kunnen generaliseren.
