MCOS - Hoofdstuk 10 (Treadwell & Davis) –
“Experimenten”
Experimenteren = het manipuleren van één variabele om te zien of een andere variabele waarvan
gedacht wordt dat hij ermee verband houdt, als gevolg daarvan verandert.
➢ Het belangrijkste doel van experimentele designs is om te bepalen of er een causaal verband
aanwezig is tussen variabelen
Om met zekerheid te kunnen zeggen dat er een causaal verband is tussen de onafhankelijke
variabele X en de afhankelijke variabele Y, moeten we aan 3 criteria voldoen:
1. Covariantie = Y moet mee veranderen met X
2. Tijdsvolgorde (chronologie) = X moet voorafgaan aan Y
3. Niet-spurieuze relatie = Alleen X moet Y beïnvloeden, niks anders (moet de enige verklaring
zijn, dus ga na of alternatieve verklaringen kunnen worden uitgesloten).
➢ Kies daarom altijd een onderzoeksopzet waarmee je aan deze 3 criteria kunt voldoen, om
causale conclusies te trekken.
Nadelen experimentele designs:
Het grootste nadeel van de experimentele methoden is de kunstmatigheid -> ecological isomorphism
= de experimentele conditie is niet hetzelfde als de condities in de buitenwereld die het probeert te
repliceren, en daarom kan een experiment een twijfelachtige validiteit hebben.
Daarnaast hebben meer geavanceerde designs grote aantallen mensen nodig die participant willen
zijn.
Field experiments: natural experiments/ex post facto designs:
= Experimenten die een causaal verband onderzoeken in een natuurlijke setting. Er wordt geen
experimenteel design toegepast, er wordt slechts gekeken naar ‘iets’ dat de afhankelijke variabele
beïnvloedt.
➢ Hiermee kunnen niet met zekerheid causale verbanden worden vastgelegd: er is geen
nulmeting (misschien waren verschillen tussen groepen al aanwezig vóór de manipulatie),
daarnaast kunnen we er niet van uit gaan dat er geen alternatieve verklaringen tot de
verandering hebben geleid (spurieuze relaties). Ook kunnen we niks zeggen over de richting
van de causaliteit (symmetrisch/asymmetrisch).
Experimentele designs:
X = Manipulatie van de variabele
R = Random assignment
O1, O2, etc. = observatie 1, observatie 2, etc.
One-Group Pretest-Posttest Design:
O1 X O2
Om er van uit te gaan dat het verschil tussen ‘voor’ en ‘na’ wordt veroorzaakt door de manipulatie,
moeten we twee mogelijkheden uitsluiten: dat enig verschil in resultaten sowieso had
plaatsgevonden én dat alternatieve verklaringen tot de verandering hebben geleid.
➢ We moeten een controle niveau ontwerpen: het verwijderen van alle andere mogelijke
variabelen uit het experimentele ontwerp, zodat we er zeker van kunnen zijn dat X de enige
verklaring is voor de verandering bij Y.
➢ Controle groep = de groep die niet aan de experimentele variabele wordt blootgesteld (wordt
gebruikt als basislijn waartegen veranderingen bij de andere groep worden gewogen).
,Two-Group Pretest-Posttest Design:
O1 X O2
O1 O2
Wanneer er een duidelijk grotere verandering plaatsvindt tussen observatie 1 en observatie 2 na
manipulatie dan bij observatie 1 en observatie 2 van de controle groep, kunnen we met meer
zekerheid zeggen dat er een causaal verband aanwezig is. Wanneer er wél een verandering
plaatsvindt bij de controle groep moeten we accepteren dat er een alternatieve verklaring is voor de
verandering van Y. Maar we kunnen niet uitsluiten dat verschillen binnen de twee groepen die
aanwezig zijn deze verandering verklaren.
➢ Random assignment: een manier om de leden van een steekproef willekeurig te verdelen
over controlegroepen en experimentele groepen. We kunnen ervan uitgaan dat de
waarschijnlijkheid dat een bepaald kenmerk voorkomt in de ene groep even groot is als dat
deze in een andere groep voorkomt. Enig verschil dat we waarnemen tussen groepen zou dan
te wijten moeten zijn aan de variabele die we manipuleren en niet aan iets uniek voor één
groep.
Two-Group Random Assignment Pretest-Posttest Design:
R O1 X O2
R O1 O2
Hoewel we doormiddel van randomisering, een controle groep en momenten van observatie ‘voor’
en ‘na’ manipulatie goed onderweg zijn naar het beantwoorden van causaliteit, is er nog een
probleem die het design zelf creëert: wat is de mogelijkheid dat de test ‘voor’ manipulatie zelf enig
effect heeft op participanten? Om deze mogelijkheid uit te sluiten zijn er nóg twee groepen nodig:
R X O2, de groep die nagaat of observatie 1 niet van invloed is op de resultaten van observatie 2,
en
R O2 , de controle groep die nagaat of niks anders dan observatie 1 (pre-test) of de manipulatie van
invloed zijn op de resultaten.
Solomon Four-Group Design:
R O1 X O2
R O1 O2
R X O2
R O2
We kunnen met dit design twee criteria van causaliteit afstrepen: chronologie, we weten dat de
onafhankelijke variabele X vóór de afhankelijke variabele Y komt én we kunnen alternatieve
verklaringen uitsluiten. Als we kunnen aantonen dat Y mee veranderd met X (covariantie) kunnen we
spreken van een causale relatie.
Multivariate analyses richtten zich op de relatie tussen meer dan twee variabelen, experimentele
designs die twee of meer variabelen manipuleren noemen we factorial designs:
➢ 2 X 2 design: er zijn twee onafhankelijke variabelen waar we naar kijken die invloed kunnen
uitoefenen op de afhankelijke variabele en dus kunnen wijzen op causaliteit.
➢ 2 X 2 X 2 design: er zijn drie onafhankelijke variabelen (dus: drie hypothesen) aanwezig die
invloed kunnen uitoefenen op de afhankelijke variabele. Om dit experiment uit te voeren zijn
8 groepen participanten nodig.
,Een nadeel van veel experimentele designs is de hoeveelheid participanten die nodig is om het
experiment uit te voeren.
➢ Between-subjects design = iedere participant ervaart maar één conditie.
➢ Within-subjects design = iedere participant ervaart alle condities van een experiment en
onderzoekers testen dezelfde participanten meerdere keren (na iedere conditie) om
verschillen te onderzoeken (om het benodigd aantal participanten omlaag te brengen). Maar
het kan zijn dat dat een within-subject design niet mogelijk is omdat sommige variabelen niet
kunnen wijzigen voor een onderzoekseenheid. Daarnaast kan het zijn dat wanneer iemand
aan meerdere condities wordt blootgesteld, de eerste conditie van invloed is op hoe iemand
zich gedraagt bij de tweede conditie.
Time series analysis:
O1 O2 O3 O4 X O5 O6 O7 O8
De meerdere observaties vóór de manipulatie kunnen de waarnemingen controleren op de stabiliteit
van de pre-experimentele omstandigheden, en de observaties na de manipulatie kunnen nagaan of
het experimentele resultaat stabiel is.
Validiteit:
Meten we wat we willen meten?
Interne validiteit:
Wat kan er mis gaan? Zijn er aannemelijke alternatieve verklaringen voor de resultaten van een
onderzoek aanwezig (spurieuze relaties).
➢ Selectie bias: als twee groepen niet met elkaar te vergelijken zijn doordat de
karaktereigenschappen binnen de groepen niet ‘eerlijk’ verdeeld zijn, een verschil in
resultaten kan hier een gevolg van zijn.
➢ Uitval kan ervoor zorgen dat hoewel er randomisering heeft plaatsgevonden dit niet langer
aannemelijk is, enig verschil in resultaten kan een gevolg zijn van verschil tussen de groepen.
➢ Herhaald testen kan leidden tot gedragsverandering van participanten (reactiviteit), enig
verschil in resultaten kan een gevolg zijn van bevoegdheid/iemand weet hoe het experiment
uitgevoerd moet worden.
➢ Rijping betekend dat mensen automatisch veranderen over tijd, enig verschil in resultaten
kan een gevolg zijn van rijping in plaats van de manipulatie die is uitgevoerd.
➢ Verspreiding: mensen praatten met elkaar waardoor experimentele behandeling kan worden
overgebracht van groep tot groep. Hierdoor kan het lijken alsof er geen verschil in resultaten
plaatsvindt wanneer er eigenlijk wel een hoort te zijn.
➢ Onderzoekers bias: wanneer de onderzoeker te veel laat doorschijnen over wat hij waardeert
of de participanten beloont, zullen participanten zich hiernaar gedragen en ook dit kan van
invloed zijn op de resultaten.
Externe validiteit:
Omvat het experiment de externe wereld? Gaat over of de resultaten geldend zijn voor andere
personen, omstandigheden en tijden.
➢ Ecologische validiteit: de mate waarin de onderzoeksresultaten uit een onderzoek
overeenkomen met de alledaagse praktijk. Grootste nadeel experimentele designs ->
ecological isomorphism = de experimentele conditie is niet hetzelfde als de condities in de
buitenwereld die het probeert te repliceren.
➢ Populatie validiteit: de mate waarin je de resultaten uit je experiment logischerwijs kunt
generaliseren naar een grotere groep mensen (de populatie).
Het Hawthorne-effect verwijst naar de neiging van mensen om zich anders te gedragen als ze
zich ervan bewust worden dat ze worden geobserveerd (gevaar voor zowel interne- als externe
validiteit).
, Manipulatie-check: wordt gedaan om na te gaan of de manipulatie gewerkt heeft. Een meting in
een experiment waarin wordt nagegaan of het verschil dat de onderzoeker in de experimentele
condities heeft gecreëerd, ook zo ervaren wordt door de proefpersonen. Oftewel: heeft de
onderzoeker de experimentele variabele goed gemanipuleerd?
Online experimenten:
Vaak minder makkelijk omdat bij experimenten wordt verwacht dat participanten meer doen dan
alleen vragen beantwoorden, hiervoor zal veel data moeten worden verzameld om dingen als
muis bewegingen en antwoord tijden, etc. vast te leggen.
➢ Voordelen zijn: makkelijker participanten werven en flexibeler, data wordt automatisch
opgeslagen, betere ‘lab’ omstandigheden etc.
➢ Nadelen zijn: internet connectie die antwoorden beïnvloedt, veel afvallers, het verkeerd
begrijpen van wat de bedoeling is, meerdere inzendingen van dezelfde persoon etc.
“Experimenten”
Experimenteren = het manipuleren van één variabele om te zien of een andere variabele waarvan
gedacht wordt dat hij ermee verband houdt, als gevolg daarvan verandert.
➢ Het belangrijkste doel van experimentele designs is om te bepalen of er een causaal verband
aanwezig is tussen variabelen
Om met zekerheid te kunnen zeggen dat er een causaal verband is tussen de onafhankelijke
variabele X en de afhankelijke variabele Y, moeten we aan 3 criteria voldoen:
1. Covariantie = Y moet mee veranderen met X
2. Tijdsvolgorde (chronologie) = X moet voorafgaan aan Y
3. Niet-spurieuze relatie = Alleen X moet Y beïnvloeden, niks anders (moet de enige verklaring
zijn, dus ga na of alternatieve verklaringen kunnen worden uitgesloten).
➢ Kies daarom altijd een onderzoeksopzet waarmee je aan deze 3 criteria kunt voldoen, om
causale conclusies te trekken.
Nadelen experimentele designs:
Het grootste nadeel van de experimentele methoden is de kunstmatigheid -> ecological isomorphism
= de experimentele conditie is niet hetzelfde als de condities in de buitenwereld die het probeert te
repliceren, en daarom kan een experiment een twijfelachtige validiteit hebben.
Daarnaast hebben meer geavanceerde designs grote aantallen mensen nodig die participant willen
zijn.
Field experiments: natural experiments/ex post facto designs:
= Experimenten die een causaal verband onderzoeken in een natuurlijke setting. Er wordt geen
experimenteel design toegepast, er wordt slechts gekeken naar ‘iets’ dat de afhankelijke variabele
beïnvloedt.
➢ Hiermee kunnen niet met zekerheid causale verbanden worden vastgelegd: er is geen
nulmeting (misschien waren verschillen tussen groepen al aanwezig vóór de manipulatie),
daarnaast kunnen we er niet van uit gaan dat er geen alternatieve verklaringen tot de
verandering hebben geleid (spurieuze relaties). Ook kunnen we niks zeggen over de richting
van de causaliteit (symmetrisch/asymmetrisch).
Experimentele designs:
X = Manipulatie van de variabele
R = Random assignment
O1, O2, etc. = observatie 1, observatie 2, etc.
One-Group Pretest-Posttest Design:
O1 X O2
Om er van uit te gaan dat het verschil tussen ‘voor’ en ‘na’ wordt veroorzaakt door de manipulatie,
moeten we twee mogelijkheden uitsluiten: dat enig verschil in resultaten sowieso had
plaatsgevonden én dat alternatieve verklaringen tot de verandering hebben geleid.
➢ We moeten een controle niveau ontwerpen: het verwijderen van alle andere mogelijke
variabelen uit het experimentele ontwerp, zodat we er zeker van kunnen zijn dat X de enige
verklaring is voor de verandering bij Y.
➢ Controle groep = de groep die niet aan de experimentele variabele wordt blootgesteld (wordt
gebruikt als basislijn waartegen veranderingen bij de andere groep worden gewogen).
,Two-Group Pretest-Posttest Design:
O1 X O2
O1 O2
Wanneer er een duidelijk grotere verandering plaatsvindt tussen observatie 1 en observatie 2 na
manipulatie dan bij observatie 1 en observatie 2 van de controle groep, kunnen we met meer
zekerheid zeggen dat er een causaal verband aanwezig is. Wanneer er wél een verandering
plaatsvindt bij de controle groep moeten we accepteren dat er een alternatieve verklaring is voor de
verandering van Y. Maar we kunnen niet uitsluiten dat verschillen binnen de twee groepen die
aanwezig zijn deze verandering verklaren.
➢ Random assignment: een manier om de leden van een steekproef willekeurig te verdelen
over controlegroepen en experimentele groepen. We kunnen ervan uitgaan dat de
waarschijnlijkheid dat een bepaald kenmerk voorkomt in de ene groep even groot is als dat
deze in een andere groep voorkomt. Enig verschil dat we waarnemen tussen groepen zou dan
te wijten moeten zijn aan de variabele die we manipuleren en niet aan iets uniek voor één
groep.
Two-Group Random Assignment Pretest-Posttest Design:
R O1 X O2
R O1 O2
Hoewel we doormiddel van randomisering, een controle groep en momenten van observatie ‘voor’
en ‘na’ manipulatie goed onderweg zijn naar het beantwoorden van causaliteit, is er nog een
probleem die het design zelf creëert: wat is de mogelijkheid dat de test ‘voor’ manipulatie zelf enig
effect heeft op participanten? Om deze mogelijkheid uit te sluiten zijn er nóg twee groepen nodig:
R X O2, de groep die nagaat of observatie 1 niet van invloed is op de resultaten van observatie 2,
en
R O2 , de controle groep die nagaat of niks anders dan observatie 1 (pre-test) of de manipulatie van
invloed zijn op de resultaten.
Solomon Four-Group Design:
R O1 X O2
R O1 O2
R X O2
R O2
We kunnen met dit design twee criteria van causaliteit afstrepen: chronologie, we weten dat de
onafhankelijke variabele X vóór de afhankelijke variabele Y komt én we kunnen alternatieve
verklaringen uitsluiten. Als we kunnen aantonen dat Y mee veranderd met X (covariantie) kunnen we
spreken van een causale relatie.
Multivariate analyses richtten zich op de relatie tussen meer dan twee variabelen, experimentele
designs die twee of meer variabelen manipuleren noemen we factorial designs:
➢ 2 X 2 design: er zijn twee onafhankelijke variabelen waar we naar kijken die invloed kunnen
uitoefenen op de afhankelijke variabele en dus kunnen wijzen op causaliteit.
➢ 2 X 2 X 2 design: er zijn drie onafhankelijke variabelen (dus: drie hypothesen) aanwezig die
invloed kunnen uitoefenen op de afhankelijke variabele. Om dit experiment uit te voeren zijn
8 groepen participanten nodig.
,Een nadeel van veel experimentele designs is de hoeveelheid participanten die nodig is om het
experiment uit te voeren.
➢ Between-subjects design = iedere participant ervaart maar één conditie.
➢ Within-subjects design = iedere participant ervaart alle condities van een experiment en
onderzoekers testen dezelfde participanten meerdere keren (na iedere conditie) om
verschillen te onderzoeken (om het benodigd aantal participanten omlaag te brengen). Maar
het kan zijn dat dat een within-subject design niet mogelijk is omdat sommige variabelen niet
kunnen wijzigen voor een onderzoekseenheid. Daarnaast kan het zijn dat wanneer iemand
aan meerdere condities wordt blootgesteld, de eerste conditie van invloed is op hoe iemand
zich gedraagt bij de tweede conditie.
Time series analysis:
O1 O2 O3 O4 X O5 O6 O7 O8
De meerdere observaties vóór de manipulatie kunnen de waarnemingen controleren op de stabiliteit
van de pre-experimentele omstandigheden, en de observaties na de manipulatie kunnen nagaan of
het experimentele resultaat stabiel is.
Validiteit:
Meten we wat we willen meten?
Interne validiteit:
Wat kan er mis gaan? Zijn er aannemelijke alternatieve verklaringen voor de resultaten van een
onderzoek aanwezig (spurieuze relaties).
➢ Selectie bias: als twee groepen niet met elkaar te vergelijken zijn doordat de
karaktereigenschappen binnen de groepen niet ‘eerlijk’ verdeeld zijn, een verschil in
resultaten kan hier een gevolg van zijn.
➢ Uitval kan ervoor zorgen dat hoewel er randomisering heeft plaatsgevonden dit niet langer
aannemelijk is, enig verschil in resultaten kan een gevolg zijn van verschil tussen de groepen.
➢ Herhaald testen kan leidden tot gedragsverandering van participanten (reactiviteit), enig
verschil in resultaten kan een gevolg zijn van bevoegdheid/iemand weet hoe het experiment
uitgevoerd moet worden.
➢ Rijping betekend dat mensen automatisch veranderen over tijd, enig verschil in resultaten
kan een gevolg zijn van rijping in plaats van de manipulatie die is uitgevoerd.
➢ Verspreiding: mensen praatten met elkaar waardoor experimentele behandeling kan worden
overgebracht van groep tot groep. Hierdoor kan het lijken alsof er geen verschil in resultaten
plaatsvindt wanneer er eigenlijk wel een hoort te zijn.
➢ Onderzoekers bias: wanneer de onderzoeker te veel laat doorschijnen over wat hij waardeert
of de participanten beloont, zullen participanten zich hiernaar gedragen en ook dit kan van
invloed zijn op de resultaten.
Externe validiteit:
Omvat het experiment de externe wereld? Gaat over of de resultaten geldend zijn voor andere
personen, omstandigheden en tijden.
➢ Ecologische validiteit: de mate waarin de onderzoeksresultaten uit een onderzoek
overeenkomen met de alledaagse praktijk. Grootste nadeel experimentele designs ->
ecological isomorphism = de experimentele conditie is niet hetzelfde als de condities in de
buitenwereld die het probeert te repliceren.
➢ Populatie validiteit: de mate waarin je de resultaten uit je experiment logischerwijs kunt
generaliseren naar een grotere groep mensen (de populatie).
Het Hawthorne-effect verwijst naar de neiging van mensen om zich anders te gedragen als ze
zich ervan bewust worden dat ze worden geobserveerd (gevaar voor zowel interne- als externe
validiteit).
, Manipulatie-check: wordt gedaan om na te gaan of de manipulatie gewerkt heeft. Een meting in
een experiment waarin wordt nagegaan of het verschil dat de onderzoeker in de experimentele
condities heeft gecreëerd, ook zo ervaren wordt door de proefpersonen. Oftewel: heeft de
onderzoeker de experimentele variabele goed gemanipuleerd?
Online experimenten:
Vaak minder makkelijk omdat bij experimenten wordt verwacht dat participanten meer doen dan
alleen vragen beantwoorden, hiervoor zal veel data moeten worden verzameld om dingen als
muis bewegingen en antwoord tijden, etc. vast te leggen.
➢ Voordelen zijn: makkelijker participanten werven en flexibeler, data wordt automatisch
opgeslagen, betere ‘lab’ omstandigheden etc.
➢ Nadelen zijn: internet connectie die antwoorden beïnvloedt, veel afvallers, het verkeerd
begrijpen van wat de bedoeling is, meerdere inzendingen van dezelfde persoon etc.
