Experimenteel onderzoek
hoorcolleges
Hoorcollege 1
Causaliteit en het gerandomiseerde experiment
Waarom zijn onderzoekers geïnteresseerd in causale verbanden?
o Begrijpen hoe de (sociale) werkelijkheid in elkaar zit:
Effect van motivatie op leerprestaties
Effect van SES op toegang tot gezondheidszorg
o Beïnvloeden van die werkelijkheid:
Effect van inquiry-based learning op studiemotivatie van universitaire studenten
Effectiviteit van interventie voor het verbeteren van gezondheidsvaardigheden bij
bewoners van Overvecht
Van correlatie → causaal verband
Uit correlationeel onderzoek blijkt:
o Relatie tussen Facebook gebruik en depressieve klachten
Uit correlationeel onderzoek blijkt:
o Relatie tussen manier van aantekeningen maken (pen- papier vs. laptop) en
leerprestaties bij studenten
o Correlationeel onderzoek wil nog niet zeggen dat er een causaal verband is
Voorwaarden causaliteit
1. Covariance
Er moet een (indirecte) relatie zijn tussen oorzaak en gevolg
2. Temporal precedence
De oorzaak moet in de tijd voorafgaan aan het gevolg
3. Internal validity
Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten
Causaliteit
Beste manier om te kunnen voldoen aan de drie voorwaarden is met een
gerandomiseerd experiment:
o Onderzoeksopzet waarbij
Door randomisatie de groepen hetzelfde worden verondersteld
De onderzoeker één variabele manipuleert (varieert)
De onderzoeker het effect daarvan op een andere variabele meet
,1. Covariantie
Is er samenhang tussen type aantekeningen en leerprestatie?
o Type aantekeningen is de onafhankelijke variabele →
Gemanipuleerde variabele
o Leerprestatie is de afhankelijke variabele →
Gemeten variabele (uitkomst variabele)
Wanneer is er sprake van samenhang tussen type aantekeningen en leerprestatie?
o Wanneer we verschil in leerprestatie zien tussen de twee groepen!
De onderzoekers verwachten een verschil in leerprestaties tussen studenten in de twee
experimentele groepen
2. covariantie
In een experiment kan de onderzoeker ervoor zorgen dat oorzaak voorafgaat aan het
gevolg
o Door de manipulatie (1) uit te voeren voorafgaand aan de meting van de
afhankelijke variabele (2)
3. interne validiteit
Is het wel de gemanipuleerde variabele die het verschil tussen de groepen verklaart of is
er een alternatieve verklaring?
Bedreigingen van interne validiteit (confounding):
o Design confounds
Was de gemanipuleerde variabele wel het enige verschil in de
behandeling van de twee groepen?
o Selectie effect
Waren de twee groepen wel vergelijkbaar bij aanvang van het
experiment?
3. Interne validiteit: design confounds
Mogelijke alternatieve verklaring:
o Design confounds
o In het onderzoek kregen studenten video’s van TED Talks en andere colleges
te zien.
Studenten bekeken verschillende video’s, is dat een alternatieve verklaring voor het
gevonden verschil?
o Was het een willekeurig of systematisch verschil tussen de groepen?
3. Interne validiteit: selectie
Mogelijke alternatieve verklaring:
o Waren de twee groepen wel vergelijkbaar bij aanvang van het experiment?
Met betrekking tot afhankelijke variabele?
Met betrekking tot andere onafhankelijke variabelen (zowel gemeten als
ongemeten)?
De helft kreeg er een laptop bij, de andere helft pen en papier.
Belangrijkste vraag: hóe werden de groepen ingedeeld?
, Toewijzing aan groepen
Hóe werden de groepen ingedeeld?
o Natuurlijke indeling/ eigen keuze deelnemers?
o Op grond van bepaalde persoonskenmerken?
o Op basis van willekeur toegewezen?
Willekeurige (random) toewijzing (randomiseren)
o Er komt geen mens aan te pas. Willekeurig, geen invloed erop hebben
Doel van willekeurige toewijzing (randomisatie)
...is om ervoor te zorgen dat:
o De gemiddelde scores en spreiding in scores
o Op alle variabelen, zowel gemeten als ongemeten
o Bij aanvang vergelijkbaar zijn tussen de groepen
Uitvoeren van willekeurige toewijzing
Probleem (met name) bij kleine steekproef:
o Groepen zijn niet altijd even groot
o Relevante kenmerken van deelnemers niet gelijkmatig verdeeld over de condities
Oplossing: complexere randomisatie methoden
Soms is randomisatie deelnemers niet mogelijk:
o Niet ethisch
o Praktisch onhaalbaar
Soms wel mogelijk, maar gaat het mis:
o Contaminatie (vervuiling van de randomisatie)
Deelnemers in experimentele groep vertellen deelnemers in controlegroep
over deelname
Deelnemers houden zich niet aan behandeling
Beïnvloeding door de onderzoeker
Idee/theorie
Aantekeningen maken blijkt effectief wanneer studenten deze tijdens studeren
teruglezen
Een onderzoeker veronderstelt dat dit proces effectiever is als zij een stap toevoegen:
o Tussentijdse revisie van de aantekeningen
Bij tussentijdse revisie zullen studenten zich informatie herinneren die zij in eerste
instantie niet genoteerd hadden en kunnen daarmee hun aantekeningen verbeteren
hoorcolleges
Hoorcollege 1
Causaliteit en het gerandomiseerde experiment
Waarom zijn onderzoekers geïnteresseerd in causale verbanden?
o Begrijpen hoe de (sociale) werkelijkheid in elkaar zit:
Effect van motivatie op leerprestaties
Effect van SES op toegang tot gezondheidszorg
o Beïnvloeden van die werkelijkheid:
Effect van inquiry-based learning op studiemotivatie van universitaire studenten
Effectiviteit van interventie voor het verbeteren van gezondheidsvaardigheden bij
bewoners van Overvecht
Van correlatie → causaal verband
Uit correlationeel onderzoek blijkt:
o Relatie tussen Facebook gebruik en depressieve klachten
Uit correlationeel onderzoek blijkt:
o Relatie tussen manier van aantekeningen maken (pen- papier vs. laptop) en
leerprestaties bij studenten
o Correlationeel onderzoek wil nog niet zeggen dat er een causaal verband is
Voorwaarden causaliteit
1. Covariance
Er moet een (indirecte) relatie zijn tussen oorzaak en gevolg
2. Temporal precedence
De oorzaak moet in de tijd voorafgaan aan het gevolg
3. Internal validity
Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten
Causaliteit
Beste manier om te kunnen voldoen aan de drie voorwaarden is met een
gerandomiseerd experiment:
o Onderzoeksopzet waarbij
Door randomisatie de groepen hetzelfde worden verondersteld
De onderzoeker één variabele manipuleert (varieert)
De onderzoeker het effect daarvan op een andere variabele meet
,1. Covariantie
Is er samenhang tussen type aantekeningen en leerprestatie?
o Type aantekeningen is de onafhankelijke variabele →
Gemanipuleerde variabele
o Leerprestatie is de afhankelijke variabele →
Gemeten variabele (uitkomst variabele)
Wanneer is er sprake van samenhang tussen type aantekeningen en leerprestatie?
o Wanneer we verschil in leerprestatie zien tussen de twee groepen!
De onderzoekers verwachten een verschil in leerprestaties tussen studenten in de twee
experimentele groepen
2. covariantie
In een experiment kan de onderzoeker ervoor zorgen dat oorzaak voorafgaat aan het
gevolg
o Door de manipulatie (1) uit te voeren voorafgaand aan de meting van de
afhankelijke variabele (2)
3. interne validiteit
Is het wel de gemanipuleerde variabele die het verschil tussen de groepen verklaart of is
er een alternatieve verklaring?
Bedreigingen van interne validiteit (confounding):
o Design confounds
Was de gemanipuleerde variabele wel het enige verschil in de
behandeling van de twee groepen?
o Selectie effect
Waren de twee groepen wel vergelijkbaar bij aanvang van het
experiment?
3. Interne validiteit: design confounds
Mogelijke alternatieve verklaring:
o Design confounds
o In het onderzoek kregen studenten video’s van TED Talks en andere colleges
te zien.
Studenten bekeken verschillende video’s, is dat een alternatieve verklaring voor het
gevonden verschil?
o Was het een willekeurig of systematisch verschil tussen de groepen?
3. Interne validiteit: selectie
Mogelijke alternatieve verklaring:
o Waren de twee groepen wel vergelijkbaar bij aanvang van het experiment?
Met betrekking tot afhankelijke variabele?
Met betrekking tot andere onafhankelijke variabelen (zowel gemeten als
ongemeten)?
De helft kreeg er een laptop bij, de andere helft pen en papier.
Belangrijkste vraag: hóe werden de groepen ingedeeld?
, Toewijzing aan groepen
Hóe werden de groepen ingedeeld?
o Natuurlijke indeling/ eigen keuze deelnemers?
o Op grond van bepaalde persoonskenmerken?
o Op basis van willekeur toegewezen?
Willekeurige (random) toewijzing (randomiseren)
o Er komt geen mens aan te pas. Willekeurig, geen invloed erop hebben
Doel van willekeurige toewijzing (randomisatie)
...is om ervoor te zorgen dat:
o De gemiddelde scores en spreiding in scores
o Op alle variabelen, zowel gemeten als ongemeten
o Bij aanvang vergelijkbaar zijn tussen de groepen
Uitvoeren van willekeurige toewijzing
Probleem (met name) bij kleine steekproef:
o Groepen zijn niet altijd even groot
o Relevante kenmerken van deelnemers niet gelijkmatig verdeeld over de condities
Oplossing: complexere randomisatie methoden
Soms is randomisatie deelnemers niet mogelijk:
o Niet ethisch
o Praktisch onhaalbaar
Soms wel mogelijk, maar gaat het mis:
o Contaminatie (vervuiling van de randomisatie)
Deelnemers in experimentele groep vertellen deelnemers in controlegroep
over deelname
Deelnemers houden zich niet aan behandeling
Beïnvloeding door de onderzoeker
Idee/theorie
Aantekeningen maken blijkt effectief wanneer studenten deze tijdens studeren
teruglezen
Een onderzoeker veronderstelt dat dit proces effectiever is als zij een stap toevoegen:
o Tussentijdse revisie van de aantekeningen
Bij tussentijdse revisie zullen studenten zich informatie herinneren die zij in eerste
instantie niet genoteerd hadden en kunnen daarmee hun aantekeningen verbeteren
