KOM - EXPERIMENTEEL ONDERZOEK
EXPERIMENTEEL HOORCOLLEGE 1
Causale verbanden
- Om te begrijpen hoe (sociale) werkelijkheid in elkaar zit
- Bijvoorbeeld ‘effect van motivatie op leerprestaties’
- Beïnvloeden van die werkelijkheid
- Bijvoorbeeld effect van inquiry-based learning op studiemotivatie van
universitaire studenten
Van correlatie → causaal verband
- Uit correlationeel onderzoek blijkt bijvoorbeeld een relatie tussen Facebookgebruik en
depressieve klachten
Voorwaarden causaliteit
1. Covariance/ covariantie
- Er moet een relatie zijn tussen de oorzaak en het gevolg
- Kan niet worden vastgesteld als de onafhankelijke variabele niet varieert en ook
niet als de gemeten variabele niet varieert
- Bijvoorbeeld
- Is er samenhang tussen type aantekening en leerprestatie?
- Operationalisatie → de helft kreeg een laptop, de andere helft pen
en papier
- Type aantekeningen is de onafhankelijke variabele die wordt
gemanipuleerd
- Leerprestatie is de afhankelijke variabele die wordt gemeten = uitkomst
variabele
- Er is sprake van samenhang tussen type aantekening en leerprestatie
wanneer we verschil in leerprestatie zien tussen de twee groepen
2. Temporal precedence/ volgorde in tijd
- De oorzaak moet in de tijd voorafgaan aan het gevolg
- In een experiment kan de onderzoeker er voor zorgen dat oorzaak voorafgaat
aan het gevolg, bijvoorbeeld
- De helft kreeg een laptop, de andere helft pen en papier
- Door manipulatie uit te voeren voorafgaand aan de meting van de afhankelijke
variabele, bijvoorbeeld
- Een half uur na afloop van het college moesten alle studenten een aantal
feitelijke vragen en een aantal denkvragen beantwoorden
- Door het manipuleren van een variabele weet men zeker dat de
gemeten variabele daarna komt in een experiment → momentopname
- Vergelijkbaar met een vragenlijst bij een correlationeel onderzoek
- Een experiment is superieur aan een correlationeel onderzoek
, 3. Internal validity/ interne validiteit
- Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten
- Confounding/ confounds: mogelijke alternatieve verklaringen, oftewel
bedreigingen van interne validiteit
1. Design confounds
- was de gemanipuleerde variabele wel het enige verschil in de
behandeling van de twee groepen?
- Een tweede variabele die systematisch varieert naast de onafhankelijk
variabele en kan daardoor een alternatieve verklaring zijn
- Bijvoorbeeld als 1 groep moeilijkere vragen moet beantwoorden
- Er is alleen een probleem bij systematische variabiliteit →
systematisch anders bij de ene groep
- Onsystematische variabiliteit → random verschillen bij de
groepen; dit is geen probleem voor de confounds maar kan wel tot
andere problemen leiden
2. Selectie effect
- Waren de twee groepen wel vergelijkbaar bij aanvang van het
experiment?
- Wanneer de soort participanten per groep systematisch van elkaar
verschillen bij aanvang
- Komt ook voor wanneer participanten zelf mogen kiezen
- Is te voorkomen door random assignment → willekeurig, select,
participanten aan een groep toewijzen; dit desystemtiseerd de type
participanten die in een bepaalde groep komen
- Is ook te voorkomen door matched groups → een manier om
participanten random op een goede manier te verdelen door een match te
maken van 2 participanten die vergelijkbaar zijn en deze dan willekeurig
te verdelen over de groepen
Causaliteit
- Beste manier om te kunnen voldoen aan de voorwaarden is middels een
gerandomiseerd experiment, waarbij
- Door randomisatie de groepen hetzelfde worden verondersteld
- De onderzoeker 1 variabele manipuleert (varieert)
- De onderzoeker het effect daarvan op een andere variabele meet
Toewijzing aan groepen
- Natuurlijke indeling/ eigen keuze deelnemers
- Op basis van bepaalde persoonskenmerken
- Op basis van willekeur → randomisatie
Randomisatie
, - Om ervoor te zorgen dat gemiddelde scores en spreiding in scores op alle variabele,
zowel gemeten als ongemeten, bij aanvang vergelijkbaar zijn tussen de groepen
- Soms is het onmogelijk
- Niet praktisch → onderzoek naar
- Niet ethisch → onmogelijk om de helft van je steekproef zwanger te
maken / je kunt niet een deel van je steekproef verplichten om zoveel
per dag te roken / onderzoek naar kanker
- Soms wel mogelijk, maar gaat het fout → contaminatie
- Contaminatie is vervuiling van de randomisatie
- Hierdoor is interne validiteit laag
- Bijvoorbeeld
- Deelnemers in een experimentele groep vertellen deelnemers in een
controlegroep over deelname
- Deelnemers houden zich niet aan behandeling
- Beïnvloeding door de onderzoeker
- Deelnemers die zich niet aan de behandeling houden
- Beïnvloeding door de onderzoeker
P-waarde
- Lage p-waarde = onwaarschijnlijk dat het door toeval komt
- We nemen aan dat er sprake is van toeval, en dit is de kans dat je deze data observeert
- Je neemt aan dat er geen effect is en dit ga je onderzoeken
- p-waarde wordt berekend onder de aanname dat H0 waar is, dus dat er geen verschil of
relatie aanwezig is in de populatie
Onderzoeksvraag experimenteel onderzoek
- Kun je herkennen aan elementen PICO:
- Population/ populatie
- Intervation/ interventie
- Samen met C gemanipuleerde variabele
- De behandeling
- Comparison/ vergelijking
- Samen met I gemanipuleerde variabele
- Met welke groep wordt vergelijken? Bijvoorbeeld leermethode A met B of
nieuw pestprotocol met niks
- Outcome/ uitkomst
- Wat wordt er gemeten aan het einde van het onderzoek?
Voorbeeld PICO
- Onderzoeksvraag: heeft het tussentijds reviseren van aantekeningen (vergeleken met
het niet reviseren) effect op leerprestaties van studenten?
- P: studenten
- I: tussentijds reviseren van aantekeningen
- C: het niet reviseren van aantekeningen
, - O: leerprestaties
Gerandomiseerd experiment
- Onderzoeksontwerp → willekeurige toewijzing van deelnemers aan één van de
condities (experimentele groep en controlegroep)
- R staat voor randomiseren:
- De participanten werden willekeurig ingedeeld in de twee groepen
Onderzoeksontwerp
- Operationalisatie (nameting) valt hier ook onder
Hypothesen
- Conceptueel bijvoorbeeld ‘er is een effect van tussentijds reviseren van college-
aantekeningen op leerprestaties van studenten’
- Operationeel, bijvoorbeeld ‘studenten die hun college-aantekeningen tussentijds mogen
reviseren hebben gemiddeld een andere toets-score dan studenten die geen
tussentijdse revisie mochten doen’
- Statistisch: in symbolen
Data verzameling
EXPERIMENTEEL HOORCOLLEGE 1
Causale verbanden
- Om te begrijpen hoe (sociale) werkelijkheid in elkaar zit
- Bijvoorbeeld ‘effect van motivatie op leerprestaties’
- Beïnvloeden van die werkelijkheid
- Bijvoorbeeld effect van inquiry-based learning op studiemotivatie van
universitaire studenten
Van correlatie → causaal verband
- Uit correlationeel onderzoek blijkt bijvoorbeeld een relatie tussen Facebookgebruik en
depressieve klachten
Voorwaarden causaliteit
1. Covariance/ covariantie
- Er moet een relatie zijn tussen de oorzaak en het gevolg
- Kan niet worden vastgesteld als de onafhankelijke variabele niet varieert en ook
niet als de gemeten variabele niet varieert
- Bijvoorbeeld
- Is er samenhang tussen type aantekening en leerprestatie?
- Operationalisatie → de helft kreeg een laptop, de andere helft pen
en papier
- Type aantekeningen is de onafhankelijke variabele die wordt
gemanipuleerd
- Leerprestatie is de afhankelijke variabele die wordt gemeten = uitkomst
variabele
- Er is sprake van samenhang tussen type aantekening en leerprestatie
wanneer we verschil in leerprestatie zien tussen de twee groepen
2. Temporal precedence/ volgorde in tijd
- De oorzaak moet in de tijd voorafgaan aan het gevolg
- In een experiment kan de onderzoeker er voor zorgen dat oorzaak voorafgaat
aan het gevolg, bijvoorbeeld
- De helft kreeg een laptop, de andere helft pen en papier
- Door manipulatie uit te voeren voorafgaand aan de meting van de afhankelijke
variabele, bijvoorbeeld
- Een half uur na afloop van het college moesten alle studenten een aantal
feitelijke vragen en een aantal denkvragen beantwoorden
- Door het manipuleren van een variabele weet men zeker dat de
gemeten variabele daarna komt in een experiment → momentopname
- Vergelijkbaar met een vragenlijst bij een correlationeel onderzoek
- Een experiment is superieur aan een correlationeel onderzoek
, 3. Internal validity/ interne validiteit
- Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten
- Confounding/ confounds: mogelijke alternatieve verklaringen, oftewel
bedreigingen van interne validiteit
1. Design confounds
- was de gemanipuleerde variabele wel het enige verschil in de
behandeling van de twee groepen?
- Een tweede variabele die systematisch varieert naast de onafhankelijk
variabele en kan daardoor een alternatieve verklaring zijn
- Bijvoorbeeld als 1 groep moeilijkere vragen moet beantwoorden
- Er is alleen een probleem bij systematische variabiliteit →
systematisch anders bij de ene groep
- Onsystematische variabiliteit → random verschillen bij de
groepen; dit is geen probleem voor de confounds maar kan wel tot
andere problemen leiden
2. Selectie effect
- Waren de twee groepen wel vergelijkbaar bij aanvang van het
experiment?
- Wanneer de soort participanten per groep systematisch van elkaar
verschillen bij aanvang
- Komt ook voor wanneer participanten zelf mogen kiezen
- Is te voorkomen door random assignment → willekeurig, select,
participanten aan een groep toewijzen; dit desystemtiseerd de type
participanten die in een bepaalde groep komen
- Is ook te voorkomen door matched groups → een manier om
participanten random op een goede manier te verdelen door een match te
maken van 2 participanten die vergelijkbaar zijn en deze dan willekeurig
te verdelen over de groepen
Causaliteit
- Beste manier om te kunnen voldoen aan de voorwaarden is middels een
gerandomiseerd experiment, waarbij
- Door randomisatie de groepen hetzelfde worden verondersteld
- De onderzoeker 1 variabele manipuleert (varieert)
- De onderzoeker het effect daarvan op een andere variabele meet
Toewijzing aan groepen
- Natuurlijke indeling/ eigen keuze deelnemers
- Op basis van bepaalde persoonskenmerken
- Op basis van willekeur → randomisatie
Randomisatie
, - Om ervoor te zorgen dat gemiddelde scores en spreiding in scores op alle variabele,
zowel gemeten als ongemeten, bij aanvang vergelijkbaar zijn tussen de groepen
- Soms is het onmogelijk
- Niet praktisch → onderzoek naar
- Niet ethisch → onmogelijk om de helft van je steekproef zwanger te
maken / je kunt niet een deel van je steekproef verplichten om zoveel
per dag te roken / onderzoek naar kanker
- Soms wel mogelijk, maar gaat het fout → contaminatie
- Contaminatie is vervuiling van de randomisatie
- Hierdoor is interne validiteit laag
- Bijvoorbeeld
- Deelnemers in een experimentele groep vertellen deelnemers in een
controlegroep over deelname
- Deelnemers houden zich niet aan behandeling
- Beïnvloeding door de onderzoeker
- Deelnemers die zich niet aan de behandeling houden
- Beïnvloeding door de onderzoeker
P-waarde
- Lage p-waarde = onwaarschijnlijk dat het door toeval komt
- We nemen aan dat er sprake is van toeval, en dit is de kans dat je deze data observeert
- Je neemt aan dat er geen effect is en dit ga je onderzoeken
- p-waarde wordt berekend onder de aanname dat H0 waar is, dus dat er geen verschil of
relatie aanwezig is in de populatie
Onderzoeksvraag experimenteel onderzoek
- Kun je herkennen aan elementen PICO:
- Population/ populatie
- Intervation/ interventie
- Samen met C gemanipuleerde variabele
- De behandeling
- Comparison/ vergelijking
- Samen met I gemanipuleerde variabele
- Met welke groep wordt vergelijken? Bijvoorbeeld leermethode A met B of
nieuw pestprotocol met niks
- Outcome/ uitkomst
- Wat wordt er gemeten aan het einde van het onderzoek?
Voorbeeld PICO
- Onderzoeksvraag: heeft het tussentijds reviseren van aantekeningen (vergeleken met
het niet reviseren) effect op leerprestaties van studenten?
- P: studenten
- I: tussentijds reviseren van aantekeningen
- C: het niet reviseren van aantekeningen
, - O: leerprestaties
Gerandomiseerd experiment
- Onderzoeksontwerp → willekeurige toewijzing van deelnemers aan één van de
condities (experimentele groep en controlegroep)
- R staat voor randomiseren:
- De participanten werden willekeurig ingedeeld in de twee groepen
Onderzoeksontwerp
- Operationalisatie (nameting) valt hier ook onder
Hypothesen
- Conceptueel bijvoorbeeld ‘er is een effect van tussentijds reviseren van college-
aantekeningen op leerprestaties van studenten’
- Operationeel, bijvoorbeeld ‘studenten die hun college-aantekeningen tussentijds mogen
reviseren hebben gemiddeld een andere toets-score dan studenten die geen
tussentijdse revisie mochten doen’
- Statistisch: in symbolen
Data verzameling
