Kennismaking met Onderzoeksmethoden en Statistiek (KOM) – Deel 3 Experimenteel
Hoorcollege 1 – Experimenteel onderzoek
Waarom zijn onderzoekers geïnteresseerd in causale verbanden?
- Verklaring
Om te begrijpen hoe de (sociale) werkelijkheid in elkaar zit
- Voorbeeld
o Effect van motivatie op de leerprestaties
Beinvloeden van die werkelijkheid
- Voorbeeld
o Effect van interventie voor het verbeteren van gezondheidsvaardigheden bij bewoners van
Overvecht
Causaliteit
- Kenmerken
Beste manier om aan voorwaarden te kunnen voldoen is het gebruik van een gerandomiseerd
experiment.
- Kenmerken
o Door randomisatie worden de groepen hetzelfde verondersteld
o De onderzoeker manipuleert (varieert) een variabele (Onafhankelijke variabele)
o De onderzoeker meet het effect daarvan op een andere variabele (Afhankelijke variabele)
- Voorwaarden
Covariantie= Er moet een (indirecte) relatie zijn tussen oorzaak en gevolg
Temporal precedence= De oorzaak moet in de tijd voorafgaan aan het gevolg
Internal validity= Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten
Correlatie leidt niet meteen tot causaliteit!
- Voorbeeld
Uit correlationeel onderzoek blijkt: Relatie tussen facebook gebruik en depressieve klachten
Uit correlationeel onderzoek blijkt: Relatie tussen manier van aantekeningen maken (pen-papier
vs. laptop) en leerprestaties bij studenten
- Kenmerken
o Covariantie: Is er samenhang tussen type aantekeningen en leerprestatie?
(Operationalisatie)
- Kenmerken
Onafhankelijke variabele= De gemanipuleerde variabele > Type aantekening
Afhankelijke variabele= Gemeten/uitkomst variabele > Leerprestatie
o Onderzoekshypothese: Er is een verschil in scores op kennistoetsen tussen de papier &
pen-groep en de laptop-groep.
o Temporal precedence= In een experiment kan de onderzoeker ervoor zorgen dat dee
oorzaak voorafgaat aan het gevolg door de 1) manipulatie uit te voeren voorafgaand aan
de 2) meting van de afhankelijke variabele.
o Interne validiteit: Is het wel de gemanipuleerde variabele die het verschil tussen de groep
verklaart of is er een alternatieve verklaring?
- Kenmerken
Bedreigingen van interne validiteit
- Soorten
Design confounds= Was de gemanipuleerde variabele wel het enige
verschil in de behandeling van de twee groepen?
- Voorbeeld
Niet alleen verschil tussen type aantekening, maar bijvoorbeeld
ook verschil tussen de TED-talk video’s
- Kenmerken
Willekeurig of systematisch verschil?
, Design confound komen altijd voor, maar wanneer deze
systematisch zijn
Selectie effect= Waren de twee groepen wel vergelijkbaar bij aanvang
van het experiment?
- Kenmerken
Toewijzing aan groepen a.d.h.v. willekeurige (random)
toewijzing of randomisatie.
- Doel
Om de gemiddelde scores en spreiding in de scores op
alle variabelen, zowel gemeten als ongemeten bij
aanvang vergelijkbaar zijn tussen de groepen.
- Soorten groepen
- Probleem
Groepen zijn niet altijd even groot bij kleine
steekproeven
Relevante kenmerken van deelnemers niet gelijkmatig
verdeeld over de condities
Oplossing: complexere randomisatie methoden
Controle d.m.v. randomisatie check
Contaminatie= 1) Deelnemers in experimentele groep
vertellen deelnemers in controlegroep over deelname, 2)
Deelnemers houden zich niet aan behandeling, 3)
Beïnvloeding door onderzoeker.
- Niet mogelijk
Niet ethisch
Praktisch onhaalbaar
Verwachting= Verwachting/stelling over de constructen
Onderzoekshypothese= Hypothese over de geoperationaliseerde variabelen (Niet de constructen)
- Voorbeeld
Studenten die hun college-aantekeningen tussentijds reviseren hebben gemiddeld een andere toets-
score dan studenten die geen tussentijdse revisie doen.
Onderzoeksvraag
- Kenmerken
Population= De groep mensen die de onderzoeker wil onderzoeken
Intervention= Niveaus van de gemanipuleerde/onafhankelijke variabele
Comparison= Groepen die vergeleken worden
Outcome= Gemeten/afhankelijke variabele
Onderzoeksontwerp
- Kenmerken
Aselecte steekproef – Effect op de externe validiteit
Randomisatie – Effect op de interne validiteit
Groep verdeling – Effect op de interne validiteit
Data-analyse
- Kenmerken
Data visualisatie wordt uitgevoerd m.b.v. een boxplot
Null-hypothesis significant testing (NHST)= Als we aannemen dat er geen verschil bestaat in de
populatie, wat is dan de kans dat we dit geobserveerde verschil in de steekproef observeren?
- Stappen
1. Formuleren hypothesen= Naast de onderzoekshypothese, stelt de onderzoeker de nulhypothese
(=Geen effect, geen verschil, geen relatie) op.
- Kenmerken
Hoorcollege 1 – Experimenteel onderzoek
Waarom zijn onderzoekers geïnteresseerd in causale verbanden?
- Verklaring
Om te begrijpen hoe de (sociale) werkelijkheid in elkaar zit
- Voorbeeld
o Effect van motivatie op de leerprestaties
Beinvloeden van die werkelijkheid
- Voorbeeld
o Effect van interventie voor het verbeteren van gezondheidsvaardigheden bij bewoners van
Overvecht
Causaliteit
- Kenmerken
Beste manier om aan voorwaarden te kunnen voldoen is het gebruik van een gerandomiseerd
experiment.
- Kenmerken
o Door randomisatie worden de groepen hetzelfde verondersteld
o De onderzoeker manipuleert (varieert) een variabele (Onafhankelijke variabele)
o De onderzoeker meet het effect daarvan op een andere variabele (Afhankelijke variabele)
- Voorwaarden
Covariantie= Er moet een (indirecte) relatie zijn tussen oorzaak en gevolg
Temporal precedence= De oorzaak moet in de tijd voorafgaan aan het gevolg
Internal validity= Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten
Correlatie leidt niet meteen tot causaliteit!
- Voorbeeld
Uit correlationeel onderzoek blijkt: Relatie tussen facebook gebruik en depressieve klachten
Uit correlationeel onderzoek blijkt: Relatie tussen manier van aantekeningen maken (pen-papier
vs. laptop) en leerprestaties bij studenten
- Kenmerken
o Covariantie: Is er samenhang tussen type aantekeningen en leerprestatie?
(Operationalisatie)
- Kenmerken
Onafhankelijke variabele= De gemanipuleerde variabele > Type aantekening
Afhankelijke variabele= Gemeten/uitkomst variabele > Leerprestatie
o Onderzoekshypothese: Er is een verschil in scores op kennistoetsen tussen de papier &
pen-groep en de laptop-groep.
o Temporal precedence= In een experiment kan de onderzoeker ervoor zorgen dat dee
oorzaak voorafgaat aan het gevolg door de 1) manipulatie uit te voeren voorafgaand aan
de 2) meting van de afhankelijke variabele.
o Interne validiteit: Is het wel de gemanipuleerde variabele die het verschil tussen de groep
verklaart of is er een alternatieve verklaring?
- Kenmerken
Bedreigingen van interne validiteit
- Soorten
Design confounds= Was de gemanipuleerde variabele wel het enige
verschil in de behandeling van de twee groepen?
- Voorbeeld
Niet alleen verschil tussen type aantekening, maar bijvoorbeeld
ook verschil tussen de TED-talk video’s
- Kenmerken
Willekeurig of systematisch verschil?
, Design confound komen altijd voor, maar wanneer deze
systematisch zijn
Selectie effect= Waren de twee groepen wel vergelijkbaar bij aanvang
van het experiment?
- Kenmerken
Toewijzing aan groepen a.d.h.v. willekeurige (random)
toewijzing of randomisatie.
- Doel
Om de gemiddelde scores en spreiding in de scores op
alle variabelen, zowel gemeten als ongemeten bij
aanvang vergelijkbaar zijn tussen de groepen.
- Soorten groepen
- Probleem
Groepen zijn niet altijd even groot bij kleine
steekproeven
Relevante kenmerken van deelnemers niet gelijkmatig
verdeeld over de condities
Oplossing: complexere randomisatie methoden
Controle d.m.v. randomisatie check
Contaminatie= 1) Deelnemers in experimentele groep
vertellen deelnemers in controlegroep over deelname, 2)
Deelnemers houden zich niet aan behandeling, 3)
Beïnvloeding door onderzoeker.
- Niet mogelijk
Niet ethisch
Praktisch onhaalbaar
Verwachting= Verwachting/stelling over de constructen
Onderzoekshypothese= Hypothese over de geoperationaliseerde variabelen (Niet de constructen)
- Voorbeeld
Studenten die hun college-aantekeningen tussentijds reviseren hebben gemiddeld een andere toets-
score dan studenten die geen tussentijdse revisie doen.
Onderzoeksvraag
- Kenmerken
Population= De groep mensen die de onderzoeker wil onderzoeken
Intervention= Niveaus van de gemanipuleerde/onafhankelijke variabele
Comparison= Groepen die vergeleken worden
Outcome= Gemeten/afhankelijke variabele
Onderzoeksontwerp
- Kenmerken
Aselecte steekproef – Effect op de externe validiteit
Randomisatie – Effect op de interne validiteit
Groep verdeling – Effect op de interne validiteit
Data-analyse
- Kenmerken
Data visualisatie wordt uitgevoerd m.b.v. een boxplot
Null-hypothesis significant testing (NHST)= Als we aannemen dat er geen verschil bestaat in de
populatie, wat is dan de kans dat we dit geobserveerde verschil in de steekproef observeren?
- Stappen
1. Formuleren hypothesen= Naast de onderzoekshypothese, stelt de onderzoeker de nulhypothese
(=Geen effect, geen verschil, geen relatie) op.
- Kenmerken
