Samenvatting TOE Experimenteel
Experimenteel hoorcollege 1, 2, 3 en 4
Grasple lessen E1a tot en met E2f (zelf uitvoeren van een analyse hoeft natuurlijk
niet tijdens de toets, wel het interpreteren van output)
Experimenteel Hoorcollege 1
Een contemporaine empirische cirkel:
1. Theorie en onderzoeksvraag.
2. Onderzoeksontwerp.
3. Hypothese formulering en preregistratie.
4. Steekproeftrekking, randomiseren en causaliteit, data verzamelen en
datacontrole.
5. Nulhypothese significantie toetsing (NHST) of Bayesiaanse hypothese
evaluatie.
6. Rapportage
7. Replicatie onderzoek.
Hypothesen:
H0: uwel = uniet
HA: uwel ≠ uniet
→ wel = beïnvloed door het experiment, niet = controlegroep.
Manieren om hypothesen te evalueren:
1. NHST
- P-waarde = de kans op het gevonden verschil in gemiddelden of een
groter verschil, onder de aanname dat H0 klopt.
- P < 0.5 = H0 verwerpen.
- P > 0.5 = H0 niet verwerpen.
- Cohen’s d = gestandaardiseerde verschil tussen de gemiddelden =
aantal standaarddeviaties dat de gemiddelden van elkaar verschillen.
- = (Mniet - Mwel) / pooled-sd
Type I fout (alpha) staat gebruikelijk op 0.05 = we accepteren een kans van 0.05 dat
we de H0 onterecht verwerpen.
Power (= 1 - type II fout) staat gebruikelijk op 0.80 = we willen een kans van 80
procent dat we H0 terecht verwerpen.
- Kan beïnvloed worden door middel van een power analyse.
→ Small (0.20), medium (0.50) en large (0.80) effect sizes → aantal
personen per groep (n).
, De replicatie crisis = herhaling van onderzoek leidt niet altijd tot dezelfde
conclusies.
- Open Science Collaboration hebben 100 bekende studies
gepubliceerd → uit ⅓ kwam hetzelfde resultaat → geboorte
replicatie crisis (2015).
- Leidt tot de vraag hoe het mogelijk is dat de resultaten van wetenschappelijk
onderzoek vaak niet repliceerbaar blijken, oorzaken:
1. Sloppy science (questionable research practices) = wetenschappers
bewerken hun resultaten om tot een p-waarde van <0.05 te komen
→ Voorkomen door preregistratie = voor de dataverzameling alle
stappen die daarna komen op te schrijven.
2. Publicatie bias = het publiceren van onderzoek gebaseerd op type I
fouten (H0 onterecht verwerpen) → kunnen een gevolg zijn van
sloppy science.
Bayes Factor (BF0a) = geeft relatieve steun in de data voor H0 versus HA →
kan ook BFa0 zijn.
- Als BF0a = 1 → steun voor H0 en HA even groot.
- “ > 1 → steun voor H0 groter dan voor HA.
- “ < 1 → steun voor H0 kleiner dan voor HA.
- Wordt berekend met met behulp van de fit (f0) en de specificiteit (c0)
→ BF0a = f0/c0
→ Fit wordt kleiner als de afstand tussen de gemiddelden groter wordt.
→ Specificiteit = hoe specifiek de hypothesen zijn (=/</>/≠)
- De Bayes Factor wordt niet vergeleken met een grenswaarde → remedie
tegen sloppy science en publication bias.
→ Geen eenduidig antwoord op wanneer de BF groot genoeg is om voor H0
of HA te kiezen.
Posterior Model Kansen (PMKs/PMPs)
1. PMK0 = de kans dat de H0 waar is gegeven de informatie in de data
(conditionele type I fout)
2. PMKa = de kans dat de HA waar is gegeven de informatie in de data
(conditionele type II fout).
→ Kansen tellen op tot 1.0
- Aantal personen kunnen geupdate worden op de nauwkeurigheid te vergroten
= Bayesian updating.
Gepaarde t-toets = elke persoon heeft twee metingen.
H0: uvoor - una = 0
HA: uvoor - una ≠ 0
Gevaren van dit experimentele design:
Experimenteel hoorcollege 1, 2, 3 en 4
Grasple lessen E1a tot en met E2f (zelf uitvoeren van een analyse hoeft natuurlijk
niet tijdens de toets, wel het interpreteren van output)
Experimenteel Hoorcollege 1
Een contemporaine empirische cirkel:
1. Theorie en onderzoeksvraag.
2. Onderzoeksontwerp.
3. Hypothese formulering en preregistratie.
4. Steekproeftrekking, randomiseren en causaliteit, data verzamelen en
datacontrole.
5. Nulhypothese significantie toetsing (NHST) of Bayesiaanse hypothese
evaluatie.
6. Rapportage
7. Replicatie onderzoek.
Hypothesen:
H0: uwel = uniet
HA: uwel ≠ uniet
→ wel = beïnvloed door het experiment, niet = controlegroep.
Manieren om hypothesen te evalueren:
1. NHST
- P-waarde = de kans op het gevonden verschil in gemiddelden of een
groter verschil, onder de aanname dat H0 klopt.
- P < 0.5 = H0 verwerpen.
- P > 0.5 = H0 niet verwerpen.
- Cohen’s d = gestandaardiseerde verschil tussen de gemiddelden =
aantal standaarddeviaties dat de gemiddelden van elkaar verschillen.
- = (Mniet - Mwel) / pooled-sd
Type I fout (alpha) staat gebruikelijk op 0.05 = we accepteren een kans van 0.05 dat
we de H0 onterecht verwerpen.
Power (= 1 - type II fout) staat gebruikelijk op 0.80 = we willen een kans van 80
procent dat we H0 terecht verwerpen.
- Kan beïnvloed worden door middel van een power analyse.
→ Small (0.20), medium (0.50) en large (0.80) effect sizes → aantal
personen per groep (n).
, De replicatie crisis = herhaling van onderzoek leidt niet altijd tot dezelfde
conclusies.
- Open Science Collaboration hebben 100 bekende studies
gepubliceerd → uit ⅓ kwam hetzelfde resultaat → geboorte
replicatie crisis (2015).
- Leidt tot de vraag hoe het mogelijk is dat de resultaten van wetenschappelijk
onderzoek vaak niet repliceerbaar blijken, oorzaken:
1. Sloppy science (questionable research practices) = wetenschappers
bewerken hun resultaten om tot een p-waarde van <0.05 te komen
→ Voorkomen door preregistratie = voor de dataverzameling alle
stappen die daarna komen op te schrijven.
2. Publicatie bias = het publiceren van onderzoek gebaseerd op type I
fouten (H0 onterecht verwerpen) → kunnen een gevolg zijn van
sloppy science.
Bayes Factor (BF0a) = geeft relatieve steun in de data voor H0 versus HA →
kan ook BFa0 zijn.
- Als BF0a = 1 → steun voor H0 en HA even groot.
- “ > 1 → steun voor H0 groter dan voor HA.
- “ < 1 → steun voor H0 kleiner dan voor HA.
- Wordt berekend met met behulp van de fit (f0) en de specificiteit (c0)
→ BF0a = f0/c0
→ Fit wordt kleiner als de afstand tussen de gemiddelden groter wordt.
→ Specificiteit = hoe specifiek de hypothesen zijn (=/</>/≠)
- De Bayes Factor wordt niet vergeleken met een grenswaarde → remedie
tegen sloppy science en publication bias.
→ Geen eenduidig antwoord op wanneer de BF groot genoeg is om voor H0
of HA te kiezen.
Posterior Model Kansen (PMKs/PMPs)
1. PMK0 = de kans dat de H0 waar is gegeven de informatie in de data
(conditionele type I fout)
2. PMKa = de kans dat de HA waar is gegeven de informatie in de data
(conditionele type II fout).
→ Kansen tellen op tot 1.0
- Aantal personen kunnen geupdate worden op de nauwkeurigheid te vergroten
= Bayesian updating.
Gepaarde t-toets = elke persoon heeft twee metingen.
H0: uvoor - una = 0
HA: uvoor - una ≠ 0
Gevaren van dit experimentele design:
