Samenvatting TOE Experimenteel
College 1 – Replicatie, Bayes Factor en Threats
Oorzaken replicatiecrisis
- Sloppy science
- Publicatiebias: het publiceren van onderzoek gebaseerd op type I fouten die het gevolg zijn
van toeval of sloppy science
Contemporaine Empirische Cirkel
1. Theory en Onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese Formulering en Preregistratie
4. Steekproeftrekking, Randomizeren en Causaliteit, Data Verzameling en Data Controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
P-waarde: de kans om hetzelfde of een extremer verschil te vinden wanneer H0 waar is.
Cohen’s d: effect size, het aantal standaarddeviaties dat de twee gemiddelden van elkaar verschillen.
Bayes factor
- BF0a geeft de relatieve steun in de data voor H0 : µniet = µwel versus Ha : µniet ≠ µwel.
- BF0a = 5: de steun in de data is 5x groter voor H0 dan voor Ha.
- Omgedraaid: BFa0 = 1/5
- BF0a = 1: steun in de data voor H0 en Ha even groot.
- BF0a > 1: steun in de data voor H0 groter dan voor Ha.
- BF0a < 1:steun in de data voor H0 kleiner dan voor Ha.
- Wordt berekend met behulp van de fit (f0) en de specifiteit (c0) van H0: BF0a = f0/c0
- Fit: hoe goed de hypothese bij de data past. De fit van H0 wordt kleiner wanneer de afstand
tussen de gemiddelden toeneemt.
Hoe preciezer de hypothese, hoe duidelijker de voorspelling.
De Bayes factor heeft geen grenswaarde om QPR en publication bias te voorkomen. In plaats daarvan
moet je de resultaten zelf interpreteren.
Posterior Model Kansen
- De kans dat H0 waar is noemen we PMK0 (Conditionele type I fout)
- De kans dat Ha waar is noemen we PMKa (Conditionele type II fout)
- Beide kansen tellen op tot 1.0
- De conditionele fouten worden door de data bepaald en niet door de onderzoeker, zoals bij
NHST
- Bayesian updating wordt gebruikt wanneer de resultaten nog niet overtuigend genoeg zijn.
Er worden dan meer participanten toegevoegd en daarna wordt gekeken naar de
vernieuwde BF en PMK.
- Posterior model kansen kunnen worden gebruikt als je twee of meer van H0, Hi, en Ha met
elkaar wil vergelijken (dus niet Hc). De posterior model kans is de steun in de data voor een
hypothese.
College 1 – Replicatie, Bayes Factor en Threats
Oorzaken replicatiecrisis
- Sloppy science
- Publicatiebias: het publiceren van onderzoek gebaseerd op type I fouten die het gevolg zijn
van toeval of sloppy science
Contemporaine Empirische Cirkel
1. Theory en Onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese Formulering en Preregistratie
4. Steekproeftrekking, Randomizeren en Causaliteit, Data Verzameling en Data Controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
P-waarde: de kans om hetzelfde of een extremer verschil te vinden wanneer H0 waar is.
Cohen’s d: effect size, het aantal standaarddeviaties dat de twee gemiddelden van elkaar verschillen.
Bayes factor
- BF0a geeft de relatieve steun in de data voor H0 : µniet = µwel versus Ha : µniet ≠ µwel.
- BF0a = 5: de steun in de data is 5x groter voor H0 dan voor Ha.
- Omgedraaid: BFa0 = 1/5
- BF0a = 1: steun in de data voor H0 en Ha even groot.
- BF0a > 1: steun in de data voor H0 groter dan voor Ha.
- BF0a < 1:steun in de data voor H0 kleiner dan voor Ha.
- Wordt berekend met behulp van de fit (f0) en de specifiteit (c0) van H0: BF0a = f0/c0
- Fit: hoe goed de hypothese bij de data past. De fit van H0 wordt kleiner wanneer de afstand
tussen de gemiddelden toeneemt.
Hoe preciezer de hypothese, hoe duidelijker de voorspelling.
De Bayes factor heeft geen grenswaarde om QPR en publication bias te voorkomen. In plaats daarvan
moet je de resultaten zelf interpreteren.
Posterior Model Kansen
- De kans dat H0 waar is noemen we PMK0 (Conditionele type I fout)
- De kans dat Ha waar is noemen we PMKa (Conditionele type II fout)
- Beide kansen tellen op tot 1.0
- De conditionele fouten worden door de data bepaald en niet door de onderzoeker, zoals bij
NHST
- Bayesian updating wordt gebruikt wanneer de resultaten nog niet overtuigend genoeg zijn.
Er worden dan meer participanten toegevoegd en daarna wordt gekeken naar de
vernieuwde BF en PMK.
- Posterior model kansen kunnen worden gebruikt als je twee of meer van H0, Hi, en Ha met
elkaar wil vergelijken (dus niet Hc). De posterior model kans is de steun in de data voor een
hypothese.
