TOE 25/02/2020
Experimenteel onderzoek I t-toets, Bayesiaanse statistiek, interne validiteit
Als p-waarde kleiner is dan .05 moet H0 verworpen worden = kans op het verschil in gemiddelden
zoals gevonden in de steekproef of een groter verschil, onder de aanname dat H0: μniet = μwel waar is.
Cohen’s d = het aantal standaarddeviaties dat de twee gemiddelden van elkaar verschillen.
Gebruik en misbruik van NHST heeft gezorgd voor een replicatiecrisis:
- Sloppy science = questionable research practices = veel onderzoekers willen p onder .05 voor
carrière: 66% is niet eerlijk
- Publicatie bias = toevallige bevindingen worden gepubliceerd, andere bevindingen niet
Daarom kan alternatieve methode voor data-analyse de Bayes factor zijn ipv de p-waarde.
Fouten bij NHST:
- Type I = H0 is waar maar door kleine p-waarde wordt H0 ten onterecht verworpen.
Deze kans staat gewoonlijk op 5% >> a = .05 = kans dat H0 onterecht wordt verworpen.
- Type II = Ha is waar maar door hoge p-waarde wordt H0 ten onrechte niet verworpen.
Deze kans staat gewoonlijk op 20% >> power = .80 = kans dat H0 terecht wordt verworpen.
De empirische cirkel: deze volgorde van stappen!
1. Theorie en onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese formuleren en preregistratie
4. Steekproeftrekking, randomizeren en causaliteit, dataverzameling en data controle
5. NHST of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
Bayes factor = relatieve steun in de data voor H0 vs Ha.
- Als BF0a = 5 betekent dat dat de steun in de data 5x groter is voor H0 dan voor Ha.
- Hypotheses kan je omdraaien: BFa0 = 1/5 dus 1/5x meer steun voor Ha dan voor H0.
Groter of kleiner dan 1? Bij kleiner dan 1 beter omdraaien (delen door 1)
Berekening met de fit (f0) en de specificiteit (c0) van de nul-hypothese.
De fit van H0 wordt slechter hoe meer de gemiddeldes in de data uit elkaar liggen. Want: H0 zegt in
de populatie zijn de gemiddeldes gelijk. Dus: hoe meer de gemiddelden in de steekproef uit elkaar
liggen, hoe lager de fit. Fit geeft dus aan hoe goed de data bij de hypothese passen.
Goede hypothese is ook specifiek, want hoe preciezer de hypothese, hoe duidelijker de voorspelling
die een hypothese doet (hoe beter je voorspellingen kan doen). Met Ha kan je niks voorspellen.
NHST vs de Bayes factor: de Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05 voor
de p-waarde) om tot een beslissing tenn faveure van H0 of Ha te komen. Dit is een remedie tegen:
- Questionable research practices - omdat nu de incentive om de analyses zo te manipuleren
dat er Bayes factor groter dan een bepaalde grenswaarde uitkomt weg wordt genomen.
- Publication bias - omdat tijdschriften niet langer een grenswaarde tot hun beschikking
hebben die ze kunne gebruiken om artikelen mee te beoordelen.
, Posterior model kansen (PMKs) =
- De kans dat H0 waar is gegeven de informatie in de data noemen we PMK0
- De kans dat Ha waar is gegeven de informatiee in de data noemen we PMKa
- Beide kansen tellen op tot 1.0
- Alleen als je meer dan twee hypotheses hebt die je met elkaar wil vergelijken
Bij Bayesiaanse hypothese evaluatie worden de type I en type II fouten vervangen door de
conditionele Type I en Type II fouten. Deze fouten kunnen niet van tevoren bepaald worden maar
worden bepaald door de echte data die verzameld is.
1. PMK0 = .8 is de conditionele Type I fout, want als we voor Ha kiezen is de kans dat we dat ten
onrechte doen gelijk aan .8
2. PMKa = .2 is de conditionele Type II fout, want als we voor H0 kiezen is de kans dat we dat
ten onrechte doen gelijk aan .2
Fouten spelen een grote rol bij het bepalen van de steekproefgrootte die nodig is. Bij NHSY wordt dat
gedaan door middel van een poweranalyse. Bij Bayesiaanse hypothese evaluatie door middel van
Bayesian updating.
Poweranalyse: hoe groot moet mijn steekproef zijn om voldoende power te hebben?
1. Wat voor effectsize verwacht ik? Cohen’s d kiezen = .20 .50 .80 = vaak tussen .20 en .50
2. Wat is mijn alfa?
Steekproefgrootte per groep van 64 personen nodig voor een power van .80 bij totaal van
twee groepen!
Bayesian updating: verhelpen van conditionele Type I en II na uitvoering van het onderzoek.
1. Begin met een redelijk aantal personen
2. Voeg personen toe en ga daarmee door totdat de BF- en PMP-waarden overtuigend zijn
Gepaarde t-test = elke persoon is 2x gemeten en beide metingen worden met elkaar vergeleken.
Gepaarde metingendesign is onderhevig aan bepaalde threats:
- Observer bias = observers zorgen voor een selffulfilling prophecy doordat ze een bepaald
resultaat willen zien
- Maturation threat = we zien een natuurlijke ontwikkeling
- History threat = effect van een historische gebeurtenis
- Regression to the mean = het beginpunt is al zo extreem, dat het eindpunt alleen maar meer
naar het gemiddelde kon zijn (dus geen stijging oid veroorzaakt door iets anders)
- Demand characteristics & placebo-effect
Met een controlegroep kan je veel van deze threats voorkomen, voor sommige threats is een
(dubbel) blind design nodig.
Experimenteel onderzoek I t-toets, Bayesiaanse statistiek, interne validiteit
Als p-waarde kleiner is dan .05 moet H0 verworpen worden = kans op het verschil in gemiddelden
zoals gevonden in de steekproef of een groter verschil, onder de aanname dat H0: μniet = μwel waar is.
Cohen’s d = het aantal standaarddeviaties dat de twee gemiddelden van elkaar verschillen.
Gebruik en misbruik van NHST heeft gezorgd voor een replicatiecrisis:
- Sloppy science = questionable research practices = veel onderzoekers willen p onder .05 voor
carrière: 66% is niet eerlijk
- Publicatie bias = toevallige bevindingen worden gepubliceerd, andere bevindingen niet
Daarom kan alternatieve methode voor data-analyse de Bayes factor zijn ipv de p-waarde.
Fouten bij NHST:
- Type I = H0 is waar maar door kleine p-waarde wordt H0 ten onterecht verworpen.
Deze kans staat gewoonlijk op 5% >> a = .05 = kans dat H0 onterecht wordt verworpen.
- Type II = Ha is waar maar door hoge p-waarde wordt H0 ten onrechte niet verworpen.
Deze kans staat gewoonlijk op 20% >> power = .80 = kans dat H0 terecht wordt verworpen.
De empirische cirkel: deze volgorde van stappen!
1. Theorie en onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese formuleren en preregistratie
4. Steekproeftrekking, randomizeren en causaliteit, dataverzameling en data controle
5. NHST of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
Bayes factor = relatieve steun in de data voor H0 vs Ha.
- Als BF0a = 5 betekent dat dat de steun in de data 5x groter is voor H0 dan voor Ha.
- Hypotheses kan je omdraaien: BFa0 = 1/5 dus 1/5x meer steun voor Ha dan voor H0.
Groter of kleiner dan 1? Bij kleiner dan 1 beter omdraaien (delen door 1)
Berekening met de fit (f0) en de specificiteit (c0) van de nul-hypothese.
De fit van H0 wordt slechter hoe meer de gemiddeldes in de data uit elkaar liggen. Want: H0 zegt in
de populatie zijn de gemiddeldes gelijk. Dus: hoe meer de gemiddelden in de steekproef uit elkaar
liggen, hoe lager de fit. Fit geeft dus aan hoe goed de data bij de hypothese passen.
Goede hypothese is ook specifiek, want hoe preciezer de hypothese, hoe duidelijker de voorspelling
die een hypothese doet (hoe beter je voorspellingen kan doen). Met Ha kan je niks voorspellen.
NHST vs de Bayes factor: de Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05 voor
de p-waarde) om tot een beslissing tenn faveure van H0 of Ha te komen. Dit is een remedie tegen:
- Questionable research practices - omdat nu de incentive om de analyses zo te manipuleren
dat er Bayes factor groter dan een bepaalde grenswaarde uitkomt weg wordt genomen.
- Publication bias - omdat tijdschriften niet langer een grenswaarde tot hun beschikking
hebben die ze kunne gebruiken om artikelen mee te beoordelen.
, Posterior model kansen (PMKs) =
- De kans dat H0 waar is gegeven de informatie in de data noemen we PMK0
- De kans dat Ha waar is gegeven de informatiee in de data noemen we PMKa
- Beide kansen tellen op tot 1.0
- Alleen als je meer dan twee hypotheses hebt die je met elkaar wil vergelijken
Bij Bayesiaanse hypothese evaluatie worden de type I en type II fouten vervangen door de
conditionele Type I en Type II fouten. Deze fouten kunnen niet van tevoren bepaald worden maar
worden bepaald door de echte data die verzameld is.
1. PMK0 = .8 is de conditionele Type I fout, want als we voor Ha kiezen is de kans dat we dat ten
onrechte doen gelijk aan .8
2. PMKa = .2 is de conditionele Type II fout, want als we voor H0 kiezen is de kans dat we dat
ten onrechte doen gelijk aan .2
Fouten spelen een grote rol bij het bepalen van de steekproefgrootte die nodig is. Bij NHSY wordt dat
gedaan door middel van een poweranalyse. Bij Bayesiaanse hypothese evaluatie door middel van
Bayesian updating.
Poweranalyse: hoe groot moet mijn steekproef zijn om voldoende power te hebben?
1. Wat voor effectsize verwacht ik? Cohen’s d kiezen = .20 .50 .80 = vaak tussen .20 en .50
2. Wat is mijn alfa?
Steekproefgrootte per groep van 64 personen nodig voor een power van .80 bij totaal van
twee groepen!
Bayesian updating: verhelpen van conditionele Type I en II na uitvoering van het onderzoek.
1. Begin met een redelijk aantal personen
2. Voeg personen toe en ga daarmee door totdat de BF- en PMP-waarden overtuigend zijn
Gepaarde t-test = elke persoon is 2x gemeten en beide metingen worden met elkaar vergeleken.
Gepaarde metingendesign is onderhevig aan bepaalde threats:
- Observer bias = observers zorgen voor een selffulfilling prophecy doordat ze een bepaald
resultaat willen zien
- Maturation threat = we zien een natuurlijke ontwikkeling
- History threat = effect van een historische gebeurtenis
- Regression to the mean = het beginpunt is al zo extreem, dat het eindpunt alleen maar meer
naar het gemiddelde kon zijn (dus geen stijging oid veroorzaakt door iets anders)
- Demand characteristics & placebo-effect
Met een controlegroep kan je veel van deze threats voorkomen, voor sommige threats is een
(dubbel) blind design nodig.
