Experimenteel Hoorcollege 1
De contemporaine empirische cirkel
1. Theory en onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese formulering en preregistratie
4. Steekproeftrekking, randomizeren en causaliteit, data verzameling en data
controle
5. Nul-hypothese significantie toetsing (NHST) of Bayesiaanse hypothese
evaluatie
6. Rapportage
7. Replicatie onderzoek
Er zijn twee manieren om hypotheses te evalueren:
1. Nul Hypothese Significantie Toetsing (NHST)
2. Bayesiaanse hypothese evaluatie
p-waarde = de kans op het verschil in gemiddelden zoals gevonden in de
steekproef of een groter verschil, onder de aanname dat H0 : µniet = µwel
waar is
Als de p-waarde kleiner is dan .05 (alpha), dan verwerpen we de
nulhypothese, als de p-waarde groter is dan .05 dan verwerpen we de
nulhypothese niet
Cohen’s d = Mniet−Mwel/pooled−sd , oftewel, het aantal standaard
deviaties dat de twee gemiddelden van elkaar verschillen.
o effectsize/effectgrootte
o was het verschil tussen de twee gemiddelden groot, klein of
middelmatig?
o het gestandaardiseerde verschil tussen de gemiddelden
o small = .20 medium = .50 large =.80
De kans op een Type I fout α staat gebruikelijk op .05, dwz, we accepteren
een kans van .05 dat we H0 ten onrechte verwerpen
Power = de kans de nulhypothese terecht te verwerpen
De power (1 - kans op een Type II fout) staat gebruikelijk op .80, dwz, we
willen een kans van .80 dat we H0 terecht verwerpen.
Alpha is niet te beïnvloeden (blijft .05), de power wel! door o.a. meer
proefpersonen te gebruiken
De replicatiecrisis
De Open Science Collaboration heeft 100 studies gerepliceerd in bijna
alle originele studies werd de nulhypothese verworpen in slechts 1/3
van de replicatie studies werd de nulhypothese verworpen
De replicatie crisis leidt tot de vraag hoe het mogelijk is dat de resultaten
van wetenschappelijk onderzoek vaak niet repliceerbaar blijken. Twee van
de oorzaken zullen nu besproken worden: sloppy science en publicatie
bias.
, Sloppy science/questionable practices: het aanpassen/modificeren
van resultaten zodat p lager wordt dan .05
Pre-registreren: voordat je begint met je onderzoekt schrijf je elke stap
die je gaat uitvoeren op kan sloppy science tegen gaan
Publicatie bias: het publiceren van onderzoek gebaseerd op Type I
fouten. Deze fouten kunnen zowel het gevolg zijn van toeval als van sloppy
science. Bijv: al veel niet-significante resultaten, één onderzoeker vindt
een significant resultaat; deze wordt gepubliceerd.
Replicatiecrisis: herhaling van onderzoek leidt lang niet altijd tot
dezelfde conclusies
Bayesiaanse hypothese evaluatie
Gedurende de replicatie crisis ontstond er in toenemende mate aandacht
voor de Bayes factor als alternatief voor NHST. Niet dat daarmee alle
problemen worden vermeden, maar de Bayes factor komt voort uit een
ander perspectief op statistiek en het is goed ook dat perspectief te
kennen
De Bayes factor BF0a geeft de relatieve steun in de data voor
H0 : µniet = µwel versus Ha : µniet 6= µwel.
Als BF0a = 5 dan betekent dat dat de steun in de data 5x groter is voor H0
dan voor Ha.
Oftewel, de BF0a = .64 van Etz en Vandekerckhove betekent .64x meer
steun voor H0 dan voor Ha.
De hypotheses kun je ook omdraaien: BFa0 = 1/.64 = 1.50, oftewel,
1.50x meer steun voor Ha dan voor H0.
Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha even
groot.
Als BF0a groter is dan 1, dan is de steun in de data voor H0 groter dan
voor Ha.
Als BF0a kleiner is dan 1, dan is de steun in de data voor H0 kleiner dan
voor Ha.
De Bayes factor wordt berekend met behulp van de fit (f0) en de
specificiteit (c0) van de nulhypothese: BFoa = f0/c0
De fit wordt letterlijk en figuurlijk kleiner als de afstand tussen de
gemiddelden toeneemt.
Een goede hypothese is ook specifiek, want hoe preciezer de hypothese,
hoe duidelijker de voorspelling die een hypothese doet
H0 : µwel = µniet is zeer specifiek: "de twee gemiddelden zijn in de
populatie exact gelijk aan elkaar".
, De hypothese H0 : µwel > µniet is minder specifiek, deze zegt "slechts" dat
in de populatie het gemiddelde in de wel groep groter is dan in de niet
groep.
Ha is in het geheel niet specifiek. Deze hypothese zegt dat alles mogelijk is
behalve dat in de populatie de twee gemiddelden exact gelijk aan elkaar
zijn
De Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05
voor de p-waarde) om tot een beslissing ten faveure van H0 of Ha te
komen. Dit is een remedie tegen:
o Questionable Research Practices - omdat nu de incentive om de
analyses zo te manipuleren dat er Bayes factor groter dan een
bepaalde grenswaarde uitkomt weg wordt genomen.
o Publication Bias - omdat tijdschriften niet langer een grenswaarde
tot hun beschikking hebben die ze kunnen gebruiken om artikelen
mee te beoordelen.
Op de vraag "wanneer is de Bayes factor groot genoeg om voor H0 of H1
te kiezen is dan ook geen eenduidig antwoord.
o 1. Als BF0a = 100, dan is er weinig twijfel dat H0 meer gesteund
wordt dan Ha
o 2. Als BF0a = 25, dan is er nog steeds substantieel meer steun voor
H0 dan voor Ha
o 3. Als BF0a = 5, dan is er meer steun voor H0, maar niet zoveel
meer dat Ha kan worden gediskwalificeerd.
o 4. Als BF0a = 1.5 dan is er eigenlijk niet echt een voorkeur voor H0
of Ha
Het is dan ook een goed idee om bij elke gevonden waarde van de Bayes
factor een interpretatie te geven zonder daarbij naar vastgestelde
grenswaarden (zoals de .05 bij NHST) te verwijzen
Posterior model kansen (PMKs) conditionele type 1 en type 2 fouten
o 1. De kans dat H0 waar is gegeven de informatie in de data noemen
we PMK0
o 2. De kans dat Ha waar is gegeven de informatie in de data noemen
we PMKa
o 3. Beide kansen tellen op tot 1.0
Bij Bayesiaans Hypothese Evaluatie horen zogenaamde Conditionele Type I
en Type II fouten:
o 1. PMK0 = .8 is de conditionele Type I fout, want, als we voor Ha
kiezen is de kans dat we dat ten onrechte doen gelijk aan 0.8
o 2. PMKa = .2 is de conditionele Type II fout, want, als we voor H0
kiezen is de kans dat we dat ten onrechte doen gelijk aan 0.2
Bayesian Updating:
o 1. Begin met een redelijk aantal personen (bijvoorbeeld 20 per
groep).
De contemporaine empirische cirkel
1. Theory en onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese formulering en preregistratie
4. Steekproeftrekking, randomizeren en causaliteit, data verzameling en data
controle
5. Nul-hypothese significantie toetsing (NHST) of Bayesiaanse hypothese
evaluatie
6. Rapportage
7. Replicatie onderzoek
Er zijn twee manieren om hypotheses te evalueren:
1. Nul Hypothese Significantie Toetsing (NHST)
2. Bayesiaanse hypothese evaluatie
p-waarde = de kans op het verschil in gemiddelden zoals gevonden in de
steekproef of een groter verschil, onder de aanname dat H0 : µniet = µwel
waar is
Als de p-waarde kleiner is dan .05 (alpha), dan verwerpen we de
nulhypothese, als de p-waarde groter is dan .05 dan verwerpen we de
nulhypothese niet
Cohen’s d = Mniet−Mwel/pooled−sd , oftewel, het aantal standaard
deviaties dat de twee gemiddelden van elkaar verschillen.
o effectsize/effectgrootte
o was het verschil tussen de twee gemiddelden groot, klein of
middelmatig?
o het gestandaardiseerde verschil tussen de gemiddelden
o small = .20 medium = .50 large =.80
De kans op een Type I fout α staat gebruikelijk op .05, dwz, we accepteren
een kans van .05 dat we H0 ten onrechte verwerpen
Power = de kans de nulhypothese terecht te verwerpen
De power (1 - kans op een Type II fout) staat gebruikelijk op .80, dwz, we
willen een kans van .80 dat we H0 terecht verwerpen.
Alpha is niet te beïnvloeden (blijft .05), de power wel! door o.a. meer
proefpersonen te gebruiken
De replicatiecrisis
De Open Science Collaboration heeft 100 studies gerepliceerd in bijna
alle originele studies werd de nulhypothese verworpen in slechts 1/3
van de replicatie studies werd de nulhypothese verworpen
De replicatie crisis leidt tot de vraag hoe het mogelijk is dat de resultaten
van wetenschappelijk onderzoek vaak niet repliceerbaar blijken. Twee van
de oorzaken zullen nu besproken worden: sloppy science en publicatie
bias.
, Sloppy science/questionable practices: het aanpassen/modificeren
van resultaten zodat p lager wordt dan .05
Pre-registreren: voordat je begint met je onderzoekt schrijf je elke stap
die je gaat uitvoeren op kan sloppy science tegen gaan
Publicatie bias: het publiceren van onderzoek gebaseerd op Type I
fouten. Deze fouten kunnen zowel het gevolg zijn van toeval als van sloppy
science. Bijv: al veel niet-significante resultaten, één onderzoeker vindt
een significant resultaat; deze wordt gepubliceerd.
Replicatiecrisis: herhaling van onderzoek leidt lang niet altijd tot
dezelfde conclusies
Bayesiaanse hypothese evaluatie
Gedurende de replicatie crisis ontstond er in toenemende mate aandacht
voor de Bayes factor als alternatief voor NHST. Niet dat daarmee alle
problemen worden vermeden, maar de Bayes factor komt voort uit een
ander perspectief op statistiek en het is goed ook dat perspectief te
kennen
De Bayes factor BF0a geeft de relatieve steun in de data voor
H0 : µniet = µwel versus Ha : µniet 6= µwel.
Als BF0a = 5 dan betekent dat dat de steun in de data 5x groter is voor H0
dan voor Ha.
Oftewel, de BF0a = .64 van Etz en Vandekerckhove betekent .64x meer
steun voor H0 dan voor Ha.
De hypotheses kun je ook omdraaien: BFa0 = 1/.64 = 1.50, oftewel,
1.50x meer steun voor Ha dan voor H0.
Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha even
groot.
Als BF0a groter is dan 1, dan is de steun in de data voor H0 groter dan
voor Ha.
Als BF0a kleiner is dan 1, dan is de steun in de data voor H0 kleiner dan
voor Ha.
De Bayes factor wordt berekend met behulp van de fit (f0) en de
specificiteit (c0) van de nulhypothese: BFoa = f0/c0
De fit wordt letterlijk en figuurlijk kleiner als de afstand tussen de
gemiddelden toeneemt.
Een goede hypothese is ook specifiek, want hoe preciezer de hypothese,
hoe duidelijker de voorspelling die een hypothese doet
H0 : µwel = µniet is zeer specifiek: "de twee gemiddelden zijn in de
populatie exact gelijk aan elkaar".
, De hypothese H0 : µwel > µniet is minder specifiek, deze zegt "slechts" dat
in de populatie het gemiddelde in de wel groep groter is dan in de niet
groep.
Ha is in het geheel niet specifiek. Deze hypothese zegt dat alles mogelijk is
behalve dat in de populatie de twee gemiddelden exact gelijk aan elkaar
zijn
De Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05
voor de p-waarde) om tot een beslissing ten faveure van H0 of Ha te
komen. Dit is een remedie tegen:
o Questionable Research Practices - omdat nu de incentive om de
analyses zo te manipuleren dat er Bayes factor groter dan een
bepaalde grenswaarde uitkomt weg wordt genomen.
o Publication Bias - omdat tijdschriften niet langer een grenswaarde
tot hun beschikking hebben die ze kunnen gebruiken om artikelen
mee te beoordelen.
Op de vraag "wanneer is de Bayes factor groot genoeg om voor H0 of H1
te kiezen is dan ook geen eenduidig antwoord.
o 1. Als BF0a = 100, dan is er weinig twijfel dat H0 meer gesteund
wordt dan Ha
o 2. Als BF0a = 25, dan is er nog steeds substantieel meer steun voor
H0 dan voor Ha
o 3. Als BF0a = 5, dan is er meer steun voor H0, maar niet zoveel
meer dat Ha kan worden gediskwalificeerd.
o 4. Als BF0a = 1.5 dan is er eigenlijk niet echt een voorkeur voor H0
of Ha
Het is dan ook een goed idee om bij elke gevonden waarde van de Bayes
factor een interpretatie te geven zonder daarbij naar vastgestelde
grenswaarden (zoals de .05 bij NHST) te verwijzen
Posterior model kansen (PMKs) conditionele type 1 en type 2 fouten
o 1. De kans dat H0 waar is gegeven de informatie in de data noemen
we PMK0
o 2. De kans dat Ha waar is gegeven de informatie in de data noemen
we PMKa
o 3. Beide kansen tellen op tot 1.0
Bij Bayesiaans Hypothese Evaluatie horen zogenaamde Conditionele Type I
en Type II fouten:
o 1. PMK0 = .8 is de conditionele Type I fout, want, als we voor Ha
kiezen is de kans dat we dat ten onrechte doen gelijk aan 0.8
o 2. PMKa = .2 is de conditionele Type II fout, want, als we voor H0
kiezen is de kans dat we dat ten onrechte doen gelijk aan 0.2
Bayesian Updating:
o 1. Begin met een redelijk aantal personen (bijvoorbeeld 20 per
groep).
