TOE – Hoorcollege I
Nogmaals het Gerandomizeerde Experiment: Bayesiaanse Statistiek en Design
Overwegingen
De empirische cirkel
Contemporaine empirische cirkel:
1. Theory en Onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese Formulering en Preregistratie
4. Steekproeftrekking, Randomizeren en Causaliteit, Data Verzameling en Data Controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
Voorbeeld Mixed Emotions in the Face of Endings
Op de dag van hun afstuderen lezen studenten aan de Stanford University oftewel "een tekst die
ze eraan herinnert dat ze een periode in hun leven gaan afsluiten" of "een tekst die ze er niet aan
herinnert dat ze een periode gaan afsluiten". Vervolgens wordt de mate waarin ze mixed
emotions hebben (zowel blij als bedroefd) gemeten.
Heb je meer of minder mixed emotions als je aan het einde van je studententijd wordt herinnerd?
De onafhankelijke variabele groeps indeling (In de ene groep worden studenten niet
herinnerd aan de afsluiting van de studenten tijd. In de andere groep worden studenten daar wel
aan herinnerd)
De afhankelijke variabele mixed emotions.
Elke student rapporteert:
- Happiness op een zeven punts schaal lopend van 1=not at all tot 7=extremely
- Sadness ook op een zeven punts schaal
De mixed-emotion score is de kleinste van beide resulterende getallen.
H0 : µniet = µwel
Ha : µniet ≠ µwel
Waarbij µniet en µwel de gemiddelde scores op mixed emotions in de populaties behorende bij de
"niet" en "wel" groep weergeven
Nadat er een steekproef getrokken is en mensen over de controle en experimentele condities
verdeeld zijn, moeten de gegevens verzameld worden. In onderhavige onderzoek is elke student
gevraagd naar de happiness en saddness op een 7-punts schaal lopend van not-at-all tot
extremely.
Er zullen twee manieren om hypotheses te evalueren gepresenteerd worden:
1. Nul Hypothese Significantie Toetsing (NHST)
2. Bayesiaanse hypothese evaluatie
P-waarde = De kans op het verschil in gemiddelden zoals gevonden in de steekproef of een groter
verschil, onder de aanname dat H0 : µniet = µwel waar is.
, Cohen’s d = het aantal standaard deviaties dat de twee gemiddelden van elkaar verschillen
effectsize
Alpha = de kans op een type I fout
Power = de kans dat we terecht een verschil meten (de H0 terecht verwerpen)
De effect sizes die meestal in gedrags en sociaal wetenschappelijk onderzoek worden gevonden
liggen tussen de .20 en de .50. Met α = .05 zijn er dus minstens 64 personen per groep nodig
De replicatiecrisis
1. Sloppy science (= p-waarde zo beïnvloeden dat hij toch significant is)
2. Publication bias (= publiceren van onderzoek gebaseerd op type I fouten)
Pre-registratie is de oplossing
Bayesiaanse hypothese evaluatie
Bayes Factor = BF
Als BF0a = 5 dan betekent dat dat de steun in de data 5x groter is voor H0 dan voor Ha.
Oftwel, de BF0a = .64 van Etz en Vandekerckhove betekent 0.64x meer steun voor H0 dan voor
Ha.
De hypotheses kun je ook omdraaien: BFa0 = 1/0.64 = 1.50, oftwel, 1.50x meer steun voor Ha dan
voor H0.
- Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha even groot.
- Als BF0a groter is dan 1, dan is de steun in de data voor H0 groter dan voor Ha.
- Als BF0a kleiner is dan 1, dan is de steun in de data voor H0 kleiner dan voor Ha.
De Bayes factor wordt berekend met behulp van de fit (f0) en de specificiteit (c0) van de nul-
hypothese:
BF0a = f0/c0
De fit wordt letterlijk en figuurlijk kleiner als de afstand tussen de gemiddelden toeneemt.
Een goede hypothese is ook specifiek, want hoe precieser de hypothese, hoe duidelijker de
voorspelling die een hypothese doet. H0 : µwel = µniet is zeer specifiek: "de twee gemiddelden zijn in
de populatie exact gelijk aan elkaar".
De hypothese H0 : µwel > µniet is minder specifiek, deze zegt "slechts" dat in de populatie het
gemiddelde in de wel groep groter is dan in de niet groep.
Ha is in het geheel niet specifiek. Deze hypothese zegt dat alles mogelijk is behalve dat in de
populatie de twee gemiddelden exact gelijk aan elkaar zijn.
De Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05 voor de p-waarde) om tot
een beslissing ten faveure van H0 of Ha te komen. Dit is een remedie tegen:
Nogmaals het Gerandomizeerde Experiment: Bayesiaanse Statistiek en Design
Overwegingen
De empirische cirkel
Contemporaine empirische cirkel:
1. Theory en Onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese Formulering en Preregistratie
4. Steekproeftrekking, Randomizeren en Causaliteit, Data Verzameling en Data Controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
Voorbeeld Mixed Emotions in the Face of Endings
Op de dag van hun afstuderen lezen studenten aan de Stanford University oftewel "een tekst die
ze eraan herinnert dat ze een periode in hun leven gaan afsluiten" of "een tekst die ze er niet aan
herinnert dat ze een periode gaan afsluiten". Vervolgens wordt de mate waarin ze mixed
emotions hebben (zowel blij als bedroefd) gemeten.
Heb je meer of minder mixed emotions als je aan het einde van je studententijd wordt herinnerd?
De onafhankelijke variabele groeps indeling (In de ene groep worden studenten niet
herinnerd aan de afsluiting van de studenten tijd. In de andere groep worden studenten daar wel
aan herinnerd)
De afhankelijke variabele mixed emotions.
Elke student rapporteert:
- Happiness op een zeven punts schaal lopend van 1=not at all tot 7=extremely
- Sadness ook op een zeven punts schaal
De mixed-emotion score is de kleinste van beide resulterende getallen.
H0 : µniet = µwel
Ha : µniet ≠ µwel
Waarbij µniet en µwel de gemiddelde scores op mixed emotions in de populaties behorende bij de
"niet" en "wel" groep weergeven
Nadat er een steekproef getrokken is en mensen over de controle en experimentele condities
verdeeld zijn, moeten de gegevens verzameld worden. In onderhavige onderzoek is elke student
gevraagd naar de happiness en saddness op een 7-punts schaal lopend van not-at-all tot
extremely.
Er zullen twee manieren om hypotheses te evalueren gepresenteerd worden:
1. Nul Hypothese Significantie Toetsing (NHST)
2. Bayesiaanse hypothese evaluatie
P-waarde = De kans op het verschil in gemiddelden zoals gevonden in de steekproef of een groter
verschil, onder de aanname dat H0 : µniet = µwel waar is.
, Cohen’s d = het aantal standaard deviaties dat de twee gemiddelden van elkaar verschillen
effectsize
Alpha = de kans op een type I fout
Power = de kans dat we terecht een verschil meten (de H0 terecht verwerpen)
De effect sizes die meestal in gedrags en sociaal wetenschappelijk onderzoek worden gevonden
liggen tussen de .20 en de .50. Met α = .05 zijn er dus minstens 64 personen per groep nodig
De replicatiecrisis
1. Sloppy science (= p-waarde zo beïnvloeden dat hij toch significant is)
2. Publication bias (= publiceren van onderzoek gebaseerd op type I fouten)
Pre-registratie is de oplossing
Bayesiaanse hypothese evaluatie
Bayes Factor = BF
Als BF0a = 5 dan betekent dat dat de steun in de data 5x groter is voor H0 dan voor Ha.
Oftwel, de BF0a = .64 van Etz en Vandekerckhove betekent 0.64x meer steun voor H0 dan voor
Ha.
De hypotheses kun je ook omdraaien: BFa0 = 1/0.64 = 1.50, oftwel, 1.50x meer steun voor Ha dan
voor H0.
- Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha even groot.
- Als BF0a groter is dan 1, dan is de steun in de data voor H0 groter dan voor Ha.
- Als BF0a kleiner is dan 1, dan is de steun in de data voor H0 kleiner dan voor Ha.
De Bayes factor wordt berekend met behulp van de fit (f0) en de specificiteit (c0) van de nul-
hypothese:
BF0a = f0/c0
De fit wordt letterlijk en figuurlijk kleiner als de afstand tussen de gemiddelden toeneemt.
Een goede hypothese is ook specifiek, want hoe precieser de hypothese, hoe duidelijker de
voorspelling die een hypothese doet. H0 : µwel = µniet is zeer specifiek: "de twee gemiddelden zijn in
de populatie exact gelijk aan elkaar".
De hypothese H0 : µwel > µniet is minder specifiek, deze zegt "slechts" dat in de populatie het
gemiddelde in de wel groep groter is dan in de niet groep.
Ha is in het geheel niet specifiek. Deze hypothese zegt dat alles mogelijk is behalve dat in de
populatie de twee gemiddelden exact gelijk aan elkaar zijn.
De Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05 voor de p-waarde) om tot
een beslissing ten faveure van H0 of Ha te komen. Dit is een remedie tegen:
