HC 1 | Bayesiaanse statistiek en design overwegingen
Vandaag:
- De empirische cirkel
- De replicatie crisis
- Bayesiaanse hypothese evaluatie
- Experimentele designs
De empirische cirkel
VOORBEELD mixed emotions in the face of endings [empirische cirkel]
• Onderzoeksvraag: hebben studenten die eraan herinnerd worden dat ze hun studententijd gaan
afsluiten meer of minder mixed emotions dan studenten die daar niet aan herinnerd worden?
• Onderzoeksontwerp:
• De onafhankelijke variable is de groepsindeling. In de ene groep worden studenten niet
herinnerd aan de afsluiting van de studententijd. In de andere groep worden studenten
daar wel aan herinnerd.
• De afhankelijke variabele is de mate van mixed emotions.
• Data verzameling: nadat er een steekproef getrokken is en mensen over de controle en
experimentele condities verdeeld zijn, moeten de gegevens verzameld worden.
• Hypothese evaluatie: Twee manieren op hypotheses te evalueren;
• 1- Nul Hypothese Significantie Toetsing (NHST)
• 2- Bayesiaanse hypothese evaluatie
Nul hypothese significantie toetsing
—> Griekse letter M (spreek je uit als mu), omdat het populatie is
Nul hypothese significantie toetsing toelichting
- P-waarde —> de p-waarde is de kans op het verschil in gemiddelden zoals gevonden in de
steekproef of een groter verschil, onder de aanname dat H0 waar is.
- Cohen’s d (effect grote)—> Mniet-Mwel/pooled-sd, oftewel, het aantal standaard deviaties dat
de twee gemiddelden van elkaar verschillen.
Pagina 1 van 26
,Nul hypothese significantie toetsing [De replicatie crisis]
• Het mixed-emotions onderzoek is gerepliceerd door Talhelm, Lee, and Egglestone (2015).
Hieronder staan de resultaten van de originele en replicatie studie weergegeven.
Drie observaties
1. De originele studie heeft p < .05, de replicatie studie heeft p > .05
2. De originele studie heeft d = .45, de replicatie studie heeft d = .01
3. De replicatie studie heeft met 110 studenten per groep een power groter dan .80 om
een effectsite van d = .45 te kunnen ontdekken. Het resultaat van de replicatie studie is
dan ook geen Type II fout.
De replicatie crisis
- De Open Science Collaboration heeft 100 studies (waaronder randomized experiment) uit
diverse psychologische tijdschriften gerepliceerd.
Gebruik en misbruik van NHST
1. De effect groottes (zoals Cohen’s d) waren in de replicatie studies maar half zo groot als in de
originele studies.
2. In bijna alle originele studies werd de nul-hypothese verworpen (een p-waarde kleiner dan
.05). In slechts 1/3 van de replicatie studies werd de nul-hypothese verworpen.
- In het jaar 2015 is duidelijk geworden dat er een replicatie crisis gaande is in de
gedragswetenschappen en mogelijk ook daarbuiten.
- Wat is een onderzoeksresultaat waard als het niet herhaald kan worden?
Gebruik en misbruik van NHST [De replicatie crisis]
• De replicatie crisis leidt tot de vraag hoe het mogelijk is dat de resultaten van wetenschappelijk
onderzoek vaak niet realiseerbaar blijken.
• Twee mogelijke oorzaken:
• Sloppy science
• Publication bias
Gebruik en misbruik van NHST [Sloppy science]
1. When explicitly asked if they ever fabricated or falsified research data, or if they altered or
modified results to improve the outcome, between 0.3% and 4.9% of scientist replied
affirmatively
2. Other questionable practices were admitted by up to 33.7% of respondents. Consistently
across studies scientist admitted more frequently to have “modified research results” to
improve the outcome than to have reported results they “knew to be untrue”.
3. When asked if they had personal knowledge of a colleague who fabricated or falsified
research data, or who altered or modified research data between 5.2% and 33.3% of
respondents replied affirmatively.
Gebruik en misbruik van NHST [Publicatie bias]
- Publicatie bias is het publiceren van onderzoek gebaseerd op Type I fouten. Deze fouten
kunnen zowel het gevolg zijn van toeval als van sloppy science.
Bayesiaanse hypothese evaluatie
• De replicatie crisis werd nadrukkelijk geïllustreerd door het Open Science Collaboration
Reproducibility Project Psychology, waar slechts 30% van 100 replicatie studies dezelfde
resultaten opleverde als de originele studies waar ze op gebaseerd waren.
Pagina 2 van 26
, • Gedurende de replicatie crisis ontstond er in toenemende mate aandacht voor de Bayes factor
als alternatief voor NHST. Niet dat daarmee alle problemen worden vermeden, maar de Bayes
factor komt voort uit een ander perspectief op statistiek (het Bayesiaanse perspectief) en het is
goed dat ook dat perspectief te kennen.
• Bayesiaanse is een andere benadering van statistiek ten opzichte van de klassieke
benadering met de NHST
Bayesiaanse Hypothese Evaluatie [de Bayes factor]
- De tabel hieronder bevat een overzicht van de belangrijkste resultaten van het onderzoek naar
mixed emotions. Alles is hetzelfde, alleen is de p-waarde vervangen door de Bayes factor (BF)
Bayes factor
• De Bayes factor BF0a geeft de relatieve steun in de data voor H0 versus Ha
• Als BF0a=5 dan betekent dat dat de steun in de data 5x groter is voor H0 dan voor Ha
• Oftewel, de BF0a=.64 van Etz en Vanderkerckhove betekent .64x meer steun voor H0 dan voor
Ha.
• De hypotheses kun je ook omdraaien: BFa0=1/.64 = 1.50, oftewel, 1.50x meer steun voor Ha
dan voor H0 —> wanneer BFa0 onder 1 is, kan je hem omdraaien door 1 te delen door de
BFa0. Hierbij kijk je naar steun voor de alternatieve hypothese ten opzichte van de nul
hypothese. Dit maakt het makkelijker te interpreteren
Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha even groot
Als BF0a groter is dan 1, dan is de steun in de data voor H0 groter dan voor Ha
Als BF0a kleiner is dan 1, dan is de steun in de data voor H0 kleiner dan voor Ha
Bayesiaanse Hypothese evaluatie [De Bayes factor]
- De Bayes factor wordt berekend met behulp van de fit (f0) en de
specificiteit (c0) van de nul-hypothese:
- Hoe goed past de hypothese bij de data. Je wilt het liefst een zo groot
mogelijke fit
- De fit wordt letterlijk en figuurlijk kleiner als de afstand tussen de
gemiddelden toeneemt.
- Een goede hypothese is ook specifiek, want hoe preciezer de hypothese,
hoe duidelijker de voorspelling die een hypothese doet
- H0: μwel = μniet is zeer specifiek: “de twee gemiddelden zijn in de
populatie exact gelijk aan elkaar”.
- De hypothese H0: μwel > μniet is minder specifiek, deze zegt “slechts” dat in de populatie het
gemiddelde in de wel groep groter is dan
in de niet groep
- Ha is in het geheel niet specifiek. Deze
hypothese zegt dat alles mogelijk is,
behalve dat in de twee populatie de twee
gemiddelden exact gelijk aan elkaar zijn.
Bayesiaanse Hypothese evaluatie [Uitvoering
met JASP]
Pagina 3 van 26
Vandaag:
- De empirische cirkel
- De replicatie crisis
- Bayesiaanse hypothese evaluatie
- Experimentele designs
De empirische cirkel
VOORBEELD mixed emotions in the face of endings [empirische cirkel]
• Onderzoeksvraag: hebben studenten die eraan herinnerd worden dat ze hun studententijd gaan
afsluiten meer of minder mixed emotions dan studenten die daar niet aan herinnerd worden?
• Onderzoeksontwerp:
• De onafhankelijke variable is de groepsindeling. In de ene groep worden studenten niet
herinnerd aan de afsluiting van de studententijd. In de andere groep worden studenten
daar wel aan herinnerd.
• De afhankelijke variabele is de mate van mixed emotions.
• Data verzameling: nadat er een steekproef getrokken is en mensen over de controle en
experimentele condities verdeeld zijn, moeten de gegevens verzameld worden.
• Hypothese evaluatie: Twee manieren op hypotheses te evalueren;
• 1- Nul Hypothese Significantie Toetsing (NHST)
• 2- Bayesiaanse hypothese evaluatie
Nul hypothese significantie toetsing
—> Griekse letter M (spreek je uit als mu), omdat het populatie is
Nul hypothese significantie toetsing toelichting
- P-waarde —> de p-waarde is de kans op het verschil in gemiddelden zoals gevonden in de
steekproef of een groter verschil, onder de aanname dat H0 waar is.
- Cohen’s d (effect grote)—> Mniet-Mwel/pooled-sd, oftewel, het aantal standaard deviaties dat
de twee gemiddelden van elkaar verschillen.
Pagina 1 van 26
,Nul hypothese significantie toetsing [De replicatie crisis]
• Het mixed-emotions onderzoek is gerepliceerd door Talhelm, Lee, and Egglestone (2015).
Hieronder staan de resultaten van de originele en replicatie studie weergegeven.
Drie observaties
1. De originele studie heeft p < .05, de replicatie studie heeft p > .05
2. De originele studie heeft d = .45, de replicatie studie heeft d = .01
3. De replicatie studie heeft met 110 studenten per groep een power groter dan .80 om
een effectsite van d = .45 te kunnen ontdekken. Het resultaat van de replicatie studie is
dan ook geen Type II fout.
De replicatie crisis
- De Open Science Collaboration heeft 100 studies (waaronder randomized experiment) uit
diverse psychologische tijdschriften gerepliceerd.
Gebruik en misbruik van NHST
1. De effect groottes (zoals Cohen’s d) waren in de replicatie studies maar half zo groot als in de
originele studies.
2. In bijna alle originele studies werd de nul-hypothese verworpen (een p-waarde kleiner dan
.05). In slechts 1/3 van de replicatie studies werd de nul-hypothese verworpen.
- In het jaar 2015 is duidelijk geworden dat er een replicatie crisis gaande is in de
gedragswetenschappen en mogelijk ook daarbuiten.
- Wat is een onderzoeksresultaat waard als het niet herhaald kan worden?
Gebruik en misbruik van NHST [De replicatie crisis]
• De replicatie crisis leidt tot de vraag hoe het mogelijk is dat de resultaten van wetenschappelijk
onderzoek vaak niet realiseerbaar blijken.
• Twee mogelijke oorzaken:
• Sloppy science
• Publication bias
Gebruik en misbruik van NHST [Sloppy science]
1. When explicitly asked if they ever fabricated or falsified research data, or if they altered or
modified results to improve the outcome, between 0.3% and 4.9% of scientist replied
affirmatively
2. Other questionable practices were admitted by up to 33.7% of respondents. Consistently
across studies scientist admitted more frequently to have “modified research results” to
improve the outcome than to have reported results they “knew to be untrue”.
3. When asked if they had personal knowledge of a colleague who fabricated or falsified
research data, or who altered or modified research data between 5.2% and 33.3% of
respondents replied affirmatively.
Gebruik en misbruik van NHST [Publicatie bias]
- Publicatie bias is het publiceren van onderzoek gebaseerd op Type I fouten. Deze fouten
kunnen zowel het gevolg zijn van toeval als van sloppy science.
Bayesiaanse hypothese evaluatie
• De replicatie crisis werd nadrukkelijk geïllustreerd door het Open Science Collaboration
Reproducibility Project Psychology, waar slechts 30% van 100 replicatie studies dezelfde
resultaten opleverde als de originele studies waar ze op gebaseerd waren.
Pagina 2 van 26
, • Gedurende de replicatie crisis ontstond er in toenemende mate aandacht voor de Bayes factor
als alternatief voor NHST. Niet dat daarmee alle problemen worden vermeden, maar de Bayes
factor komt voort uit een ander perspectief op statistiek (het Bayesiaanse perspectief) en het is
goed dat ook dat perspectief te kennen.
• Bayesiaanse is een andere benadering van statistiek ten opzichte van de klassieke
benadering met de NHST
Bayesiaanse Hypothese Evaluatie [de Bayes factor]
- De tabel hieronder bevat een overzicht van de belangrijkste resultaten van het onderzoek naar
mixed emotions. Alles is hetzelfde, alleen is de p-waarde vervangen door de Bayes factor (BF)
Bayes factor
• De Bayes factor BF0a geeft de relatieve steun in de data voor H0 versus Ha
• Als BF0a=5 dan betekent dat dat de steun in de data 5x groter is voor H0 dan voor Ha
• Oftewel, de BF0a=.64 van Etz en Vanderkerckhove betekent .64x meer steun voor H0 dan voor
Ha.
• De hypotheses kun je ook omdraaien: BFa0=1/.64 = 1.50, oftewel, 1.50x meer steun voor Ha
dan voor H0 —> wanneer BFa0 onder 1 is, kan je hem omdraaien door 1 te delen door de
BFa0. Hierbij kijk je naar steun voor de alternatieve hypothese ten opzichte van de nul
hypothese. Dit maakt het makkelijker te interpreteren
Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha even groot
Als BF0a groter is dan 1, dan is de steun in de data voor H0 groter dan voor Ha
Als BF0a kleiner is dan 1, dan is de steun in de data voor H0 kleiner dan voor Ha
Bayesiaanse Hypothese evaluatie [De Bayes factor]
- De Bayes factor wordt berekend met behulp van de fit (f0) en de
specificiteit (c0) van de nul-hypothese:
- Hoe goed past de hypothese bij de data. Je wilt het liefst een zo groot
mogelijke fit
- De fit wordt letterlijk en figuurlijk kleiner als de afstand tussen de
gemiddelden toeneemt.
- Een goede hypothese is ook specifiek, want hoe preciezer de hypothese,
hoe duidelijker de voorspelling die een hypothese doet
- H0: μwel = μniet is zeer specifiek: “de twee gemiddelden zijn in de
populatie exact gelijk aan elkaar”.
- De hypothese H0: μwel > μniet is minder specifiek, deze zegt “slechts” dat in de populatie het
gemiddelde in de wel groep groter is dan
in de niet groep
- Ha is in het geheel niet specifiek. Deze
hypothese zegt dat alles mogelijk is,
behalve dat in de twee populatie de twee
gemiddelden exact gelijk aan elkaar zijn.
Bayesiaanse Hypothese evaluatie [Uitvoering
met JASP]
Pagina 3 van 26
