Samenvatting TOE deeltentamen 2 final
Een Contemporaine Empirische Cirkel
1. Theory en Onderzoeksvraag Onderzoeksvraag opstellen gebaseerd op theoretische stukken.
2. Onderzoeksontwerp Afhankelijke en onafhankelijke variabelen bepalen. Schaal bepalen
waarop gemeten wordt en waarmee.
3. Hypothese Formulering en Preregistratie gebaseerd op wat voor ontwerp je hebt, worden er
meerdere hypothesen opgesteld.
4. Steekproeftrekking, Randomizeren en Causaliteit, Data Verzameling en Data Controle als er
een steekproef is getrokken dan wordt vervolgens daaruit de data verzamelt.
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
Evalueren van Hypothesen
Nul Hypothese Significantie Toetsing: testen/controleren of de nulhypothese waar of niet waar is, er
wordt verder gezocht naar eventuele significante correlatie tussen variabelen.
- De p-waarde is de kans op het verschil in gemiddelden zoals
gevonden in de steekproef of een groter verschil, onder de
aanname dat de nulhypothese waar is.
- Cohen’s d, oftewel, het aantal standaard deviaties dat de twee
gemiddelden van elkaar verschillen.
- Kans op bepaalde fouten (type I en type II)
α: De kans op een Type I fout α staat gebruikelijk op .05
Power: De power (1 - kans op een Type II fout) staat gebruikelijk of .80
Bayesiaanse Hypothese Evaluatie: Het bayesiaanse model is gebaseerd op de interpretaties van
waarschijnlijkheid, hoe waarschijnlijk is het dat deze 2 gebeurtenissen samen voorkomen.
- Bayes factor: alternatief voor de p-waarde en komt voort uit een het bayesiaanse perspectief
op de statistiek. De Bayes factor BF0a geeft de relatieve steun in de data voor de
nulhypothese tegenover de alternatieve hypothese.
Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha even groot.
Als BF0a groter is dan 1, dan is de steun in de data voor H0 groter dan voor Ha.
Als BF0a kleiner is dan 1, dan is de steun in de data voor H0 kleiner dan voor Ha.
- Berekenen van de Bayes factor: behulp van de fit (f0) en de specificiteit (c0) van de nul-
hypothese.
- De Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05
voor de p-waarde) om tot een beslissing ten faveure van H0 of Ha te komen. Dit is een
remedie tegen:
, Questionable Research Practices
Publication Bias
- Wanneer is de Bayes factor groot genoeg om voor H0 of H1 te kiezen? Geen eenduidig
antwoord. Dus bij gevonden waarde van de Bayes factor geef je een interpretatie zonder
daarbij naar vastgestelde grenswaarden (zoals de .05 bij NHST) te verwijzen.
- Posterior Model Kansen (PMK): de conditionele kans te beschrijven voor data gegeven in
bepaalde modellen.
1. De kans dat H0 waar is gegeven de informatie in de data noemen we PMK0
2. De kans dat Ha waar is gegeven de informatie in de data noemen we PMKa
3. Beide kansen tellen op tot 1.0
- Conditionele Type I en II Fouten:
PMK0 is de conditionele Type I fout, want, als we voor Ha kiezen is de kans dat we dat
ten onrechte doen gelijk aan PMK0.
PMKa is de conditionele Type II fout, want, als we voor H0 kiezen is de kans dat we dat
ten onrechte doen gelijk aan PMKa.
Een goede hypothese heeft een goede fit met de data en hoe duidelijker de hypothese, hoe
duidelijker de voorspelling van de hypothese is.
H0 : µwel = µniet is zeer specifiek: "de twee gemiddelden zijn in de populatie exact gelijk
aan elkaar".
De hypothese H0 : µwel > µniet is minder specifiek, deze zegt "slechts" dat in de
populatie het gemiddelde in de wel groep groter is dan in de niet groep
Fouten spelen een grote rol bij het bepalen van de steekproefgrootte die nodig is.
- Bij NHST word dat gedaan door middel van een power analyse: berekent het benodigd
aantal proefpersonen om een vooraf gedefinieerd minimaal klinisch relevant verschil met
power waar te nemen wat is het effect van de powergrootte op Cohen’s d.
- Bij Bayesiaanse hypothese evaluatie door middel van Bayesian updating: naarmate er meer
informatie beschikbaar komt, wordt dit toegevoegd aan de steekproef en heeft invloed op de
waarschijnlijkheid van een bepaalde hypothese.
NHST versus de Bayes Factor
- Bij NHST kunnen de Type I en Type II fouten door de onderzoeker gekozen worden.
- Bij Bayesiaanse hypothese evaluatie kunnen de conditionele Type I en II fouten niet van te
voren bepaald worden. Er moet eerst data verzameld worden voor ze worden bepaald Na
uitvoering van een onderzoek kunnen de conditionele Type I en II fouten te groot zijn.
verholpen door middel van Bayesian updating
Gevaren bij het ontwerpen van een Experimenteel Design
Maturation threat: natuurlijke ontwikkeling
History threat: een externe gebeurtenis heeft invloed
Een Contemporaine Empirische Cirkel
1. Theory en Onderzoeksvraag Onderzoeksvraag opstellen gebaseerd op theoretische stukken.
2. Onderzoeksontwerp Afhankelijke en onafhankelijke variabelen bepalen. Schaal bepalen
waarop gemeten wordt en waarmee.
3. Hypothese Formulering en Preregistratie gebaseerd op wat voor ontwerp je hebt, worden er
meerdere hypothesen opgesteld.
4. Steekproeftrekking, Randomizeren en Causaliteit, Data Verzameling en Data Controle als er
een steekproef is getrokken dan wordt vervolgens daaruit de data verzamelt.
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
Evalueren van Hypothesen
Nul Hypothese Significantie Toetsing: testen/controleren of de nulhypothese waar of niet waar is, er
wordt verder gezocht naar eventuele significante correlatie tussen variabelen.
- De p-waarde is de kans op het verschil in gemiddelden zoals
gevonden in de steekproef of een groter verschil, onder de
aanname dat de nulhypothese waar is.
- Cohen’s d, oftewel, het aantal standaard deviaties dat de twee
gemiddelden van elkaar verschillen.
- Kans op bepaalde fouten (type I en type II)
α: De kans op een Type I fout α staat gebruikelijk op .05
Power: De power (1 - kans op een Type II fout) staat gebruikelijk of .80
Bayesiaanse Hypothese Evaluatie: Het bayesiaanse model is gebaseerd op de interpretaties van
waarschijnlijkheid, hoe waarschijnlijk is het dat deze 2 gebeurtenissen samen voorkomen.
- Bayes factor: alternatief voor de p-waarde en komt voort uit een het bayesiaanse perspectief
op de statistiek. De Bayes factor BF0a geeft de relatieve steun in de data voor de
nulhypothese tegenover de alternatieve hypothese.
Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha even groot.
Als BF0a groter is dan 1, dan is de steun in de data voor H0 groter dan voor Ha.
Als BF0a kleiner is dan 1, dan is de steun in de data voor H0 kleiner dan voor Ha.
- Berekenen van de Bayes factor: behulp van de fit (f0) en de specificiteit (c0) van de nul-
hypothese.
- De Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05
voor de p-waarde) om tot een beslissing ten faveure van H0 of Ha te komen. Dit is een
remedie tegen:
, Questionable Research Practices
Publication Bias
- Wanneer is de Bayes factor groot genoeg om voor H0 of H1 te kiezen? Geen eenduidig
antwoord. Dus bij gevonden waarde van de Bayes factor geef je een interpretatie zonder
daarbij naar vastgestelde grenswaarden (zoals de .05 bij NHST) te verwijzen.
- Posterior Model Kansen (PMK): de conditionele kans te beschrijven voor data gegeven in
bepaalde modellen.
1. De kans dat H0 waar is gegeven de informatie in de data noemen we PMK0
2. De kans dat Ha waar is gegeven de informatie in de data noemen we PMKa
3. Beide kansen tellen op tot 1.0
- Conditionele Type I en II Fouten:
PMK0 is de conditionele Type I fout, want, als we voor Ha kiezen is de kans dat we dat
ten onrechte doen gelijk aan PMK0.
PMKa is de conditionele Type II fout, want, als we voor H0 kiezen is de kans dat we dat
ten onrechte doen gelijk aan PMKa.
Een goede hypothese heeft een goede fit met de data en hoe duidelijker de hypothese, hoe
duidelijker de voorspelling van de hypothese is.
H0 : µwel = µniet is zeer specifiek: "de twee gemiddelden zijn in de populatie exact gelijk
aan elkaar".
De hypothese H0 : µwel > µniet is minder specifiek, deze zegt "slechts" dat in de
populatie het gemiddelde in de wel groep groter is dan in de niet groep
Fouten spelen een grote rol bij het bepalen van de steekproefgrootte die nodig is.
- Bij NHST word dat gedaan door middel van een power analyse: berekent het benodigd
aantal proefpersonen om een vooraf gedefinieerd minimaal klinisch relevant verschil met
power waar te nemen wat is het effect van de powergrootte op Cohen’s d.
- Bij Bayesiaanse hypothese evaluatie door middel van Bayesian updating: naarmate er meer
informatie beschikbaar komt, wordt dit toegevoegd aan de steekproef en heeft invloed op de
waarschijnlijkheid van een bepaalde hypothese.
NHST versus de Bayes Factor
- Bij NHST kunnen de Type I en Type II fouten door de onderzoeker gekozen worden.
- Bij Bayesiaanse hypothese evaluatie kunnen de conditionele Type I en II fouten niet van te
voren bepaald worden. Er moet eerst data verzameld worden voor ze worden bepaald Na
uitvoering van een onderzoek kunnen de conditionele Type I en II fouten te groot zijn.
verholpen door middel van Bayesian updating
Gevaren bij het ontwerpen van een Experimenteel Design
Maturation threat: natuurlijke ontwikkeling
History threat: een externe gebeurtenis heeft invloed
