Hoorcollege 1 Experimenteel 25-02-2020
Empirische cirkel
1. Theorie en Onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese Formulering & Preregistratie
4. Steekproeftrekking, Randomiseren & Causaliteit, Data Verzameling & Data Controle
5. Nul hypothese significantie toetsing (NHST) OF Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
Voorbeeld:
Hebben studenten die eraan herinnerd worden dat ze hun studententijd gaan afsluiten meer
of minder mixed emotions dan studenten die daar niet aan herinnerd worden?
(2) Onderzoeksontwerp
De onafhankelijke variabele is de groeps indeling. In de ene groep worden studenten niet
herinnerd aan de afsluiting van de studenten tijd. In de andere groep worden studenten
daar wel aan herinnerd.
De afhankelijke variabele is mixed emotions. Elke student rapporteert
Happiness op een zeven punts schaal lopend van 1=not at all tot 7=extremely
Sadness ook op een zeven punts schaal
De mixed-emotion score is de kleinste van beide resulterende getallen.
Scoor je 1 en 7 dan ben je niet blij en erg bedroefd en scoor je laag (1) op mixed emotions.
Scoor je 7 en 7 dan ben je erg blij en erg bedroefd en scoor je hoog (7) op mixed emotions.
(5) Nu zullen twee manieren om hypotheses te evalueren gepresenteerd worden:
- Ten eerste zal de Nul Hypothese Significantie Toetsing (NHST) kort herhaald worden.
- Ten tweede zal na elke stap van de NHST, de corresponderende stap van de
Bayesiaanse hypothese gepresenteerd worden.
h0 verwerpen of niet? p=.02. Dus wel verworpen.
Cohen’s d is effectgrootte:
Als je kans op type II fout voorspelt, kijk je naar:
- Alfa level
Kleine alfa = grote kans type II
Grote kans type II -> kleine kans type I
- Steekproefgrootte:
Grote steekproefgrootte -> power omhoog
- Effectgrootte:
Grote effectgrootte -> kans om nulhypothese te verwerpen groter. -> type I omhoog. Dit is ook als alfa omhoog gaat. Meer power.
Kleine effectgrootte -> kans type II omhoog.
,(7) replicatie
In replicatie is er een p-waarde van .94 gevonden! Nulhypothese verwerpen we niet!
Cohen’s d is heel klein, dit is ook niet goed.
Twee oorzaken van de replicatie crisis:
1. Sloppy science
Data/ empirische cirkel proces aanpassen om resultaten mooier te laten lijken.
2. Publicatie bias
Tijdschriften willen ook een lage p-waarde (<.05). Zij willen ook interessante dingen
presenteren. Publicatie bias is het publiceren van onderzoek gebaseerd op Type I fouten.
Deze fouten kunnen zowel het gevolg zijn van toeval als van sloppy science.
Je kan de p-waarde vervangen met Bayes factor (BF).
Omdraaien: BFa0=1.50 x meer steun.
- Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha even groot.
- Als BF0a groter is dan 1, dan is de steun in de data voor H0 groter dan voor Ha.
- Als BF0a kleiner is dan 1, dan is de steun in de data voor H0 kleiner dan voor Ha.
Bayes factor wordt berekend met hulp van fit en specificiteit
formule hoef je niet te kennen
Fit:
Hoe goed past de data bij de hypothese
Formule hoef je niet te kennen
Specificiteit:
Hoe specifiek is de hypothese? Hoe preciezer de hypothese, hoe duidelijker de voorspelling
die een hypothese doet.
H0 : μwel = μniet is zeer specifiek: "de twee gemiddelden zijn in de populatie exact gelijk
aan elkaar".
De hypothese H0 : μwel > μniet is minder specifiek, deze zegt "slechts" dat in de populatie
het gemiddelde in de wel groep groter is dan in de niet groep.
Ha is in het geheel niet specifiek. Deze hypothese zegt dat alles mogelijk is behalve dat in de
populatie de twee gemiddelden exact gelijk aan elkaar zijn.
, NHST vs. Bayes factor
De Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05 voor de p-waarde)
om tot een beslissing ten faveure van H0 of Ha te komen. Dit is een remedie tegen:
• Questionable Research Practices - omdat nu de incentive om de analyses zo te
manipuleren dat er Bayes factor groter dan een bepaalde grenswaarde uitkomt weg
wordt genomen.
• Publication Bias - omdat tijdschriften niet langer een grenswaarde tot hun
beschikking hebben die ze kunnen gebruiken om artikelen mee te beoordelen.
Dus geen grenswaarde!
Type I en Type II fouten
α:
De kans op een Type I fout. α staat gebruikelijk op .05, dwz, we accepteren een
kans van .05 dat we H0 ten onrechte verwerpen
Power:
De power (1 - kans op een Type II fout) staat gebruikelijk of .80, dwz, we willen
een kans van .80 dat we H0 terecht verwerpen.
Type I: H0 is waar, kan zijn dat je alsnog een p-waarde vindt. Dus de H0 ten onrechte
verwerpen (α)
Type II: Ha is waar, maar toch komt uit een steekproef de conclusie om H0 ten onrechte niet
verwerpen (power). Type II is 20%, dus power .80.
Power: H0 ten rechte verwerpen.
Empirische cirkel
1. Theorie en Onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese Formulering & Preregistratie
4. Steekproeftrekking, Randomiseren & Causaliteit, Data Verzameling & Data Controle
5. Nul hypothese significantie toetsing (NHST) OF Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
Voorbeeld:
Hebben studenten die eraan herinnerd worden dat ze hun studententijd gaan afsluiten meer
of minder mixed emotions dan studenten die daar niet aan herinnerd worden?
(2) Onderzoeksontwerp
De onafhankelijke variabele is de groeps indeling. In de ene groep worden studenten niet
herinnerd aan de afsluiting van de studenten tijd. In de andere groep worden studenten
daar wel aan herinnerd.
De afhankelijke variabele is mixed emotions. Elke student rapporteert
Happiness op een zeven punts schaal lopend van 1=not at all tot 7=extremely
Sadness ook op een zeven punts schaal
De mixed-emotion score is de kleinste van beide resulterende getallen.
Scoor je 1 en 7 dan ben je niet blij en erg bedroefd en scoor je laag (1) op mixed emotions.
Scoor je 7 en 7 dan ben je erg blij en erg bedroefd en scoor je hoog (7) op mixed emotions.
(5) Nu zullen twee manieren om hypotheses te evalueren gepresenteerd worden:
- Ten eerste zal de Nul Hypothese Significantie Toetsing (NHST) kort herhaald worden.
- Ten tweede zal na elke stap van de NHST, de corresponderende stap van de
Bayesiaanse hypothese gepresenteerd worden.
h0 verwerpen of niet? p=.02. Dus wel verworpen.
Cohen’s d is effectgrootte:
Als je kans op type II fout voorspelt, kijk je naar:
- Alfa level
Kleine alfa = grote kans type II
Grote kans type II -> kleine kans type I
- Steekproefgrootte:
Grote steekproefgrootte -> power omhoog
- Effectgrootte:
Grote effectgrootte -> kans om nulhypothese te verwerpen groter. -> type I omhoog. Dit is ook als alfa omhoog gaat. Meer power.
Kleine effectgrootte -> kans type II omhoog.
,(7) replicatie
In replicatie is er een p-waarde van .94 gevonden! Nulhypothese verwerpen we niet!
Cohen’s d is heel klein, dit is ook niet goed.
Twee oorzaken van de replicatie crisis:
1. Sloppy science
Data/ empirische cirkel proces aanpassen om resultaten mooier te laten lijken.
2. Publicatie bias
Tijdschriften willen ook een lage p-waarde (<.05). Zij willen ook interessante dingen
presenteren. Publicatie bias is het publiceren van onderzoek gebaseerd op Type I fouten.
Deze fouten kunnen zowel het gevolg zijn van toeval als van sloppy science.
Je kan de p-waarde vervangen met Bayes factor (BF).
Omdraaien: BFa0=1.50 x meer steun.
- Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha even groot.
- Als BF0a groter is dan 1, dan is de steun in de data voor H0 groter dan voor Ha.
- Als BF0a kleiner is dan 1, dan is de steun in de data voor H0 kleiner dan voor Ha.
Bayes factor wordt berekend met hulp van fit en specificiteit
formule hoef je niet te kennen
Fit:
Hoe goed past de data bij de hypothese
Formule hoef je niet te kennen
Specificiteit:
Hoe specifiek is de hypothese? Hoe preciezer de hypothese, hoe duidelijker de voorspelling
die een hypothese doet.
H0 : μwel = μniet is zeer specifiek: "de twee gemiddelden zijn in de populatie exact gelijk
aan elkaar".
De hypothese H0 : μwel > μniet is minder specifiek, deze zegt "slechts" dat in de populatie
het gemiddelde in de wel groep groter is dan in de niet groep.
Ha is in het geheel niet specifiek. Deze hypothese zegt dat alles mogelijk is behalve dat in de
populatie de twee gemiddelden exact gelijk aan elkaar zijn.
, NHST vs. Bayes factor
De Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05 voor de p-waarde)
om tot een beslissing ten faveure van H0 of Ha te komen. Dit is een remedie tegen:
• Questionable Research Practices - omdat nu de incentive om de analyses zo te
manipuleren dat er Bayes factor groter dan een bepaalde grenswaarde uitkomt weg
wordt genomen.
• Publication Bias - omdat tijdschriften niet langer een grenswaarde tot hun
beschikking hebben die ze kunnen gebruiken om artikelen mee te beoordelen.
Dus geen grenswaarde!
Type I en Type II fouten
α:
De kans op een Type I fout. α staat gebruikelijk op .05, dwz, we accepteren een
kans van .05 dat we H0 ten onrechte verwerpen
Power:
De power (1 - kans op een Type II fout) staat gebruikelijk of .80, dwz, we willen
een kans van .80 dat we H0 terecht verwerpen.
Type I: H0 is waar, kan zijn dat je alsnog een p-waarde vindt. Dus de H0 ten onrechte
verwerpen (α)
Type II: Ha is waar, maar toch komt uit een steekproef de conclusie om H0 ten onrechte niet
verwerpen (power). Type II is 20%, dus power .80.
Power: H0 ten rechte verwerpen.
