Hoorcolleges Experimenteel (deeltoets 2)
Inhoudsopgave
Hoorcolleges Experimenteel (deeltoets 2)..............................................................................................................1
Hoorcollege 1 random, replicatie, bayesiaans, designoverweging......................................................................2
3.Hypothese formulering......................................................................................................................................2
Bayesiaanse Hypothese Evaluatie........................................................................................................................5
Hoorcollege 2 primen, eenweg ANOVA..............................................................................................................10
Hoorcollege 3 twee-weg ANOVA, radnom, ANOVA in Bayesiaans.................................................................21
Hoorcollege 4 empirische circlel, model aannamen en preregistraties............................................................33
ANOVA ANAMES.......................................................................................................................................34
EXTRA: Voorbereiding op de Experimentele toets............................................................................................40
,Hoorcollege 1 random, replicatie, bayesiaans, designoverweging
In deze les staan de links naar verschillende video-clips van stukken van de hoorcolleges van vorig jaar. Na elke
video-clip kun je een aantal vragen over de inhoud van de video beantwoorden.
De onderwerpen die in deze les aan bod komen, zijn:
• gerandomiseerd experiment
• replicatiecrisis
• Bayesiaanse statistiek
• designoverwegingen
Een Contemporaine Empirische Cirkel
1. Theory en Onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese Formulering en Preregistratie
4. Steekproeftrekking, Randomizeren en Causaliteit, Data Verzameling en Data Controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
2.Onderzoeksontwerp: De onafhankelijke variabele is de groepsindeling. In de ene groep worden studenten
niet herinnerd aan de afsluiting van de studenten tijd. In de andere groep worden studenten daar wel aan
herinnerd.
• De afhankelijke variabele is mixed emotions. Elke student rapporteert
2.1 Happiness op een zeven punts schaal lopend van 1=not at all tot 7=extremely
2.2 Sadness ook op een zeven punts schaal
• De mixed-emotion score is de kleinste van beide resulterende getallen.
2.1 Scoor je 1 en 7 dan ben je niet blij en erg bedroefd en scoor je laag (1) op mixed emotions.
2.2 Scoor je 7 en 7 dan ben je erg blij en erg bedroefd en scoor je hoog (7) op mixed emotions.
- De mixed emotions is dus de kleinste score. Want als je heel blij en heel bedroefd bent dan heb je
last van mixed emotions. Mixed emotions: de afhankelijke variabele. (we hopen dat de rest die verklaard).
3.Hypothese formulering
Waarbij μniet en μwel de gemiddelde scores op mixed emotions in de
populaties behorende bij de "niet" en "wel" groep weergeven.
- In de populatie is mixed emotions gelijk aan het gemiddelde qua mixed emotions van de populatie die
wel beinvloed zijn. (het maakt niets uit).
- Alternatieve hypothese: gemiddelde mixed emotions is niet gelijk met de andere groep.
4.Steekproeftrekking/Data verzameling: Nadat er een steekproef getrokken is en mensen over de controle en
experimentele condities verdeeld zijn, moeten de gegevens verzameld worden. In onderhavige onderzoek is
elke student gevraagd naar de happiness en saddness op een 7-punts schaal lopend van not-at-all tot
extremely.
,5.Hypothese evaluatie: Er zullen twee manieren om hypotheses te evalueren gepresenteerd worden:
1. Ten eerste zal de Nul Hypothese Significantie Toetsing (NHST) kort herhaald worden.
De p waarde is de kans op het gevonden (of groter) verschil tussen de gemiddeldes. Dus de p waarde is de kans
op het gevonden of groter verschil aannemende wat in de populatie de 0 hypothese waar is. Hier is het .02 dus
de kans op .75 of groter terwijl de 0-hypothese waar is en dat is heel klein; dus de nul-hypothese is
waarschijnlijk niet waar. Vergelijk .02 met .05. Ee verwerpen de 0-hypothse.
Als de nul-hypothese verworpen is, willen we weten hoe groot het verschil was tussen beide groepen: effect
size maat; in dit geval Cohens d; het gestandaardiseerde verschil tussen de twee gemiddelde. In dit geval .45:
een gemiddelde effectsize.
Noot: Cohen’s d kan worden berekend m.b.v. de gemiddelden voor de wel en niet groepen en de SD (de wortel
uit de mean squared error) zoals deze door zowel SPSS als JASP gegeven worden.
Hoe bepalen we dat de P waarde zorgt voor verwerpen of niet verwerpen:
- Alfa: We accepteren dat we een kans hebben van een 5% dat we het fout hebben. (type I: onterrecht
verwerpen)
- Power: kans terrecht verwerpen. De power (1 - kans op een Type II fout) staat gebruikelijk op .80, dwz,
we willen een kans van .80 dat we H0 terecht verwerpen. Power analyze: je bepaalt: hoe groot moet
mijn steekproef zijn om mijn 0-h te verwerpen terwijl het niet waar is. Kleine, medium of grote effect-
size. Ze gaan vaak uit van een minium effectsize. Laten we proberen een effectsize; we kiezen een
power van 80%; 80% kans dat we de nulhypothese terecht verwerpen. Dan zien we in de tabel: we
hebben 64 mensen per groep nodig. 64 mensen per groep is echt veel, dus dat gaat waarschijnlijk niet
gebeuren. Als je dan geen power genoeg had kan het zijn dat je niet genoeg personen heeft.
2. Ten tweede zal de Bayesiaanse hypothese evaluatie gepresenteerd worden.
6.Rapportage: De t-test (t = -2.36, df = 108) resulteerde in een p-waarde van .02. Aangezien deze kleiner is
dan .05 wordt H0 verworpen. Cohen’s d is -.45 dat is ruwweg een medium effect size waarbij de mixed
emotions in de "niet" groep lager liggen dan in de "wel" groep.
7.Replicatie crisis: Het mixed-emotions onderzoek is gerepliceerd door Talhelm, Lee, and Eggleston (2015).
Hieronder staan de resultaten van de originele en replicatie studie weergegeven.
, Drie observaties:
• De originele studie heeft p<.05, de replicatie studie heeft p>.05
• De originele studie heeft d=.45, de replicatie studie heeft d=.01
• De replicatie studie heeft met 110 studenten per groep een power groter dan .80 om een effect size
van d=.45 te kunnen ontdekken (zie de power tabel aan het einde van het vorige college). Het resultaat van de
replicatie studie is dan ook geen Type II fout.
De Open Science Collaboration heeft 100 studies (waaronder randomized experiments) uit de tijdschriften
Psychological Sciencs, Journal of Personality and Social Psychology, en Journal of Experimental Psychology:
Learning, Memory, and Cognition, gerepliceerd.
Gebruik/misbruik NHST
1. De effect groottes (effect size) (zoals Cohen’s d) waren in de replicatie studies maar half zo groot als in de
originele studies
2. In bijna alle originele studies werd de nul-hypothese (zoals H0 : μwel = μniet verworpen (een p-waarde
kleiner dan .05). In slechts 1/3 van de replicatie studies werd de nul-hypothese verworpen.
In het jaar 2015 is duidelijk geworden dat er een replicatie crisis gaande is in de gedragswetenschappen en
mogelijk ook daarbuiten. Want ... wat is een onderzoeksresultaat waard als het niet herhaald kan worden?
De replicatie crisis leidt tot de vraag hoe het mogelijk is dat de resultaten van wetenschappelijk onderzoek vaak
niet repliceerbaar blijken. Twee van de oorzaken zullen nu besproken worden: sloppy science en publicatie
bias.
Voorbeeld: sloppy science
1.Op de expliciete vraag of ze ooit onderzoeksgegevens hebben gefabriceerd of vervalst, of dat ze resultaten
hebben gewijzigd of aangepast om de uitkomst te verbeteren, antwoordde 0,3% tot 4,9% van de
wetenschappers bevestigend
2. Andere twijfelachtige praktijken werden erkend door maximaal 33,7% van de respondenten. Consequent in
de studies gaven wetenschappers vaker toe dat ze "gewijzigde onderzoeksresultaten" hadden om de uitkomst
te verbeteren dan dat ze resultaten hadden gerapporteerd waarvan ze "wisten dat ze niet waar waren".
3. Op de vraag of ze persoonlijke kennis hadden van een collega die onderzoeksdata verzon of vervalste, of die
onderzoeksdata veranderde of veranderde, antwoordde tussen 5,2% en 33,3% van de respondenten
bevestigend.
Repubilicatie bias
• In 1980 deed een psycholoog onderzoek naar "feeling the future". Hij toonde personen twee kaarten.
Hij vroeg hen op welke kaart "het erotisch plaatje" stond. Dit werd herhaaldelijk gedaan. Uiteindelijk bleek de
kans om de goede kaart te kiezen 50%. De p-waarde voor H0 : Perotisch = .50 was .67. Het artikel werd niet
gepubliceerd want er was niets interessant gevonden.
• In 1990 deed een psycholoog ... p-waarde ... .23...
• In 2000 ...
1. In 2011 deed Bem onderzoek ... De p-waarde voorH0 : Perotisch = .50 was .015. Dat is kleiner dan .05. De
kans om het erotische plaatje te kiezen bleek gelijk aan .52. Tijdschrift reageerde enthousiast en het onderzoek
werd gepubliceerd. Kortom: feeling the future bestaat! Of toch niet ... ??
Inhoudsopgave
Hoorcolleges Experimenteel (deeltoets 2)..............................................................................................................1
Hoorcollege 1 random, replicatie, bayesiaans, designoverweging......................................................................2
3.Hypothese formulering......................................................................................................................................2
Bayesiaanse Hypothese Evaluatie........................................................................................................................5
Hoorcollege 2 primen, eenweg ANOVA..............................................................................................................10
Hoorcollege 3 twee-weg ANOVA, radnom, ANOVA in Bayesiaans.................................................................21
Hoorcollege 4 empirische circlel, model aannamen en preregistraties............................................................33
ANOVA ANAMES.......................................................................................................................................34
EXTRA: Voorbereiding op de Experimentele toets............................................................................................40
,Hoorcollege 1 random, replicatie, bayesiaans, designoverweging
In deze les staan de links naar verschillende video-clips van stukken van de hoorcolleges van vorig jaar. Na elke
video-clip kun je een aantal vragen over de inhoud van de video beantwoorden.
De onderwerpen die in deze les aan bod komen, zijn:
• gerandomiseerd experiment
• replicatiecrisis
• Bayesiaanse statistiek
• designoverwegingen
Een Contemporaine Empirische Cirkel
1. Theory en Onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese Formulering en Preregistratie
4. Steekproeftrekking, Randomizeren en Causaliteit, Data Verzameling en Data Controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
2.Onderzoeksontwerp: De onafhankelijke variabele is de groepsindeling. In de ene groep worden studenten
niet herinnerd aan de afsluiting van de studenten tijd. In de andere groep worden studenten daar wel aan
herinnerd.
• De afhankelijke variabele is mixed emotions. Elke student rapporteert
2.1 Happiness op een zeven punts schaal lopend van 1=not at all tot 7=extremely
2.2 Sadness ook op een zeven punts schaal
• De mixed-emotion score is de kleinste van beide resulterende getallen.
2.1 Scoor je 1 en 7 dan ben je niet blij en erg bedroefd en scoor je laag (1) op mixed emotions.
2.2 Scoor je 7 en 7 dan ben je erg blij en erg bedroefd en scoor je hoog (7) op mixed emotions.
- De mixed emotions is dus de kleinste score. Want als je heel blij en heel bedroefd bent dan heb je
last van mixed emotions. Mixed emotions: de afhankelijke variabele. (we hopen dat de rest die verklaard).
3.Hypothese formulering
Waarbij μniet en μwel de gemiddelde scores op mixed emotions in de
populaties behorende bij de "niet" en "wel" groep weergeven.
- In de populatie is mixed emotions gelijk aan het gemiddelde qua mixed emotions van de populatie die
wel beinvloed zijn. (het maakt niets uit).
- Alternatieve hypothese: gemiddelde mixed emotions is niet gelijk met de andere groep.
4.Steekproeftrekking/Data verzameling: Nadat er een steekproef getrokken is en mensen over de controle en
experimentele condities verdeeld zijn, moeten de gegevens verzameld worden. In onderhavige onderzoek is
elke student gevraagd naar de happiness en saddness op een 7-punts schaal lopend van not-at-all tot
extremely.
,5.Hypothese evaluatie: Er zullen twee manieren om hypotheses te evalueren gepresenteerd worden:
1. Ten eerste zal de Nul Hypothese Significantie Toetsing (NHST) kort herhaald worden.
De p waarde is de kans op het gevonden (of groter) verschil tussen de gemiddeldes. Dus de p waarde is de kans
op het gevonden of groter verschil aannemende wat in de populatie de 0 hypothese waar is. Hier is het .02 dus
de kans op .75 of groter terwijl de 0-hypothese waar is en dat is heel klein; dus de nul-hypothese is
waarschijnlijk niet waar. Vergelijk .02 met .05. Ee verwerpen de 0-hypothse.
Als de nul-hypothese verworpen is, willen we weten hoe groot het verschil was tussen beide groepen: effect
size maat; in dit geval Cohens d; het gestandaardiseerde verschil tussen de twee gemiddelde. In dit geval .45:
een gemiddelde effectsize.
Noot: Cohen’s d kan worden berekend m.b.v. de gemiddelden voor de wel en niet groepen en de SD (de wortel
uit de mean squared error) zoals deze door zowel SPSS als JASP gegeven worden.
Hoe bepalen we dat de P waarde zorgt voor verwerpen of niet verwerpen:
- Alfa: We accepteren dat we een kans hebben van een 5% dat we het fout hebben. (type I: onterrecht
verwerpen)
- Power: kans terrecht verwerpen. De power (1 - kans op een Type II fout) staat gebruikelijk op .80, dwz,
we willen een kans van .80 dat we H0 terecht verwerpen. Power analyze: je bepaalt: hoe groot moet
mijn steekproef zijn om mijn 0-h te verwerpen terwijl het niet waar is. Kleine, medium of grote effect-
size. Ze gaan vaak uit van een minium effectsize. Laten we proberen een effectsize; we kiezen een
power van 80%; 80% kans dat we de nulhypothese terecht verwerpen. Dan zien we in de tabel: we
hebben 64 mensen per groep nodig. 64 mensen per groep is echt veel, dus dat gaat waarschijnlijk niet
gebeuren. Als je dan geen power genoeg had kan het zijn dat je niet genoeg personen heeft.
2. Ten tweede zal de Bayesiaanse hypothese evaluatie gepresenteerd worden.
6.Rapportage: De t-test (t = -2.36, df = 108) resulteerde in een p-waarde van .02. Aangezien deze kleiner is
dan .05 wordt H0 verworpen. Cohen’s d is -.45 dat is ruwweg een medium effect size waarbij de mixed
emotions in de "niet" groep lager liggen dan in de "wel" groep.
7.Replicatie crisis: Het mixed-emotions onderzoek is gerepliceerd door Talhelm, Lee, and Eggleston (2015).
Hieronder staan de resultaten van de originele en replicatie studie weergegeven.
, Drie observaties:
• De originele studie heeft p<.05, de replicatie studie heeft p>.05
• De originele studie heeft d=.45, de replicatie studie heeft d=.01
• De replicatie studie heeft met 110 studenten per groep een power groter dan .80 om een effect size
van d=.45 te kunnen ontdekken (zie de power tabel aan het einde van het vorige college). Het resultaat van de
replicatie studie is dan ook geen Type II fout.
De Open Science Collaboration heeft 100 studies (waaronder randomized experiments) uit de tijdschriften
Psychological Sciencs, Journal of Personality and Social Psychology, en Journal of Experimental Psychology:
Learning, Memory, and Cognition, gerepliceerd.
Gebruik/misbruik NHST
1. De effect groottes (effect size) (zoals Cohen’s d) waren in de replicatie studies maar half zo groot als in de
originele studies
2. In bijna alle originele studies werd de nul-hypothese (zoals H0 : μwel = μniet verworpen (een p-waarde
kleiner dan .05). In slechts 1/3 van de replicatie studies werd de nul-hypothese verworpen.
In het jaar 2015 is duidelijk geworden dat er een replicatie crisis gaande is in de gedragswetenschappen en
mogelijk ook daarbuiten. Want ... wat is een onderzoeksresultaat waard als het niet herhaald kan worden?
De replicatie crisis leidt tot de vraag hoe het mogelijk is dat de resultaten van wetenschappelijk onderzoek vaak
niet repliceerbaar blijken. Twee van de oorzaken zullen nu besproken worden: sloppy science en publicatie
bias.
Voorbeeld: sloppy science
1.Op de expliciete vraag of ze ooit onderzoeksgegevens hebben gefabriceerd of vervalst, of dat ze resultaten
hebben gewijzigd of aangepast om de uitkomst te verbeteren, antwoordde 0,3% tot 4,9% van de
wetenschappers bevestigend
2. Andere twijfelachtige praktijken werden erkend door maximaal 33,7% van de respondenten. Consequent in
de studies gaven wetenschappers vaker toe dat ze "gewijzigde onderzoeksresultaten" hadden om de uitkomst
te verbeteren dan dat ze resultaten hadden gerapporteerd waarvan ze "wisten dat ze niet waar waren".
3. Op de vraag of ze persoonlijke kennis hadden van een collega die onderzoeksdata verzon of vervalste, of die
onderzoeksdata veranderde of veranderde, antwoordde tussen 5,2% en 33,3% van de respondenten
bevestigend.
Repubilicatie bias
• In 1980 deed een psycholoog onderzoek naar "feeling the future". Hij toonde personen twee kaarten.
Hij vroeg hen op welke kaart "het erotisch plaatje" stond. Dit werd herhaaldelijk gedaan. Uiteindelijk bleek de
kans om de goede kaart te kiezen 50%. De p-waarde voor H0 : Perotisch = .50 was .67. Het artikel werd niet
gepubliceerd want er was niets interessant gevonden.
• In 1990 deed een psycholoog ... p-waarde ... .23...
• In 2000 ...
1. In 2011 deed Bem onderzoek ... De p-waarde voorH0 : Perotisch = .50 was .015. Dat is kleiner dan .05. De
kans om het erotische plaatje te kiezen bleek gelijk aan .52. Tijdschrift reageerde enthousiast en het onderzoek
werd gepubliceerd. Kortom: feeling the future bestaat! Of toch niet ... ??
