Hoorcollege Experimenteel 1
Het gerandomiseerde experiment – Bayesiaanse Statistiek en Design overwegingen
Wat je moet weten van KOM:
- Empirische cyclus
- Causaliteit
- T toetsen
- P waardes, BI, power
- Effectgroottes
- Validiteit
Experimenten worden vooral in psychologie gebruikt, omdat ze graag een specifieke
factor willen onderzoeken en de invloed daarvan op een individu. Het idee daarbij is
dat ze het kunnen generaliseren naar iedereen. Maar voor sociologen en
antropologen kan het ook zinvol zijn om experimenten te doen.. bijvoorbeeld bij
onderzoek naar beleid en veldexperimenten.
Empirische cyclus
1. Theorie en ozvraag
2. Ozontwerp
3. Hypothese formuleren en pre-regristratie
4. Steekproeftrekken, randomiseren en causaliteit, data verzameling en data
controle
5. NHST of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
NHST test H0 en Hu, maar deze hypothese is niet heel informatief. Daarnaast is nog
een beperking dat onderzoekers niet altijd een dichotome beslissing willen nemen.
Alpha = kans op type 1 fout = kans dat wel de nulhypothese ten onrechte verwerpen.
Power = 1 - kans op type 2 fout we willen vaak een power van .80.
De effect groottes die meestal in gedrags- en sociaal wetenschappelijk onderzoek
worden gevonden liggen tussen .20 en .50. Cohen’s d:
- Klein = .20
- Medium = .50
- Groot = .80
De replicatie crisis
Heel veel onderzoeken in sociale wetenschappen repliceren slecht. Komt o.a. door
gebrek aan power, bijvoorbeeld door een (te) kleine steekproef.
, Open Science Collaboration heeft 100 studies gerepliceerd, zo goed mogelijk op
dezelfde manier.
1. De effect groottes waren in de replicatie studies maar half zo groot.
2. En in bijna alle originele studies werd de nulhypothese verworpen, terwijl in
maar 1/3 van de replicatie studie dit het geval was.
Dit is dus de replicatie crisis. Hoe kan dit nou komen?
1. Sloppy science = wetenschappers voeren onderzoek niet ‘netjes’ uit.
Fabricated data, QRP. De reden hiervoor is vaak om een mooi artikel te
kunnen produceren.
2. Tijdschriften en kranten zijn niet geïnteresseerd in ‘onzinnige’ onderzoeken.
En ook niet in onderzoeken die nulresultaten produceren. (publicatie bias)
PMK0 is een conditionele type 1 fout en PMKa is een conditionele type 2 fout.
Het gerandomiseerde experiment – Bayesiaanse Statistiek en Design overwegingen
Wat je moet weten van KOM:
- Empirische cyclus
- Causaliteit
- T toetsen
- P waardes, BI, power
- Effectgroottes
- Validiteit
Experimenten worden vooral in psychologie gebruikt, omdat ze graag een specifieke
factor willen onderzoeken en de invloed daarvan op een individu. Het idee daarbij is
dat ze het kunnen generaliseren naar iedereen. Maar voor sociologen en
antropologen kan het ook zinvol zijn om experimenten te doen.. bijvoorbeeld bij
onderzoek naar beleid en veldexperimenten.
Empirische cyclus
1. Theorie en ozvraag
2. Ozontwerp
3. Hypothese formuleren en pre-regristratie
4. Steekproeftrekken, randomiseren en causaliteit, data verzameling en data
controle
5. NHST of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
NHST test H0 en Hu, maar deze hypothese is niet heel informatief. Daarnaast is nog
een beperking dat onderzoekers niet altijd een dichotome beslissing willen nemen.
Alpha = kans op type 1 fout = kans dat wel de nulhypothese ten onrechte verwerpen.
Power = 1 - kans op type 2 fout we willen vaak een power van .80.
De effect groottes die meestal in gedrags- en sociaal wetenschappelijk onderzoek
worden gevonden liggen tussen .20 en .50. Cohen’s d:
- Klein = .20
- Medium = .50
- Groot = .80
De replicatie crisis
Heel veel onderzoeken in sociale wetenschappen repliceren slecht. Komt o.a. door
gebrek aan power, bijvoorbeeld door een (te) kleine steekproef.
, Open Science Collaboration heeft 100 studies gerepliceerd, zo goed mogelijk op
dezelfde manier.
1. De effect groottes waren in de replicatie studies maar half zo groot.
2. En in bijna alle originele studies werd de nulhypothese verworpen, terwijl in
maar 1/3 van de replicatie studie dit het geval was.
Dit is dus de replicatie crisis. Hoe kan dit nou komen?
1. Sloppy science = wetenschappers voeren onderzoek niet ‘netjes’ uit.
Fabricated data, QRP. De reden hiervoor is vaak om een mooi artikel te
kunnen produceren.
2. Tijdschriften en kranten zijn niet geïnteresseerd in ‘onzinnige’ onderzoeken.
En ook niet in onderzoeken die nulresultaten produceren. (publicatie bias)
PMK0 is een conditionele type 1 fout en PMKa is een conditionele type 2 fout.
