Samenvatting literatuur experimenteel TOE
Research Methods
The goals of statistical inference
NHST = Null Hypothesis Significance testing
Stappen van de NHST:
1. Aannemen dat er geen effect is (nul hypothese)
a. Er is geen sprake van een relatie tussen A en B
2. Data verzamelen
3. Bereken de kans dat je de data vindt of een extremere vorm van de data als je aanneemt
dat de nulhypothese waar is
4. Besluit of je de nulhypothese verwerpt of niet
2 manieren om een juiste conclusie te trekken:
- De nulhypothese verwerpen en de alternatieve hypothese is ook daadwerkelijk waar
- De nulhypothese niet verwerpen en er is ook daadwerkelijk geen relatie te vinden
2 manieren om een verkeerde conclusie te trekken:
- Type I fout de nulhypothese onterecht verwerpen (je denkt dat er een verband is,
terwijl dat er niet is)
- Type II fout de nulhypothese onterecht aannemen (je denkt dat er geen verband is,
terwijl dat er wel is)
Power = een verband vinden dat ook echt aanwezig is
Grotere power:
- Grote alpha
- Grote effectgrootte in de populatie
- Grote steekproef
- De meest appropriate statistical test
- Data heeft lower levels of unsystematic variability
Introduction to simple experiments
Experiment een gemanipuleerd en een gemeten variabele
- Gemanipuleerd (independent) = gecontroleerd door de onderzoeker
- Gemeten (dependent/ outcome) = variabele waarvan de uitkomsten worden
geobserveerd
Independent-group designs
Independent-group designs = Experimenteel design waarbij deelnemers worden blootgesteld aan
verschillende waardes van de onafhankelijke variabele zodat elke deelnemer maar 1 level van de
onafhankelijke variabele ervaart. (between-groups design)
Within-groups design = 1 groep deelnemers data an alle levels van de onafhankelijke variabele
wordt blootgesteld
, Posttest-only design (equivalent groups) = deelnemers worden at random verdeeld in de
onafhankelijke variabele -groepen en worden 1 keer getest op de afhankelijke variabele.
Pretest/posttest design = deelnemers worden ook in minimaal 2 groepen verdeeld, maar worden
nu getest voor de ‘behandeling’ en erna.
Om vast te stellen dat de groepen aselect zijn verdeeld.
More on experiments: confounding and obscuring variables
One-group, pretest/posttest design = onderzoeker gebruikt 1 groep en doet een pretest
(nulmeting) vervolgens de behandeling/interventie en tenslotte een posttest (zonder
controlegroep)
Andere naam = the really bad experiment
Maturation threat = een verandering in gedrag die relatief spontaan plaatsvindt over tijd (door
natuurlijke ontwikkeling)
Voorkomen van maturation threat:
- Controle groep toevoegen
History threat = resultaat beïnvloed door externe gebeurtenis (het moet de meeste deelnemers op
dezelfde manier treffen om een history threat te vormen)
Voorkomen van history threat:
- Controle groep toevoegen
Regression threat (regression to the mean) = bij de nulmeting is het resultaat zo extreme dat het
na de behandeling bijna niet slechter kan en daarom hoger scoort de 2e keer (automatisch beter)
Voorkomen van regression threat:
- Controle groep toevoegen
Attrition threat = wanneer een uiterste waarde uitvalt beïnvloedt dat het resultaat
Voorkomen van attrition threat:
- De drop out score die uit de posttest verdwijnt ook uit de pretest verwijderen
Testing threat = mensen gaan beter scoren op de test omdat ze de test al eens gemaakt hebben
Voorkomen van testing threat:
- Verschillende items gebruiken in de pretest en posttest
Instrumentation threat = meetinstrument posttest wijkt af van het meetinstrument pretest
Voorkomen van instrumentation threat:
- Posttest-only design
- Zorgen dat de pretest en posttest overeenkomen
- Counterbalancing (AB-BA)
Research Methods
The goals of statistical inference
NHST = Null Hypothesis Significance testing
Stappen van de NHST:
1. Aannemen dat er geen effect is (nul hypothese)
a. Er is geen sprake van een relatie tussen A en B
2. Data verzamelen
3. Bereken de kans dat je de data vindt of een extremere vorm van de data als je aanneemt
dat de nulhypothese waar is
4. Besluit of je de nulhypothese verwerpt of niet
2 manieren om een juiste conclusie te trekken:
- De nulhypothese verwerpen en de alternatieve hypothese is ook daadwerkelijk waar
- De nulhypothese niet verwerpen en er is ook daadwerkelijk geen relatie te vinden
2 manieren om een verkeerde conclusie te trekken:
- Type I fout de nulhypothese onterecht verwerpen (je denkt dat er een verband is,
terwijl dat er niet is)
- Type II fout de nulhypothese onterecht aannemen (je denkt dat er geen verband is,
terwijl dat er wel is)
Power = een verband vinden dat ook echt aanwezig is
Grotere power:
- Grote alpha
- Grote effectgrootte in de populatie
- Grote steekproef
- De meest appropriate statistical test
- Data heeft lower levels of unsystematic variability
Introduction to simple experiments
Experiment een gemanipuleerd en een gemeten variabele
- Gemanipuleerd (independent) = gecontroleerd door de onderzoeker
- Gemeten (dependent/ outcome) = variabele waarvan de uitkomsten worden
geobserveerd
Independent-group designs
Independent-group designs = Experimenteel design waarbij deelnemers worden blootgesteld aan
verschillende waardes van de onafhankelijke variabele zodat elke deelnemer maar 1 level van de
onafhankelijke variabele ervaart. (between-groups design)
Within-groups design = 1 groep deelnemers data an alle levels van de onafhankelijke variabele
wordt blootgesteld
, Posttest-only design (equivalent groups) = deelnemers worden at random verdeeld in de
onafhankelijke variabele -groepen en worden 1 keer getest op de afhankelijke variabele.
Pretest/posttest design = deelnemers worden ook in minimaal 2 groepen verdeeld, maar worden
nu getest voor de ‘behandeling’ en erna.
Om vast te stellen dat de groepen aselect zijn verdeeld.
More on experiments: confounding and obscuring variables
One-group, pretest/posttest design = onderzoeker gebruikt 1 groep en doet een pretest
(nulmeting) vervolgens de behandeling/interventie en tenslotte een posttest (zonder
controlegroep)
Andere naam = the really bad experiment
Maturation threat = een verandering in gedrag die relatief spontaan plaatsvindt over tijd (door
natuurlijke ontwikkeling)
Voorkomen van maturation threat:
- Controle groep toevoegen
History threat = resultaat beïnvloed door externe gebeurtenis (het moet de meeste deelnemers op
dezelfde manier treffen om een history threat te vormen)
Voorkomen van history threat:
- Controle groep toevoegen
Regression threat (regression to the mean) = bij de nulmeting is het resultaat zo extreme dat het
na de behandeling bijna niet slechter kan en daarom hoger scoort de 2e keer (automatisch beter)
Voorkomen van regression threat:
- Controle groep toevoegen
Attrition threat = wanneer een uiterste waarde uitvalt beïnvloedt dat het resultaat
Voorkomen van attrition threat:
- De drop out score die uit de posttest verdwijnt ook uit de pretest verwijderen
Testing threat = mensen gaan beter scoren op de test omdat ze de test al eens gemaakt hebben
Voorkomen van testing threat:
- Verschillende items gebruiken in de pretest en posttest
Instrumentation threat = meetinstrument posttest wijkt af van het meetinstrument pretest
Voorkomen van instrumentation threat:
- Posttest-only design
- Zorgen dat de pretest en posttest overeenkomen
- Counterbalancing (AB-BA)
