TOE - Experimenteel onderzoek - Samenvatting hoorcolleges

Toepassing van onderzoeksmethoden en statistiek

Experimenteel onderzoek – Samenvatting



Inhoud
Contemporaine Empirische Cirkel..........................................................................................................2
Variabelen..............................................................................................................................................2
Pre-registratie (3)...................................................................................................................................2
Hypothese evalueren (5)........................................................................................................................2
Replicatie crisis (7)..................................................................................................................................4
Experimentele designs: gevaren.............................................................................................................4
3 voorwaarden voor causaliteit..............................................................................................................5
Eenweg ANOVA (NHST)..........................................................................................................................6
Bayesiaanse eenweg ANOVA..................................................................................................................7
Experimentel designs.............................................................................................................................7
Quasi experimentele design...................................................................................................................8
Toetsing m.b.t. twee-weg ANOVA (NHST)..............................................................................................9
Bayesiaanse twee-weg ANOVA..............................................................................................................9
Random factor......................................................................................................................................10
ANOVA aannames (4)...........................................................................................................................11
Korte samenvatting van enkele onderwerpen......................................................................................14
Bedreigingen voor de interne validiteit................................................................................................17
De hypothesen, assumpties en output van één- en tweeweg variantie analyse..................................19
De Bayesiaanse eenweg ANOVA..........................................................................................................20
Hypothese............................................................................................................................................20
One-way-ANOVA interpreteren............................................................................................................21
Post-hoc-tests.......................................................................................................................................22
De verschillen en overeenkomsten tussen nulhypothese toetsing en Bayesiaans toetsen..................24
Nulhypothese Significantietoetsing......................................................................................................24
Bayes Factor.........................................................................................................................................24
Een Contemporaine Empirische Cirkel.................................................................................................26
Sloppy science......................................................................................................................................26
Publicatie bias.......................................................................................................................................26
Overzicht toetsen.................................................................................................................................28




1

,Contemporaine Empirische Cirkel

Stappen bij onderzoek doen
1. Theorie en onderzoeksvraag
2. Onderzoeks-ontwerp
3. Hypothese formulering en preregistratie
4. Steekproeftrekking, randomiseren en causaliteit, data-verzameling en data controle
5. Nulhypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek


Variabelen

- Onafhankelijke variabele: de groepsindeling
- Afhankelijke variabele: hopen, die voorspelt worden

Pre-registratie (3)

- In een pre-registratie worden voordat je begint met de data-verzameling alle relevantie
stappen en kenmerken v/h onderzoek dat je gaat uitvoeren vastgelegd. De beste pre-
registratie zou zijn een complete rapportage van je onderzoek waarin alleen de data-
verzameling, de data-analyse, en de conclusie van je onderzoek ontbreken
- M.b.t. ANOVA dienen minimaal de volgende zaken in een pre-registratie te zijn opgenomen:
o Aantal en welke groepen en aantal personen per groep (gebaseerd op een power-
analyse of als een eerste stap voor Bayesian updating)
o Beschrijving v/d afhankelijke variabele
o Wanneer jij vindt dat er sprake is van uitbijters, non-normaliteit, en
heteroscedasticiteit
o Wat te doen in het val van uitbijters, non-normaliteit, en/of heteroscedasticiteit
o Welke hypotheses er onderzocht gaan worden
o Hoeveel factoren er in je design zitten, of het within, between, of random factoren
zijn
- In je rapportage vermelden of je je aan de pre-registratie hebt gehouden
o Zo ja, dan is je onderzoek confirmatief (geen questionable research practices, geen
verhoogde kans op Type I fouten)
o Zo nee, dan is de empirische cirkel gebroken en is je onderzoek exploratief van
karakter of een pilot study. Daar is niets mee mis als dat eerlijk gerapporteerd wordt

Hypothese evalueren (5)

- NHST: Nulhypothese significatie toetsing
o P-waarde:
De p-waarde is de kans op het verschil in gemiddelde zoals gevonden in de
steekproef of een groter verschil, onder de aanname dat H 0 : μn et =μ wel waar is
i

m n et −mwel
o Cohen’s d ( i
):
p 00 lⅇd −sD
Het aantal standaard deviaties dat de 2 gemiddelde van elkaar verschillen

2

, o α (alfa):
Kans dat Type I Fout staat gebruikelijk op α=0.05. D.w.z., we accepteren een kans van
0.05 dat we H0 ten onrechte verwerpen
o Power:
De power (1 – kans op een Type II Fout) staat gebruikelijk op 0.80. D.w.z., we willen
een kans van 0.80 dat we H0 terecht verwerpen
o Poweranalyse:
Hoe groot moet mijn steekproef zijn, om mijn H0 te verwerpen als deze niet waar is




- Bayiaanse hypothese evaluatie
o I.p.v. een p-waarde, wordt de Bayes Factor (BF) gebruikt
 Bayes Factor:
BF0a geeft de relatieve steun in de data voor H 0 : μn et =μ wel versus
i

H a : μn et ≠ μ wel
i

 BF0a = 5  de steun in de data is 5x groter voor H0 dan voor Ha
 BF0a = 0.64  de steun in de data is 0.64x groter voor H0 dan Ha
 BFa0 = 1/0.64 = 1.50  1.50x meer steun voor Ha dan voor Ha
o Bayes Factor vuistregels:
BF0a = 1 De steun in de data voor H0 en Ha is
even groot
BF0a > 1 De steun in de data is voor H0
groter dan voor Ha
BF0a < 1 De steun in de data is voor H0
kleiner dan voor Ha




o Berekening BF:
 BF wordt berekend m.b.v. de fit (f0) en specifitiet (c0) v/d nulhypothese:
BF0a = f0/c0
 De fit wordt letterlijk en figuurlijk kleiner als de afstand tussen de
gemiddeldes toeneemt
o Specificatie v/d hypothese:
 Een goede hypothese is ook specifiek, want hoe preciezer de hypothese, hoe
duidelijker de voorspelling die een hypothese doet
 Zeer specifiek: precieze voorstellingen maken  H 0 : μn et =μ wel
i

 Minder specifiek: H0 : uwel > uniet
 Niet specifiek: Ha is in het geheel niet specifiek
o De BF wordt niet vergeleken met een grenswaarde (zoals 0.05 voor de p-waarde) om
een tot een beslissing tussen H0 of Ha te komen.
Dit remedie is tegen:


3