SAMENVATTING ONDERZOEKSMETHODEN EN DATAVERWERKING DEEL 2
M1
POWER
INFERENTIËLE STATISTIEK
• Populatie
• Steekproef
• Steekproefverdeling vd statistieken
o Lees module 6 v deel 1 nog eens door ter herhaling
POWER ANALYSE
• Wanneer aan de orde?
• Bij statistische significantie-toetsen
o Null-hypothese significance testing (NHST)
o H0 : geen effect
o Ha : wel effect (= Meestal de theorie)
§ NHST gas significant resultaat
• H0 kon verworpen w
• Ik ben blij, mijn onderzoek heeft meer kans om gepubliceerd te w (+
publicatiebias)
• Een reviewer zal waarschijnlijk niet vragen naar power
§ NHST gaf een niet-significant resultaat
• H0 kon niet verworpen w
• Er is geen effect in werkelijkheid
• De studie had te weinig power om het verschil te detecteren dat in
werkelijkheid aanwezig is
• Beoordelaars/reviewers vragen om een post-hoc power analyse
EFFECT SIZE
• PANE
o Power
o Alpha level of significance
o Number of subjects (sample size)
o Effect size
§ “The degree to which a phenomenon exists”
• Mate waarin correlatie tss 2 variabelen sterk is of niet
§ Aanduiding vd praktische belangrijkheid ve statistisch significante bevinding
• Omvang ve verschil tussen groepen; = 0 als de H0 juist is
• Omvang ve associatie ( r )
• Omvang vd variantie vd AV, verklaard door de OV ( r2 )
1
, § = Verschil tussen waarde in de H0 en waarde in de HA
§ = het (klinisch) gewenste verschil
§ p : geeft aan of een bevinding statistisch (toeval of niet) significant is (probability)
§ ES : = maatstaf vd praktische significantie (betekenisvol?)
§ als ES ↑ --> 1-β ↑
• Effect = dubbele (blauwe) pijl tss de 2 toppen vd curves
o Curves verder uit elkaar --> 𝛽 −level ↓ --> era onder oranje
curve vergroot --> meer power --> je kan vaker verschil
aantonen
o 𝛼 ↑ --> groene era ↑ --> kritische waarde verschuift nr L want
neemt toe (meer kans op type 1 fout, dus doen we meestal
niet) --> 𝛽 ↓ --> 1- 𝛽 ↑
EENZIJDIGE VS TWEEZIJDIGE TOETSEN
• 𝛼 --> 𝛼/2
• Kritische waarde verschuift naar R
• Era w kleiner
• 𝛽 −fouten risico groter
• Power gebied kleiner
ð Meestal tweezijdige toets want minder vaak type 1 fout
STEEKPROEFOMVANG EN VARIANTIE
• Gebruiken standaardfout v sampling distributie om
betrouwbaarheidsintervallen te estimeren:
o 𝐶𝐼!" = 𝑋- ± 1,96 ∗ 𝑆#
• Kritische waarde verlaagt (--> power stijgt) bij:
o Kleinere s
o ® Homogene subjecten (veralgemening ¯)
o ® Within-subjects designs
o Grotere n: steekproefomvang
• Kritische waarde(n) voor t-test; r,… zijn lager voor grotere samples (groter aantal vrijheidsgraden) -->
vb. Tabel voor kritische t-waarden (Appendix A-2)
ANDERE FACTOREN
• Normale verdeling in populatie?
• Welke statistische procedure?
• Power v parametrische toetsen ≥ distributievrije toetsen
• Betrouwbaarheid vd meetwaardes
• Welk design
o Power v within-subjects designs > between-subject designs
2
,POWER ANALYSE
• Power analyse: wat wil je weten (samenhang tussen power, alpha, sample size, effect size)?
• Als onderzoeker te bepalen:
o Hoe groot wens ik mogelijkheid/kans type I-fout (α) en type II-fout (β) te maken (relatieve
ernst v beide)?
o Vaak w ratio: 4:1 gehanteerd => als α = 0.05 --> β = 0.20
• Wat is dus mijn gewenste power (vb. 80%, als β = 0.20)
• Wat is mijn ‘gewenste’ ES, welk verschil/verband/effect wil ik kunnen aantonen
o Literatuur (zelfde onderzoek?): kennis vh onderzoeksdomein, literatuurstudie
o Via uitvoeren ve pilootstudie = beperkt aantal proefpersonen, evt. beperktere duur v
interventie --> geeft idee v te verwachten effecten
o Welke minimale ES is belangrijk, betekenisvol? 0,3 sec winst op sprint, 1 week snellere
werkhervatting na revalidatie,…
o ES in eenheden v standaarddeviaties voor groepsverschillen (zie module 2)
§ --> s moet gekend zijn (kan obv andere studies zijn, of a posteriori berekend w)
§ Kleine ES : d=0.20 s
§ Gemidd. ES : d=0.50 s
§ Grote ES : d=0.80 s
• G*Power
• ES --> d, 𝜔$ , 𝑓, 𝜂%$ , r, 𝜂$ , W, 𝜑, 𝑓 $
o !Controleren voor family-wise type I-error (multiple comparisons tests)
o Naast het rapporteren v p-waarden + interpretatie v significant of niet-significante resultaten
w meer en meer gevraagd om effect sizes te rapporteren alsook betrouwbaarheidsintervallen
(v effecten)
• Een onderzoeksdomein op zich…
o Onderzoek moet voldoende power hebben, anders niet zinvol om erin te investeren
• Bayesiaanse statistische data-analyse
o Zowel evidentie H0 en Ha in rekening brengen
o Wij doen frequentist statistische data-analyse --> onderzoeken H0 (verwerpen of niet)
M2
IS ER EEN VERSCHIL? T-TOETSEN
INLEIDING
• Tweezijdige toetsen
o Grote steekproeven
o Beter of slechter dan
o Meer conservatief, minder significant
• Degrees bij t-toetsen
o 1 degree --> 2-3 proefpersonen
o Hoe meer mensen, hoe meer degrees, hoe meer t-verdeling op standaard normale lijkt
§ Vanaf 30 mensen zijn ze gelijk
T-TOETS AKA STUDENT’S T-TOETS
• Inferentiele statistische toets
• Toetst of er een significant verschil is tussen gemiddelden
o Onafhankelijk/Ongepaard - Independent/Unpaired
o Afhankelijk/Gepaard – Dependant/Paired
• 1 groep, 2 groepen, meer dan 2 groepen?
3
, • Wat is de toets statistiek?
o Onderscheid groepen; alle bronnen v variantie
(vb. interventie, error)
o Variantie binnen groepen; alleen errorvariantie
• Willen we een hoge of lage t-waarde? --> Signal-to-noise ratio
• Hypotheses als je een verschil wilt aantonen?
o H0: 𝜇1 = 𝜇2
o H1: 𝜇1 ≠ 𝜇2 of 𝜇1 > 𝜇2 of 𝜇1 < 𝜇2
VOORWAARDEN
• Meetschaal variabele – NOIR
• Random steekproef
• Normale verdeling variabele – parametrische vs non-parametrische statistiek
• Gelijke varianties - homogeneity of variance (onafhankelijke t-toets)
• Onafhankelijkheid - De scores zijn onafhankelijk (onafhankelijke t-toets)
ONAFHANKELIJKE AKA ONGEPAARDE T-TOETS
• Stap 1: bereken de t-waarde
o Stap 1a: Bereken gepoolde variantie
o Stap 1b – Bereken standaard error vh verschil tussen gemiddelden
o Stap 1c – Bereken t-waarde
&&&&
# &&&&
! '# "
o 𝑡 =
($$$$
# %# $$$$
! "
§ Teller: verschil tussen steekproefgemiddelden
§ Noemer: standaard error v dat verschil (gepoolde variantie)
• Stap 2: vergelijk deze t-waarde met de kritische t-waarde
o De kritische t-waarde is afh v:
§ Je hypothese --> non-directional of directional?
§ Het aantal proefpersonen in je steekproef --> vrijheidsgraden
o Zoek kritische waarde / 𝛼 behorend bij de t-waarde op in t-tabel
o T-waarde is absoluut
§ Tweezijdig toetsen
§ Eenzijdig toetsen
• Richting verschil deel hypothese
• +/- wel v belang
• SPSS
o Levene’s test --> gelijke varianties?
§ Als varianties niet gelijk --> naar onderste rij (ouput SPSS) kijken
o Wat is p-waarde als varianties niet gelijk zijn?
o Groepsgrootte is belangrijk:
§ n1 = n2? --> t-toets ook bij ongelijke varianties nog wel valide
§ n1 ≠ n2 en variantie niet gelijk? --> t-ratio corrigeren (aanpassen df)
4
M1
POWER
INFERENTIËLE STATISTIEK
• Populatie
• Steekproef
• Steekproefverdeling vd statistieken
o Lees module 6 v deel 1 nog eens door ter herhaling
POWER ANALYSE
• Wanneer aan de orde?
• Bij statistische significantie-toetsen
o Null-hypothese significance testing (NHST)
o H0 : geen effect
o Ha : wel effect (= Meestal de theorie)
§ NHST gas significant resultaat
• H0 kon verworpen w
• Ik ben blij, mijn onderzoek heeft meer kans om gepubliceerd te w (+
publicatiebias)
• Een reviewer zal waarschijnlijk niet vragen naar power
§ NHST gaf een niet-significant resultaat
• H0 kon niet verworpen w
• Er is geen effect in werkelijkheid
• De studie had te weinig power om het verschil te detecteren dat in
werkelijkheid aanwezig is
• Beoordelaars/reviewers vragen om een post-hoc power analyse
EFFECT SIZE
• PANE
o Power
o Alpha level of significance
o Number of subjects (sample size)
o Effect size
§ “The degree to which a phenomenon exists”
• Mate waarin correlatie tss 2 variabelen sterk is of niet
§ Aanduiding vd praktische belangrijkheid ve statistisch significante bevinding
• Omvang ve verschil tussen groepen; = 0 als de H0 juist is
• Omvang ve associatie ( r )
• Omvang vd variantie vd AV, verklaard door de OV ( r2 )
1
, § = Verschil tussen waarde in de H0 en waarde in de HA
§ = het (klinisch) gewenste verschil
§ p : geeft aan of een bevinding statistisch (toeval of niet) significant is (probability)
§ ES : = maatstaf vd praktische significantie (betekenisvol?)
§ als ES ↑ --> 1-β ↑
• Effect = dubbele (blauwe) pijl tss de 2 toppen vd curves
o Curves verder uit elkaar --> 𝛽 −level ↓ --> era onder oranje
curve vergroot --> meer power --> je kan vaker verschil
aantonen
o 𝛼 ↑ --> groene era ↑ --> kritische waarde verschuift nr L want
neemt toe (meer kans op type 1 fout, dus doen we meestal
niet) --> 𝛽 ↓ --> 1- 𝛽 ↑
EENZIJDIGE VS TWEEZIJDIGE TOETSEN
• 𝛼 --> 𝛼/2
• Kritische waarde verschuift naar R
• Era w kleiner
• 𝛽 −fouten risico groter
• Power gebied kleiner
ð Meestal tweezijdige toets want minder vaak type 1 fout
STEEKPROEFOMVANG EN VARIANTIE
• Gebruiken standaardfout v sampling distributie om
betrouwbaarheidsintervallen te estimeren:
o 𝐶𝐼!" = 𝑋- ± 1,96 ∗ 𝑆#
• Kritische waarde verlaagt (--> power stijgt) bij:
o Kleinere s
o ® Homogene subjecten (veralgemening ¯)
o ® Within-subjects designs
o Grotere n: steekproefomvang
• Kritische waarde(n) voor t-test; r,… zijn lager voor grotere samples (groter aantal vrijheidsgraden) -->
vb. Tabel voor kritische t-waarden (Appendix A-2)
ANDERE FACTOREN
• Normale verdeling in populatie?
• Welke statistische procedure?
• Power v parametrische toetsen ≥ distributievrije toetsen
• Betrouwbaarheid vd meetwaardes
• Welk design
o Power v within-subjects designs > between-subject designs
2
,POWER ANALYSE
• Power analyse: wat wil je weten (samenhang tussen power, alpha, sample size, effect size)?
• Als onderzoeker te bepalen:
o Hoe groot wens ik mogelijkheid/kans type I-fout (α) en type II-fout (β) te maken (relatieve
ernst v beide)?
o Vaak w ratio: 4:1 gehanteerd => als α = 0.05 --> β = 0.20
• Wat is dus mijn gewenste power (vb. 80%, als β = 0.20)
• Wat is mijn ‘gewenste’ ES, welk verschil/verband/effect wil ik kunnen aantonen
o Literatuur (zelfde onderzoek?): kennis vh onderzoeksdomein, literatuurstudie
o Via uitvoeren ve pilootstudie = beperkt aantal proefpersonen, evt. beperktere duur v
interventie --> geeft idee v te verwachten effecten
o Welke minimale ES is belangrijk, betekenisvol? 0,3 sec winst op sprint, 1 week snellere
werkhervatting na revalidatie,…
o ES in eenheden v standaarddeviaties voor groepsverschillen (zie module 2)
§ --> s moet gekend zijn (kan obv andere studies zijn, of a posteriori berekend w)
§ Kleine ES : d=0.20 s
§ Gemidd. ES : d=0.50 s
§ Grote ES : d=0.80 s
• G*Power
• ES --> d, 𝜔$ , 𝑓, 𝜂%$ , r, 𝜂$ , W, 𝜑, 𝑓 $
o !Controleren voor family-wise type I-error (multiple comparisons tests)
o Naast het rapporteren v p-waarden + interpretatie v significant of niet-significante resultaten
w meer en meer gevraagd om effect sizes te rapporteren alsook betrouwbaarheidsintervallen
(v effecten)
• Een onderzoeksdomein op zich…
o Onderzoek moet voldoende power hebben, anders niet zinvol om erin te investeren
• Bayesiaanse statistische data-analyse
o Zowel evidentie H0 en Ha in rekening brengen
o Wij doen frequentist statistische data-analyse --> onderzoeken H0 (verwerpen of niet)
M2
IS ER EEN VERSCHIL? T-TOETSEN
INLEIDING
• Tweezijdige toetsen
o Grote steekproeven
o Beter of slechter dan
o Meer conservatief, minder significant
• Degrees bij t-toetsen
o 1 degree --> 2-3 proefpersonen
o Hoe meer mensen, hoe meer degrees, hoe meer t-verdeling op standaard normale lijkt
§ Vanaf 30 mensen zijn ze gelijk
T-TOETS AKA STUDENT’S T-TOETS
• Inferentiele statistische toets
• Toetst of er een significant verschil is tussen gemiddelden
o Onafhankelijk/Ongepaard - Independent/Unpaired
o Afhankelijk/Gepaard – Dependant/Paired
• 1 groep, 2 groepen, meer dan 2 groepen?
3
, • Wat is de toets statistiek?
o Onderscheid groepen; alle bronnen v variantie
(vb. interventie, error)
o Variantie binnen groepen; alleen errorvariantie
• Willen we een hoge of lage t-waarde? --> Signal-to-noise ratio
• Hypotheses als je een verschil wilt aantonen?
o H0: 𝜇1 = 𝜇2
o H1: 𝜇1 ≠ 𝜇2 of 𝜇1 > 𝜇2 of 𝜇1 < 𝜇2
VOORWAARDEN
• Meetschaal variabele – NOIR
• Random steekproef
• Normale verdeling variabele – parametrische vs non-parametrische statistiek
• Gelijke varianties - homogeneity of variance (onafhankelijke t-toets)
• Onafhankelijkheid - De scores zijn onafhankelijk (onafhankelijke t-toets)
ONAFHANKELIJKE AKA ONGEPAARDE T-TOETS
• Stap 1: bereken de t-waarde
o Stap 1a: Bereken gepoolde variantie
o Stap 1b – Bereken standaard error vh verschil tussen gemiddelden
o Stap 1c – Bereken t-waarde
&&&&
# &&&&
! '# "
o 𝑡 =
($$$$
# %# $$$$
! "
§ Teller: verschil tussen steekproefgemiddelden
§ Noemer: standaard error v dat verschil (gepoolde variantie)
• Stap 2: vergelijk deze t-waarde met de kritische t-waarde
o De kritische t-waarde is afh v:
§ Je hypothese --> non-directional of directional?
§ Het aantal proefpersonen in je steekproef --> vrijheidsgraden
o Zoek kritische waarde / 𝛼 behorend bij de t-waarde op in t-tabel
o T-waarde is absoluut
§ Tweezijdig toetsen
§ Eenzijdig toetsen
• Richting verschil deel hypothese
• +/- wel v belang
• SPSS
o Levene’s test --> gelijke varianties?
§ Als varianties niet gelijk --> naar onderste rij (ouput SPSS) kijken
o Wat is p-waarde als varianties niet gelijk zijn?
o Groepsgrootte is belangrijk:
§ n1 = n2? --> t-toets ook bij ongelijke varianties nog wel valide
§ n1 ≠ n2 en variantie niet gelijk? --> t-ratio corrigeren (aanpassen df)
4
