Onderzoeksmethoden en dataverwerking deel 2
Module 1 : data analyse – POWER
- Inferential statistics
Population
Sample Sampling distribution of the statistic
Evaluation
• Sample nemen en daarin statistische toets doen
• Spreiding is de standard error of mean (SEM) → hoe kleiner SEM = hoe kleiner variabiliteit
• Betrouwbaarheidsinterval → Onzekerheid kleiner, bij kleiner interval
- Power Analyse
Wanneer doen we dit ? Bij statistisch significante toetsen !!
Nulhypothese toetsen → H0 is meestal dat er geen effect is of geen verschil
Bedoeling dus om H0 te verwerpen
Wanneer je geen verschil vind, gaat revieuwer u vragen om post-hoc dan een POWER analyse te
doen ➔ Post-hoc is na de studie, je doet dit beter al voor de studie
POWER = de kans om een verschil te vinden als er een verschil aanwezig is
TRUTH TABEL
In werkelijkheid H0 = waar H0 = vals
(onze theorie is fout) (onze theorie is juist)
Ons besluit
POWER
H0 verwerpen Type 1 fout (𝛼) (1-𝛽)
= 0,05 = 0,80
= Er is een verschil en in werkelijkheid is er een verschil
Betrouwbaarheidsinterval Type 2 fout (𝛽)
H0 behouden = 0,95 = 0,20
Buiten betrouwbaarheidsinterval
= reject H0
1
, Blauw = als H0 waar is (central distribution)
Oranje = H0 is vals (noncentral distribution)
Non-centrality parameter NCP = hoe ver ze van elkaar liggen
(1- 𝛼) = (1-type 1 fout) = betrouwbaarheidsinterval
(1-β) = (1-type 2 fout) = POWER
In werkelijkheid H0 = waar H0 = vals
Ons besluit
H0 verwerpen TYPE 1 FOUT POWER
H0 behouden Betrouwbaarheidsinterval TYPE 2 FOUT
- Power analyse
• P → Power (1-𝛽)
• A → Alpha level of significance
• N → Number of subjects (sample size)
• E → Effect size
- Effect size
= is een statistische maat voor hoe sterk het effect van een handeling is vergeleken met een
andere populatie waarop die handeling niet wordt toegepast (controle)
Als de nulhypothese juist is = effect size = 0 ➔ omvang van verschil tussen groepen
r = omvang van de associatie & r ² = omvang van de variantie van de AV, verklaard door OV
2
,verschil met P-waarde → is een probability, terwijl effect size een maat is voor de betekenisvolheid
van een begrip
ES = power
Grotere ES → curves gaan verder uit elkaar (𝛽 wordt kleiner en dus een grotere power)
Als 𝛼 , dan 𝛽 en dan POWER = want kritische waarde schuift op naar links !!
T-toetsen → aftoetsen met kritische T-waarde
Vanaf T-waarde groter dan kritische T-waarde → grotere P-value
Kritische waarde nog hoger → kleinere power (type 2 fout neemt toe)
Tweezijdig toetsen heeft lagere power dan eenzijdig!!!
Want kritische waarde schuift bij tweezijdig op naar links waardoor grotere type 2 fout
- Steekproefomgang en variantie
• Gebruiken standaardfout van sampling distributie om betrouwbaarheidsintervallen te
estimeren
• Kritische waarde verlaagd ➔ power stijgt ➔ bij :
▪ Kleinere s
▪ Homogene subjecten (kleinere variaties zorgen voor kleiner interval)
▪ Within subjects designs → variabiliteit verkleinen (zelfde patiëntengroep gebruiken)
▪ Grotere n : steekproefomvang
• Kritische waarde voor t-test; r, …zijn lager voor grotere samples ➔ hogere power, kleiner
betrouwbaarheidsinterval
N en/of ơ
Grotere power!!
- Andere factoren
• Normale verdeling in de populatie ? distributievrije toetsen moeten niet normaal verdeeld
zijn
• Welke statistische procedure ?
Power v/d parametrische toetsen > distributievrije toetsen
• Betrouwbaarheid van de meetwaardes
• Welk design
Power van within subject designs > between-subject design !! lagere variabiliteit
3
, - Estimatie van de power
Als onderzoeker te bepalen :
- hoe groot wens ik kans dat type I fout/ type II maak
Meestal hanteert men = Type I-fout VS Type II-fout ➔ Ratio 4 : 1 (0,05 en 0,20)
- Wat is gewenste power ? als B = 0,20 → 80%
- Wat is gewenste ‘effect size’
ES uitgedrukt in eenheden van SD :
• Kleine ES : 0,20 s
• Gemiddelde ES : 0,50 s
• Grote ES : 0,80 s
- Power analyse
T-toets uitrekenen met formule of SPSS
Kritische waarde bekijken adhv vrijheidsgraden
H0 verwerpen indien t-waarde groter dan kritische waarde
H0 verwerpen indien P-value onder 0,05
Ook Effect size rapporteren naast P-value om betekenis van verschil te duiden !!
- Bayesiaanse statistische data-analyse
Bayesiaanse statistische data-analyse → naast nulhypothese ook kijken alternatieve hypothese
Probabiliteit/evidentie voor H0 wordt afgewogen tov evidentie voor H1
Niet zo een hele sterke evidentie voor alternatieve hypothese, maar wel groter dan H0
4
Module 1 : data analyse – POWER
- Inferential statistics
Population
Sample Sampling distribution of the statistic
Evaluation
• Sample nemen en daarin statistische toets doen
• Spreiding is de standard error of mean (SEM) → hoe kleiner SEM = hoe kleiner variabiliteit
• Betrouwbaarheidsinterval → Onzekerheid kleiner, bij kleiner interval
- Power Analyse
Wanneer doen we dit ? Bij statistisch significante toetsen !!
Nulhypothese toetsen → H0 is meestal dat er geen effect is of geen verschil
Bedoeling dus om H0 te verwerpen
Wanneer je geen verschil vind, gaat revieuwer u vragen om post-hoc dan een POWER analyse te
doen ➔ Post-hoc is na de studie, je doet dit beter al voor de studie
POWER = de kans om een verschil te vinden als er een verschil aanwezig is
TRUTH TABEL
In werkelijkheid H0 = waar H0 = vals
(onze theorie is fout) (onze theorie is juist)
Ons besluit
POWER
H0 verwerpen Type 1 fout (𝛼) (1-𝛽)
= 0,05 = 0,80
= Er is een verschil en in werkelijkheid is er een verschil
Betrouwbaarheidsinterval Type 2 fout (𝛽)
H0 behouden = 0,95 = 0,20
Buiten betrouwbaarheidsinterval
= reject H0
1
, Blauw = als H0 waar is (central distribution)
Oranje = H0 is vals (noncentral distribution)
Non-centrality parameter NCP = hoe ver ze van elkaar liggen
(1- 𝛼) = (1-type 1 fout) = betrouwbaarheidsinterval
(1-β) = (1-type 2 fout) = POWER
In werkelijkheid H0 = waar H0 = vals
Ons besluit
H0 verwerpen TYPE 1 FOUT POWER
H0 behouden Betrouwbaarheidsinterval TYPE 2 FOUT
- Power analyse
• P → Power (1-𝛽)
• A → Alpha level of significance
• N → Number of subjects (sample size)
• E → Effect size
- Effect size
= is een statistische maat voor hoe sterk het effect van een handeling is vergeleken met een
andere populatie waarop die handeling niet wordt toegepast (controle)
Als de nulhypothese juist is = effect size = 0 ➔ omvang van verschil tussen groepen
r = omvang van de associatie & r ² = omvang van de variantie van de AV, verklaard door OV
2
,verschil met P-waarde → is een probability, terwijl effect size een maat is voor de betekenisvolheid
van een begrip
ES = power
Grotere ES → curves gaan verder uit elkaar (𝛽 wordt kleiner en dus een grotere power)
Als 𝛼 , dan 𝛽 en dan POWER = want kritische waarde schuift op naar links !!
T-toetsen → aftoetsen met kritische T-waarde
Vanaf T-waarde groter dan kritische T-waarde → grotere P-value
Kritische waarde nog hoger → kleinere power (type 2 fout neemt toe)
Tweezijdig toetsen heeft lagere power dan eenzijdig!!!
Want kritische waarde schuift bij tweezijdig op naar links waardoor grotere type 2 fout
- Steekproefomgang en variantie
• Gebruiken standaardfout van sampling distributie om betrouwbaarheidsintervallen te
estimeren
• Kritische waarde verlaagd ➔ power stijgt ➔ bij :
▪ Kleinere s
▪ Homogene subjecten (kleinere variaties zorgen voor kleiner interval)
▪ Within subjects designs → variabiliteit verkleinen (zelfde patiëntengroep gebruiken)
▪ Grotere n : steekproefomvang
• Kritische waarde voor t-test; r, …zijn lager voor grotere samples ➔ hogere power, kleiner
betrouwbaarheidsinterval
N en/of ơ
Grotere power!!
- Andere factoren
• Normale verdeling in de populatie ? distributievrije toetsen moeten niet normaal verdeeld
zijn
• Welke statistische procedure ?
Power v/d parametrische toetsen > distributievrije toetsen
• Betrouwbaarheid van de meetwaardes
• Welk design
Power van within subject designs > between-subject design !! lagere variabiliteit
3
, - Estimatie van de power
Als onderzoeker te bepalen :
- hoe groot wens ik kans dat type I fout/ type II maak
Meestal hanteert men = Type I-fout VS Type II-fout ➔ Ratio 4 : 1 (0,05 en 0,20)
- Wat is gewenste power ? als B = 0,20 → 80%
- Wat is gewenste ‘effect size’
ES uitgedrukt in eenheden van SD :
• Kleine ES : 0,20 s
• Gemiddelde ES : 0,50 s
• Grote ES : 0,80 s
- Power analyse
T-toets uitrekenen met formule of SPSS
Kritische waarde bekijken adhv vrijheidsgraden
H0 verwerpen indien t-waarde groter dan kritische waarde
H0 verwerpen indien P-value onder 0,05
Ook Effect size rapporteren naast P-value om betekenis van verschil te duiden !!
- Bayesiaanse statistische data-analyse
Bayesiaanse statistische data-analyse → naast nulhypothese ook kijken alternatieve hypothese
Probabiliteit/evidentie voor H0 wordt afgewogen tov evidentie voor H1
Niet zo een hele sterke evidentie voor alternatieve hypothese, maar wel groter dan H0
4
