Onderzoeksmethode en analyse
Data analyse : Power
INFERTENTIAL STATISTICS
• Inferentieële statistiek = op basis van de steekproef ( selectie van de populatie ) gaan we een uitspraak doen
over de populatie
• Bias = vertekening ( externe factoren ) in de sample waardoor we geen juiste conclusie kunnen trekken
• Sample distribution of the mean= brengt de bias in de sample in beeld
• We gaan het sample bestuderen, beschrijven en evalueren
• Adhv van sampling distribution of statistics gaan we uitspraken doen over de volledige populatie
o Standard error off mean = en normaal distributie met een standaard deviatie waar we het sample
vergelijken met de populatie
• N = totaal aantal proefpersonen in een steekproef
• n = totaal aantal proefpersonen in elke groep
o hoe groter n hoe smakker de curve
• percentages zijn handig voor het beschrijven van verdelingen omdat ze onafhankelijk zijn van de
steekproefomvang
• Betrouwbaarheidsinterval = we kunnen binnen de normaalcurve een regio afbakenen waar we met …%
(meestal 95%) zekerheid kunnen zeggen dat het gemiddelde van de sample (x̄) gelijk is aan het gemiddelde
van de populatie (μ). De z-waarden zijn de waarden die dit interval afbakenen.
De standaarddeviatie of standaardafwijking (σ) is een maat voor de spreiding van aan
variabele/verdeling/populatie.
POWER ANALYSE
• Wanneer? → bij statistische significantie toetsen, we gaan een nul hypothese formuleren
o Null-hypothesis significance testing ( NHST )
▪ H0 : geen effect
▪ HA : wel een effect ( = meestal de theorie )
o Mogelijke uitkomsten ( vergelijk de verkregen waarde met de kritische waarde
1. De NHST geeft significant resultaat = H0 kan verworpen worden
a. I’m happy, my study has more potential to get published (+ publication bias)
b. a reviewer probably won’t ask about power
2. De NHST geeft geen significant resultaat : H0 kan niet verworpen worden
a. there is no effect in reality
b. the study was under-powered to detect the difference that is present in reality
c. reviewers ask for a post-hoc power analysis
→ je kan dit vermijden door een a priori power analyse te doen
DISTRIBUTIE
• Centrale distributie : H0 is waar : Δ = 0
• Non- Centrale distributie : H0 is vals : Δ > 0
o Deze zou ook langs de linker kant van de
blauwe grafiek kunnen liggen
• Non-centrality parameter NCP
o Afstand tussen de 2 curves = het verschil
tussen central en non-central 0→ Δ
,UITKOMST VS WERKELIJKHEID
H0 is waar, er is geen effect, onze theorie H0 is vals, er is een effect, onze theorie is correct
is fout
We verwerpen TYPE 1 FOUT : α POWER 1- β
H0: er is wel een De kans dat we De kans dat we zeggen dat
effect, onze zeggen dat er een er een effect is, wanneer
theorie is correct effect is, wanneer er er inderdaad een effect
in feite geen effect is(80 kansen op 100) De
is (5 kansen op 100) (kans een effect te kans dat onze theorie CORRECT bevestigd wordt
vinden door toeval) De kans dat onze De power is hoog als de 2 distributies ver uit
theorie TEN ONRECHTE bevestigd wordt elkaar liggen
VALS POSITIEF (YES SHOULD BE NO )
We kunnen H0 HET BETROUWBAARHEIDSINTERVAL TYPE 2 FOUT : β
niet verwerpen : 1–α De kans dat we zeggen
er is geen effect, De kans dat we dat er geen effect is,
onze theorie is zeggen dat er geen wanneer er in feite wel
fout effect is, wanneer een effect is (20 kansen
er in feite geen op 100)
effect is (95 kansen op 100) De kans dat onze theorie TEN ONRECHTE niet
De kans dat onze theorie CORRECT niet bevestigd wordt
bevestigd wordt Hoe sterker een test is, hoe kleiner de kans op
TYPE II
VALS NEGATIEF (NO SHOULD BE YES )
DETERMINANTEN
Significantieniveau α
• =aannemlijkheid dat een bepaalde correlatie niet op toeval berust
• TYPE 1 fout
• Meestal 5% of 1%
• Wanneer we het Alfa level naar boven brengen zien we dat toch een
significantie kunnen hebben
• EFFECT
o A stijging → Kritische waarde meer naar 0 → Daling β
→ stijging POWER
Effect size
• Hoe groot het verschil is/ hoe sterk het verband is dat je wil gaan onderzoeken
• Het is een maat voor de mate waarin dat de nulhypothese onjuist is.
• Praktische relevantie van het verschil ( niet het statistische effect ervan )
• Aanduiding van de praktische belangrijkheid van een statistisch significante bevinding
o omvang van een verschil tussen groepen; = 0 als de H0 juist is
o omvang van een associatie ( r )
o omvang van de variantie van de AV, verklaard door de OV ( R² )
• = verschil tussen de waarde in de H0 en de waarde in de HA ( tussen
steekproefgemiddelden )
• = het (klinisch) gewenste verschil
o P value : geeft aan of een bevinding statistisch (toeval of niet)
significant is
o Effect size : maatstaf van de praktische significantie
(betekenisvol?)
• EFFECT
o ES stijging → Vergroten NCP → Daling β → stijging POWER
,Eenzijdig versus tweezijdig toetsen
• Tweezijdig : je weet niet aan welke kant het verschil gaat zijn → 2 kritische
waardes
o α wordt verdeelt over de 2 staarten waardoor deze α/2 is : 2 keer
2.5%
o Het wordt moeilijker om een effect weer te geven omdat de T waarde
groter moet zijn
• Eenzijdig : je weet wel aan welke kant het verschil gaat zijn → 1 kritische
waarde
o α Is 5% ( maar 1 staart )
• EFFECT
o Tweezijdig toetsen → stijging β →daling van POWER
Steekproefomvang en variantie
• We gebruiken de ‘standard error of the mean’ van de sampling distributie om de
betrouwbaarheidsintervallen te estimeren
o
• Bij het verlagen van de kritische verlagen → stijging POWER ( makkelijker H0 verwerpen ) bij
o Kleinere variabiliteit ( S )
▪ homogene subjecten
▪ within subjects designs
o grotere n : steekproef omvang
➔sample distribution wordt smaller
• EFFECT
o Stijging n of daling s → stijging van POWER
Andere factoren
• Geen normaal verdeelde data : distributievrije toetsen → minder POWER
• betrouwbaarheid
o Alles wat ruis is op de meetwaardes ( Bias, minder betrouwbaar ) : meer variabiliteit → minder
POWER
• Soort desing
o POWER Within-subjects designs > POWER between- subject designs
UITKOMSTEN VAN POWER ANALYSE
• DOEL
o De steekproefomvang te schatten tijdens de planningsfase van het onderzoek : a priori analyse
o De kans bepalen dat een Type II fout is gemaakt wanneer een onderzoek niet significant is
• Samenhang tussen POWER, alpha, Sample size en Effect size
• Als onderzoeker te bepalen:
o Hoe groot wens ik mogelijkheid/kans type I-fout (α) en type II-fout (β) te maken (relatieve ernst )
o Vaak wordt ratio: 4:1 gehanteerd → als α = 0.05 → β = 0.20 ( licht niet vast )
• Wat is dus mijn gewenste power (vb. 80%, als β = 0.20)
• Wat is mijn ‘gewenste’ ES, welk verschil/verband/effect wil ik kunnen aantonen → hoe relevant is de
wijziging door het onderzoek vb. bij sprinten heeft een klein verschil een grotere relevantie
o literatuur (zelfde onderzoek?): kennis van het onderzoeksdomein, literatuurstudie
o uitvoeren pilootstudie
▪ = beperkt aantal proefpersonen, evt. beperktere duur van interventie → geeft idee van te
verwachten effecten
o ES in eenheden van standaarddeviaties voor groepsverschillen (zie module 2)
▪ ES = ( Gemiddelde1 – Gemiddelde 2 ) / ( gemiddelde standaarddeviatie ) = ( X1-X2) /s
▪ → standaard deviatie s moet gekend zijn (kan op basis van andere studies zijn, of a
posteriori berekend worden)
• kleine ES : d=0.20 s ( = 20% van de standaarddeviatie )
• gemidd. ES : d=0.50 s
• grote ES : d=0.80 s
, VOORBEELD VAN EEN POWER ANALYSE
• Nieuwe handspalk: knijpkrachtwinst: X: 10.11 lbs, s: 3.72, n=10
• Normale handspalk: knijpkrachtwinst: X: 5.45 lbs, s: 3.95, n=10
• (t-waarde: 2.718; tcrit(18), α2=0.05= 2.101, p-waarde: 0.014)
o Verschil van 4.66 lbs → E.S.: (10.11-5.45)/3.83= 1.22= d ! Very large
• (Spooled = √((3.72)²+ (3.95)²)/2 = 3.83)
• Wat was de power van deze test setup? → 73%
• Wat indien de individuele toenames in knijpkrachtwinst meer zouden variëren (factor 2)?
• Hoeveel proefpersonen zouden er nodig zijn indien de E.S. d=0.5 zou zijn?
• Ik zou nog 10 proefpersonen bij kunnen includeren in beide groepen, wat is dan de minimale effect size die
ik zou kunnen aantonen?
BAYESIAANSE STATISTISCHE DATA ANALYSE
• Deze cursus past “frequentist” statistische data-analyse toe waar null-hypothesis significance testing
centraal staat
• Recentere ontwikkelingen hanteren Bayesiaanse statistische data-analyse
o Ze vertrekken vanuit data en gaan de 2 hypotheses afwegen → je krijgt een bayesiaanse factor
o Wat is de evidentie dat de data beter past bij de H0 of HA → we gaan dit in een taart grafiek gieten
Data analyse : Power
INFERTENTIAL STATISTICS
• Inferentieële statistiek = op basis van de steekproef ( selectie van de populatie ) gaan we een uitspraak doen
over de populatie
• Bias = vertekening ( externe factoren ) in de sample waardoor we geen juiste conclusie kunnen trekken
• Sample distribution of the mean= brengt de bias in de sample in beeld
• We gaan het sample bestuderen, beschrijven en evalueren
• Adhv van sampling distribution of statistics gaan we uitspraken doen over de volledige populatie
o Standard error off mean = en normaal distributie met een standaard deviatie waar we het sample
vergelijken met de populatie
• N = totaal aantal proefpersonen in een steekproef
• n = totaal aantal proefpersonen in elke groep
o hoe groter n hoe smakker de curve
• percentages zijn handig voor het beschrijven van verdelingen omdat ze onafhankelijk zijn van de
steekproefomvang
• Betrouwbaarheidsinterval = we kunnen binnen de normaalcurve een regio afbakenen waar we met …%
(meestal 95%) zekerheid kunnen zeggen dat het gemiddelde van de sample (x̄) gelijk is aan het gemiddelde
van de populatie (μ). De z-waarden zijn de waarden die dit interval afbakenen.
De standaarddeviatie of standaardafwijking (σ) is een maat voor de spreiding van aan
variabele/verdeling/populatie.
POWER ANALYSE
• Wanneer? → bij statistische significantie toetsen, we gaan een nul hypothese formuleren
o Null-hypothesis significance testing ( NHST )
▪ H0 : geen effect
▪ HA : wel een effect ( = meestal de theorie )
o Mogelijke uitkomsten ( vergelijk de verkregen waarde met de kritische waarde
1. De NHST geeft significant resultaat = H0 kan verworpen worden
a. I’m happy, my study has more potential to get published (+ publication bias)
b. a reviewer probably won’t ask about power
2. De NHST geeft geen significant resultaat : H0 kan niet verworpen worden
a. there is no effect in reality
b. the study was under-powered to detect the difference that is present in reality
c. reviewers ask for a post-hoc power analysis
→ je kan dit vermijden door een a priori power analyse te doen
DISTRIBUTIE
• Centrale distributie : H0 is waar : Δ = 0
• Non- Centrale distributie : H0 is vals : Δ > 0
o Deze zou ook langs de linker kant van de
blauwe grafiek kunnen liggen
• Non-centrality parameter NCP
o Afstand tussen de 2 curves = het verschil
tussen central en non-central 0→ Δ
,UITKOMST VS WERKELIJKHEID
H0 is waar, er is geen effect, onze theorie H0 is vals, er is een effect, onze theorie is correct
is fout
We verwerpen TYPE 1 FOUT : α POWER 1- β
H0: er is wel een De kans dat we De kans dat we zeggen dat
effect, onze zeggen dat er een er een effect is, wanneer
theorie is correct effect is, wanneer er er inderdaad een effect
in feite geen effect is(80 kansen op 100) De
is (5 kansen op 100) (kans een effect te kans dat onze theorie CORRECT bevestigd wordt
vinden door toeval) De kans dat onze De power is hoog als de 2 distributies ver uit
theorie TEN ONRECHTE bevestigd wordt elkaar liggen
VALS POSITIEF (YES SHOULD BE NO )
We kunnen H0 HET BETROUWBAARHEIDSINTERVAL TYPE 2 FOUT : β
niet verwerpen : 1–α De kans dat we zeggen
er is geen effect, De kans dat we dat er geen effect is,
onze theorie is zeggen dat er geen wanneer er in feite wel
fout effect is, wanneer een effect is (20 kansen
er in feite geen op 100)
effect is (95 kansen op 100) De kans dat onze theorie TEN ONRECHTE niet
De kans dat onze theorie CORRECT niet bevestigd wordt
bevestigd wordt Hoe sterker een test is, hoe kleiner de kans op
TYPE II
VALS NEGATIEF (NO SHOULD BE YES )
DETERMINANTEN
Significantieniveau α
• =aannemlijkheid dat een bepaalde correlatie niet op toeval berust
• TYPE 1 fout
• Meestal 5% of 1%
• Wanneer we het Alfa level naar boven brengen zien we dat toch een
significantie kunnen hebben
• EFFECT
o A stijging → Kritische waarde meer naar 0 → Daling β
→ stijging POWER
Effect size
• Hoe groot het verschil is/ hoe sterk het verband is dat je wil gaan onderzoeken
• Het is een maat voor de mate waarin dat de nulhypothese onjuist is.
• Praktische relevantie van het verschil ( niet het statistische effect ervan )
• Aanduiding van de praktische belangrijkheid van een statistisch significante bevinding
o omvang van een verschil tussen groepen; = 0 als de H0 juist is
o omvang van een associatie ( r )
o omvang van de variantie van de AV, verklaard door de OV ( R² )
• = verschil tussen de waarde in de H0 en de waarde in de HA ( tussen
steekproefgemiddelden )
• = het (klinisch) gewenste verschil
o P value : geeft aan of een bevinding statistisch (toeval of niet)
significant is
o Effect size : maatstaf van de praktische significantie
(betekenisvol?)
• EFFECT
o ES stijging → Vergroten NCP → Daling β → stijging POWER
,Eenzijdig versus tweezijdig toetsen
• Tweezijdig : je weet niet aan welke kant het verschil gaat zijn → 2 kritische
waardes
o α wordt verdeelt over de 2 staarten waardoor deze α/2 is : 2 keer
2.5%
o Het wordt moeilijker om een effect weer te geven omdat de T waarde
groter moet zijn
• Eenzijdig : je weet wel aan welke kant het verschil gaat zijn → 1 kritische
waarde
o α Is 5% ( maar 1 staart )
• EFFECT
o Tweezijdig toetsen → stijging β →daling van POWER
Steekproefomvang en variantie
• We gebruiken de ‘standard error of the mean’ van de sampling distributie om de
betrouwbaarheidsintervallen te estimeren
o
• Bij het verlagen van de kritische verlagen → stijging POWER ( makkelijker H0 verwerpen ) bij
o Kleinere variabiliteit ( S )
▪ homogene subjecten
▪ within subjects designs
o grotere n : steekproef omvang
➔sample distribution wordt smaller
• EFFECT
o Stijging n of daling s → stijging van POWER
Andere factoren
• Geen normaal verdeelde data : distributievrije toetsen → minder POWER
• betrouwbaarheid
o Alles wat ruis is op de meetwaardes ( Bias, minder betrouwbaar ) : meer variabiliteit → minder
POWER
• Soort desing
o POWER Within-subjects designs > POWER between- subject designs
UITKOMSTEN VAN POWER ANALYSE
• DOEL
o De steekproefomvang te schatten tijdens de planningsfase van het onderzoek : a priori analyse
o De kans bepalen dat een Type II fout is gemaakt wanneer een onderzoek niet significant is
• Samenhang tussen POWER, alpha, Sample size en Effect size
• Als onderzoeker te bepalen:
o Hoe groot wens ik mogelijkheid/kans type I-fout (α) en type II-fout (β) te maken (relatieve ernst )
o Vaak wordt ratio: 4:1 gehanteerd → als α = 0.05 → β = 0.20 ( licht niet vast )
• Wat is dus mijn gewenste power (vb. 80%, als β = 0.20)
• Wat is mijn ‘gewenste’ ES, welk verschil/verband/effect wil ik kunnen aantonen → hoe relevant is de
wijziging door het onderzoek vb. bij sprinten heeft een klein verschil een grotere relevantie
o literatuur (zelfde onderzoek?): kennis van het onderzoeksdomein, literatuurstudie
o uitvoeren pilootstudie
▪ = beperkt aantal proefpersonen, evt. beperktere duur van interventie → geeft idee van te
verwachten effecten
o ES in eenheden van standaarddeviaties voor groepsverschillen (zie module 2)
▪ ES = ( Gemiddelde1 – Gemiddelde 2 ) / ( gemiddelde standaarddeviatie ) = ( X1-X2) /s
▪ → standaard deviatie s moet gekend zijn (kan op basis van andere studies zijn, of a
posteriori berekend worden)
• kleine ES : d=0.20 s ( = 20% van de standaarddeviatie )
• gemidd. ES : d=0.50 s
• grote ES : d=0.80 s
, VOORBEELD VAN EEN POWER ANALYSE
• Nieuwe handspalk: knijpkrachtwinst: X: 10.11 lbs, s: 3.72, n=10
• Normale handspalk: knijpkrachtwinst: X: 5.45 lbs, s: 3.95, n=10
• (t-waarde: 2.718; tcrit(18), α2=0.05= 2.101, p-waarde: 0.014)
o Verschil van 4.66 lbs → E.S.: (10.11-5.45)/3.83= 1.22= d ! Very large
• (Spooled = √((3.72)²+ (3.95)²)/2 = 3.83)
• Wat was de power van deze test setup? → 73%
• Wat indien de individuele toenames in knijpkrachtwinst meer zouden variëren (factor 2)?
• Hoeveel proefpersonen zouden er nodig zijn indien de E.S. d=0.5 zou zijn?
• Ik zou nog 10 proefpersonen bij kunnen includeren in beide groepen, wat is dan de minimale effect size die
ik zou kunnen aantonen?
BAYESIAANSE STATISTISCHE DATA ANALYSE
• Deze cursus past “frequentist” statistische data-analyse toe waar null-hypothesis significance testing
centraal staat
• Recentere ontwikkelingen hanteren Bayesiaanse statistische data-analyse
o Ze vertrekken vanuit data en gaan de 2 hypotheses afwegen → je krijgt een bayesiaanse factor
o Wat is de evidentie dat de data beter past bij de H0 of HA → we gaan dit in een taart grafiek gieten
