Onderzoeksmethoden en
dataverwerking: deel 2
1. Data-analyse: Power
Definitie van statistische interferentie
Statistische interferentie: besluitvormingsproces dat ons in staat stelt onbekende
populatiekenmerken te schatten op basis van steekproefgegevens
=> Vanuit een steekproef kan je iets zeggen over de populatie
Gebruik:
- Hypotheses testen
- Relaties tussen variabelen onderzoeken
- Schatten van populatieparameters
- Gedrag van steekproeven generaliseren naar een populatie
!! Dit is alleen zinvol als de steekproef een redelijke afspiegeling is van de populatie + als de
eigenschappen van de steekproefverdeling bekend zijn
Het belang van power en powerberekeningen in een onderzoek
Power analyse: berekent het nodige aantal proefpersonen (sample size) van een studie om een
vooraf gedefinieerd minimaal klinisch relevant verschil met een bepaalde kans (power) waar te
nemen.
-> Aan de orde bij statistische significantie-toetsen : Null-hypothesis significance testind (NHST)
(*) Nulhypothese H0 : er is geen effect -> indien NHST sign. Resultaat geeft dan H 0 verwerpen
Alternatieve hypothese HA: er is wel een effect
Type 1 en type 2 fouten
H0 waar H0 niet waar
H0 verwerpen Type 1 fout (α): Power (1-β):
Kans dat we zeggen dat er een Kans dat we zeggen dat er een
effect is wanneer er in feite effect is wanneer er inderdaad
geen effect is (kans om een een effect is
effect te vinden door toeval) => Kans dat de theorie correct
=> Kans dat de theorie ten wordt bevestigd
onrechte bevestigd wordt
H0 niet verwerpen Betrouwbaarheidsinterval Type 2 fout (β):
(1-α): Kans dat we zeggen dat er geen
Kans dat we zeggen dat er effect is wanneer er in feite wel
geen effect is wanneer er ook een effect is
echt geen effect is => Kans dat de theorie ten
=> Kans dat de theorie correct onrechte bevestigd wordt
niet bevestigd wordt
1
, 1-β: H0 i vals dus H0 terecht kunnen verwerpen
α-fout: zeggen dat er een effect is terwijl deze er in
werkelijkheid niet is (resultaat groter dan de
kritische waarde)
β-fout: zeggen dat er geen effect is terwijl dat er in
werkelijkheid wel is (resultaat lager dan de kritische
waarde bekomen)
Definitie van statistische power
Statistische power: kans dat een statistische toets een effect detecteert dat daadwerkelijk aanwezig
is (bv een correlatie, causale relatie of verschil tussen groepen)
Power = 1 – β => 1 – kans op het ten onrechte accepteren van H 0
=> kans om een daadwerkelijk effect in de populatie op te pikken
Begrippen
Central distribution: sampling distributie als H0 waar is (geen
verschil/effect)
Non-central distribution : sampling distributie als H0 vals is
(verschil > 0). Geeft de verdeling weer van de opgemerkte
verschillen (er is in werkelijkheid dus een verschil/verband
tussen de 2 groepen)
Non-centrality parameters (NPC of λ): een maat voor de mate waarin een nulhypothese onjuist is.
Het zegt dus iets over de statistische power van een test
Verschil tussen a priori en post hoc analyse
A priori analyse: sample size/steekproefomvang bepalen
- “Hoeveel deelnemers zijn er nodig?”
Post hoc analyse: power bepalen
- Bepalen ahv effect size, gebruikte level of significance en gebruikte sample size
Verschillende determinanten van statistische power
PANE
- P = Power (1-β)
- A = α level of significance
- N = number of subjects (sample size)
- E = effect size
2
,Power: kans om geen type 2 fout te maken
- Kan bepaald/gemeten worden na het voltooien van een statistische analyse
- 1-β = 0,80 (=> 20% kans dat je een werkelijk aanwezig effect zou missen)
Significantieniveau α: kans om een type 1 fout te maken
- α = 0,05 (=> 5% kans op fout positief)
- Indien α groter: H0 makkelijker onterecht verwerpen
Sample size: aantal deelnemers
- Hoe groter de sample, hoe groter de power (want kleinere sample is gevoeliger voor
uitschieters)
- Standaardfout van sampling distributie gebruiken om betrouwbaarheidsgeval te bepalen
S
SX= -> CI 95=X ± 1,96∗S X
√n
- Kritische waarde verlagen => power zal toenemen
o Kleinere S
=> S X wordt kleiner
o Grotere n
- => power zal toenemen bij lagere variantie σ ok bij grotere steekproefomvang n
Effect size: mate waarin H0 fout is
- Geeft weer in welke mate een bepaald verschil bestaat + duidt de belangrijkheid van
significante bevindingen aan
- ES = afstand tussen de 2 curves H0 en HA
- Klinisch gewenste verschil/Hoeveel verschil wil je vaststellen om het relevant te vinden?
o P: geeft aan of een bevinding statistisch significant is (Sign. Indien p < 0,05)
o ES: betekenisvol verschil proberen aan te duiden
- Indien ES stijgt => power zal toenemen
- ES uitdrukken in eenheden van standaarddeviaties voor groepsverschillen
o Kleine ES: 0,20 std
o Gemiddelde ES: 0,50 std
o Grote ES: 0,80 std
Grotere effect size:
- Curves liggen verder uit elkaar
- β-fout kleiner: minder snel type 2 fout
- 1-β groter: meer power
(*) eenzijdig VS tweezijdig toetsen
Eenzijdige toets:
- Directionele hypothese
3
, - Verwerpingsgebied van H0 gelegen in één richting => richting van verband is weergegeven
- α = 0,05
tweezijdige toets:
- Non-directionele hypothese
- Geen voorspelling van de richting van het verschil => kan zowel + als – zijn
- α/2 = 0,025 (=> foutenrisico verdelen over 2 uiteinden van de grafiek)
- β groter => 1-β kleiner => minder power
(*) Andere factoren
- Normale verdeling in de populatie
- Statistische procedure: poer van parametrische toetsen > distributievrije toetsen
- Betrouwbaarheid van meetwaardes: hoe meer foutenvariantie hoe lager de power
- Design: power van within-subjects > between-subjects
2. Is er een verschil?: T-toetsen
Kenmerken van een t-verdeling & hoe wordt deze gebruikt om een
hypothese te toetsen
T-toets (= Students’ t-toets): gaat na of er een significant verschil is tussen 2 gemiddelden
- Onafhankelijk/ongepaard: 2 verschillende groepen worden 1 keer gemeten
- Afhankelijk/gepaard: 1 groep meerdere keren meten
Indien H0 fout is (verschil aanwezig; behandeling werkt):
- Groot verschil tussen groepen
- Klein verschil binnen groepen
Indien H0 juist is (geen behandelingseffect):
- Grotere variatie binnen groepen (= grotere errorvariantie)
=> T-ratio wordt kleiner
verschiltussen groepen
t=
variabiliteit binnen groepen
(*) verschil tussen groepen : alle bronnen van variantie
Verschil binnen groepen: errorvariantie
Besluit: als we willen aantonen dat de 2 groepen significant verschillend zijn, dan moet de t-ratio zo
groot mogelijk zijn
4
dataverwerking: deel 2
1. Data-analyse: Power
Definitie van statistische interferentie
Statistische interferentie: besluitvormingsproces dat ons in staat stelt onbekende
populatiekenmerken te schatten op basis van steekproefgegevens
=> Vanuit een steekproef kan je iets zeggen over de populatie
Gebruik:
- Hypotheses testen
- Relaties tussen variabelen onderzoeken
- Schatten van populatieparameters
- Gedrag van steekproeven generaliseren naar een populatie
!! Dit is alleen zinvol als de steekproef een redelijke afspiegeling is van de populatie + als de
eigenschappen van de steekproefverdeling bekend zijn
Het belang van power en powerberekeningen in een onderzoek
Power analyse: berekent het nodige aantal proefpersonen (sample size) van een studie om een
vooraf gedefinieerd minimaal klinisch relevant verschil met een bepaalde kans (power) waar te
nemen.
-> Aan de orde bij statistische significantie-toetsen : Null-hypothesis significance testind (NHST)
(*) Nulhypothese H0 : er is geen effect -> indien NHST sign. Resultaat geeft dan H 0 verwerpen
Alternatieve hypothese HA: er is wel een effect
Type 1 en type 2 fouten
H0 waar H0 niet waar
H0 verwerpen Type 1 fout (α): Power (1-β):
Kans dat we zeggen dat er een Kans dat we zeggen dat er een
effect is wanneer er in feite effect is wanneer er inderdaad
geen effect is (kans om een een effect is
effect te vinden door toeval) => Kans dat de theorie correct
=> Kans dat de theorie ten wordt bevestigd
onrechte bevestigd wordt
H0 niet verwerpen Betrouwbaarheidsinterval Type 2 fout (β):
(1-α): Kans dat we zeggen dat er geen
Kans dat we zeggen dat er effect is wanneer er in feite wel
geen effect is wanneer er ook een effect is
echt geen effect is => Kans dat de theorie ten
=> Kans dat de theorie correct onrechte bevestigd wordt
niet bevestigd wordt
1
, 1-β: H0 i vals dus H0 terecht kunnen verwerpen
α-fout: zeggen dat er een effect is terwijl deze er in
werkelijkheid niet is (resultaat groter dan de
kritische waarde)
β-fout: zeggen dat er geen effect is terwijl dat er in
werkelijkheid wel is (resultaat lager dan de kritische
waarde bekomen)
Definitie van statistische power
Statistische power: kans dat een statistische toets een effect detecteert dat daadwerkelijk aanwezig
is (bv een correlatie, causale relatie of verschil tussen groepen)
Power = 1 – β => 1 – kans op het ten onrechte accepteren van H 0
=> kans om een daadwerkelijk effect in de populatie op te pikken
Begrippen
Central distribution: sampling distributie als H0 waar is (geen
verschil/effect)
Non-central distribution : sampling distributie als H0 vals is
(verschil > 0). Geeft de verdeling weer van de opgemerkte
verschillen (er is in werkelijkheid dus een verschil/verband
tussen de 2 groepen)
Non-centrality parameters (NPC of λ): een maat voor de mate waarin een nulhypothese onjuist is.
Het zegt dus iets over de statistische power van een test
Verschil tussen a priori en post hoc analyse
A priori analyse: sample size/steekproefomvang bepalen
- “Hoeveel deelnemers zijn er nodig?”
Post hoc analyse: power bepalen
- Bepalen ahv effect size, gebruikte level of significance en gebruikte sample size
Verschillende determinanten van statistische power
PANE
- P = Power (1-β)
- A = α level of significance
- N = number of subjects (sample size)
- E = effect size
2
,Power: kans om geen type 2 fout te maken
- Kan bepaald/gemeten worden na het voltooien van een statistische analyse
- 1-β = 0,80 (=> 20% kans dat je een werkelijk aanwezig effect zou missen)
Significantieniveau α: kans om een type 1 fout te maken
- α = 0,05 (=> 5% kans op fout positief)
- Indien α groter: H0 makkelijker onterecht verwerpen
Sample size: aantal deelnemers
- Hoe groter de sample, hoe groter de power (want kleinere sample is gevoeliger voor
uitschieters)
- Standaardfout van sampling distributie gebruiken om betrouwbaarheidsgeval te bepalen
S
SX= -> CI 95=X ± 1,96∗S X
√n
- Kritische waarde verlagen => power zal toenemen
o Kleinere S
=> S X wordt kleiner
o Grotere n
- => power zal toenemen bij lagere variantie σ ok bij grotere steekproefomvang n
Effect size: mate waarin H0 fout is
- Geeft weer in welke mate een bepaald verschil bestaat + duidt de belangrijkheid van
significante bevindingen aan
- ES = afstand tussen de 2 curves H0 en HA
- Klinisch gewenste verschil/Hoeveel verschil wil je vaststellen om het relevant te vinden?
o P: geeft aan of een bevinding statistisch significant is (Sign. Indien p < 0,05)
o ES: betekenisvol verschil proberen aan te duiden
- Indien ES stijgt => power zal toenemen
- ES uitdrukken in eenheden van standaarddeviaties voor groepsverschillen
o Kleine ES: 0,20 std
o Gemiddelde ES: 0,50 std
o Grote ES: 0,80 std
Grotere effect size:
- Curves liggen verder uit elkaar
- β-fout kleiner: minder snel type 2 fout
- 1-β groter: meer power
(*) eenzijdig VS tweezijdig toetsen
Eenzijdige toets:
- Directionele hypothese
3
, - Verwerpingsgebied van H0 gelegen in één richting => richting van verband is weergegeven
- α = 0,05
tweezijdige toets:
- Non-directionele hypothese
- Geen voorspelling van de richting van het verschil => kan zowel + als – zijn
- α/2 = 0,025 (=> foutenrisico verdelen over 2 uiteinden van de grafiek)
- β groter => 1-β kleiner => minder power
(*) Andere factoren
- Normale verdeling in de populatie
- Statistische procedure: poer van parametrische toetsen > distributievrije toetsen
- Betrouwbaarheid van meetwaardes: hoe meer foutenvariantie hoe lager de power
- Design: power van within-subjects > between-subjects
2. Is er een verschil?: T-toetsen
Kenmerken van een t-verdeling & hoe wordt deze gebruikt om een
hypothese te toetsen
T-toets (= Students’ t-toets): gaat na of er een significant verschil is tussen 2 gemiddelden
- Onafhankelijk/ongepaard: 2 verschillende groepen worden 1 keer gemeten
- Afhankelijk/gepaard: 1 groep meerdere keren meten
Indien H0 fout is (verschil aanwezig; behandeling werkt):
- Groot verschil tussen groepen
- Klein verschil binnen groepen
Indien H0 juist is (geen behandelingseffect):
- Grotere variatie binnen groepen (= grotere errorvariantie)
=> T-ratio wordt kleiner
verschiltussen groepen
t=
variabiliteit binnen groepen
(*) verschil tussen groepen : alle bronnen van variantie
Verschil binnen groepen: errorvariantie
Besluit: als we willen aantonen dat de 2 groepen significant verschillend zijn, dan moet de t-ratio zo
groot mogelijk zijn
4
