HOOFDSTUK 12
“Multisample Inference”
Je gaat meerdere steekproeven hebben/krijgen en je wilt conclusies trekken uit deze
meerdere steekproeven.
Dus op basis van steekproeven iets meer zeggen over de grotere populatie waaruit ze komen.
= ANOVA
Want als je meerdere steekproeven onderling wilt vergelijken kom je dus tot de ANOVA-
techniek
Het voorbeeld dat we gaan gebruiken is een
studie over de longinhoud.
Is passiefroken ook schadelijk?
Roken vs niet-rokers (passieve rokers).
Sigaar/pijp = nier-inhaleerders
Light-rokers (1-10 per dag)
Gemiddelde-rokers (11-39 per dag)
Die hard smokers (40 of meer per dag)
Allen voor 20jaar
Inademen en uit en dan de forced mix-expiratory
flow (FEF) dus het aantal liters dat ze per seconde
kunnen uitblazen.
Roken verkleind de longcapaciteit.
Dus er zijn 6 groepen van die rokers.
En telkens krijg je de gemiddelde long inhoud, liter
per seconde lucht dat wordt uitgeblazen. (FEF)
Niet-rokers hoogste FEF vs heavy S laagste FEF
Daarna staat de standaardeviatie, want er staat ook
spreiding op, het is niet alleen maar het roken dat
uw longinhoud bepaald.
Maar hier weten we enkel of die mensen roken of
niet. Andere zaken weten we (nog) niet.
Dus we doen ANOVA: analysis of variance, variantie analyse. we beginnen met one-way,
éénweg ANOVA. One-way omdat we maar 1 verklarende/categorische variabele hebben,
enkel het rookgedrag wordt in dit geval meegenomen, predictorvariabele om die longinhoud
te bepalen. Dat komt erop neer, dat we willen zien ofdat de variabiliteit, de spreiding op onze
gegevens, dat deze eigenlijk vooral komt van variabiliteit tussen deze groepen, of variabiliteit
binnen de groepen. Er zit spreiding op beide, zowel binnen de groep als tussen de groepen.
,Maar als statisticus hoop je dat er vooral variabiliteit te zien is tussen (between) de groepen,
en niet zo zeer binnen (within) de groepen zelf. Wanneer groepen onderling verschillen van
elkaar, dat zegt iets over het effect van roken. Als er verschillen zitten binnen de groepen,
dan heeft dat met andere dingen te maken want binnen de groep gaat het over mensen met
hetzelfde rookgedrag. Dus daar is de spreiding toe te wijzen aan iets anders.
Je moet er dus terug een model opplakken, een statistische formule opplakken om de zaak te
kunnen verklaren. We spreken nu over een yij variabele, dit is waartussen je verschillen
probeert te verklaren, dus hier de longinhoud (FEF) = yij.
i = wijst op de groep (er zijn 6 groepen) waartoe je behoord (getalletje 1-6)
j = staat voor het nummertje van de persoon binnen elkaar groep (n1-2,4-6=200, uitz. n3 = 50)
bv. y2,58 = de longinhoud (FEF) van de 58ste persoon uit groep 2 = PS (passieve rokers)
We willen die longinhoud verklaren, (voorspellen) aan de hand van een model.
Want ANOVA: het proberen verklaren van verschillen tussen de ≠ groepen.
Later gaan we verder ingaan op het verband tussen ANOVA en regressie. Dit zijn technieken
die een beetje hetzelfde aan het doen zijn, ze overlappen elkaar.
Maar dus de formule is yij = µ + 𝛼𝑖 + eij
De longinhoud proberen verkalren door een algemene constante µ, plus 𝛼𝑖 dat staat voor het
extra effectje van de i-de groep tov die µ. 𝛼𝑖 zegt dus wat er nog meer/minder aan FEF is
voor die bepaalde groep tov een algemene constante µ.
Dus je hebt een gemiddelde longinhoud in die bepaalde groep, is dat meer/minder dan die
constante die je voorop zet. Je kan eig voor µ een random getal kiezen bv. 100 en je gaat dan
per groep het gemiddelde gaan bekijken, ligt dat boven of onder de 100, dat dan bijtellen 𝛼𝑖 ,
maar niet elke persoon in die bepaalde groep zal dan mooi 100 + (𝛼𝑖 ) uitkomen, er is nog
steeds een afwijking, dus vandaar nogmaals plus die eij die dan corrigeerd voor die bepaalde
persoon zijn FEF.
,Onderaan staat er opnieuw een voorwaarde:
- We gaan ervan uitgaan dat die fouterterm normaal verdeeld is.
Een observatie van de i’de groep moet normaal verdeeld zijn rond een bepaald
gemiddelde µ+𝛼𝑖 met een bepaalde variantie (𝜎 2 ) die constant moet zijn voor elke
groep.
Dus hier gaan we opnieuw die homoscedasiciteit moeten naagaan van de 6 groepen, dus
dat de spreiding binnen elke groep even groot is.
Je kan dus die µ random kiezen, je kan een getal uitvinden en op basis van µ kan je de 𝛼𝑖 ’s
gaan zoeken.
Wanneer je 6 groepen van gegevens krijgt, kan je voor elke groep het gemiddelde berekenen.
Je kan ook het algemene gemiddelde berkenen van alle 6 de groepen samen.
Maar het algemene gemiddelde is wiskundig gezien niet onafhankelijk te bekijken van die 6
gemiddeldes, die 6 groepen van gegevens die bepalen elk hun gemiddelde in de groep en
daarmee heb je alle info opgebruikt. Als je dan nog het algemene gemiddelde daarboven op
berekend, dan maak je al gebruik van info van elk van die 6 groepen.
Dus wiskundig gezien ga je op basis van een dataset schattingen maken voor uw model, maar
daarvoor heb je onafhankelijke groepjes gegevens nodig en per onafhankelijk groepje
gegevens kunnen ze 1 schatting maken van een getal. Hier concreet kan je per groepje 1
gemiddelde maken. Maar in dit model heb je dus 6 van 𝛼𝑖 nodig + de µ, dus eentje meer
nodig. We kunnen eigenlijk maar voor 6 groepen, 6 onafhankelijke getallen uitkomen, geen 7,
maar toch heb je er 7 nodig. Van daar moeten we eigenlijk een soort beperking opleggen aan
die parameters, we need to constrain the parameters’. Dat betekend dus, je kan geen k + 1
parameters inschatten, je kan er maar slechts k inschatten (6 ipv 7) en je moet dus een
beperking opleggen. Er zijn 2 weergegeven, er zijn er meer, we gebruiken enkel (1).
En de beperking (2 ≠) die je zou kunnen zeggen is de 𝛼𝑖 voor de laatste groep geven we het
getal 0. We nemen de 6e groep zodanig dat die 𝛼𝑖 =0, dat betekend eigenlijk dat de µ het
gemiddelde is van de 6e groep. En dan kunnen we de 𝛼𝑖 ’s, de 5 andere gaan bepalen. En op
die manier heb je maar 6 onafhnakelijke schattingen nodig. Op die manier kies je dus µ niet
lukraak, maar geef je dus een betekenis aan µ.
Dus de som van alle 𝛼𝑖 zal 0 zijn, dit kan enkel en alleen als µ het algemene gemiddelde
voorsteld.
, Dat staat hier dus, µ neem je best = aan de ‘underlying mean of all groups taken together’.
Wanneer je de µ dus niet lukraak kiest, maar al direct een waarde geeft die = algemene
gemiddelde die 6 groepen samen, al die rokers samen. Dan zullen de 6 𝛼𝑖 ’s samen 0 zijn.
Dus dan stelt 𝛼𝑖 direct het verschil voor tussen het gemiddelde van de i’de groep en dat
algemene gemiddelde.
(dit is de theorie erachter, we gaan dit nu toepassen)
One-way ANOVA – Fixed effects model:
Waarom fixed effects? Dat heeft te maken met die 6 categoriën van rokers, deze zijn mooi
afgelijnd, op voorhand de design van de studie vastgelegd.
Wanneer er een fixed effect is, dan zal er ook een non-fixed effect zijn = “Random effect”
(zie later) maar dat komt er dan opneer dat in heel veel gevallen, experimenten dat je doet,
is er ergens de ‘human factor’ is er een factor waar je niet goed aankan, verschillen die je
niet goed kan verklaren op basis van eigenschappen die je kan meten, er is zijn nog altijd
zaken die je moeilijk kan verklaren, die eigen zijn tussen mensen onderling, waar je moeilijk
uw vinger kunt opleggen, of nog niet hebt kunnen leggen.
En in heel veel experimenten probeert m’n daar rekening mee te houden door de ID van de
persoon mee te nemen als variabele. De ID is gewoon een unieke naam voor een persoon. En
dat gaat dan ook voor een stuk uw y-variabele gaan voorspellen. Maar je gaat dat moeilijk
kunnen interpreteren. Je gaat geen vaste categoriën hebben, je gaat gewoon mensen
hebben. Elke mens is anders omdat deze zijn eigen ID heeft, zo iets ga je bekijken als een
random effect. Geen fixed effect, want je kan deze niet opdelen in afgelijnde categoriën.
Dus je pakt ID mee in het model om toch een deel van die variabileit, die je anders niet kan
verklaren, toch te kunnen verklaren en toe te kunnen schrijven aan de human factor. (later)
“Multisample Inference”
Je gaat meerdere steekproeven hebben/krijgen en je wilt conclusies trekken uit deze
meerdere steekproeven.
Dus op basis van steekproeven iets meer zeggen over de grotere populatie waaruit ze komen.
= ANOVA
Want als je meerdere steekproeven onderling wilt vergelijken kom je dus tot de ANOVA-
techniek
Het voorbeeld dat we gaan gebruiken is een
studie over de longinhoud.
Is passiefroken ook schadelijk?
Roken vs niet-rokers (passieve rokers).
Sigaar/pijp = nier-inhaleerders
Light-rokers (1-10 per dag)
Gemiddelde-rokers (11-39 per dag)
Die hard smokers (40 of meer per dag)
Allen voor 20jaar
Inademen en uit en dan de forced mix-expiratory
flow (FEF) dus het aantal liters dat ze per seconde
kunnen uitblazen.
Roken verkleind de longcapaciteit.
Dus er zijn 6 groepen van die rokers.
En telkens krijg je de gemiddelde long inhoud, liter
per seconde lucht dat wordt uitgeblazen. (FEF)
Niet-rokers hoogste FEF vs heavy S laagste FEF
Daarna staat de standaardeviatie, want er staat ook
spreiding op, het is niet alleen maar het roken dat
uw longinhoud bepaald.
Maar hier weten we enkel of die mensen roken of
niet. Andere zaken weten we (nog) niet.
Dus we doen ANOVA: analysis of variance, variantie analyse. we beginnen met one-way,
éénweg ANOVA. One-way omdat we maar 1 verklarende/categorische variabele hebben,
enkel het rookgedrag wordt in dit geval meegenomen, predictorvariabele om die longinhoud
te bepalen. Dat komt erop neer, dat we willen zien ofdat de variabiliteit, de spreiding op onze
gegevens, dat deze eigenlijk vooral komt van variabiliteit tussen deze groepen, of variabiliteit
binnen de groepen. Er zit spreiding op beide, zowel binnen de groep als tussen de groepen.
,Maar als statisticus hoop je dat er vooral variabiliteit te zien is tussen (between) de groepen,
en niet zo zeer binnen (within) de groepen zelf. Wanneer groepen onderling verschillen van
elkaar, dat zegt iets over het effect van roken. Als er verschillen zitten binnen de groepen,
dan heeft dat met andere dingen te maken want binnen de groep gaat het over mensen met
hetzelfde rookgedrag. Dus daar is de spreiding toe te wijzen aan iets anders.
Je moet er dus terug een model opplakken, een statistische formule opplakken om de zaak te
kunnen verklaren. We spreken nu over een yij variabele, dit is waartussen je verschillen
probeert te verklaren, dus hier de longinhoud (FEF) = yij.
i = wijst op de groep (er zijn 6 groepen) waartoe je behoord (getalletje 1-6)
j = staat voor het nummertje van de persoon binnen elkaar groep (n1-2,4-6=200, uitz. n3 = 50)
bv. y2,58 = de longinhoud (FEF) van de 58ste persoon uit groep 2 = PS (passieve rokers)
We willen die longinhoud verklaren, (voorspellen) aan de hand van een model.
Want ANOVA: het proberen verklaren van verschillen tussen de ≠ groepen.
Later gaan we verder ingaan op het verband tussen ANOVA en regressie. Dit zijn technieken
die een beetje hetzelfde aan het doen zijn, ze overlappen elkaar.
Maar dus de formule is yij = µ + 𝛼𝑖 + eij
De longinhoud proberen verkalren door een algemene constante µ, plus 𝛼𝑖 dat staat voor het
extra effectje van de i-de groep tov die µ. 𝛼𝑖 zegt dus wat er nog meer/minder aan FEF is
voor die bepaalde groep tov een algemene constante µ.
Dus je hebt een gemiddelde longinhoud in die bepaalde groep, is dat meer/minder dan die
constante die je voorop zet. Je kan eig voor µ een random getal kiezen bv. 100 en je gaat dan
per groep het gemiddelde gaan bekijken, ligt dat boven of onder de 100, dat dan bijtellen 𝛼𝑖 ,
maar niet elke persoon in die bepaalde groep zal dan mooi 100 + (𝛼𝑖 ) uitkomen, er is nog
steeds een afwijking, dus vandaar nogmaals plus die eij die dan corrigeerd voor die bepaalde
persoon zijn FEF.
,Onderaan staat er opnieuw een voorwaarde:
- We gaan ervan uitgaan dat die fouterterm normaal verdeeld is.
Een observatie van de i’de groep moet normaal verdeeld zijn rond een bepaald
gemiddelde µ+𝛼𝑖 met een bepaalde variantie (𝜎 2 ) die constant moet zijn voor elke
groep.
Dus hier gaan we opnieuw die homoscedasiciteit moeten naagaan van de 6 groepen, dus
dat de spreiding binnen elke groep even groot is.
Je kan dus die µ random kiezen, je kan een getal uitvinden en op basis van µ kan je de 𝛼𝑖 ’s
gaan zoeken.
Wanneer je 6 groepen van gegevens krijgt, kan je voor elke groep het gemiddelde berekenen.
Je kan ook het algemene gemiddelde berkenen van alle 6 de groepen samen.
Maar het algemene gemiddelde is wiskundig gezien niet onafhankelijk te bekijken van die 6
gemiddeldes, die 6 groepen van gegevens die bepalen elk hun gemiddelde in de groep en
daarmee heb je alle info opgebruikt. Als je dan nog het algemene gemiddelde daarboven op
berekend, dan maak je al gebruik van info van elk van die 6 groepen.
Dus wiskundig gezien ga je op basis van een dataset schattingen maken voor uw model, maar
daarvoor heb je onafhankelijke groepjes gegevens nodig en per onafhankelijk groepje
gegevens kunnen ze 1 schatting maken van een getal. Hier concreet kan je per groepje 1
gemiddelde maken. Maar in dit model heb je dus 6 van 𝛼𝑖 nodig + de µ, dus eentje meer
nodig. We kunnen eigenlijk maar voor 6 groepen, 6 onafhankelijke getallen uitkomen, geen 7,
maar toch heb je er 7 nodig. Van daar moeten we eigenlijk een soort beperking opleggen aan
die parameters, we need to constrain the parameters’. Dat betekend dus, je kan geen k + 1
parameters inschatten, je kan er maar slechts k inschatten (6 ipv 7) en je moet dus een
beperking opleggen. Er zijn 2 weergegeven, er zijn er meer, we gebruiken enkel (1).
En de beperking (2 ≠) die je zou kunnen zeggen is de 𝛼𝑖 voor de laatste groep geven we het
getal 0. We nemen de 6e groep zodanig dat die 𝛼𝑖 =0, dat betekend eigenlijk dat de µ het
gemiddelde is van de 6e groep. En dan kunnen we de 𝛼𝑖 ’s, de 5 andere gaan bepalen. En op
die manier heb je maar 6 onafhnakelijke schattingen nodig. Op die manier kies je dus µ niet
lukraak, maar geef je dus een betekenis aan µ.
Dus de som van alle 𝛼𝑖 zal 0 zijn, dit kan enkel en alleen als µ het algemene gemiddelde
voorsteld.
, Dat staat hier dus, µ neem je best = aan de ‘underlying mean of all groups taken together’.
Wanneer je de µ dus niet lukraak kiest, maar al direct een waarde geeft die = algemene
gemiddelde die 6 groepen samen, al die rokers samen. Dan zullen de 6 𝛼𝑖 ’s samen 0 zijn.
Dus dan stelt 𝛼𝑖 direct het verschil voor tussen het gemiddelde van de i’de groep en dat
algemene gemiddelde.
(dit is de theorie erachter, we gaan dit nu toepassen)
One-way ANOVA – Fixed effects model:
Waarom fixed effects? Dat heeft te maken met die 6 categoriën van rokers, deze zijn mooi
afgelijnd, op voorhand de design van de studie vastgelegd.
Wanneer er een fixed effect is, dan zal er ook een non-fixed effect zijn = “Random effect”
(zie later) maar dat komt er dan opneer dat in heel veel gevallen, experimenten dat je doet,
is er ergens de ‘human factor’ is er een factor waar je niet goed aankan, verschillen die je
niet goed kan verklaren op basis van eigenschappen die je kan meten, er is zijn nog altijd
zaken die je moeilijk kan verklaren, die eigen zijn tussen mensen onderling, waar je moeilijk
uw vinger kunt opleggen, of nog niet hebt kunnen leggen.
En in heel veel experimenten probeert m’n daar rekening mee te houden door de ID van de
persoon mee te nemen als variabele. De ID is gewoon een unieke naam voor een persoon. En
dat gaat dan ook voor een stuk uw y-variabele gaan voorspellen. Maar je gaat dat moeilijk
kunnen interpreteren. Je gaat geen vaste categoriën hebben, je gaat gewoon mensen
hebben. Elke mens is anders omdat deze zijn eigen ID heeft, zo iets ga je bekijken als een
random effect. Geen fixed effect, want je kan deze niet opdelen in afgelijnde categoriën.
Dus je pakt ID mee in het model om toch een deel van die variabileit, die je anders niet kan
verklaren, toch te kunnen verklaren en toe te kunnen schrijven aan de human factor. (later)
