HCO8, één-weg ANOVA
Gebruik ANOVA, met t-toetsen kan je 1 of 2 groepen vergelijken, maar als je er 3 of meer hebt, kan
je ze niet meer gebruiken. In dat geval kan je ANOVA gebruiken. Een paar voorbeelden van vragen
die je met een één-weg ANOVA kan beantwoorden zijn:
- Heeft de gemiddelde hoeveelheid lichtintensiteit op een grasveld effect op de biodiversiteit?
Je wilt dan meerdere plotjes vergelijken die verschillen qua lichtintensiteit.
- Heeft de dichtheid van slakken een effect op het aantal eieren dat een slak produceert?
Hiervoor kan je experimentele opzet gebruiken met plotjes die 8, 15, 30 of 45 adulten
bevatten per 225 cm2.
Meerdere t-toetsen, als je 3 behandelingen met elkaar wilt vergelijken, kan je ervoor kiezen om 3 t-
toetsen uit te voeren voor twee onafhankelijke steekproeven met: ‘𝐻0 : 𝜇1 = 𝜇2 ; 𝐻𝐴 : 𝜇1 ≠ 𝜇2 ’,
‘𝐻0 : 𝜇1 = 𝜇3 ; 𝐻𝐴 : 𝜇1 ≠ 𝜇3 ’ en ‘𝐻0 : 𝜇2 = 𝜇3 ; 𝐻𝐴 : 𝜇2 ≠ 𝜇3 ’. Hier zitten echter een paar nadelen aan:
- Elke keer als je de toets uitvoert, bereken je een pooled sample variance (𝑆𝑝2 ). Dit is een
gemiddelde/gewogen variantie van de groepen die je op dat moment met elkaar vergelijkt.
Per paar reken je dus een andere 𝑆𝑝2 uit en dat geeft je inconsistente resultaten.
- Je gaat ontzettend veel toetsen doen en als je elke toets met een 𝛼 = 0.05 verwacht je een
paar false positives. Als gevolg twijfel je dan aan elke positive die je vindt, want sommige
resultaten zullen waarschijnlijk wel echt significant zijn, maar je kan niet weten welke.
Eén-weg ANOVA, de oplossing voor bovenstaande problemen is dat je (één-weg) ANOVA gebruikt
om je verschillende groepen te vergelijken. De hypotheses zijn dan bijvoorbeeld als volgt:
- 𝐻0 : 𝜇1 = 𝜇2 = 𝜇3
- 𝐻𝐴 : 𝑡𝑒𝑛𝑚𝑖𝑛𝑠𝑡𝑒 éé𝑛 𝑔𝑒𝑚𝑖𝑑𝑑𝑒𝑙𝑑𝑒 𝑤𝑖𝑗𝑘𝑡 𝑎𝑓
De nulhypothese stelt dus dat alle gemiddelden gelijk zijn aan elkaar van de groepen die je gaat
vergelijken en zodra er 1 afwijkt kan je die hypothese verwerpen. Als je de nulhypothese niet kan
verwerpen, heeft het geen zin om de onderlinge paren te vergelijken en ben je klaar. Als je de
nulhypothese wel kan verwerpen zal je de groepen op een paarsgewijze manier moeten gaan
vergelijken om te achterhalen welke groepen dan significant afwijken. Voor deze vergelijkingstoetsen
maak je 2 aanpassingen ten opzicht van de niet-gepaarde t-toets om bovenstaande problemen te
omzeilen:
1. Je voert een correctie uit op de P-waarde zodat de totale kans op een type-I fout (α) onder
controle blijft.
2. Je berekent een gepoolde steekproef variantie op basis van de observaties voor alle groepen.
Dan ben je wel consistent.
Nu kan je de paarsgewijze toetsen wel goed gebruiken en dan
kan je zoveel groepen vergelijken als je wilt.
Voorbeeld ANOVA, om de één-weg ANOVA wat duidelijker te
maken, volgt nu/straks een vraagstelling waarin gekeken wordt
of de eiproductie van slakken afhankelijk is van hun dichtheid.
Zoals altijd begin je met de beschrijvende statistiek om te kijken
hoe je de data eruitziet. Je ziet dan meteen in de boxplot dat je
minder eitjes lijkt te krijgen als de dichtheid hoger wordt. Dit zie
je ook terug als je naar het verloop van de gemiddeldes kijkt.
Variatie binnen & tussen groepen, als
je kijkt naar de twee figuren die links zijn weergegeven zou je waarschijnlijk
zeggen dat er een groter verschil in dichtheid en eieren is in het 1e figuur
dan in het 2e figuur. De gemiddeldes van de dichtheden zijn echter in beide
figuren hetzelfde. Dat wil zeggen dat het gemiddeld aantal eieren bij een
dichtheid van 8 in het 1e figuur hetzelfde is als het aantal eieren bij een
dichtheid van 8 in het 2e figuur. De variatie tussen de groepen is dus
hetzelfde, maar de variatie binnen de groepen is anders. Volgens je intuïtie
, neem je het verschil in gemiddelden bij het 2e figuur niet meer serieus, omdat de spreiding zo groot
is. Enkel naar de gemiddelde kijken is dus niet genoeg om te bepalen of er significante verschillen
zijn. Naarmate de variatie binnen de groepen steeds groter wordt, ga je intuïtief al bedenken dat een
verschil in gemiddelde op den duur niet meer significant is. Als de variatie binnen groepen heel hoog
is, kan een gemiddelde per toeval wat hoger of lager uitvallen en zijn kleine verschillen niet meer zo
duidelijk als eerst. Om te kijken of verschillen tussen groepen kunnen ontstaan door toeval met je
dus iets weten over de variatie binnen de groepen. Bij ANOVA vergelijk je variatie tussen groepen
met variatie binnen groepen, want als de variatie binnen groepen heel hoog is, verwacht je door
puur toeval al verschillen te kunnen vinden tussen groepen. Als de verschillen tussen groepen hoger
zijn dan je zou verwachten op basis van verschillen binnen de groepen, ga je de nulhypothese
verwerpen.
Aannames ANOVA, voordat het voorbeeld met de slakken afgemaakt wordt, worden eerst de
aannames van ANOVA behandeld. De aannames zijn vergelijkbaar voor de t-toets met 2
onafhankelijk steekproeven, maar het verschil is dat je nu meer steekproeven hebt:
1. De observaties in elke groep komen uit normaal verdelingen. In andere woorden zijn
de observaties van elke groep normaal verdeeld.
2. De varianties van de verdelingen zijn hetzelfde voor elke groep.
3. Alle observaties zijn onafhankelijk. Je hebt dus een random sample genomen.
Je kan dit ook op een andere verwoorden. I.p.v. de waardes zelf kan je ook naar de residuen van je
meetwaarden kijken. Dit is rechts schematisch weergegeven. Elke groep heeft een eigen
groepsgemiddelde en van elk datapunt kun je een lijn trekken naar het gemiddelde van zijn groep.
Dit verschil noemen we een residu en deze kan positief of negatief zijn. Met deze kennis kan je de
aannames herformuleren:
1. De residuen van alle groepen zijn onafhankelijk.
2. De residuen van alle groepen zijn normaal verdeeld met een gemiddelde van 0 en een
bepaalde variantie (σ2). Als al je groepen normaal verdeeld zijn, zijn hun residuen dus ook
normaal verdeelt en als je alle residuen samen neemt, kom je dus uit op een normaal
verdeling.
Met deze aannames kunnen we de uitleg van één-weg ANOVA iets uitbreiden:
- 𝐻0 : 𝜇1 = 𝜇2 = 𝜇3 =. . = 𝜇
- Je kan de standaarddeviatie 𝜎 schatten door 𝑠1 , 𝑠2 , 𝑠3 en 𝑠4 te berekenen en daar het
gewogen gemiddelde van te nemen, omdat we hebben aangenomen dat de varianties van
alle groepen gelijk zijn.
- Verder weten we ook dat onder 𝐻0 , het steekproefgemiddelde 𝑌̅𝑖 van iedere groep normaal
verdeeld is met variantie 𝜎 2 /𝑛𝑖 (zie W&S H3). We kunnen 𝜎 dus ook schatten door naar de
variatie in de groepsgemiddelden te kijken. Je gaat er namelijk vanuit dat ze elk hetzelfde
gemiddelde hebben en dat die verschillen door toeval komen in samenstelling van de
steekproef (doordat er dus variantie in de groepen is). Hiermee kan je nu bekijken hoe ver de
verschillende groepsgemiddelde uit elkaar zouden kunnen liggen door puur toeval.
De vraag is nu of deze twee schattingen compatibel zijn. Met de aanname dat de groepsgemiddelden
gelijk zijn, vraag je je dus af of de gevonden variatie tussen de groepen hetzelfde is als de variatie
binnen de groepen. Als je veel meer variatie in de gemiddelden tussen de groepen ziet dan je zou
verwachten op basis van variatie binnen de groepen, ga je 𝐻0 verwerpen.
Kwadratensom (sum of squares), een manier om bovenstaande schattingen te vergelijken, is door
het opsplitsen van de kwadratensom. Als je alle data van je verschillende steekproeven op een hoop
gooit en daar de variantie van wil berekenen, doe je dat als volgt:
2
2
∑𝑖,𝑗(𝑌𝑖𝑗 − 𝑌̅)
𝑠 =
𝑁−1
Hierbij refereren we naar de teller als de totale kwadratensom (SStot) en dit is een dubbele som,
aangezien je zowel i als j bij de som ziet staan. Hiermee wordt bedoeld dat je verschillende groepen
hebt en binnen die groepen verschillende punten hebt. Hierbij staat i voor alle groepen en j voor alle
Gebruik ANOVA, met t-toetsen kan je 1 of 2 groepen vergelijken, maar als je er 3 of meer hebt, kan
je ze niet meer gebruiken. In dat geval kan je ANOVA gebruiken. Een paar voorbeelden van vragen
die je met een één-weg ANOVA kan beantwoorden zijn:
- Heeft de gemiddelde hoeveelheid lichtintensiteit op een grasveld effect op de biodiversiteit?
Je wilt dan meerdere plotjes vergelijken die verschillen qua lichtintensiteit.
- Heeft de dichtheid van slakken een effect op het aantal eieren dat een slak produceert?
Hiervoor kan je experimentele opzet gebruiken met plotjes die 8, 15, 30 of 45 adulten
bevatten per 225 cm2.
Meerdere t-toetsen, als je 3 behandelingen met elkaar wilt vergelijken, kan je ervoor kiezen om 3 t-
toetsen uit te voeren voor twee onafhankelijke steekproeven met: ‘𝐻0 : 𝜇1 = 𝜇2 ; 𝐻𝐴 : 𝜇1 ≠ 𝜇2 ’,
‘𝐻0 : 𝜇1 = 𝜇3 ; 𝐻𝐴 : 𝜇1 ≠ 𝜇3 ’ en ‘𝐻0 : 𝜇2 = 𝜇3 ; 𝐻𝐴 : 𝜇2 ≠ 𝜇3 ’. Hier zitten echter een paar nadelen aan:
- Elke keer als je de toets uitvoert, bereken je een pooled sample variance (𝑆𝑝2 ). Dit is een
gemiddelde/gewogen variantie van de groepen die je op dat moment met elkaar vergelijkt.
Per paar reken je dus een andere 𝑆𝑝2 uit en dat geeft je inconsistente resultaten.
- Je gaat ontzettend veel toetsen doen en als je elke toets met een 𝛼 = 0.05 verwacht je een
paar false positives. Als gevolg twijfel je dan aan elke positive die je vindt, want sommige
resultaten zullen waarschijnlijk wel echt significant zijn, maar je kan niet weten welke.
Eén-weg ANOVA, de oplossing voor bovenstaande problemen is dat je (één-weg) ANOVA gebruikt
om je verschillende groepen te vergelijken. De hypotheses zijn dan bijvoorbeeld als volgt:
- 𝐻0 : 𝜇1 = 𝜇2 = 𝜇3
- 𝐻𝐴 : 𝑡𝑒𝑛𝑚𝑖𝑛𝑠𝑡𝑒 éé𝑛 𝑔𝑒𝑚𝑖𝑑𝑑𝑒𝑙𝑑𝑒 𝑤𝑖𝑗𝑘𝑡 𝑎𝑓
De nulhypothese stelt dus dat alle gemiddelden gelijk zijn aan elkaar van de groepen die je gaat
vergelijken en zodra er 1 afwijkt kan je die hypothese verwerpen. Als je de nulhypothese niet kan
verwerpen, heeft het geen zin om de onderlinge paren te vergelijken en ben je klaar. Als je de
nulhypothese wel kan verwerpen zal je de groepen op een paarsgewijze manier moeten gaan
vergelijken om te achterhalen welke groepen dan significant afwijken. Voor deze vergelijkingstoetsen
maak je 2 aanpassingen ten opzicht van de niet-gepaarde t-toets om bovenstaande problemen te
omzeilen:
1. Je voert een correctie uit op de P-waarde zodat de totale kans op een type-I fout (α) onder
controle blijft.
2. Je berekent een gepoolde steekproef variantie op basis van de observaties voor alle groepen.
Dan ben je wel consistent.
Nu kan je de paarsgewijze toetsen wel goed gebruiken en dan
kan je zoveel groepen vergelijken als je wilt.
Voorbeeld ANOVA, om de één-weg ANOVA wat duidelijker te
maken, volgt nu/straks een vraagstelling waarin gekeken wordt
of de eiproductie van slakken afhankelijk is van hun dichtheid.
Zoals altijd begin je met de beschrijvende statistiek om te kijken
hoe je de data eruitziet. Je ziet dan meteen in de boxplot dat je
minder eitjes lijkt te krijgen als de dichtheid hoger wordt. Dit zie
je ook terug als je naar het verloop van de gemiddeldes kijkt.
Variatie binnen & tussen groepen, als
je kijkt naar de twee figuren die links zijn weergegeven zou je waarschijnlijk
zeggen dat er een groter verschil in dichtheid en eieren is in het 1e figuur
dan in het 2e figuur. De gemiddeldes van de dichtheden zijn echter in beide
figuren hetzelfde. Dat wil zeggen dat het gemiddeld aantal eieren bij een
dichtheid van 8 in het 1e figuur hetzelfde is als het aantal eieren bij een
dichtheid van 8 in het 2e figuur. De variatie tussen de groepen is dus
hetzelfde, maar de variatie binnen de groepen is anders. Volgens je intuïtie
, neem je het verschil in gemiddelden bij het 2e figuur niet meer serieus, omdat de spreiding zo groot
is. Enkel naar de gemiddelde kijken is dus niet genoeg om te bepalen of er significante verschillen
zijn. Naarmate de variatie binnen de groepen steeds groter wordt, ga je intuïtief al bedenken dat een
verschil in gemiddelde op den duur niet meer significant is. Als de variatie binnen groepen heel hoog
is, kan een gemiddelde per toeval wat hoger of lager uitvallen en zijn kleine verschillen niet meer zo
duidelijk als eerst. Om te kijken of verschillen tussen groepen kunnen ontstaan door toeval met je
dus iets weten over de variatie binnen de groepen. Bij ANOVA vergelijk je variatie tussen groepen
met variatie binnen groepen, want als de variatie binnen groepen heel hoog is, verwacht je door
puur toeval al verschillen te kunnen vinden tussen groepen. Als de verschillen tussen groepen hoger
zijn dan je zou verwachten op basis van verschillen binnen de groepen, ga je de nulhypothese
verwerpen.
Aannames ANOVA, voordat het voorbeeld met de slakken afgemaakt wordt, worden eerst de
aannames van ANOVA behandeld. De aannames zijn vergelijkbaar voor de t-toets met 2
onafhankelijk steekproeven, maar het verschil is dat je nu meer steekproeven hebt:
1. De observaties in elke groep komen uit normaal verdelingen. In andere woorden zijn
de observaties van elke groep normaal verdeeld.
2. De varianties van de verdelingen zijn hetzelfde voor elke groep.
3. Alle observaties zijn onafhankelijk. Je hebt dus een random sample genomen.
Je kan dit ook op een andere verwoorden. I.p.v. de waardes zelf kan je ook naar de residuen van je
meetwaarden kijken. Dit is rechts schematisch weergegeven. Elke groep heeft een eigen
groepsgemiddelde en van elk datapunt kun je een lijn trekken naar het gemiddelde van zijn groep.
Dit verschil noemen we een residu en deze kan positief of negatief zijn. Met deze kennis kan je de
aannames herformuleren:
1. De residuen van alle groepen zijn onafhankelijk.
2. De residuen van alle groepen zijn normaal verdeeld met een gemiddelde van 0 en een
bepaalde variantie (σ2). Als al je groepen normaal verdeeld zijn, zijn hun residuen dus ook
normaal verdeelt en als je alle residuen samen neemt, kom je dus uit op een normaal
verdeling.
Met deze aannames kunnen we de uitleg van één-weg ANOVA iets uitbreiden:
- 𝐻0 : 𝜇1 = 𝜇2 = 𝜇3 =. . = 𝜇
- Je kan de standaarddeviatie 𝜎 schatten door 𝑠1 , 𝑠2 , 𝑠3 en 𝑠4 te berekenen en daar het
gewogen gemiddelde van te nemen, omdat we hebben aangenomen dat de varianties van
alle groepen gelijk zijn.
- Verder weten we ook dat onder 𝐻0 , het steekproefgemiddelde 𝑌̅𝑖 van iedere groep normaal
verdeeld is met variantie 𝜎 2 /𝑛𝑖 (zie W&S H3). We kunnen 𝜎 dus ook schatten door naar de
variatie in de groepsgemiddelden te kijken. Je gaat er namelijk vanuit dat ze elk hetzelfde
gemiddelde hebben en dat die verschillen door toeval komen in samenstelling van de
steekproef (doordat er dus variantie in de groepen is). Hiermee kan je nu bekijken hoe ver de
verschillende groepsgemiddelde uit elkaar zouden kunnen liggen door puur toeval.
De vraag is nu of deze twee schattingen compatibel zijn. Met de aanname dat de groepsgemiddelden
gelijk zijn, vraag je je dus af of de gevonden variatie tussen de groepen hetzelfde is als de variatie
binnen de groepen. Als je veel meer variatie in de gemiddelden tussen de groepen ziet dan je zou
verwachten op basis van variatie binnen de groepen, ga je 𝐻0 verwerpen.
Kwadratensom (sum of squares), een manier om bovenstaande schattingen te vergelijken, is door
het opsplitsen van de kwadratensom. Als je alle data van je verschillende steekproeven op een hoop
gooit en daar de variantie van wil berekenen, doe je dat als volgt:
2
2
∑𝑖,𝑗(𝑌𝑖𝑗 − 𝑌̅)
𝑠 =
𝑁−1
Hierbij refereren we naar de teller als de totale kwadratensom (SStot) en dit is een dubbele som,
aangezien je zowel i als j bij de som ziet staan. Hiermee wordt bedoeld dat je verschillende groepen
hebt en binnen die groepen verschillende punten hebt. Hierbij staat i voor alle groepen en j voor alle
