Statistiek 1 t/m 3
Univariaat: 1 specifieke variabelen, meten van spreiding/centrummaten/BI berekenen,
significantietesten gemiddelde/proportie, verschillen tussen groepen
Bivariaat: 2 variabelen (associatie): voorspellende/onafhankelijke x en uitkomst/afhankelijke
y.
Verschillen tussen 2 groepen
(kwantitatieve) kan op 3 manieren:
1. Onafhankelijke t-test
2. OLS bivarate regressie
3. 1 factor ANOVA
1
,Inhoudsopgave
Inleiding .......................................................................................................................................................... 3
P-waardes ........................................................................................................................................................ 4
Type 1 en 2 fout en betrouwbaarheid.............................................................................................................. 5
Kansverdeling ................................................................................................................................................. 6
T-score voor gemiddelde (kwa, Y) ................................................................................................................. 7
T-toets voor voor 2 gemiddelden (kwa y, cat X) ............................................................................................. 8
z-score voor proporties ................................................................................................................................... 9
t-verdeling & z-verdeling .............................................................................................................................. 10
Sensititviteit, specificiteit, etc ........................................................................................................................ 10
Chi-kwadraat (cat y, cat x) χ2-statistic .......................................................................................................... 11
Enkelvoudige lineaire regressive (kwant y, kwant x) = simpele lineaire regressie = Bivariaat ................... 12
Verbanden ..................................................................................................................................................... 14
Meervoudige lineaire regressie ..................................................................................................................... 15
Regressie met kwadratisch effect .................................................................................................................. 18
Eenwegs-ANOVA (2 of meer groepen) (1 Cat X, 1 kwant y) ...................................................................... 18
Tussen groepen Eenwegs-ANOVA ................................................................................................................... 18
Herhaalde metingen ANOVA (binnengroepen) ................................................................................................ 22
Herhaalde metingen binnengroep ANOVA (stat 3) .......................................................................................... 23
Anova → lineaire regressie met dummy variabelen (Stat2) ............................................................................. 26
Anova → (enkelvoudige) lineaire regressie met dummy variabelen (Stat3) .................................................... 27
Anova → (meervoudige) lineaire regressie met dummy variabelen (Stat3) ..................................................... 29
Factoriële Anova (FANOVA) (2 of meer Cat X, 1 kwant y) ......................................................................... 30
Eenwes -anova of factoriele/twee-wegs anova: ........................................................................................... 34
ANCOVA / FANCOVA (stat 3) .................................................................................................................... 35
Regressie vs AN(C)ova .................................................................................................................................. 37
Moderatie en Mediatie (stat 3) ...................................................................................................................... 37
Moderatie (interactie) ...................................................................................................................................... 38
Mediatie............................................................................................................................................................ 40
MANOVA (Stat3) ......................................................................................................................................... 43
OLS Bivariate regressie ................................................................................................................................ 46
2
, Residuen plots .................................................................................................................................................. 47
Assumpties: ................................................................................................................................................... 47
Onafhankelijke steekproef t-test .................................................................................................................. 47
Assumpties bivariate regressie (enkelvoudige regressie 2 variabelen) ........................................................ 47
Regressie model: ......................................................................................................................................... 47
Assumpties van eenwegs-anova: ................................................................................................................. 47
Assumpties van herhaalde metingen ANOVA: ........................................................................................... 48
Assumpties van factoriële-anova FANOVA: .............................................................................................. 48
Assumpties van ANCOVA .......................................................................................................................... 48
Assumpties MANOVA................................................................................................................................ 49
Assumptie van gelijke variantie = homoscedasticiteit → Levene’es test: ................................................... 49
Assumptie van orthogonaliteit → chi-kwadraat toets................................................................................. 49
Assumptie van normaal verdeelde Y → kolmogorov smirnov ..................................................................... 49
Assumptie van multicollineariteit → VIF ................................................................................................... 49
Tabellen ......................................................................................................................................................... 50
Inleiding
Statistiek = de wetenschap van het verzamelen, organiseren en interpreteren van numerieke
feiten (data)
- Beschrijvende statistiek: range, doelgroep. Er is geen onzekerheid over
o Range: discreet (broers/zussen) en continu (oneindig deelbaar)
- Inferentie statistiek: generaliseren (=onzekerheid), voorspellingen maken over de
populatie, gebaseerd op de steekproef.
o Problemen: steekproef error (natuurlijke/willekeurige sampling variatie),
steekproef bias (selectieve deelname/vrijwillig/undercoverage), responsbias
(onjuist antwoord), non-responsbias (selectieve deelname).
Steekproefmethoden:
1. Enkelvoudig a selecte steekproef
Stel steekproefkader vast, willekeurige steekproef trekken. (Geef alle mensen een
random nummer, en trek random nummers bijvoorbeeld).
2. Systematische aselecte steekproef
Stel steekproefkader vast, bepaal steekproef grootte = K = N / n = steekproef. Bijv k =
5 dan steekproef = 5, 10, 15, 20
3. Gestratificeerde steekproef
Stel steekproef kader vast, populatie verdelen in stratum (bijv geloof). Aselect uit
iedere stratum trekken. Disproportioneel of proportioneel met de populatie. Dus je
kiest uit een aantal categorieën een aantal mensen.
4. Cluster steekproef
Stel een steekproef kader vast (bv alle scholen in NL). Verdelen in clusters (bv
bepaald aantal scholen per provincie). Aselect een aantal clusters trekken.
- Alle scholen in Nederland → alle scholen in Amsterdam
5. Getrapte steekproef (multistage sampling)
3
, Alles wat hierboven staat, maar dan ook nog van die scholen aselect een aantal
leerlingen trekken. Bijvoorbeeld alle scholen in NL → alle scholen in Amsterdam
- Van HLZ, Amsterdams, etc een paar mensen
Centrummaten:
Gemiddelde: mean (gelijk met mediaan en modus bij normaalverdeling). Gaat naar de staart
bij een scheve verdeling en is gevoelig voor outliers
Mediaan: middelste getal → bij oneven aantal = middelste getal, bij oneven aantal =
gemiddelde van middelste getal. En is ongevoelig voor outliers
Modus: meest voorkomende waarde en is ongevoelig voor outliers
Positiematen:
Als je een outlier verwijderd trekt
het gemiddelde altijd meer naar de
kant van de outlier toe
Normaalverdeling: Wordt smaller met een grotere N
Steekproevenverdeling = kansverdeling op alle mogelijke waarde van de
steekproefgrootheid
Beschrijving van data variabiliteit (dispersie)
• Range (verschil tussen max en min)
• Deviatie (yi − y ̄)
2
• Kwadratensommen Σ(yi − y ̄) .
• Variantie: S^2 = Σ(yi −y ̄)2 / n−1
• Standaard deviatie: S = de wortel van
Σ(yi −y ̄)2 / n – 1
o N-1 omdat we niet weten hoe
groot de populatie is als we dit wel weten is het gewoon n
• Standaarddeviatie van de steekproevenverdeling = standaarderror = S / wortelN
• Standaardfout = verschil tussen steekproefgrootheid van meerdere steekproeven en
heeft altijd minder spreiding dan de verdeling waaruit de steekproef getrokken is (sd).
P-waardes
- P < 0.05 → kleiner dan het significantieniveau
o De kans dat we bepaalde resultaten vinden, wanneer de 0 hypothese waar is.
- P < 0.05 bij een z-toets → proporties verschillen significant van elkaar
- P < 0.05 bij een t-toets bij een gepaarde waarneming → gemiddelden binnen een
groep verschillen significant van elkaar
- P < 0.05 bij een chi-kwadraat toets → de waarnemingen zijn afhankelijk van elkaar.
4
, - P < 0.05 bij een meervoudige regressie → tenminste 1 van de regressiecoëfficient die
afwijkt van 0, dus tenminste 1 predictor van Y
- P < 0.05 bij een eenwegs ANOVA → een gemiddelde verschilt
- P < 0.05 bij en twee-wegs ANOVA → een gemiddelde verschilt
- P < 0.05 bij een ANCOVA → gemiddelden verschillen wanneer we controleren voor
de covariaat.
5 stappen van hypothese testen:
1. Aannames definiëren
2. Stel hypothese op
3. Bereken teststatistiek (bijv. t-waarde)
4. Bepaal p-waarde
5. Conclusie trekken
Exploratief onderzoek: op basis van significantie. Doel is predictie, niet inhoudelijke
verklaring het is data gedreven
1. Backward: begint met alle predictoren en minst significante variabele uit het model,
totdat er alleen significante over zijn.
2. Forward. Eerste predictor heeft hoogte correlatie met R. daarna steeds met hoogste
partiële r/kleinste p-waarde
3. Stepwise: zelfde als forward maar ook kijken of reeds geselecteerde predictoren
overbodig zijn
Confirmatief: selectie op basis van theorie
1. Ongeordend: welke meer verklaart
2. Geordend: op basis van volgorde in tijd bijvoorbeeld
Handig:
- Wat we willen weten:
MSbetween = wat we wel verklaren door het model
→ dit is bij je regressie je: Regression
- wat de error is:
MSwithin = wat we niet kunnen verklaren door het model
→ dit is bij regressie je Residual
Type 1 en 2 fout en betrouwbaarheid
Betrouwbaarheid (error) = als ik herhaaldelijk afneem, heb ik dan hetzelfde (is 95% bij een
alpha van 0.05)
- Het gaat om precisie meet ik elke keer hetzelfde
- De standaarderror moet klein zijn en de steekproef representatief
- Een meting kan betrouwbaar zijn maar niet valide
Valide (bias) = is het representatief voor de populatie, het gaat over bias.
- Een meting kan niet valide zijn als het niet betrouwbaar is.
Type 1 fout: onterecht verwerpen
- Wordt bepaalt door het gekozen significantieniveau (alpha)
- Is alpha = de kans dat h0 ten onrechte verworpen wordt
- Als alpha kleiner wordt → kans op type 2 fout groter
5
, - Hoe kleiner de alpha → hoe kleiner de kans op een type 1 fout → hoe groter de kans
op type 2 fout → hoe lager de power
- Grotere N heeft geen invloed op de kans op een type 1 fout
Type 2 fout: onterecht niet verwerpen
- is hetzelfde als beta
- wordt bepaald door effectgrootte, N, Variantie.
- 1 – type 2 fout = de power/ß
- Type 2 fout groter → beta neemt toe → power wordt minder
- Hoe kleiner alpha → hoe groter de kans op een type 2 fout
- Grotere N heeft wel een invloed op de kans op een type 2 fout
Power hangt af van:
- Alpha niveau (hoe hoger hoe minder power)
- Grootte N
- Verwachte effectgrootte
-
→ we kiezen een kritieke grens
Blauwe vlakje is: verwerpingsgebied, α, type 1
fout, significantieniveau, vals positief. We
verwerpen de 0 hypothese ten onrechte.
oranje vlakje: type 2 fout,
witte vlakje naast oranje: power
Betrouwbaarheidsinterval de breedte:
- Neemt toe als de betrouwbaarheid stijgt en je strenger wilt zijn
- Neemt af als je beter kan schatten → informatiever
- Neemt af als de steekproef groter wordt, omdat je dan beter kan schatten
- Is kleiner bij 1 enkele schatting dan bij meerdere schattingen
- Neemt af als je een grotere N hebt → dan kan je beter schatten
- Is kleiner van een enkele schatting dan bij meerdere vergelijkingen
BI van 95%:
- Met 100% ligt het steekproefgemiddelde in dit interval
- Maar er is een kans van 5% dat het interval de parameter (populatie) niet bevat
- Is het gemiddelde + foutenmarge
Een VS tweezijdig toetsen:
- Eerder verwerpen bij eenzijdig omdat de kritieke grens dan dichter bij 0 zit.
- maar tweezijdig toetsen is conservatiever, zorgt ervoor dat je minder snel een effect
vindt, je bent strenger.
Kansverdeling
Kansverdeling
6
Univariaat: 1 specifieke variabelen, meten van spreiding/centrummaten/BI berekenen,
significantietesten gemiddelde/proportie, verschillen tussen groepen
Bivariaat: 2 variabelen (associatie): voorspellende/onafhankelijke x en uitkomst/afhankelijke
y.
Verschillen tussen 2 groepen
(kwantitatieve) kan op 3 manieren:
1. Onafhankelijke t-test
2. OLS bivarate regressie
3. 1 factor ANOVA
1
,Inhoudsopgave
Inleiding .......................................................................................................................................................... 3
P-waardes ........................................................................................................................................................ 4
Type 1 en 2 fout en betrouwbaarheid.............................................................................................................. 5
Kansverdeling ................................................................................................................................................. 6
T-score voor gemiddelde (kwa, Y) ................................................................................................................. 7
T-toets voor voor 2 gemiddelden (kwa y, cat X) ............................................................................................. 8
z-score voor proporties ................................................................................................................................... 9
t-verdeling & z-verdeling .............................................................................................................................. 10
Sensititviteit, specificiteit, etc ........................................................................................................................ 10
Chi-kwadraat (cat y, cat x) χ2-statistic .......................................................................................................... 11
Enkelvoudige lineaire regressive (kwant y, kwant x) = simpele lineaire regressie = Bivariaat ................... 12
Verbanden ..................................................................................................................................................... 14
Meervoudige lineaire regressie ..................................................................................................................... 15
Regressie met kwadratisch effect .................................................................................................................. 18
Eenwegs-ANOVA (2 of meer groepen) (1 Cat X, 1 kwant y) ...................................................................... 18
Tussen groepen Eenwegs-ANOVA ................................................................................................................... 18
Herhaalde metingen ANOVA (binnengroepen) ................................................................................................ 22
Herhaalde metingen binnengroep ANOVA (stat 3) .......................................................................................... 23
Anova → lineaire regressie met dummy variabelen (Stat2) ............................................................................. 26
Anova → (enkelvoudige) lineaire regressie met dummy variabelen (Stat3) .................................................... 27
Anova → (meervoudige) lineaire regressie met dummy variabelen (Stat3) ..................................................... 29
Factoriële Anova (FANOVA) (2 of meer Cat X, 1 kwant y) ......................................................................... 30
Eenwes -anova of factoriele/twee-wegs anova: ........................................................................................... 34
ANCOVA / FANCOVA (stat 3) .................................................................................................................... 35
Regressie vs AN(C)ova .................................................................................................................................. 37
Moderatie en Mediatie (stat 3) ...................................................................................................................... 37
Moderatie (interactie) ...................................................................................................................................... 38
Mediatie............................................................................................................................................................ 40
MANOVA (Stat3) ......................................................................................................................................... 43
OLS Bivariate regressie ................................................................................................................................ 46
2
, Residuen plots .................................................................................................................................................. 47
Assumpties: ................................................................................................................................................... 47
Onafhankelijke steekproef t-test .................................................................................................................. 47
Assumpties bivariate regressie (enkelvoudige regressie 2 variabelen) ........................................................ 47
Regressie model: ......................................................................................................................................... 47
Assumpties van eenwegs-anova: ................................................................................................................. 47
Assumpties van herhaalde metingen ANOVA: ........................................................................................... 48
Assumpties van factoriële-anova FANOVA: .............................................................................................. 48
Assumpties van ANCOVA .......................................................................................................................... 48
Assumpties MANOVA................................................................................................................................ 49
Assumptie van gelijke variantie = homoscedasticiteit → Levene’es test: ................................................... 49
Assumptie van orthogonaliteit → chi-kwadraat toets................................................................................. 49
Assumptie van normaal verdeelde Y → kolmogorov smirnov ..................................................................... 49
Assumptie van multicollineariteit → VIF ................................................................................................... 49
Tabellen ......................................................................................................................................................... 50
Inleiding
Statistiek = de wetenschap van het verzamelen, organiseren en interpreteren van numerieke
feiten (data)
- Beschrijvende statistiek: range, doelgroep. Er is geen onzekerheid over
o Range: discreet (broers/zussen) en continu (oneindig deelbaar)
- Inferentie statistiek: generaliseren (=onzekerheid), voorspellingen maken over de
populatie, gebaseerd op de steekproef.
o Problemen: steekproef error (natuurlijke/willekeurige sampling variatie),
steekproef bias (selectieve deelname/vrijwillig/undercoverage), responsbias
(onjuist antwoord), non-responsbias (selectieve deelname).
Steekproefmethoden:
1. Enkelvoudig a selecte steekproef
Stel steekproefkader vast, willekeurige steekproef trekken. (Geef alle mensen een
random nummer, en trek random nummers bijvoorbeeld).
2. Systematische aselecte steekproef
Stel steekproefkader vast, bepaal steekproef grootte = K = N / n = steekproef. Bijv k =
5 dan steekproef = 5, 10, 15, 20
3. Gestratificeerde steekproef
Stel steekproef kader vast, populatie verdelen in stratum (bijv geloof). Aselect uit
iedere stratum trekken. Disproportioneel of proportioneel met de populatie. Dus je
kiest uit een aantal categorieën een aantal mensen.
4. Cluster steekproef
Stel een steekproef kader vast (bv alle scholen in NL). Verdelen in clusters (bv
bepaald aantal scholen per provincie). Aselect een aantal clusters trekken.
- Alle scholen in Nederland → alle scholen in Amsterdam
5. Getrapte steekproef (multistage sampling)
3
, Alles wat hierboven staat, maar dan ook nog van die scholen aselect een aantal
leerlingen trekken. Bijvoorbeeld alle scholen in NL → alle scholen in Amsterdam
- Van HLZ, Amsterdams, etc een paar mensen
Centrummaten:
Gemiddelde: mean (gelijk met mediaan en modus bij normaalverdeling). Gaat naar de staart
bij een scheve verdeling en is gevoelig voor outliers
Mediaan: middelste getal → bij oneven aantal = middelste getal, bij oneven aantal =
gemiddelde van middelste getal. En is ongevoelig voor outliers
Modus: meest voorkomende waarde en is ongevoelig voor outliers
Positiematen:
Als je een outlier verwijderd trekt
het gemiddelde altijd meer naar de
kant van de outlier toe
Normaalverdeling: Wordt smaller met een grotere N
Steekproevenverdeling = kansverdeling op alle mogelijke waarde van de
steekproefgrootheid
Beschrijving van data variabiliteit (dispersie)
• Range (verschil tussen max en min)
• Deviatie (yi − y ̄)
2
• Kwadratensommen Σ(yi − y ̄) .
• Variantie: S^2 = Σ(yi −y ̄)2 / n−1
• Standaard deviatie: S = de wortel van
Σ(yi −y ̄)2 / n – 1
o N-1 omdat we niet weten hoe
groot de populatie is als we dit wel weten is het gewoon n
• Standaarddeviatie van de steekproevenverdeling = standaarderror = S / wortelN
• Standaardfout = verschil tussen steekproefgrootheid van meerdere steekproeven en
heeft altijd minder spreiding dan de verdeling waaruit de steekproef getrokken is (sd).
P-waardes
- P < 0.05 → kleiner dan het significantieniveau
o De kans dat we bepaalde resultaten vinden, wanneer de 0 hypothese waar is.
- P < 0.05 bij een z-toets → proporties verschillen significant van elkaar
- P < 0.05 bij een t-toets bij een gepaarde waarneming → gemiddelden binnen een
groep verschillen significant van elkaar
- P < 0.05 bij een chi-kwadraat toets → de waarnemingen zijn afhankelijk van elkaar.
4
, - P < 0.05 bij een meervoudige regressie → tenminste 1 van de regressiecoëfficient die
afwijkt van 0, dus tenminste 1 predictor van Y
- P < 0.05 bij een eenwegs ANOVA → een gemiddelde verschilt
- P < 0.05 bij en twee-wegs ANOVA → een gemiddelde verschilt
- P < 0.05 bij een ANCOVA → gemiddelden verschillen wanneer we controleren voor
de covariaat.
5 stappen van hypothese testen:
1. Aannames definiëren
2. Stel hypothese op
3. Bereken teststatistiek (bijv. t-waarde)
4. Bepaal p-waarde
5. Conclusie trekken
Exploratief onderzoek: op basis van significantie. Doel is predictie, niet inhoudelijke
verklaring het is data gedreven
1. Backward: begint met alle predictoren en minst significante variabele uit het model,
totdat er alleen significante over zijn.
2. Forward. Eerste predictor heeft hoogte correlatie met R. daarna steeds met hoogste
partiële r/kleinste p-waarde
3. Stepwise: zelfde als forward maar ook kijken of reeds geselecteerde predictoren
overbodig zijn
Confirmatief: selectie op basis van theorie
1. Ongeordend: welke meer verklaart
2. Geordend: op basis van volgorde in tijd bijvoorbeeld
Handig:
- Wat we willen weten:
MSbetween = wat we wel verklaren door het model
→ dit is bij je regressie je: Regression
- wat de error is:
MSwithin = wat we niet kunnen verklaren door het model
→ dit is bij regressie je Residual
Type 1 en 2 fout en betrouwbaarheid
Betrouwbaarheid (error) = als ik herhaaldelijk afneem, heb ik dan hetzelfde (is 95% bij een
alpha van 0.05)
- Het gaat om precisie meet ik elke keer hetzelfde
- De standaarderror moet klein zijn en de steekproef representatief
- Een meting kan betrouwbaar zijn maar niet valide
Valide (bias) = is het representatief voor de populatie, het gaat over bias.
- Een meting kan niet valide zijn als het niet betrouwbaar is.
Type 1 fout: onterecht verwerpen
- Wordt bepaalt door het gekozen significantieniveau (alpha)
- Is alpha = de kans dat h0 ten onrechte verworpen wordt
- Als alpha kleiner wordt → kans op type 2 fout groter
5
, - Hoe kleiner de alpha → hoe kleiner de kans op een type 1 fout → hoe groter de kans
op type 2 fout → hoe lager de power
- Grotere N heeft geen invloed op de kans op een type 1 fout
Type 2 fout: onterecht niet verwerpen
- is hetzelfde als beta
- wordt bepaald door effectgrootte, N, Variantie.
- 1 – type 2 fout = de power/ß
- Type 2 fout groter → beta neemt toe → power wordt minder
- Hoe kleiner alpha → hoe groter de kans op een type 2 fout
- Grotere N heeft wel een invloed op de kans op een type 2 fout
Power hangt af van:
- Alpha niveau (hoe hoger hoe minder power)
- Grootte N
- Verwachte effectgrootte
-
→ we kiezen een kritieke grens
Blauwe vlakje is: verwerpingsgebied, α, type 1
fout, significantieniveau, vals positief. We
verwerpen de 0 hypothese ten onrechte.
oranje vlakje: type 2 fout,
witte vlakje naast oranje: power
Betrouwbaarheidsinterval de breedte:
- Neemt toe als de betrouwbaarheid stijgt en je strenger wilt zijn
- Neemt af als je beter kan schatten → informatiever
- Neemt af als de steekproef groter wordt, omdat je dan beter kan schatten
- Is kleiner bij 1 enkele schatting dan bij meerdere schattingen
- Neemt af als je een grotere N hebt → dan kan je beter schatten
- Is kleiner van een enkele schatting dan bij meerdere vergelijkingen
BI van 95%:
- Met 100% ligt het steekproefgemiddelde in dit interval
- Maar er is een kans van 5% dat het interval de parameter (populatie) niet bevat
- Is het gemiddelde + foutenmarge
Een VS tweezijdig toetsen:
- Eerder verwerpen bij eenzijdig omdat de kritieke grens dan dichter bij 0 zit.
- maar tweezijdig toetsen is conservatiever, zorgt ervoor dat je minder snel een effect
vindt, je bent strenger.
Kansverdeling
Kansverdeling
6
