Hoorcollege 1: inleiding statistiek & modelselectie
The power of statistics: veel informatie samenvatten, verbanden blootleggen (voorspellen) en
effectiviteit evalueren van wet- en regelgeving/medische ingrepen/onderwijsprogramma’s etc. en
uitspraken doen over een hele populatie → generaliseren.
With great power comes great responsibility. Altijd eerst de hypothese op basis van theorie. Niet
p-hacking doen: zoeken naar een significant verband of een selectief resultaat laten zien. Rubbish in is
rubbish out: als je data niet geschikt/goed is komt er ook niets uit. Ook: toets je aannames,
sensitiviteitsanalyse.
Toets Onafhankelijke Afhankelijke Toelichting
variabele variabele
Correlatie Continu en continu Samenhang tussen x1
en x2
T-test Binair Continu Gemiddelde van twee
groepen vergelijken
Lineaire regressie Continu en/of factor Continu Verklaarde variantie
(dummies) van y door x
Eenweg ANOVA Factor Continu Gemiddelde van meer
dan twee groepen
vergelijken
Tweeweg ANOVA Factor x factor Continu Gemiddelde van
groepen vergelijken op
basis van twee
variabelen + evt.
interactie.
ANCOVA Factor(en) met Continu Gemiddelde van
covariaat groepen vergelijken
met covariaat
Herhaalde metingen Factor(en) Continu Gemiddelde van
ANOVA meerdere metingen
van dezelfde
respondenten
vergelijken.
Logistische regressie Continu en/of factor Binair Verklaarde variantie
(dummies) van binaire y door x.
,Lineaire regressie
Het verband tussen x en y. Stap 1 is totale variantie berekenen van y aan de hand van het gemiddelde:
de totale variantie: total sum of squares (SSt). Dus afstand van Y tot het gemiddelde in het kwadraat.
Doel is dit te verklaren d.m.v. X. SPSS schat de regressielijn, de kleinste kwadratenlijn. De afwijking
van de regressielijn is de onverklaarde variantie: residual sum of squares (SSr). De verbetering door
het model: verklaarde variantie: model sum of squares (SSm). SSt = SSm + SSr.
De R² geeft de proportie van de verklaarde variantie weer. R² = SSm/SSt, ofwel R² =
verklaarde variantie/totale variantie. R² * 100 = percentage verklaarde proportie.
De F (fit) = MSm (model R²)/MSr (residual R²), verklaarde variantie/onverklaarde variantie.
Regressievergelijking: ŷ = a + bx + error (b = toename y als x 1 toeneemt, a = waarde
wanneer alle x 0 is. ŷ = a + b1(x1) + b2(x2) + b3(x3) + error. Dan is het als x1 toeneemt met
1, neemt y toe met b1, gecontroleerd voor x2 en x3.
Modelselectie
Welke predictors in het model? Welk model is het beste?
Ockhams razor: hoe simpeler je model, hoe minder aannames/variabelen.
Weglaten van onnodige variabelen. Simpel is beter. Zeker bij een kleine dataset. Je
wilt multicollineariteit voorkomen.
Altijd eerst de theorie. De variabelen die je toevoegt gaan zijn eerst oud, dan nieuw. Eerst
controlevariabelen en daarna pas de x. Vermijd automatische procedures.
Model 1: X1 + X2.
Model 2: X1 + X2 + X3 (genest model (1 zit in 2), hiërarchisch)
Is model 2 beter dan 1?
- R²change (verschil in R² in model 1 en 2).
- Partiële F-toets: is de R²change significant? Fchange + df1 + df2 + sig.
35:50 hoe je dit rapporteert in je verslag
- Regressiecoëfficiënten.
Hoorcollege 2: logistische regressie
Logistische regressie - 2 soorten
1. Binaire logistische regressie: binaire variabele als afhankelijke (twee categorieën), ookwel
‘logistische regressie’.
2. Multinominale logistische regressie: nominale variabele als afhankelijke (meer dan twee
categorieën). De uitkomsten van multinomiale logistische regressie zijn lastig te bevatten.
Dichotome afhankelijke variabele y: wel of niet loon uit arbeid, wel of niet genezen, wel of niet stem
uitgebracht etc. 0 of 1, niet of wel.
Lineair regressiemodel: y = a + bx.
, De regressielijn werkt niet goed bij binaire variabelen. Er worden onmogelijke waarden geschat (<0 of
>1), heteroscedasticiteit ontstaat en gevolg is dat de standaard errors en p-waarden niet kloppen.
Wat te doen? logit linkfunctie.
log P(y=1)/ P(y=0) = a +bx. Hij vormt een s-curve i.p.v. een rechte lijn.
De afhankelijke is y=1 of y =0.
y = 1 Kans P: kans op y = 1: P(y=1) 0.2
y = 0 Kans P: kans op y = 0: P(y=0) 0.8
Stap 1: kansen omzetten in odds. Odds = P(y=1)/P(y=0)
Stap 2: odds transformeren in log odds (=logit). Waarom? Voorkomt dat voorspellingen kleiner dan 0
en groter dan 1 worden.
Kans
Lineaire regressie: de waarde van y voorspellen
Logistische regressie: de kans op y=1 voorspellen.
Categorie 1: kans op gebeurtenis P(y=1)
Categorie 2: kans op niet de gebeurtenis 1-P(y=1)
De kans heeft een waarde tussen 0 en 1.
Odds
Een kansverhouding. De odds is de kans op wel de
gebeurtenis P(y=1) gedeeld door de kans op een
gebeurtenis P(y=0).
Odds is altijd groter of gelijk aan 0.
P(y=1) > P(y=0) → odds >1
P(y=1) < P(y=0) → odds <1
Voorbeeld: Odds = 2, kans op P(y=1) is twee keer zo groot als P(y=0).
Odds omrekenen naar kans
Zie bovenstaande formule. Stel: P(y=1) = 20%. Wat zijn de odds? 0.2/0.8 = 0.25.
Terugrekenen: odds/odds+1 = P. 0.25/1.25 = 0.2 → 20%
The power of statistics: veel informatie samenvatten, verbanden blootleggen (voorspellen) en
effectiviteit evalueren van wet- en regelgeving/medische ingrepen/onderwijsprogramma’s etc. en
uitspraken doen over een hele populatie → generaliseren.
With great power comes great responsibility. Altijd eerst de hypothese op basis van theorie. Niet
p-hacking doen: zoeken naar een significant verband of een selectief resultaat laten zien. Rubbish in is
rubbish out: als je data niet geschikt/goed is komt er ook niets uit. Ook: toets je aannames,
sensitiviteitsanalyse.
Toets Onafhankelijke Afhankelijke Toelichting
variabele variabele
Correlatie Continu en continu Samenhang tussen x1
en x2
T-test Binair Continu Gemiddelde van twee
groepen vergelijken
Lineaire regressie Continu en/of factor Continu Verklaarde variantie
(dummies) van y door x
Eenweg ANOVA Factor Continu Gemiddelde van meer
dan twee groepen
vergelijken
Tweeweg ANOVA Factor x factor Continu Gemiddelde van
groepen vergelijken op
basis van twee
variabelen + evt.
interactie.
ANCOVA Factor(en) met Continu Gemiddelde van
covariaat groepen vergelijken
met covariaat
Herhaalde metingen Factor(en) Continu Gemiddelde van
ANOVA meerdere metingen
van dezelfde
respondenten
vergelijken.
Logistische regressie Continu en/of factor Binair Verklaarde variantie
(dummies) van binaire y door x.
,Lineaire regressie
Het verband tussen x en y. Stap 1 is totale variantie berekenen van y aan de hand van het gemiddelde:
de totale variantie: total sum of squares (SSt). Dus afstand van Y tot het gemiddelde in het kwadraat.
Doel is dit te verklaren d.m.v. X. SPSS schat de regressielijn, de kleinste kwadratenlijn. De afwijking
van de regressielijn is de onverklaarde variantie: residual sum of squares (SSr). De verbetering door
het model: verklaarde variantie: model sum of squares (SSm). SSt = SSm + SSr.
De R² geeft de proportie van de verklaarde variantie weer. R² = SSm/SSt, ofwel R² =
verklaarde variantie/totale variantie. R² * 100 = percentage verklaarde proportie.
De F (fit) = MSm (model R²)/MSr (residual R²), verklaarde variantie/onverklaarde variantie.
Regressievergelijking: ŷ = a + bx + error (b = toename y als x 1 toeneemt, a = waarde
wanneer alle x 0 is. ŷ = a + b1(x1) + b2(x2) + b3(x3) + error. Dan is het als x1 toeneemt met
1, neemt y toe met b1, gecontroleerd voor x2 en x3.
Modelselectie
Welke predictors in het model? Welk model is het beste?
Ockhams razor: hoe simpeler je model, hoe minder aannames/variabelen.
Weglaten van onnodige variabelen. Simpel is beter. Zeker bij een kleine dataset. Je
wilt multicollineariteit voorkomen.
Altijd eerst de theorie. De variabelen die je toevoegt gaan zijn eerst oud, dan nieuw. Eerst
controlevariabelen en daarna pas de x. Vermijd automatische procedures.
Model 1: X1 + X2.
Model 2: X1 + X2 + X3 (genest model (1 zit in 2), hiërarchisch)
Is model 2 beter dan 1?
- R²change (verschil in R² in model 1 en 2).
- Partiële F-toets: is de R²change significant? Fchange + df1 + df2 + sig.
35:50 hoe je dit rapporteert in je verslag
- Regressiecoëfficiënten.
Hoorcollege 2: logistische regressie
Logistische regressie - 2 soorten
1. Binaire logistische regressie: binaire variabele als afhankelijke (twee categorieën), ookwel
‘logistische regressie’.
2. Multinominale logistische regressie: nominale variabele als afhankelijke (meer dan twee
categorieën). De uitkomsten van multinomiale logistische regressie zijn lastig te bevatten.
Dichotome afhankelijke variabele y: wel of niet loon uit arbeid, wel of niet genezen, wel of niet stem
uitgebracht etc. 0 of 1, niet of wel.
Lineair regressiemodel: y = a + bx.
, De regressielijn werkt niet goed bij binaire variabelen. Er worden onmogelijke waarden geschat (<0 of
>1), heteroscedasticiteit ontstaat en gevolg is dat de standaard errors en p-waarden niet kloppen.
Wat te doen? logit linkfunctie.
log P(y=1)/ P(y=0) = a +bx. Hij vormt een s-curve i.p.v. een rechte lijn.
De afhankelijke is y=1 of y =0.
y = 1 Kans P: kans op y = 1: P(y=1) 0.2
y = 0 Kans P: kans op y = 0: P(y=0) 0.8
Stap 1: kansen omzetten in odds. Odds = P(y=1)/P(y=0)
Stap 2: odds transformeren in log odds (=logit). Waarom? Voorkomt dat voorspellingen kleiner dan 0
en groter dan 1 worden.
Kans
Lineaire regressie: de waarde van y voorspellen
Logistische regressie: de kans op y=1 voorspellen.
Categorie 1: kans op gebeurtenis P(y=1)
Categorie 2: kans op niet de gebeurtenis 1-P(y=1)
De kans heeft een waarde tussen 0 en 1.
Odds
Een kansverhouding. De odds is de kans op wel de
gebeurtenis P(y=1) gedeeld door de kans op een
gebeurtenis P(y=0).
Odds is altijd groter of gelijk aan 0.
P(y=1) > P(y=0) → odds >1
P(y=1) < P(y=0) → odds <1
Voorbeeld: Odds = 2, kans op P(y=1) is twee keer zo groot als P(y=0).
Odds omrekenen naar kans
Zie bovenstaande formule. Stel: P(y=1) = 20%. Wat zijn de odds? 0.2/0.8 = 0.25.
Terugrekenen: odds/odds+1 = P. 0.25/1.25 = 0.2 → 20%
