1 Regressie en correlatie
Correlatie = nagaan of er een verband is tussen variabelen. Regressie = met predictor
variabele(n) een andere variabele voorspellen, wat ook toelaat om het verband nog
dieper na te gaan (kwantificeren van effect).
1.1 Enkelvoudige lineaire regressie (1 x en 1 y)
= 1 variabele waarmee we de andere willen voorspellen.
Voorbeeld = esteriol niveau (x) gemeten bij zwangere vrouwen proberen
correleren/verband zoeken met het geboortegewicht (y) van de baby’s. Door de
puntenwolk fitten we een rechte (als x stijgt zal y ook stijgen) y = α + βx om y te
proberen voorspellen in functie van x.
Deze rechte fitten gebeurd via bepaalde regels zie later zodat dit correct gebeurd. X is de
onafhankelijke variabele, y is de afhankelijk variabele (y hangt af van x), alfa is de
plaats op de y-as waar de rechte doorgaat (intercept) en bèta de richtingscoëfficiënt.
De echte geboortegewichten zullen in de praktijk afwijken van je voorspelde waarde, bij
1 predictor (x) kunnen dus verschillende responsen (y) zijn. We gaan de rechte zodanig
fitten dat deze responsen/afwijkingen/error ‘s (bv. 3 kg voorspeld en 3,2 in echt =>
error van 200 gram) rond de rechte afwijken volgens een normaal verdeling met
gemiddelde 0 (top gauss curve) -> de meest verwachte respons ligt op de gefitte rechte
(dus de voorspelde waarde) = top van de gauss curve. Idealiter is er geen afwijking, wat
wilt zeggen dat e (foutterm) = 0 voor alle waarnemingen. Daarnaast moet de
spreiding/variantie (σ2) van de foutentermen overal gelijk zijn (de breedte van elke
gauss curve) = homoscedasticiteit.
y = α + βx + e -> hoe vindt je alfa en bèta bij het opstellen van een regressielijn?
1.1.1 Regressielijn fitten – Method of Least Squares (kleinste kwadraten)
Gemeten waarde (xi,yi) en voorspelde waarde (xi,
ŷi) hebben een afwijking di (= foutterm e). We
willen een perfecte rechte, dus de som van de Di’s
zo klein mogelijk. Deze fouttermen kunnen +
(boven rechte) of – zijn, waardoor ze bij optellen
elkaar te niet kunnen doen. Daarom nemen we de
gekwadrateerde som (eerst kwadraat nemen en dan
optellen) van de eerste (i = 1) tot nde fout.
De least squares line is de regressielijn waarbij de
gekwadrateerde som het kleinst is.
,Om de alfa en bèta te bepalen van de regressielijn met de kleinst di som moeten er
zaken berekend worden (zie formularium):
EXAMEN = krijgt 3 observaties -> schrijf de vgl van de regressielijn op
Interpretatie resultaten (examen): als esteriol niveau 0 is, is het geboortegewicht
21,52 ofwel 2 kilo 152 g. Richtingscoëfficiënt = snelheid van stijgen of dalen in grafiek ->
y = birthweight(in hg) and x = estriol level (in mg/24hr)
- Als we 1 mg/dag meer esteriol produceren, neemt geboortegewicht gemiddeld
met 0,61 g toe (positief dus toename).
- What is the predicted birthweight if a pregnant woman has an estriol level of 10
mg/24h? = 2760g
- For what estriol level would the predicted birthweight be 4.5 kg (45hg) =
39mg/24hr
1.1.2 Significantie richtingscoëfficiënt nagaan
Is dit de juiste rechte? Als we het experiment opnieuw doen, krijgen we dan geen andere
rechte (bv. dalend)? Is de coëfficiënt dus statistisch significant verschillend van 0? Dit
getal zegt niets over p-waarde! We moeten een hypothese test uitvoeren:
H0: β = 0 (geen effect van x op y) H1: β ≠ 0 (statistisch significant effect x op y)
Teststatistiek zal onder de nulhypothese (als deze dus waar is) een bepaalde verdeling
volgen (bv. F-verdeling). Daarnaast kan je de p-waarde nagaan = kans dat onze 0,608
zich voordoet onder de veronderstelling dat H0 waar is. Als deze kans heel klein is
(< 0,05), dan geloven we dit niet! Dus verwerpen we H0.
Regressielijn bevat altijd punt (x̄ , ȳ ) dus waar x̄
is ligt ȳ
Sample point (xi,yi) = eender welk gemeten punt
Residual component = yi – ŷi -> gemeten min
voorspelde waarde
Regression component = ŷi - ȳ -> voorspelde
min gemiddelde
Total component = yi - ȳ
, Door ANOVA te doen kan je ook aan deze zaken
komen + F-test statistiek (zie R studio)
We weten nu hoe we de 3 zaken berekenen voor 1 punt, als we dit willen berekenen voor
alle punten:
Residual sum of squares/Res SS: Regression sum of squares/Reg SS:
Total sum of squares/TotalSS/Lyy: Total SS = Reg SS + Res SS
wilt dat Res SS zo klein mogelijk is (= zo weinig
mogelijk fouten) en Reg SS zo groot mogelijk om een significante
regressie lijn te hebben
Teststatistiek: RegSS/ResSS -> P-waarde, als RegSS groot is kan je H0 wss
verwerpen
1.1.3 F-test voor enkelvoudige lineaire regressie
Vertelt hoe goed rechte fit door datawolk (significant of niet, kunnen we iets doen met
ons model?). Zoals daarnet vermeld gaan we RegSS / ResSS uitvoeren. Maar eerst:
- Regression mean square (Reg MS) = Reg SS / k (aantal x-variabelen)
- Residual mean square (Res MS) = Res SS / (n-k-1) (# vrijheidsgraden – aantal x-
variabelen – 1)
Reg MS / Res MS = F-teststatistiek
Als de F test niet significant
is, is het model in principe
niet bruikbaar voor
voorspelling of verklaring.
(zie formularium)
Examen: zie daarnet 3 rijtjes -> bereken Lxx, Lyy, Lxy om f-waarde te bekomen en zo
uw hypothesetest uit te voeren (ook tekenen zie hieronder!!)
1) Kritieke waarde (F, zie formularium) zoeken
F k, n-k-1, 1-a F 1;29;0,95 (opzoeken in tabel) = 4,17 (getal wat overeenkomt met het 95 ste
percentiel, dus opp. tussen 0 en dit getal is 95 procent)
, Fk, n-k-1, 1-a
verwerpings-
gebied
aanvaardingsgebied
DUS: 17,16 is groter dan 4,17 (F-waarde) dus wordt H0 verworpen, esteriol niveau heeft
wel degelijk een statistisch significante invloed op het geboortegewicht van baby’s.
2) P-waarde zoeken (moet hetzelfde besluit hebben als hierboven)
Hiervoor kijk je terug in dezelfde tabel als daarnet. Hier zie je dan 17,16 boven 13,29 ligt
dus kans is nog kleiner dan 0,001 (exact mogelijke p-waarde dus) dus ook op basis van
de P-waarde kan je H0 verwerpen.
p = Pr(F1;29 > 17,16) < 0,001 (exact zo schrijven op examen)
1.1.4 R2 bepalen
Verklaard het esteriol niveau al veel over het geboortegewicht? Gaan we na via een
percentage (R2) wat weergeeft hoe goed je meetpunten de rechte benaderen, hoe hoger
hoe beter het model werkt (hoge goodness of fit).
R² = Reg SS / Total SS
= 1 perfecte fit dus geboortegewicht kan verklaard worden door esteriol niveau
= 0 x kan niet gebruikt worden om y te voorspellen
Zie output R, berekend is dit 0,372 dus 37% gewicht dat verklaard wordt door esteriol.
R2 = r2 waarbij r de Pearson correlatief coëfficiënt is (zie verder).
Correlatie = nagaan of er een verband is tussen variabelen. Regressie = met predictor
variabele(n) een andere variabele voorspellen, wat ook toelaat om het verband nog
dieper na te gaan (kwantificeren van effect).
1.1 Enkelvoudige lineaire regressie (1 x en 1 y)
= 1 variabele waarmee we de andere willen voorspellen.
Voorbeeld = esteriol niveau (x) gemeten bij zwangere vrouwen proberen
correleren/verband zoeken met het geboortegewicht (y) van de baby’s. Door de
puntenwolk fitten we een rechte (als x stijgt zal y ook stijgen) y = α + βx om y te
proberen voorspellen in functie van x.
Deze rechte fitten gebeurd via bepaalde regels zie later zodat dit correct gebeurd. X is de
onafhankelijke variabele, y is de afhankelijk variabele (y hangt af van x), alfa is de
plaats op de y-as waar de rechte doorgaat (intercept) en bèta de richtingscoëfficiënt.
De echte geboortegewichten zullen in de praktijk afwijken van je voorspelde waarde, bij
1 predictor (x) kunnen dus verschillende responsen (y) zijn. We gaan de rechte zodanig
fitten dat deze responsen/afwijkingen/error ‘s (bv. 3 kg voorspeld en 3,2 in echt =>
error van 200 gram) rond de rechte afwijken volgens een normaal verdeling met
gemiddelde 0 (top gauss curve) -> de meest verwachte respons ligt op de gefitte rechte
(dus de voorspelde waarde) = top van de gauss curve. Idealiter is er geen afwijking, wat
wilt zeggen dat e (foutterm) = 0 voor alle waarnemingen. Daarnaast moet de
spreiding/variantie (σ2) van de foutentermen overal gelijk zijn (de breedte van elke
gauss curve) = homoscedasticiteit.
y = α + βx + e -> hoe vindt je alfa en bèta bij het opstellen van een regressielijn?
1.1.1 Regressielijn fitten – Method of Least Squares (kleinste kwadraten)
Gemeten waarde (xi,yi) en voorspelde waarde (xi,
ŷi) hebben een afwijking di (= foutterm e). We
willen een perfecte rechte, dus de som van de Di’s
zo klein mogelijk. Deze fouttermen kunnen +
(boven rechte) of – zijn, waardoor ze bij optellen
elkaar te niet kunnen doen. Daarom nemen we de
gekwadrateerde som (eerst kwadraat nemen en dan
optellen) van de eerste (i = 1) tot nde fout.
De least squares line is de regressielijn waarbij de
gekwadrateerde som het kleinst is.
,Om de alfa en bèta te bepalen van de regressielijn met de kleinst di som moeten er
zaken berekend worden (zie formularium):
EXAMEN = krijgt 3 observaties -> schrijf de vgl van de regressielijn op
Interpretatie resultaten (examen): als esteriol niveau 0 is, is het geboortegewicht
21,52 ofwel 2 kilo 152 g. Richtingscoëfficiënt = snelheid van stijgen of dalen in grafiek ->
y = birthweight(in hg) and x = estriol level (in mg/24hr)
- Als we 1 mg/dag meer esteriol produceren, neemt geboortegewicht gemiddeld
met 0,61 g toe (positief dus toename).
- What is the predicted birthweight if a pregnant woman has an estriol level of 10
mg/24h? = 2760g
- For what estriol level would the predicted birthweight be 4.5 kg (45hg) =
39mg/24hr
1.1.2 Significantie richtingscoëfficiënt nagaan
Is dit de juiste rechte? Als we het experiment opnieuw doen, krijgen we dan geen andere
rechte (bv. dalend)? Is de coëfficiënt dus statistisch significant verschillend van 0? Dit
getal zegt niets over p-waarde! We moeten een hypothese test uitvoeren:
H0: β = 0 (geen effect van x op y) H1: β ≠ 0 (statistisch significant effect x op y)
Teststatistiek zal onder de nulhypothese (als deze dus waar is) een bepaalde verdeling
volgen (bv. F-verdeling). Daarnaast kan je de p-waarde nagaan = kans dat onze 0,608
zich voordoet onder de veronderstelling dat H0 waar is. Als deze kans heel klein is
(< 0,05), dan geloven we dit niet! Dus verwerpen we H0.
Regressielijn bevat altijd punt (x̄ , ȳ ) dus waar x̄
is ligt ȳ
Sample point (xi,yi) = eender welk gemeten punt
Residual component = yi – ŷi -> gemeten min
voorspelde waarde
Regression component = ŷi - ȳ -> voorspelde
min gemiddelde
Total component = yi - ȳ
, Door ANOVA te doen kan je ook aan deze zaken
komen + F-test statistiek (zie R studio)
We weten nu hoe we de 3 zaken berekenen voor 1 punt, als we dit willen berekenen voor
alle punten:
Residual sum of squares/Res SS: Regression sum of squares/Reg SS:
Total sum of squares/TotalSS/Lyy: Total SS = Reg SS + Res SS
wilt dat Res SS zo klein mogelijk is (= zo weinig
mogelijk fouten) en Reg SS zo groot mogelijk om een significante
regressie lijn te hebben
Teststatistiek: RegSS/ResSS -> P-waarde, als RegSS groot is kan je H0 wss
verwerpen
1.1.3 F-test voor enkelvoudige lineaire regressie
Vertelt hoe goed rechte fit door datawolk (significant of niet, kunnen we iets doen met
ons model?). Zoals daarnet vermeld gaan we RegSS / ResSS uitvoeren. Maar eerst:
- Regression mean square (Reg MS) = Reg SS / k (aantal x-variabelen)
- Residual mean square (Res MS) = Res SS / (n-k-1) (# vrijheidsgraden – aantal x-
variabelen – 1)
Reg MS / Res MS = F-teststatistiek
Als de F test niet significant
is, is het model in principe
niet bruikbaar voor
voorspelling of verklaring.
(zie formularium)
Examen: zie daarnet 3 rijtjes -> bereken Lxx, Lyy, Lxy om f-waarde te bekomen en zo
uw hypothesetest uit te voeren (ook tekenen zie hieronder!!)
1) Kritieke waarde (F, zie formularium) zoeken
F k, n-k-1, 1-a F 1;29;0,95 (opzoeken in tabel) = 4,17 (getal wat overeenkomt met het 95 ste
percentiel, dus opp. tussen 0 en dit getal is 95 procent)
, Fk, n-k-1, 1-a
verwerpings-
gebied
aanvaardingsgebied
DUS: 17,16 is groter dan 4,17 (F-waarde) dus wordt H0 verworpen, esteriol niveau heeft
wel degelijk een statistisch significante invloed op het geboortegewicht van baby’s.
2) P-waarde zoeken (moet hetzelfde besluit hebben als hierboven)
Hiervoor kijk je terug in dezelfde tabel als daarnet. Hier zie je dan 17,16 boven 13,29 ligt
dus kans is nog kleiner dan 0,001 (exact mogelijke p-waarde dus) dus ook op basis van
de P-waarde kan je H0 verwerpen.
p = Pr(F1;29 > 17,16) < 0,001 (exact zo schrijven op examen)
1.1.4 R2 bepalen
Verklaard het esteriol niveau al veel over het geboortegewicht? Gaan we na via een
percentage (R2) wat weergeeft hoe goed je meetpunten de rechte benaderen, hoe hoger
hoe beter het model werkt (hoge goodness of fit).
R² = Reg SS / Total SS
= 1 perfecte fit dus geboortegewicht kan verklaard worden door esteriol niveau
= 0 x kan niet gebruikt worden om y te voorspellen
Zie output R, berekend is dit 0,372 dus 37% gewicht dat verklaard wordt door esteriol.
R2 = r2 waarbij r de Pearson correlatief coëfficiënt is (zie verder).
