Regressie analyse
In deze samenvatting wordt telkens het volgende voorbeeld gebruikt om de stof toe te passen:
- Y = Hoe onveilig iemand zich voelt
- X = Hoeveel tv iemand kijkt (minuten per dag)
- Heeft meer tv kijken invloed op hoe onveilig iemand zich voelt
- Hier worden later variabelen aan toegevoegd als: leeftijd, opleiding en geslacht.
HC 1 – Enkelvoudige regressieanalyse
In het kort:
Regressie tekent een lijn door allemaal puntjes/mensen, die lijn zegt: ongeveer zó verandert Y als X
verandert.
De formule: Y=b0+b1*X
Betekent:
- B0 (intercept) = hoe onveilig iemand zich voelt als hij 0 minuten tv kijkt
- B1 (helling) = hoe onveiliger iemand wordt per minuut extra tv
Er zit altijd een fout in (mensen verschillen van elkaar): dat is de error (e). Dus dan wordt de formule:
Y=b0+b1X+fout
De lijn wordt zo gekozen dat alle fouten samen zo klein mogelijk zijn kleinste kwadraten methode.
Niet optellen (want + en – heffen elkaar op), maar kwadrateren (altijd positief maken).
Hoe goed je model is hangt af van de R 2, de verklaarde variantie. Die zegt hoeveel van Y wordt
verklaard door X. 0 is helemaal niks en 1 is helemaal verklaard.
De significantie zegt of het effect echt is of toeval, als p <0,05 is het effect significant.
Terug in de tijd
- Regression: terugvoeren op/herleiden tot
Regressie, een kwestie van y op x
Regressie van een kenmerk Y op één of meer andere kenmerken X
- Y= afhankelijke variabele, dependent
- X = onafhankelijke variabele (controlevariabele, covariaat)
Y terugvoeren op één of meer andere kenmerken X
- Een x is enkelvoudige regressieanalyse
o Y interval/ratio, één x interval/ratio : y gewicht, x lengte
- Meerdere multipele
o Y interval/ratio, meerdere x interval/ratio: y gewicht, x1 lengte, x2 calorie-inname.
o Y interval/ratio, één of meerdere X nominaal/ordinaal: y gewicht, x1 geslacht,
opl.niv.
o Y interval/ratio, sommige X interval/ratio, andere X nominaal/ordinaal: y gewicht, x1
lengte, x2 geslacht
o Y dichotoom (0/1), sommige X interval/ratio, andere X nominaal/ordinaal: y
overgewicht, x1 lengte, x2 geslacht.
,Enkelvoudig: Y= gewicht (interval/ratio) en één X 1=lengte (interval ratio).
Lijn door puntenwolk, ongeveer evenveel punten boven en onder de lijn.
De kleinste kwadratenmethode
- De oplossing van Galton: zorg dat de lijn dusdanig door de puntenwolk gaat dat de totale som
van de gekwadrateerde verschillen tussen geobserveerde punten en de lijn minimaal is
- Voor ieder puntje verschil pakken, dat kwadrateren en bij elkaar optellen. Getal wat je krijg in
spss is kleinste getal, er is maar één oplossing. Kwadrateren zodat het een positief getal is, want
anders krijg je altijd 0, want elk negatief verschil middelt het positief verschil uit.
- Telt men de 5 verschillen op, dan komt er Altijd 0 uit (15 + -15 + 0 +15 = 0) telt men de
gekwadrateerde verschillen op dan >0 4* (-) 15 2 = 900 (kleinst mogelijke getal)
- Als alle observaties op de regressielijn zouden liggen, spreken we van een deterministisch model
- In de sociale wetenschappen vinden we nooit een perfecte samenhang tussen x en y:
probabilistisch model
Regressieformule
Y(dakje)i=b0+b1Xi+ei
- Subscript i staat voor de ie individuele observatie
- B0= intercept, wat Ydakje is bij X is 0.
- Ydakjei= voorspelde waarde afhankelijke variabele van individu
- B1=b-coefficients/regressiecoëfficiënt/effect/slope verandering in Ydakje als X met één eenheid
toeneemt.
o Als lijn stijgt, b1>0 (b1 is positief)
o Als lijn daalt, b1<0 (b1 is negatief)
- Xi= waarde onafhankelijke variabele van individu i
- Ei= error/fout/residu van individu. Samenraapsel van onbekenden en/of onmeetbare invloeden
op Y.
Aansturing SPSS
- Kleinste kwadratenmethode/ordinary least squares (OLS) regressive.
- Algemene structuur:
REGRESSION
/DEPENDENT Y
/METHOD=ENTER X.
Schatten van ‘ware’ parameters via OLS
- OLS: de regressielijn zo kiezen dat (invoegen)=SSE (sum of squared errors) zo dicht mogelijk bij 0
ligt. Σ=somteken, n de steekproefgrootte.
- Het ols-principe leidt tot schattingen voor de parameters b 0 en b1 in de regressieformule:
- b^ 0 = Ȳ - b^ 1 X̄ Ȳ en X̄ zijn steekproefgemiddelden
- b^ 1 = r (sY / sX) r is de Pearson correlatie en s is de standaarddeviatie
- ^ ^ ^
êi = Yi - Y i = Yi – (b 0 + b 1 Xi) door substitutie te verkrijgen
-
σ^ e =
√ SSE
( n−1−p)
σ^ eis de standaarddeviatie van de error bij elke X-waarde
p is het aantal predictoren (enkelvoudige regressie, dus 1)
- Die laatste maat kun je interpreteren als de “gemiddelde afstand” van de punten tot de
regressielijn of de “gemiddelde fout” van de voorspelde Y-waarden
, Hoe goed past het model bij de data?
n n n
- De totale spreiding in Y (sum of squares total, SSY) bestaat uit: ∑ ( Y i−Ȳ ) 2=∑ e^ 2i +∑ ¿ ¿
i=1 i=1 i=1
Onverklaard deel (sum of squares residual, SSE) + verklaard deel (sum of squares regression,
SSR).
- De verhouding SSR/SSY noemt men de proportie verklaarde variantie R 2.
- Aangezien het gaat om een proportie, is het minimum 0 ( Y^ i=Ȳ ) en maximum 1 (e^ i=0 )
- De variantie is overigens SSY / (n-1)
Kijk naar Excel bestand voor verheldering.
SPSS output
- Pearson correlatie (r)
- Gemiddelde fout van voorspelde Y of gemiddelde afstand tot regressielijn
- Proportie verklaarde variantie (R2)
- SSR, SSE, SSY=SSR+SSE
- R2=SSR/SSY
- B0 (intercept) bijna -55
- B1 (regressiecoëfficiënt) bijna 0,75
Statistische significantie
- Is er een echte relatie tussen X en Y of is dit steeproeftoeval?
- We vonden in ons voorbeeld b^ 1= 0,759 maar de ware b1 in de populatie is misschien 0
- Wijkt de gevonden b-coëfficiënt van 0,759 significant ofwel ver genoeg af van nul?
Wat is ver van nul?
- Om deze vraag te beantwoorden, nemen we aan dat er in de populatie geen effect is
- Anders gezegd luidt de nulhypothese dat de b-coëfficiënt 0 is
- H0: b1=0
- Uit de denkbeeldige populatie trekken we oneindig veel steekproeven en berekenen we voor
elke steekproef b1
- Dit levert een steekproevenverdeling op van oneindig veel geschatte waarden van b1, de
zogenaamde t-verdeling
- Als de gevonden waarde van b1 twee of meer standaardfouten verwijderd is van nul, dan vinden
we dat gewoonlijk ver
- Overigens zijn bij grote steekproeven (Vanaf n=30) de t-verdeling en z-verdeling praktisch niet te
onderscheiden
- Als p<0,05, dan verwerp H0 ten gunste van H1:b1≠0.
- Meer algemeen: vergelijk de p-waarde met een zelfgekozen alfa (meestal 0,05 of lager) en beslis
of het effect significant is
- Spss toetst regressiecoëfficiënten overigens tweezijdig, volgens de formele toetsingstheorie zou
je de p dan moeten delen door twee, maar de wetenschappelijke conventie is om tweezijdig te
toetsen
In deze samenvatting wordt telkens het volgende voorbeeld gebruikt om de stof toe te passen:
- Y = Hoe onveilig iemand zich voelt
- X = Hoeveel tv iemand kijkt (minuten per dag)
- Heeft meer tv kijken invloed op hoe onveilig iemand zich voelt
- Hier worden later variabelen aan toegevoegd als: leeftijd, opleiding en geslacht.
HC 1 – Enkelvoudige regressieanalyse
In het kort:
Regressie tekent een lijn door allemaal puntjes/mensen, die lijn zegt: ongeveer zó verandert Y als X
verandert.
De formule: Y=b0+b1*X
Betekent:
- B0 (intercept) = hoe onveilig iemand zich voelt als hij 0 minuten tv kijkt
- B1 (helling) = hoe onveiliger iemand wordt per minuut extra tv
Er zit altijd een fout in (mensen verschillen van elkaar): dat is de error (e). Dus dan wordt de formule:
Y=b0+b1X+fout
De lijn wordt zo gekozen dat alle fouten samen zo klein mogelijk zijn kleinste kwadraten methode.
Niet optellen (want + en – heffen elkaar op), maar kwadrateren (altijd positief maken).
Hoe goed je model is hangt af van de R 2, de verklaarde variantie. Die zegt hoeveel van Y wordt
verklaard door X. 0 is helemaal niks en 1 is helemaal verklaard.
De significantie zegt of het effect echt is of toeval, als p <0,05 is het effect significant.
Terug in de tijd
- Regression: terugvoeren op/herleiden tot
Regressie, een kwestie van y op x
Regressie van een kenmerk Y op één of meer andere kenmerken X
- Y= afhankelijke variabele, dependent
- X = onafhankelijke variabele (controlevariabele, covariaat)
Y terugvoeren op één of meer andere kenmerken X
- Een x is enkelvoudige regressieanalyse
o Y interval/ratio, één x interval/ratio : y gewicht, x lengte
- Meerdere multipele
o Y interval/ratio, meerdere x interval/ratio: y gewicht, x1 lengte, x2 calorie-inname.
o Y interval/ratio, één of meerdere X nominaal/ordinaal: y gewicht, x1 geslacht,
opl.niv.
o Y interval/ratio, sommige X interval/ratio, andere X nominaal/ordinaal: y gewicht, x1
lengte, x2 geslacht
o Y dichotoom (0/1), sommige X interval/ratio, andere X nominaal/ordinaal: y
overgewicht, x1 lengte, x2 geslacht.
,Enkelvoudig: Y= gewicht (interval/ratio) en één X 1=lengte (interval ratio).
Lijn door puntenwolk, ongeveer evenveel punten boven en onder de lijn.
De kleinste kwadratenmethode
- De oplossing van Galton: zorg dat de lijn dusdanig door de puntenwolk gaat dat de totale som
van de gekwadrateerde verschillen tussen geobserveerde punten en de lijn minimaal is
- Voor ieder puntje verschil pakken, dat kwadrateren en bij elkaar optellen. Getal wat je krijg in
spss is kleinste getal, er is maar één oplossing. Kwadrateren zodat het een positief getal is, want
anders krijg je altijd 0, want elk negatief verschil middelt het positief verschil uit.
- Telt men de 5 verschillen op, dan komt er Altijd 0 uit (15 + -15 + 0 +15 = 0) telt men de
gekwadrateerde verschillen op dan >0 4* (-) 15 2 = 900 (kleinst mogelijke getal)
- Als alle observaties op de regressielijn zouden liggen, spreken we van een deterministisch model
- In de sociale wetenschappen vinden we nooit een perfecte samenhang tussen x en y:
probabilistisch model
Regressieformule
Y(dakje)i=b0+b1Xi+ei
- Subscript i staat voor de ie individuele observatie
- B0= intercept, wat Ydakje is bij X is 0.
- Ydakjei= voorspelde waarde afhankelijke variabele van individu
- B1=b-coefficients/regressiecoëfficiënt/effect/slope verandering in Ydakje als X met één eenheid
toeneemt.
o Als lijn stijgt, b1>0 (b1 is positief)
o Als lijn daalt, b1<0 (b1 is negatief)
- Xi= waarde onafhankelijke variabele van individu i
- Ei= error/fout/residu van individu. Samenraapsel van onbekenden en/of onmeetbare invloeden
op Y.
Aansturing SPSS
- Kleinste kwadratenmethode/ordinary least squares (OLS) regressive.
- Algemene structuur:
REGRESSION
/DEPENDENT Y
/METHOD=ENTER X.
Schatten van ‘ware’ parameters via OLS
- OLS: de regressielijn zo kiezen dat (invoegen)=SSE (sum of squared errors) zo dicht mogelijk bij 0
ligt. Σ=somteken, n de steekproefgrootte.
- Het ols-principe leidt tot schattingen voor de parameters b 0 en b1 in de regressieformule:
- b^ 0 = Ȳ - b^ 1 X̄ Ȳ en X̄ zijn steekproefgemiddelden
- b^ 1 = r (sY / sX) r is de Pearson correlatie en s is de standaarddeviatie
- ^ ^ ^
êi = Yi - Y i = Yi – (b 0 + b 1 Xi) door substitutie te verkrijgen
-
σ^ e =
√ SSE
( n−1−p)
σ^ eis de standaarddeviatie van de error bij elke X-waarde
p is het aantal predictoren (enkelvoudige regressie, dus 1)
- Die laatste maat kun je interpreteren als de “gemiddelde afstand” van de punten tot de
regressielijn of de “gemiddelde fout” van de voorspelde Y-waarden
, Hoe goed past het model bij de data?
n n n
- De totale spreiding in Y (sum of squares total, SSY) bestaat uit: ∑ ( Y i−Ȳ ) 2=∑ e^ 2i +∑ ¿ ¿
i=1 i=1 i=1
Onverklaard deel (sum of squares residual, SSE) + verklaard deel (sum of squares regression,
SSR).
- De verhouding SSR/SSY noemt men de proportie verklaarde variantie R 2.
- Aangezien het gaat om een proportie, is het minimum 0 ( Y^ i=Ȳ ) en maximum 1 (e^ i=0 )
- De variantie is overigens SSY / (n-1)
Kijk naar Excel bestand voor verheldering.
SPSS output
- Pearson correlatie (r)
- Gemiddelde fout van voorspelde Y of gemiddelde afstand tot regressielijn
- Proportie verklaarde variantie (R2)
- SSR, SSE, SSY=SSR+SSE
- R2=SSR/SSY
- B0 (intercept) bijna -55
- B1 (regressiecoëfficiënt) bijna 0,75
Statistische significantie
- Is er een echte relatie tussen X en Y of is dit steeproeftoeval?
- We vonden in ons voorbeeld b^ 1= 0,759 maar de ware b1 in de populatie is misschien 0
- Wijkt de gevonden b-coëfficiënt van 0,759 significant ofwel ver genoeg af van nul?
Wat is ver van nul?
- Om deze vraag te beantwoorden, nemen we aan dat er in de populatie geen effect is
- Anders gezegd luidt de nulhypothese dat de b-coëfficiënt 0 is
- H0: b1=0
- Uit de denkbeeldige populatie trekken we oneindig veel steekproeven en berekenen we voor
elke steekproef b1
- Dit levert een steekproevenverdeling op van oneindig veel geschatte waarden van b1, de
zogenaamde t-verdeling
- Als de gevonden waarde van b1 twee of meer standaardfouten verwijderd is van nul, dan vinden
we dat gewoonlijk ver
- Overigens zijn bij grote steekproeven (Vanaf n=30) de t-verdeling en z-verdeling praktisch niet te
onderscheiden
- Als p<0,05, dan verwerp H0 ten gunste van H1:b1≠0.
- Meer algemeen: vergelijk de p-waarde met een zelfgekozen alfa (meestal 0,05 of lager) en beslis
of het effect significant is
- Spss toetst regressiecoëfficiënten overigens tweezijdig, volgens de formele toetsingstheorie zou
je de p dan moeten delen door twee, maar de wetenschappelijke conventie is om tweezijdig te
toetsen
