Huiswerk = opdracht 1 & 2 van iedere week. Formuleblad op Brightspace.
Week 1: Multipele regressie analyse
Multivariatie = 3 of meer variabelen. Technieken week 1 tm 4 1 afhankelijke variabele Y en
meerdere onafhankelijke variabelen X1, X2, … (predictoren).
X1, X2 Y Techniek Afkorting
Interval Interva Multipele regressie analyse MRA
l
Nominaal Interva Variantie analyse ANOVA
l
Nominaal + Interva Covariantie analyse ANCOVA
interval l
Interval Binair Logistische regressie analyse LRA
X1 en X2 kunnen ook binair zijn. Wanneer Y binair is, dan LRA. ZET OP SPIEKBRIEF!
Regressie model
Kan Y voorspeld worden uit X1 en X2? Een model dat goed werkt: afhankelijke variabele Y is een
lineaire functie van voorspellers X1 en X2.
Regressie model: Simpele regressie Yi = B0 + B1X1 + e1. Multipele regressie: Yi = B0 + B1X1i + B2X2i +
… + BkXki + ei.
Hier is b0 de regressie constante, B 1 en bk zijn regressie coëfficiënten. X 1 en Xk en Yi zijn de scores van
persoon i. ei is een residu (error) (= individuele afwijking van bepaald persoon tot regressiemodel).
Populatiewaarde geef je aan met *. Parameters* schatten met “kleinste kwadratenprincipe”, kan met
SPSS. Op basis van de steekproef probeer je dus de populatieparameters * te schatten.
Waarom:
- Kan de relatie tussen Y en X1 en X2 beschrijven in de populatie
- Kan gebruikt worden om de Y-score van mensen niet in de populatie te voorspellen.
Bij een enkelvoudige regressie fit je een rechte lijn waar de residuen minimaal zijn. Bij een
meervoudige regressie gebruik je een vlak.
^ i is de voorspelling van Yi. Relatie: Y i=Y^ i + ei . De beste voorspelling is
Regressie vergelijking Y
N N
gegeven wanneer de kwadratensommen minimaal zijn: ∑ (Y i−Y^ i ) =∑ e i
2 2
(= kleinste
i=1 i=1
kwadratenprincipe).
Hypotheses: H0: B1 = B2 = … = Bk = 0. Ha: ten minste Bj ≠ 0.
MSregressie MS g
Toetsen met F-toets: F= = . Data= model + error (zie ECO).
MS residu MST
VAF: Na het maken van je model, moet je kijken hoe goed je model is.
2 2
R + R −2r
y1 y2 r y 2r y 12
R2=R 2y .12= 2
y1
. Hier is R de multipele correlatie coëfficiënt en de Pearson correlatie
1−r 12
tussen Y en een combinatie van X 1 en X2. Waarde ligt tussen 0 en 1. R 2 = VAF = hoeveel variantie van
1
, Y verklaard wordt door X1 en X2 en beschrijft hoe goed het lineaire model de data beschrijft.
2 SS regression
R =VAF = = Pearson2.
SS total
SPSS geeft voor elke predictor een B + standaarddeviatie en een T-toets + significantie. Hier kan je
aan aflezen welke predictor in je model significant is en welke niet.
X −μ
Gestandaardiseerde regressievergelijking: Alle variabelen standaardiseren met z= .
σ
Kijk hoe belangrijk een predictor is door de part correlation in SPSS. Partiële correlatie van een
predictor laat zien hoeveel variantie van Y verklaard wordt door de predictor en niet door andere
variabelen in de analyse.
Assumpties zijn nodig voor de sampling verdeling, kan uitgelegd worden in residuen. Wanneer ze
geschaad worden is er vaak geen effect op de residuen of coëfficiënten, maar wel op de
standaardfouten. Dan trek je foute conclusies over de significantie. Assumpties zeggen wat over de
populatie en kunnen dus niet direct getest worden, maar daarom check je het in je sample en met
grafische tools en tests. Heeft invloed op teststatistieken, p-waardes en daarom verkeerde conclusies.
Assumpties Met een lineair model hebben variabelen een interval meetniveau. Test de
homoscedasticiteit, onafhankelijkheid van residuen, normaliteit van samples. Multicollinairiteit van
predictoren (=moderate tot hoge inter-correlatie tussen predictoren).
Bij homoscedasticiteit = variantie van residuen zijn constant tussen waardes predictoren.
Heteroscedasticiteit heeft effect op standaardfouten van regressiecoëfficiënten.
Outliers verschillende soorten zijn outliers op afhankelijke variabele Y, op onafhankelijke
variabele X, op influentiële data punten. Geen scores extremer dan voorspeld (standaard residu < |3|),
geen influentiële punten (Cook’s < 1), geen outliers op predictoren (leverage <3(P+1)/N).
Wanneer assumpties geschonden selectiepredictoren = model selectie. Het controleren van
assumpties is onderdeel van model selectie. Haal outliers eruit, gebruik robuustere techniek, methodes
in SPSS.
Multicollineariteit probleem want beperkt grootte R 2, moeilijk om belang van predictor te bepalen,
maakt regressievergelijking instabiel. In sociale wetenschappen meestal geen probleem want
variabelen hebben lage inter-correlatie.
Identificeren met 1) tolerance of predictor j: T j=1−R2j . Hier is Rj2 de coëfficiënt van
determinatie voor voorspellen predictor J met andere predictoren, probleem wanneer onder .10 2)
1 1
variantie inflatie factor (VIF) van predict j: VIF j = =
T j 1−R2j , probleem wanneer boven 10.
R2adj is wanneer we regressiemodel vanuit populatie hadden gevormd. Meest gebruikt is Wherry’s
2 N −1 2
adjusted R2 formule: Ra =1− (1−R ). Hier is N sample size en k aantal predictoren.
N−k −1
2
Week 1: Multipele regressie analyse
Multivariatie = 3 of meer variabelen. Technieken week 1 tm 4 1 afhankelijke variabele Y en
meerdere onafhankelijke variabelen X1, X2, … (predictoren).
X1, X2 Y Techniek Afkorting
Interval Interva Multipele regressie analyse MRA
l
Nominaal Interva Variantie analyse ANOVA
l
Nominaal + Interva Covariantie analyse ANCOVA
interval l
Interval Binair Logistische regressie analyse LRA
X1 en X2 kunnen ook binair zijn. Wanneer Y binair is, dan LRA. ZET OP SPIEKBRIEF!
Regressie model
Kan Y voorspeld worden uit X1 en X2? Een model dat goed werkt: afhankelijke variabele Y is een
lineaire functie van voorspellers X1 en X2.
Regressie model: Simpele regressie Yi = B0 + B1X1 + e1. Multipele regressie: Yi = B0 + B1X1i + B2X2i +
… + BkXki + ei.
Hier is b0 de regressie constante, B 1 en bk zijn regressie coëfficiënten. X 1 en Xk en Yi zijn de scores van
persoon i. ei is een residu (error) (= individuele afwijking van bepaald persoon tot regressiemodel).
Populatiewaarde geef je aan met *. Parameters* schatten met “kleinste kwadratenprincipe”, kan met
SPSS. Op basis van de steekproef probeer je dus de populatieparameters * te schatten.
Waarom:
- Kan de relatie tussen Y en X1 en X2 beschrijven in de populatie
- Kan gebruikt worden om de Y-score van mensen niet in de populatie te voorspellen.
Bij een enkelvoudige regressie fit je een rechte lijn waar de residuen minimaal zijn. Bij een
meervoudige regressie gebruik je een vlak.
^ i is de voorspelling van Yi. Relatie: Y i=Y^ i + ei . De beste voorspelling is
Regressie vergelijking Y
N N
gegeven wanneer de kwadratensommen minimaal zijn: ∑ (Y i−Y^ i ) =∑ e i
2 2
(= kleinste
i=1 i=1
kwadratenprincipe).
Hypotheses: H0: B1 = B2 = … = Bk = 0. Ha: ten minste Bj ≠ 0.
MSregressie MS g
Toetsen met F-toets: F= = . Data= model + error (zie ECO).
MS residu MST
VAF: Na het maken van je model, moet je kijken hoe goed je model is.
2 2
R + R −2r
y1 y2 r y 2r y 12
R2=R 2y .12= 2
y1
. Hier is R de multipele correlatie coëfficiënt en de Pearson correlatie
1−r 12
tussen Y en een combinatie van X 1 en X2. Waarde ligt tussen 0 en 1. R 2 = VAF = hoeveel variantie van
1
, Y verklaard wordt door X1 en X2 en beschrijft hoe goed het lineaire model de data beschrijft.
2 SS regression
R =VAF = = Pearson2.
SS total
SPSS geeft voor elke predictor een B + standaarddeviatie en een T-toets + significantie. Hier kan je
aan aflezen welke predictor in je model significant is en welke niet.
X −μ
Gestandaardiseerde regressievergelijking: Alle variabelen standaardiseren met z= .
σ
Kijk hoe belangrijk een predictor is door de part correlation in SPSS. Partiële correlatie van een
predictor laat zien hoeveel variantie van Y verklaard wordt door de predictor en niet door andere
variabelen in de analyse.
Assumpties zijn nodig voor de sampling verdeling, kan uitgelegd worden in residuen. Wanneer ze
geschaad worden is er vaak geen effect op de residuen of coëfficiënten, maar wel op de
standaardfouten. Dan trek je foute conclusies over de significantie. Assumpties zeggen wat over de
populatie en kunnen dus niet direct getest worden, maar daarom check je het in je sample en met
grafische tools en tests. Heeft invloed op teststatistieken, p-waardes en daarom verkeerde conclusies.
Assumpties Met een lineair model hebben variabelen een interval meetniveau. Test de
homoscedasticiteit, onafhankelijkheid van residuen, normaliteit van samples. Multicollinairiteit van
predictoren (=moderate tot hoge inter-correlatie tussen predictoren).
Bij homoscedasticiteit = variantie van residuen zijn constant tussen waardes predictoren.
Heteroscedasticiteit heeft effect op standaardfouten van regressiecoëfficiënten.
Outliers verschillende soorten zijn outliers op afhankelijke variabele Y, op onafhankelijke
variabele X, op influentiële data punten. Geen scores extremer dan voorspeld (standaard residu < |3|),
geen influentiële punten (Cook’s < 1), geen outliers op predictoren (leverage <3(P+1)/N).
Wanneer assumpties geschonden selectiepredictoren = model selectie. Het controleren van
assumpties is onderdeel van model selectie. Haal outliers eruit, gebruik robuustere techniek, methodes
in SPSS.
Multicollineariteit probleem want beperkt grootte R 2, moeilijk om belang van predictor te bepalen,
maakt regressievergelijking instabiel. In sociale wetenschappen meestal geen probleem want
variabelen hebben lage inter-correlatie.
Identificeren met 1) tolerance of predictor j: T j=1−R2j . Hier is Rj2 de coëfficiënt van
determinatie voor voorspellen predictor J met andere predictoren, probleem wanneer onder .10 2)
1 1
variantie inflatie factor (VIF) van predict j: VIF j = =
T j 1−R2j , probleem wanneer boven 10.
R2adj is wanneer we regressiemodel vanuit populatie hadden gevormd. Meest gebruikt is Wherry’s
2 N −1 2
adjusted R2 formule: Ra =1− (1−R ). Hier is N sample size en k aantal predictoren.
N−k −1
2
