Hoofdstuk 11: Meervoudige lineaire
Regressie met twee onafhankelijke
variabelen
Inleiding: van 1 naar meerdere ov
• Doel: Nagaan hoe goed één of meerdere kenmerken (X) een ander
kenmerk (Y) kunnen verklaren of voorspellen.
• Te verklaren kenmerk: Afhankelijke variabele (Y)
• Verklarende kenmerken: Onafhankelijke variabelen (X)
• Lineaire regressie: Voorspellen van Y via een lineaire vergelijking:
Bivariate lineaire regressie: lineaire effect van één enkele
onafhankelijke variabele op één enkele afhankelijke variabele
Meervoudige lineaire regressie: lineaire effecten van meerdere
onafhankelijke variabelen op één enkele afhankelijke variabele
1
,Meervoudige lineaire regressie met 2 onafhankelijke variabelen
EN 1 AFHANKELIJKE VARIABELE (basismodel)
= Multiple regressie
Y: afhankelijke variabele
X1 en X2: onafhankelijke variabelen
a: intercept
(verwachte Y als X1 en X2 = nul)
b1: netto-effect van X1 op Y
(met X2 constant gehouden)
(statistisch gecontroleerd voor X2)
b2: netto-effect van X2 op Y
(met X1 constant gehouden)
(statistisch gecontroleerd voor X1)
: cumulatief effect alle andere oorzaken Y (error term)
Waarom meervoudige lineaire regressie??
• Antwoord = multicollineariteit = lineaire samenhang tussen
de onafhankelijke variabelen.
• Reden waarom twee afzonderlijke bivariate
regressieanalyses (met dezelfde OV) niet kunnen opgeteld
worden
Vergelijking tussen twee bivariate versus één meervoudige
regressie
• Multicollineariteit (= lineaire samenhang tussen
onafhankelijke variabelen)
2
, • X1 en X2 zijn gecorreleerd, hetgeen betekent dat ze
gemeenschappelijke variantie hebben (rode gedeelte).
• Mochten we twee afzonderlijke bivariate regressies optellen,
dan zouden we het rode gedeelte twee keer meetellen. Dat
willen we vermijden…!!
• Correlatie x1 en x2 hoger dan .50 : opletten bij de
interpretatie!!
• Pearson’s r( x 1 , x 2 )= 0.455***
• Multiple regressie = OK!
• Maar…… Correlatie x1 en x2 hoger of gelijk aan .80:
• Geen multiple regressie met x1 en x2!!
MULTICOLLINEARITEIT
• Multicollineariteit verwijst naar de statistische situatie
waarbij onafhankelijke variabelen onderling sterk
samenhangen waardoor het moeilijk wordt om het relatieve
belang van elke onafhankelijke variabele apart te schatten.
• Correlatiecoëfficiënten van .80 of groter worden beschouwd
als problematisch: de hoge samenhang kan de juistheid van
de regressieparameters verstoren.
3
Regressie met twee onafhankelijke
variabelen
Inleiding: van 1 naar meerdere ov
• Doel: Nagaan hoe goed één of meerdere kenmerken (X) een ander
kenmerk (Y) kunnen verklaren of voorspellen.
• Te verklaren kenmerk: Afhankelijke variabele (Y)
• Verklarende kenmerken: Onafhankelijke variabelen (X)
• Lineaire regressie: Voorspellen van Y via een lineaire vergelijking:
Bivariate lineaire regressie: lineaire effect van één enkele
onafhankelijke variabele op één enkele afhankelijke variabele
Meervoudige lineaire regressie: lineaire effecten van meerdere
onafhankelijke variabelen op één enkele afhankelijke variabele
1
,Meervoudige lineaire regressie met 2 onafhankelijke variabelen
EN 1 AFHANKELIJKE VARIABELE (basismodel)
= Multiple regressie
Y: afhankelijke variabele
X1 en X2: onafhankelijke variabelen
a: intercept
(verwachte Y als X1 en X2 = nul)
b1: netto-effect van X1 op Y
(met X2 constant gehouden)
(statistisch gecontroleerd voor X2)
b2: netto-effect van X2 op Y
(met X1 constant gehouden)
(statistisch gecontroleerd voor X1)
: cumulatief effect alle andere oorzaken Y (error term)
Waarom meervoudige lineaire regressie??
• Antwoord = multicollineariteit = lineaire samenhang tussen
de onafhankelijke variabelen.
• Reden waarom twee afzonderlijke bivariate
regressieanalyses (met dezelfde OV) niet kunnen opgeteld
worden
Vergelijking tussen twee bivariate versus één meervoudige
regressie
• Multicollineariteit (= lineaire samenhang tussen
onafhankelijke variabelen)
2
, • X1 en X2 zijn gecorreleerd, hetgeen betekent dat ze
gemeenschappelijke variantie hebben (rode gedeelte).
• Mochten we twee afzonderlijke bivariate regressies optellen,
dan zouden we het rode gedeelte twee keer meetellen. Dat
willen we vermijden…!!
• Correlatie x1 en x2 hoger dan .50 : opletten bij de
interpretatie!!
• Pearson’s r( x 1 , x 2 )= 0.455***
• Multiple regressie = OK!
• Maar…… Correlatie x1 en x2 hoger of gelijk aan .80:
• Geen multiple regressie met x1 en x2!!
MULTICOLLINEARITEIT
• Multicollineariteit verwijst naar de statistische situatie
waarbij onafhankelijke variabelen onderling sterk
samenhangen waardoor het moeilijk wordt om het relatieve
belang van elke onafhankelijke variabele apart te schatten.
• Correlatiecoëfficiënten van .80 of groter worden beschouwd
als problematisch: de hoge samenhang kan de juistheid van
de regressieparameters verstoren.
3
