2. Meervoudige regressie &
dummy variabelen
2.1 multivariate (=meervoudige) regressie
Univariate regressie:
Hier onderzoeken we het verband tussen 1 onafhankelijke variabele X en 1
afhankelijke variabele Y.
Bivariaat regressie model:
Hier is Y niet enkel afhankelijk van onafhankelijke variabele X1, maar ook
van een andere onafhankelijke X2. We gebruiken de nummers in subscript,
om de variabelen van elkaar te onderscheiden.
Voor elk van de 2 onafhankelijke variabelen, schatten we 1 regressie
coëfficiënt (= slope coëfficiënt) die de samenhang tussen de 2 variabelen
bespreekt.
Voorbeeld: bèta 1 beschrijft het verband tussen X1 en Y en bèta 2
beschrijft het verband tussen X2 en Y.
Dit model (bivariaat regressie model) kan je verder uitbreiden door meer X
variabelen toe te voegen, naar bv een model met K-onafhankelijke
multivariaat regressie model:
Interpretatie van de coëfficiënt:
Voorbeeld: bèta 1, geeft weer met hoeveel Y verandert (toeneemt of
afneemt) wanneer X1 verandert (toeneemt of afneemt) met 1 eenheid
van X1. Wat hierbij belangrijk is, is de ceteris paribus assumptie. Dit wil
zeggen dat we bij de interpretatie van de slope coëfficiënt, de andere
variabelen constant houden.
Bèta 1 geeft de verandering weer van Y, als X1 verandert met 1
eenheid en als de andere X variabelen niet veranderen en dus constant
blijven (ceteris paribus).
,OLS-techniek of de techniek van de gewone
kleinste kwadraten
OlS-techniek = de techniek van de gewone kleinste kwadraten.
Dit bepaalt de beste curve door de puntenwolk. Dit wil zeggen: de beste
schatting van de coëfficiënten. Dit gebeurt door het minimaliseren van de
som van gekwadrateerde resttermen
= sum of squared residuals
= SSR
OLS-schattingen (voor bivariaten of multivariaten
modellen)
OLS-schattingen bekomen voor alle parameters door het minimaliseren
van de som van de kwadraten van de error-termen:
Op basis van de 1e afgeleiden kunnen we dan opnieuw formules opstellen
voor het bekomen van waardes van alle parameters:
We kunnen dan ook opnieuw formules opstellen voor de varianties van de
parameters die aangeven hoe precies de schattingen zijn of hoe zeker we
zijn van deze schattingen:
, Variantie (bèta 1):
Conclusie: deze variantie wordt groter als sigma (dit is de variantie van de
errortermen) groter is. Deze variantie wordt kleiner als de variantie van de
X1 variabele groter is Var(X1) (staat in de noemer).
De variantie van bèta 1 hangt ook af van r12 (r één twee). Dit is
de correlatie tussen X1 en X2. De correlatie geeft het verband aan tussen
X1 en X2. Hoe hoger de correlatie, hoe sterker het verband tussen deze 2
variabelen.
In deze formule: de variantie van bèta groter is (en dus de precisie
kleiner), als er een sterkere/ grotere correlatie is tussen X1 en X2.
Een grotere correlatie tussen 2 variabelen, kadert zich in het probleem
van multicollineariteit. Het is erg moeilijk om het effect van X1 te
onderscheiden van dat van X2. We zijn minder zeker van de schatting van
bèta 1, als de waardes van X1 sterk samenhangen met de waardes van
X2.
2.2 Fit van het model
Hier zien we hoe we de fit van het model kunnen beoordelen met behulp
van de determinatie coëfficiënt R².
Wanner we parameters gevonden hebben is het belangrijk om te kijken
hoe goed het model fit met de onderliggende data. Dit doen we door te
kijken welk model de variantie in Y het beste beschrijft. De fit van het
model, gaat ook over het vergelijken van verschillende modellen met
elkaar.
Goed model = als de variatie in de afhankelijke variabele Y, goed
verklaard hebben door het model. We gebruiken daarvoor de R²-maatstaf
ofwel de coëfficiënt of determination.
Univariaat model: (voorgesteld in deze grafiek)
, Hier bekijken we het verband tussen één X-variabele en Y.
- Yi stelt de eigenlijke waarde van Y voor.
- Ŷi stelt de door het model geschatte waarde van Y voor.
- Ỹ dat is de gemiddelde waarde van Y
Variatie in Y zo goed mogelijk verklaren. Deze variatie in Y = total sum
of squares (TSS).
Dit wordt aangeduid door de rode streep (TSS). Deze wordt berekend door
het verschil te berekenen tussen de Y-waarde van elke observatie en de
gemiddelde Y-waarde.
TSS = som van het kwadraat van het verschil tussen de geobserveerde
Y-waarde en de gemiddelde Y-waarde voor elke observatie i.
TSS kan opgesplitst worden in 2 delen:
- 1e deel: aangeduid in het blauw MSS/ESS (explain sum of squares)
= model sum of squares het deel van de variatie Y dat verklaard
wordt door het regressiemodel. Dit wordt bepaald door het verschil
tussen de geschatte waarde voor Y en de gemiddelde waarde voor Y
voor elke observatie i.
dummy variabelen
2.1 multivariate (=meervoudige) regressie
Univariate regressie:
Hier onderzoeken we het verband tussen 1 onafhankelijke variabele X en 1
afhankelijke variabele Y.
Bivariaat regressie model:
Hier is Y niet enkel afhankelijk van onafhankelijke variabele X1, maar ook
van een andere onafhankelijke X2. We gebruiken de nummers in subscript,
om de variabelen van elkaar te onderscheiden.
Voor elk van de 2 onafhankelijke variabelen, schatten we 1 regressie
coëfficiënt (= slope coëfficiënt) die de samenhang tussen de 2 variabelen
bespreekt.
Voorbeeld: bèta 1 beschrijft het verband tussen X1 en Y en bèta 2
beschrijft het verband tussen X2 en Y.
Dit model (bivariaat regressie model) kan je verder uitbreiden door meer X
variabelen toe te voegen, naar bv een model met K-onafhankelijke
multivariaat regressie model:
Interpretatie van de coëfficiënt:
Voorbeeld: bèta 1, geeft weer met hoeveel Y verandert (toeneemt of
afneemt) wanneer X1 verandert (toeneemt of afneemt) met 1 eenheid
van X1. Wat hierbij belangrijk is, is de ceteris paribus assumptie. Dit wil
zeggen dat we bij de interpretatie van de slope coëfficiënt, de andere
variabelen constant houden.
Bèta 1 geeft de verandering weer van Y, als X1 verandert met 1
eenheid en als de andere X variabelen niet veranderen en dus constant
blijven (ceteris paribus).
,OLS-techniek of de techniek van de gewone
kleinste kwadraten
OlS-techniek = de techniek van de gewone kleinste kwadraten.
Dit bepaalt de beste curve door de puntenwolk. Dit wil zeggen: de beste
schatting van de coëfficiënten. Dit gebeurt door het minimaliseren van de
som van gekwadrateerde resttermen
= sum of squared residuals
= SSR
OLS-schattingen (voor bivariaten of multivariaten
modellen)
OLS-schattingen bekomen voor alle parameters door het minimaliseren
van de som van de kwadraten van de error-termen:
Op basis van de 1e afgeleiden kunnen we dan opnieuw formules opstellen
voor het bekomen van waardes van alle parameters:
We kunnen dan ook opnieuw formules opstellen voor de varianties van de
parameters die aangeven hoe precies de schattingen zijn of hoe zeker we
zijn van deze schattingen:
, Variantie (bèta 1):
Conclusie: deze variantie wordt groter als sigma (dit is de variantie van de
errortermen) groter is. Deze variantie wordt kleiner als de variantie van de
X1 variabele groter is Var(X1) (staat in de noemer).
De variantie van bèta 1 hangt ook af van r12 (r één twee). Dit is
de correlatie tussen X1 en X2. De correlatie geeft het verband aan tussen
X1 en X2. Hoe hoger de correlatie, hoe sterker het verband tussen deze 2
variabelen.
In deze formule: de variantie van bèta groter is (en dus de precisie
kleiner), als er een sterkere/ grotere correlatie is tussen X1 en X2.
Een grotere correlatie tussen 2 variabelen, kadert zich in het probleem
van multicollineariteit. Het is erg moeilijk om het effect van X1 te
onderscheiden van dat van X2. We zijn minder zeker van de schatting van
bèta 1, als de waardes van X1 sterk samenhangen met de waardes van
X2.
2.2 Fit van het model
Hier zien we hoe we de fit van het model kunnen beoordelen met behulp
van de determinatie coëfficiënt R².
Wanner we parameters gevonden hebben is het belangrijk om te kijken
hoe goed het model fit met de onderliggende data. Dit doen we door te
kijken welk model de variantie in Y het beste beschrijft. De fit van het
model, gaat ook over het vergelijken van verschillende modellen met
elkaar.
Goed model = als de variatie in de afhankelijke variabele Y, goed
verklaard hebben door het model. We gebruiken daarvoor de R²-maatstaf
ofwel de coëfficiënt of determination.
Univariaat model: (voorgesteld in deze grafiek)
, Hier bekijken we het verband tussen één X-variabele en Y.
- Yi stelt de eigenlijke waarde van Y voor.
- Ŷi stelt de door het model geschatte waarde van Y voor.
- Ỹ dat is de gemiddelde waarde van Y
Variatie in Y zo goed mogelijk verklaren. Deze variatie in Y = total sum
of squares (TSS).
Dit wordt aangeduid door de rode streep (TSS). Deze wordt berekend door
het verschil te berekenen tussen de Y-waarde van elke observatie en de
gemiddelde Y-waarde.
TSS = som van het kwadraat van het verschil tussen de geobserveerde
Y-waarde en de gemiddelde Y-waarde voor elke observatie i.
TSS kan opgesplitst worden in 2 delen:
- 1e deel: aangeduid in het blauw MSS/ESS (explain sum of squares)
= model sum of squares het deel van de variatie Y dat verklaard
wordt door het regressiemodel. Dit wordt bepaald door het verschil
tussen de geschatte waarde voor Y en de gemiddelde waarde voor Y
voor elke observatie i.
