Econometrie
UVA
1
,(Simple) Linear Regression Model
Population (Theoretisch) Model
Yi = β0 + β1 Xi + i
Y : verklaarde/afhankelijke variabele
X: verklarende/onafhankelijke variabele
We gaan dus Y lineair proberen te verklaren met X, waarbij
β0 : constate/intercept
β1 : slope/r.c. (en geeft dus aan met hoeveel Y toeneemt/afneemt als X met 1 eenheid toeneemt)
: errors/afwijking (ofwel: alles in Y dat niet door X verklaard wordt)
Merk op: de X en Y zijn bekend. De β’s zijn de onbekende coefficienten die we willen berekenen.
Als we de β’s berekend hebben levert ons dat het sample model op.
Sample model:
Yi = βˆ0 + βˆ1 Xi + ei
De bijbehorende erros worden de residuen genoemd, genoteerd met ei .
De fitted/predicted values,Ŷ , (ofwel: de formule van de lijn) worden gegeven door:
Ŷ = βˆ0 + βˆ1 X1
Merk op: ei = Yi − Ŷi
OLS
Het sample model krijgen we natuurlijk niet zomaar. Een van de methodes om de onbekende
coefficienten (de β’s) te berekenen is Ordinary Least Squares (OLS). Deze methode berekent sim-
pelweg de coefficienten, waarvoor geldt dat de residuen zo klein mogelijk zijn, ofwel de coefficienten
waarbij zoveel mogelijk verklaard van Y verklaard wordt door X en zo min mogelijk door de errors:
n
X n
X
min e2i = (Yi − β0 − β1 Xi )2
β0 ,β1
i=1 i=1
De oplossing kan gevonden worden door de eerste afgeleides gelijk aan nul te stellen. De vergelijken
vergelijking dient vervolgens te worden opgelost voor de onbekende coefficienten.
De uiteindelijke uitkomsten zullen dan zijn:
Pn
sample cov(Y, X) sY X i=1 (Yi − Ȳ )(Xi − X̄)
β̂0 = Ȳ − β1 X̄ β̂1 = = 2 = Pn 2
sample var(X) sX i=1 (Xi − X̄)
Algebraic Properties
Voor SCHATTINGEN (ESTIMATES) van OLS geldt ALTIJD het volgende (het zijn geen aan-
names):
1. De residuen (e) zijn gemiddeld 0, ofwel
e1 + . . . + en
ē = =0
n
2
, 2. De residuen zijn ongecorreleerd met al de onafhankelijke variabelen (de X’en), ofwel
Corr(Xij , ei ) = 0 Cov(Xij , ei ) = 0
1. en 2. kunnen ook samen genoteerd worden: E(ei |X1i , . . . , Xki ) = 0
Let op! De bovenstaande eigenschappen geldt altijd voor de uitkomsten voor OLS. Dit heeft nog
niets te maken met de aannames die we maken over de populatie waar we OLS op toepassen.
Waarom OLS?
In het algemeen geldt dat een schatter goed is als deze schatter unbiased en consistent is en we
de asymptotische verdeling van de schatter weten.
Indien we vier aannames doen (over de populatie) weten we zeker dat de OLS schatter unbi-
ased, consistent en asymptotisch Normaal verdeeld is. De vier aannames die we dienen te doen
zijn:
1. εi is een random variabele waarvoor geldt E(εi |Xi ) = 0.
2. (Yi , Xi ) zijn onafhankelijk en identical distributed (i.i.d.)
3. Large outliers are unlikely.
Tevens kunnen we twee extra aannames doen:
4. No heteroscedasticity (homoscedasticity): var(εi |Xi ) = σ 2 .
5. No serial correlation: cov(εi , εj ) = 0 for i 6= j.
(No perfect multicollineariteit bij multiple regression)
Indien we ook deze 4 en 5 als aannames doen, geldt niet alleen dat de OLS schatter unbiased,
consistent en asymptotisch normaal verdeeld is, maar tevens dat de OLS schatter de Best Linear
Unbiased Estimator (BLUE) is.
Tevens nemen we het volgende aan (niet perse nodig) om het ons zelf betreffende de verdel-
ing van de schatters makkelijk te maken.
εi ∼ N (0, σ 2 )
3
UVA
1
,(Simple) Linear Regression Model
Population (Theoretisch) Model
Yi = β0 + β1 Xi + i
Y : verklaarde/afhankelijke variabele
X: verklarende/onafhankelijke variabele
We gaan dus Y lineair proberen te verklaren met X, waarbij
β0 : constate/intercept
β1 : slope/r.c. (en geeft dus aan met hoeveel Y toeneemt/afneemt als X met 1 eenheid toeneemt)
: errors/afwijking (ofwel: alles in Y dat niet door X verklaard wordt)
Merk op: de X en Y zijn bekend. De β’s zijn de onbekende coefficienten die we willen berekenen.
Als we de β’s berekend hebben levert ons dat het sample model op.
Sample model:
Yi = βˆ0 + βˆ1 Xi + ei
De bijbehorende erros worden de residuen genoemd, genoteerd met ei .
De fitted/predicted values,Ŷ , (ofwel: de formule van de lijn) worden gegeven door:
Ŷ = βˆ0 + βˆ1 X1
Merk op: ei = Yi − Ŷi
OLS
Het sample model krijgen we natuurlijk niet zomaar. Een van de methodes om de onbekende
coefficienten (de β’s) te berekenen is Ordinary Least Squares (OLS). Deze methode berekent sim-
pelweg de coefficienten, waarvoor geldt dat de residuen zo klein mogelijk zijn, ofwel de coefficienten
waarbij zoveel mogelijk verklaard van Y verklaard wordt door X en zo min mogelijk door de errors:
n
X n
X
min e2i = (Yi − β0 − β1 Xi )2
β0 ,β1
i=1 i=1
De oplossing kan gevonden worden door de eerste afgeleides gelijk aan nul te stellen. De vergelijken
vergelijking dient vervolgens te worden opgelost voor de onbekende coefficienten.
De uiteindelijke uitkomsten zullen dan zijn:
Pn
sample cov(Y, X) sY X i=1 (Yi − Ȳ )(Xi − X̄)
β̂0 = Ȳ − β1 X̄ β̂1 = = 2 = Pn 2
sample var(X) sX i=1 (Xi − X̄)
Algebraic Properties
Voor SCHATTINGEN (ESTIMATES) van OLS geldt ALTIJD het volgende (het zijn geen aan-
names):
1. De residuen (e) zijn gemiddeld 0, ofwel
e1 + . . . + en
ē = =0
n
2
, 2. De residuen zijn ongecorreleerd met al de onafhankelijke variabelen (de X’en), ofwel
Corr(Xij , ei ) = 0 Cov(Xij , ei ) = 0
1. en 2. kunnen ook samen genoteerd worden: E(ei |X1i , . . . , Xki ) = 0
Let op! De bovenstaande eigenschappen geldt altijd voor de uitkomsten voor OLS. Dit heeft nog
niets te maken met de aannames die we maken over de populatie waar we OLS op toepassen.
Waarom OLS?
In het algemeen geldt dat een schatter goed is als deze schatter unbiased en consistent is en we
de asymptotische verdeling van de schatter weten.
Indien we vier aannames doen (over de populatie) weten we zeker dat de OLS schatter unbi-
ased, consistent en asymptotisch Normaal verdeeld is. De vier aannames die we dienen te doen
zijn:
1. εi is een random variabele waarvoor geldt E(εi |Xi ) = 0.
2. (Yi , Xi ) zijn onafhankelijk en identical distributed (i.i.d.)
3. Large outliers are unlikely.
Tevens kunnen we twee extra aannames doen:
4. No heteroscedasticity (homoscedasticity): var(εi |Xi ) = σ 2 .
5. No serial correlation: cov(εi , εj ) = 0 for i 6= j.
(No perfect multicollineariteit bij multiple regression)
Indien we ook deze 4 en 5 als aannames doen, geldt niet alleen dat de OLS schatter unbiased,
consistent en asymptotisch normaal verdeeld is, maar tevens dat de OLS schatter de Best Linear
Unbiased Estimator (BLUE) is.
Tevens nemen we het volgende aan (niet perse nodig) om het ons zelf betreffende de verdel-
ing van de schatters makkelijk te maken.
εi ∼ N (0, σ 2 )
3
