Basisprincipes OLS
Wat is het doel van econometrie?
In de econometrie proberen we de relatie tussen variabelen te meten.
Hoe beïnvloedt studie-uren (X) het examenresultaat (Y)?
Hoe beïnvloedt prijs (X) de gevraagde hoeveelheid (Y)?
Econometrie = het meten en kwantificeren van relaties tussen variabelen x en y te bepalen.
Hoe ongekende waardes van parameters bepalen?
Grafische voorstelling
We stellen de data voor in een grafiek als een puntenwolk:
Horizontale as → X (onafhankelijke variabele)
Verticale as → Y (afhankelijke variabele)
Elke observatie is een punt.
Doel: Een rechte lijn vinden die het verband tussen X
en Y zo goed mogelijk samenvat.
Maar er bestaan oneindig veel mogelijke rechten.
Welke is de beste?
o Dat lossen we op met OLS (Ordinary Least Squares).
Het regressiemodel
Bij een univariate regressie (1 verklarende variabele): Y i=β 0 + β 1 X i+ ui
Betekenis van de termen
Y i = afhankelijke variabele (wat we willen verklaren)
X i = onafhankelijke variabele (verklarende variabele)
β 0 = intercept (constante)
β 1 = hellingscoëfficiënt
Uᵢ = foutterm (niet verklaard deel)
Systematisch vs willekeurig component
Elke Y-waarde bestaat uit twee delen:
Systematische component: Y ^i Willekeurige component: u^ i
Y i= de werkelijke (geobserveerde) Het deel dat het model niet kan verklaren
waarde Dus: Y i=Y^ i + u^ i
Y^ i= de voorspelde waarde op basis ^i
En: u^ i=Y i− Y
van het model
Geschatte regressie
In realiteit kennen we de parameters β₀ en β₁ niet.
In de regressie:Y i=β 0 + β 1 X i+ uiwordt de geschatte waarde:
Y^ i= β^ 0 + β^ 1 X i
Wat betekenen de parameters?
A. β₀ (constante/intercept)
o Punt waar de rechte de Y-as snijdt
o Gemiddelde waarde van Y als X =0
B. β₁ (helling)
o Geeft de sterkte en richting van het verband aan
o Hoeveel Y gemiddeld verandert als X met 1 eenheid stijgt
o Interpretatie:
β₁ > 0 → positief verband
β₁ < 0 → negatief verband
Hoe groter β₁ → hoe sterker verband
1
,Voorbeeld:
Voor elke observatie kennen we de echte (geobserveerde) waarde van X.
Met behulp van de regressielijn kunnen we dan de geschatte Y-waarde berekenen.
Grafische interpretatie
Voor een bepaalde waarde van X i :
1. Trek een verticale lijn omhoog tot aan de
regressierechte.
2. Het snijpunt met de regressierechte geeft de
geschatte Y-waarde (Y ^ ).
i
3. Het verschil tussen het echte punt en de regressielijn
is het residu. (u^ i=Y i−Y^)
i
Hoe vinden we de beste β₀ en β₁?
OLS minimaliseert de som van de gekwadrateerde residuen.
OLS kiest ^β 0en ^β 1zodat de som van de gekwadrateerde verschillen tussen Y i en Y
^ iminimaal is.
Eigenschappen en assumpties
Wat is de populatie?
Stel dat we het verband willen onderzoeken tussen:
Wekelijks inkomen van huishoudens
Wekelijkse consumptie-uitgaven
Als we dit voor België doen, dan is:
De populatie = alle Belgische gezinnen
In theorie willen we het verband kennen voor de volledige populatie.
Maar in de praktijk is het meestal onmogelijk om gegevens te verzamelen van alle gezinnen.
Daarom gebruiken we een steekproef
We verzamelen data voor een deel van de populatie.
Dit deel moet representatief zijn voor de volledige populatie.
Zelfs als we een willekeurige steekproef trekken (waarbij elke observatie dezelfde kans heeft om
geselecteerd te worden), blijft er iets belangrijk:
We kunnen heel veel verschillende steekproeven trekken uit dezelfde populatie.
Elke steekproef zal:
Andere observaties bevatten
Andere punten opleveren in de grafiek
Dus een andere regressielijn geven
Voorbeeld
Steekproef 1 → observaties worden weergegeven met bolletjes → volle lijn.
Steekproef 2 → observaties worden weergegeven met kruisjes → stippellijn.
De twee lijnen zijn niet identiek.
Waarom? Omdat de steekproeven verschillen.
2
,Steekproefdistributie van ^β
Elke regressieparameter ^β heeft een steekproefdistributie.
Wanneer we 1 steekproef trekken en daarop een regressie uitvoeren
o Dan krijgen we 1 geschatte waarde van ^ β.
Maar…
Als we een andere steekproef zouden trekken uit dezelfde populatie, dan zouden we
waarschijnlijk een andere waarde van ^β vinden.
Veel steekproeven → een verdeling
Stel dat we:
Heel veel steekproeven trekken uit dezelfde populatie.
Voor elke steekproef een regressie uitvoeren.
Telkens een nieuwe ^ β berekenen.
Als we al die schattingen naast elkaar zetten, dan krijgen we een
verdeling van ^β (= steekproefdistributie.).
Vorm van de verdeling
Onder bepaalde voorwaarden (bv. normaal verdeelde fouttermen) is:
^β ∼ Normale verdeling
Dat betekent:
De distributie is klokvormig (bell-shaped)
Ze ligt rond de echte populatiewaarde β
Hoe groter de steekproef, hoe smaller deze verdeling wordt.
Dus: grotere steekproef → preciezere schatting.
Gevolg voor de regressielijnen
^ i= β^ 0 + β^ 1 X i
Voor elke steekproef schatten we: Y
Maar:
De geschatte parameters ( ^ β 0 en ^β 1) zullen verschillen per steekproef.
Dus elke steekproef levert een andere regressielijn op (=steekproefvariatie)
Precisie van OLS-schattingen
Wanneer we een parameter schatten (vb. ^β 1), willen we weten hoe betrouwbaar de schatting
is(=precisie van de schatting.)
De precisie van een parameter wordt gemeten via:
De variantie van de schatter (vb van ^β 1 ¿ of de standard error (SE)
√
Belangrijk: SE( ^β 1)= Var ( ^β1 )
Hoe groter de variantie of SE hoe minder precies de schatting.
o Grote SE → veel spreiding → onzekere schatting → lage precisie
o Kleine SE → weinig spreiding → stabiele schatting → hoge precisie
Variantie van ^β 1
De formule is: Var ( β^ 1)=
σ2
∑ ¿¿
waarbij:
σ 2= variantie van de fouttermen (resttermen)
∑ ¿= spreiding in de X-waarden
3
, Wat beïnvloedt de precisie?
Uit de formule zien we twee belangrijke factoren:
Spreiding in de fouttermen (σ²) Spreiding in de X-waarden
Hoe groter σ 2 Hoe groter de spreiding in X
→ Hoe groter de variantie van ^β 1 → Hoe kleiner de variantie van ^β 1
→ meer onzekerheid → precieze schatting
Veel spreiding in de resttermen betekent dat Waarom is dat logisch?
het model veel van Y niet kan verklaren. Als X nauwelijks varieert, is het moeilijk
Dat wijst vaak op: om het effect van X op Y te meten.
Ontbrekende variabelen Als X sterk varieert, hebben we meer
Fout gespecificeerd model informatie over het verband.
Veel ruis in de data Meer spreiding in X = meer informatie =
Gevolg: Hoe meer ruis, hoe minder precies onze preciezere schatting.
parameters.
Assumpties
1. Het regressiemodel is lineair, is correct gespecificeerd en heeft een additieve foutterm.
2. De foutterm heeft een populatiegemiddelde van nul.
3. Alle verklarende variabelen zijn ongecorreleerd met de foutterm.
4. Waarnemingen van de foutterm zijn ongecorreleerd met elkaar (geen seriële correlatie)
5. De foutterm heeft een constante variantie (geen heteroskedasticiteit)
6. Geen enkele verklarende variabele is een perfecte lineaire functie van een andere verklarende
Variabele(n) (geen perfecte multicollineariteit)
7. De foutterm is normaal verdeeld (deze aanname is optioneel, maar wordt meestal toegepast)
Als aan de klassieke OLS-assumpties voldaan is, kan men bewijzen dat de OLS-schattingen BLUE zijn.
(Best Linear Unbiased Estimators)
De parameters zijn efficiënt en niet-vertekend (unbiased)
B = Best:
De OLS-schattingen hebben de kleinste variantie = zo precies mogelijk
Belangrijk:
Geen enkele andere lineaire, unbiased schatter heeft een lagere variantie.
Dus: OLS minimaliseert de variantie van de schattingen.
L = Linear (Lineair)
We veronderstellen een lineair verband tussen X en Y. =(de impact van X op Y is constant)
U = Unbiased (Niet-vertekend)
De verwachte waarde van de schatting (of het gemiddelde van alle mogelijke schattingen) is
gelijk aan de echte waarde van het verband in de populatie.
Verschil tussen biased vs. unbiased en efficiënt vs. niet-efficiënt
De figuren tonen vier mogelijke situaties van schattingen rond de echte parameterwaarde.
Het midden van de cirkel = de echte populatieparameter (β)
De punten = verschillende steekproefschattingen
Indien voldaan is aan de OLS-assumpties, dan zijn de
OLS-schattingen:
Unbiased & Efficiënt
Dat is de figuur rechtsboven:
Gemiddelde ligt in het midden
Kleine spreiding rond de echte waarde
4
Wat is het doel van econometrie?
In de econometrie proberen we de relatie tussen variabelen te meten.
Hoe beïnvloedt studie-uren (X) het examenresultaat (Y)?
Hoe beïnvloedt prijs (X) de gevraagde hoeveelheid (Y)?
Econometrie = het meten en kwantificeren van relaties tussen variabelen x en y te bepalen.
Hoe ongekende waardes van parameters bepalen?
Grafische voorstelling
We stellen de data voor in een grafiek als een puntenwolk:
Horizontale as → X (onafhankelijke variabele)
Verticale as → Y (afhankelijke variabele)
Elke observatie is een punt.
Doel: Een rechte lijn vinden die het verband tussen X
en Y zo goed mogelijk samenvat.
Maar er bestaan oneindig veel mogelijke rechten.
Welke is de beste?
o Dat lossen we op met OLS (Ordinary Least Squares).
Het regressiemodel
Bij een univariate regressie (1 verklarende variabele): Y i=β 0 + β 1 X i+ ui
Betekenis van de termen
Y i = afhankelijke variabele (wat we willen verklaren)
X i = onafhankelijke variabele (verklarende variabele)
β 0 = intercept (constante)
β 1 = hellingscoëfficiënt
Uᵢ = foutterm (niet verklaard deel)
Systematisch vs willekeurig component
Elke Y-waarde bestaat uit twee delen:
Systematische component: Y ^i Willekeurige component: u^ i
Y i= de werkelijke (geobserveerde) Het deel dat het model niet kan verklaren
waarde Dus: Y i=Y^ i + u^ i
Y^ i= de voorspelde waarde op basis ^i
En: u^ i=Y i− Y
van het model
Geschatte regressie
In realiteit kennen we de parameters β₀ en β₁ niet.
In de regressie:Y i=β 0 + β 1 X i+ uiwordt de geschatte waarde:
Y^ i= β^ 0 + β^ 1 X i
Wat betekenen de parameters?
A. β₀ (constante/intercept)
o Punt waar de rechte de Y-as snijdt
o Gemiddelde waarde van Y als X =0
B. β₁ (helling)
o Geeft de sterkte en richting van het verband aan
o Hoeveel Y gemiddeld verandert als X met 1 eenheid stijgt
o Interpretatie:
β₁ > 0 → positief verband
β₁ < 0 → negatief verband
Hoe groter β₁ → hoe sterker verband
1
,Voorbeeld:
Voor elke observatie kennen we de echte (geobserveerde) waarde van X.
Met behulp van de regressielijn kunnen we dan de geschatte Y-waarde berekenen.
Grafische interpretatie
Voor een bepaalde waarde van X i :
1. Trek een verticale lijn omhoog tot aan de
regressierechte.
2. Het snijpunt met de regressierechte geeft de
geschatte Y-waarde (Y ^ ).
i
3. Het verschil tussen het echte punt en de regressielijn
is het residu. (u^ i=Y i−Y^)
i
Hoe vinden we de beste β₀ en β₁?
OLS minimaliseert de som van de gekwadrateerde residuen.
OLS kiest ^β 0en ^β 1zodat de som van de gekwadrateerde verschillen tussen Y i en Y
^ iminimaal is.
Eigenschappen en assumpties
Wat is de populatie?
Stel dat we het verband willen onderzoeken tussen:
Wekelijks inkomen van huishoudens
Wekelijkse consumptie-uitgaven
Als we dit voor België doen, dan is:
De populatie = alle Belgische gezinnen
In theorie willen we het verband kennen voor de volledige populatie.
Maar in de praktijk is het meestal onmogelijk om gegevens te verzamelen van alle gezinnen.
Daarom gebruiken we een steekproef
We verzamelen data voor een deel van de populatie.
Dit deel moet representatief zijn voor de volledige populatie.
Zelfs als we een willekeurige steekproef trekken (waarbij elke observatie dezelfde kans heeft om
geselecteerd te worden), blijft er iets belangrijk:
We kunnen heel veel verschillende steekproeven trekken uit dezelfde populatie.
Elke steekproef zal:
Andere observaties bevatten
Andere punten opleveren in de grafiek
Dus een andere regressielijn geven
Voorbeeld
Steekproef 1 → observaties worden weergegeven met bolletjes → volle lijn.
Steekproef 2 → observaties worden weergegeven met kruisjes → stippellijn.
De twee lijnen zijn niet identiek.
Waarom? Omdat de steekproeven verschillen.
2
,Steekproefdistributie van ^β
Elke regressieparameter ^β heeft een steekproefdistributie.
Wanneer we 1 steekproef trekken en daarop een regressie uitvoeren
o Dan krijgen we 1 geschatte waarde van ^ β.
Maar…
Als we een andere steekproef zouden trekken uit dezelfde populatie, dan zouden we
waarschijnlijk een andere waarde van ^β vinden.
Veel steekproeven → een verdeling
Stel dat we:
Heel veel steekproeven trekken uit dezelfde populatie.
Voor elke steekproef een regressie uitvoeren.
Telkens een nieuwe ^ β berekenen.
Als we al die schattingen naast elkaar zetten, dan krijgen we een
verdeling van ^β (= steekproefdistributie.).
Vorm van de verdeling
Onder bepaalde voorwaarden (bv. normaal verdeelde fouttermen) is:
^β ∼ Normale verdeling
Dat betekent:
De distributie is klokvormig (bell-shaped)
Ze ligt rond de echte populatiewaarde β
Hoe groter de steekproef, hoe smaller deze verdeling wordt.
Dus: grotere steekproef → preciezere schatting.
Gevolg voor de regressielijnen
^ i= β^ 0 + β^ 1 X i
Voor elke steekproef schatten we: Y
Maar:
De geschatte parameters ( ^ β 0 en ^β 1) zullen verschillen per steekproef.
Dus elke steekproef levert een andere regressielijn op (=steekproefvariatie)
Precisie van OLS-schattingen
Wanneer we een parameter schatten (vb. ^β 1), willen we weten hoe betrouwbaar de schatting
is(=precisie van de schatting.)
De precisie van een parameter wordt gemeten via:
De variantie van de schatter (vb van ^β 1 ¿ of de standard error (SE)
√
Belangrijk: SE( ^β 1)= Var ( ^β1 )
Hoe groter de variantie of SE hoe minder precies de schatting.
o Grote SE → veel spreiding → onzekere schatting → lage precisie
o Kleine SE → weinig spreiding → stabiele schatting → hoge precisie
Variantie van ^β 1
De formule is: Var ( β^ 1)=
σ2
∑ ¿¿
waarbij:
σ 2= variantie van de fouttermen (resttermen)
∑ ¿= spreiding in de X-waarden
3
, Wat beïnvloedt de precisie?
Uit de formule zien we twee belangrijke factoren:
Spreiding in de fouttermen (σ²) Spreiding in de X-waarden
Hoe groter σ 2 Hoe groter de spreiding in X
→ Hoe groter de variantie van ^β 1 → Hoe kleiner de variantie van ^β 1
→ meer onzekerheid → precieze schatting
Veel spreiding in de resttermen betekent dat Waarom is dat logisch?
het model veel van Y niet kan verklaren. Als X nauwelijks varieert, is het moeilijk
Dat wijst vaak op: om het effect van X op Y te meten.
Ontbrekende variabelen Als X sterk varieert, hebben we meer
Fout gespecificeerd model informatie over het verband.
Veel ruis in de data Meer spreiding in X = meer informatie =
Gevolg: Hoe meer ruis, hoe minder precies onze preciezere schatting.
parameters.
Assumpties
1. Het regressiemodel is lineair, is correct gespecificeerd en heeft een additieve foutterm.
2. De foutterm heeft een populatiegemiddelde van nul.
3. Alle verklarende variabelen zijn ongecorreleerd met de foutterm.
4. Waarnemingen van de foutterm zijn ongecorreleerd met elkaar (geen seriële correlatie)
5. De foutterm heeft een constante variantie (geen heteroskedasticiteit)
6. Geen enkele verklarende variabele is een perfecte lineaire functie van een andere verklarende
Variabele(n) (geen perfecte multicollineariteit)
7. De foutterm is normaal verdeeld (deze aanname is optioneel, maar wordt meestal toegepast)
Als aan de klassieke OLS-assumpties voldaan is, kan men bewijzen dat de OLS-schattingen BLUE zijn.
(Best Linear Unbiased Estimators)
De parameters zijn efficiënt en niet-vertekend (unbiased)
B = Best:
De OLS-schattingen hebben de kleinste variantie = zo precies mogelijk
Belangrijk:
Geen enkele andere lineaire, unbiased schatter heeft een lagere variantie.
Dus: OLS minimaliseert de variantie van de schattingen.
L = Linear (Lineair)
We veronderstellen een lineair verband tussen X en Y. =(de impact van X op Y is constant)
U = Unbiased (Niet-vertekend)
De verwachte waarde van de schatting (of het gemiddelde van alle mogelijke schattingen) is
gelijk aan de echte waarde van het verband in de populatie.
Verschil tussen biased vs. unbiased en efficiënt vs. niet-efficiënt
De figuren tonen vier mogelijke situaties van schattingen rond de echte parameterwaarde.
Het midden van de cirkel = de echte populatieparameter (β)
De punten = verschillende steekproefschattingen
Indien voldaan is aan de OLS-assumpties, dan zijn de
OLS-schattingen:
Unbiased & Efficiënt
Dat is de figuur rechtsboven:
Gemiddelde ligt in het midden
Kleine spreiding rond de echte waarde
4
