ECONOMETRIE
Uitgebreide Samenvatting
PPT3: KK-methode & beschrijvende statistiek · PPT4: Eigenschappen van KK-schatters
KU Leuven · Kulak · Faculteit Economie en Business
Econometrie — Uitgebreide Samenvatting · Pagina 1 van 31
,1. Intuïtie: wat is regressie?
Stel je voor dat je wil voorspellen hoeveel een huis kost. Je hebt gegevens over 500
verkochte huizen: de prijs, de oppervlakte, het aantal slaapkamers, of er airconditioning is,
enzovoort. Regressie is de wiskundige techniek die een rechte lijn (of een vlak in meerdere
dimensies) trekt die zo goed mogelijk door al die datapunten past.
Intuïtie
Denk aan het 'beste' rechtlijnige verband tussen de woonoppervlakte en de prijs van een huis. Als
je alle punten op een spreidingsdiagram zet, zoekt regressie de lijn waarvoor de som van alle
verticale afstanden² zo klein mogelijk is. Dat is precies het KK-criterium (Kleinste Kwadraten).
1.1 Formele opzet
We beschouwen een toevalsvector (Y, X₁, …, X_p). We willen het gedrag van de
responsvariabele Y verklaren aan de hand van de verklarende variabelen X₁, …, X_p.
• Responsvariabele Y: de variabele die je wil verklaren of voorspellen (bijv. huisprijs,
inkomen).
• Verklarende variabelen X₁, …, X_p: de variabelen waarmee je Y probeert te
verklaren (bijv. oppervlakte, slaapkamers).
• Regressiefunctie 𝔼[Y | X₁, …, X_p]: de beste benadering van Y gegeven de
verklarende variabelen, in de zin dat de gemiddelde kwadratische fout (MSE)
minimaal is.
1.2 Het lineaire regressiemodel
In het lineaire regressiemodel veronderstellen we dat de regressiefunctie lineair is in de
verklarende variabelen:
LINEAIRE SPECIFICATIE
𝔼[Y | X₁=x₁, …, X_p=x_p] = β₁x₁ + β₂x₂ + ··· + β_p x_p
Merk op: de eerste kolom is doorgaans een kolom van enen, zodat β₁ de intercept is (de
constante term). De parameters β₁, …, β_p zijn onbekend en moeten geschat worden uit de
data.
Waarom lineair?
'Lineair' slaat op de parameters β, niet op de variabelen — je kan dus ook kwadratische termen of
logaritmen opnemen in het model. Het lineaire model is interpreteerbaar, berekenbaar en heeft
prachtige wiskundige eigenschappen.
Econometrie — Uitgebreide Samenvatting · Pagina 2 van 31
,2. KK-schattingen berekenen
2.1 Het KK-criterium
We hebben n waarnemingen. De benaderde waarden zijn ŷᵢ = b₁xᵢ,₁ + ··· + b_p xᵢ,_p. De
residuen zijn êᵢ = yᵢ − ŷᵢ. De Residual Sum of Squares (RSS) is:
RSS — TE MINIMALISEREN
rss(b₁, …, b_p) = Σᵢ êᵢ² = Σᵢ (yᵢ − ŷᵢ)²
Intuïtie
Stel je voor dat je een liniaal legt over een wolk van punten. RSS meet de totale fout als je de
verticale afstanden van elk punt tot de lijn kwadreert en optelt. KK vindt de positie van de liniaal
waarvoor dit getal minimaal is.
2.2 De normaalvergelijkingen
We minimaliseren RSS door af te leiden naar elke parameter en gelijk te stellen aan nul. Dit
levert de normaalvergelijkingen:
∀j ∈ {1,…,p}: Σᵢ xᵢ,ⱼ(yᵢ − ŷᵢ) = Σᵢ xᵢ,ⱼ êᵢ = 0
Dit zegt: elke kolom van de datamatrix staat loodrecht op de residuenvector. Intuïtief: de
residuen bevatten geen informatie meer die door de verklarende variabelen verklaard kan
worden.
2.3 Matrixformule voor b̂
We schrijven alles compact in matrices: y (n×1), x de designmatrix (n×p), β de kolomvector
met parameters (p×1). Mits de designmatrix volledige kolomrang heeft (rk(x) = p), is de KK-
schatter:
GOUDEN FORMULE — KK-SCHATTING
b̂ = (x'x)⁻¹ x'y
Voorwaarde n ≥ p
We moeten minstens zo veel waarnemingen hebben als parameters. Als n = p, dan past de rechte
perfect door elk punt (RSS = 0), maar dit zegt niets over hoe goed het model de werkelijkheid
weergeeft.
2.4 Voorbeeld: enkelvoudig lineair regressiemodel
Voor het model 𝔼[Y | X = x] = β₁ + β₂x (intercept + één verklarende variabele):
Econometrie — Uitgebreide Samenvatting · Pagina 3 van 31
, GESLOTEN VORMEN
b̂₂ = cov(x₁,…,xₙ ; y₁,…,yₙ) / var(x₁,…,xₙ)
b̂₁ = ȳ − b̂₂ x̄
De helling b̂₂ meet: als X met 1 eenheid toeneemt, hoeveel neemt Y dan gemiddeld toe? Het
intercept b̂₁ zorgt ervoor dat de lijn door het zwaartepunt (x̄, ȳ) gaat.
Econometrie — Uitgebreide Samenvatting · Pagina 4 van 31
, 3. De hoedmatrix (hat matrix)
3.1 Definitie
De geschatte waarden zijn ŷ = xb̂ = x(x'x)⁻¹x'y = hy. De matrix h = x(x'x)⁻¹x' ∈ ℝⁿˣⁿ heet de
hoedmatrix omdat ze de waargenomen vector y omzet in de geschatte vector ŷ.
Intuïtie
De hoedmatrix is een orthogonale projectie: ze projecteert de vector y op de kolomruimte van x.
Visualiseer dit in 3D: de datapunten liggen in een ruimte, en de hoedmatrix laat ze loodrecht
vallen op het vlak bepaald door de verklarende variabelen.
3.2 Wiskundige eigenschappen
• Idempotentie: h² = h. Als je de projectie tweemaal uitvoert, krijg je hetzelfde
resultaat.
• Symmetrie: h' = h. De invloed van yⱼ op ŷᵢ is gelijk aan de invloed van yᵢ op ŷⱼ.
• h(I − h) = 0: ŷ ⊥ ê — de residuenvector staat loodrecht op de geschatte waarden.
3.3 Leverage: de diagonaalelementen hᵢ
Het diagonaalelement hᵢ = hᵢ,ᵢ heet de leverage van observatie i. Het meet hoeveel invloed
de i-de waarneming heeft op haar eigen geschatte waarde.
ENKELVOUDIG MODEL — FORMULE VOOR Hᵢ
hᵢ = 1/n + (xᵢ − x̄)² / Σₖ(xₖ − x̄)²
• 0 ≤ hᵢ ≤ 1 altijd (met constante term: 1/n ≤ hᵢ ≤ 1)
• Hoe verder xᵢ van het gemiddelde x̄, hoe groter de leverage
• Als hᵢ = 1: dan is ŷᵢ = yᵢ (de observatie bepaalt volledig haar eigen schatting)
3.4 Stelling van Pythagoras & sum of squares
Omdat ŷ ⊥ ê, volgt uit de stelling van Pythagoras:
‖y‖² = ‖ŷ‖² + ‖ê‖²
Dit is het fundament van de sum of squares decomposition (zie sectie 4).
3.5 Cook's distance
Cook's distance meet hoeveel de geschatte coëfficiënten zouden veranderen als observatie
i verwijderd werd:
Econometrie — Uitgebreide Samenvatting · Pagina 5 van 31
Uitgebreide Samenvatting
PPT3: KK-methode & beschrijvende statistiek · PPT4: Eigenschappen van KK-schatters
KU Leuven · Kulak · Faculteit Economie en Business
Econometrie — Uitgebreide Samenvatting · Pagina 1 van 31
,1. Intuïtie: wat is regressie?
Stel je voor dat je wil voorspellen hoeveel een huis kost. Je hebt gegevens over 500
verkochte huizen: de prijs, de oppervlakte, het aantal slaapkamers, of er airconditioning is,
enzovoort. Regressie is de wiskundige techniek die een rechte lijn (of een vlak in meerdere
dimensies) trekt die zo goed mogelijk door al die datapunten past.
Intuïtie
Denk aan het 'beste' rechtlijnige verband tussen de woonoppervlakte en de prijs van een huis. Als
je alle punten op een spreidingsdiagram zet, zoekt regressie de lijn waarvoor de som van alle
verticale afstanden² zo klein mogelijk is. Dat is precies het KK-criterium (Kleinste Kwadraten).
1.1 Formele opzet
We beschouwen een toevalsvector (Y, X₁, …, X_p). We willen het gedrag van de
responsvariabele Y verklaren aan de hand van de verklarende variabelen X₁, …, X_p.
• Responsvariabele Y: de variabele die je wil verklaren of voorspellen (bijv. huisprijs,
inkomen).
• Verklarende variabelen X₁, …, X_p: de variabelen waarmee je Y probeert te
verklaren (bijv. oppervlakte, slaapkamers).
• Regressiefunctie 𝔼[Y | X₁, …, X_p]: de beste benadering van Y gegeven de
verklarende variabelen, in de zin dat de gemiddelde kwadratische fout (MSE)
minimaal is.
1.2 Het lineaire regressiemodel
In het lineaire regressiemodel veronderstellen we dat de regressiefunctie lineair is in de
verklarende variabelen:
LINEAIRE SPECIFICATIE
𝔼[Y | X₁=x₁, …, X_p=x_p] = β₁x₁ + β₂x₂ + ··· + β_p x_p
Merk op: de eerste kolom is doorgaans een kolom van enen, zodat β₁ de intercept is (de
constante term). De parameters β₁, …, β_p zijn onbekend en moeten geschat worden uit de
data.
Waarom lineair?
'Lineair' slaat op de parameters β, niet op de variabelen — je kan dus ook kwadratische termen of
logaritmen opnemen in het model. Het lineaire model is interpreteerbaar, berekenbaar en heeft
prachtige wiskundige eigenschappen.
Econometrie — Uitgebreide Samenvatting · Pagina 2 van 31
,2. KK-schattingen berekenen
2.1 Het KK-criterium
We hebben n waarnemingen. De benaderde waarden zijn ŷᵢ = b₁xᵢ,₁ + ··· + b_p xᵢ,_p. De
residuen zijn êᵢ = yᵢ − ŷᵢ. De Residual Sum of Squares (RSS) is:
RSS — TE MINIMALISEREN
rss(b₁, …, b_p) = Σᵢ êᵢ² = Σᵢ (yᵢ − ŷᵢ)²
Intuïtie
Stel je voor dat je een liniaal legt over een wolk van punten. RSS meet de totale fout als je de
verticale afstanden van elk punt tot de lijn kwadreert en optelt. KK vindt de positie van de liniaal
waarvoor dit getal minimaal is.
2.2 De normaalvergelijkingen
We minimaliseren RSS door af te leiden naar elke parameter en gelijk te stellen aan nul. Dit
levert de normaalvergelijkingen:
∀j ∈ {1,…,p}: Σᵢ xᵢ,ⱼ(yᵢ − ŷᵢ) = Σᵢ xᵢ,ⱼ êᵢ = 0
Dit zegt: elke kolom van de datamatrix staat loodrecht op de residuenvector. Intuïtief: de
residuen bevatten geen informatie meer die door de verklarende variabelen verklaard kan
worden.
2.3 Matrixformule voor b̂
We schrijven alles compact in matrices: y (n×1), x de designmatrix (n×p), β de kolomvector
met parameters (p×1). Mits de designmatrix volledige kolomrang heeft (rk(x) = p), is de KK-
schatter:
GOUDEN FORMULE — KK-SCHATTING
b̂ = (x'x)⁻¹ x'y
Voorwaarde n ≥ p
We moeten minstens zo veel waarnemingen hebben als parameters. Als n = p, dan past de rechte
perfect door elk punt (RSS = 0), maar dit zegt niets over hoe goed het model de werkelijkheid
weergeeft.
2.4 Voorbeeld: enkelvoudig lineair regressiemodel
Voor het model 𝔼[Y | X = x] = β₁ + β₂x (intercept + één verklarende variabele):
Econometrie — Uitgebreide Samenvatting · Pagina 3 van 31
, GESLOTEN VORMEN
b̂₂ = cov(x₁,…,xₙ ; y₁,…,yₙ) / var(x₁,…,xₙ)
b̂₁ = ȳ − b̂₂ x̄
De helling b̂₂ meet: als X met 1 eenheid toeneemt, hoeveel neemt Y dan gemiddeld toe? Het
intercept b̂₁ zorgt ervoor dat de lijn door het zwaartepunt (x̄, ȳ) gaat.
Econometrie — Uitgebreide Samenvatting · Pagina 4 van 31
, 3. De hoedmatrix (hat matrix)
3.1 Definitie
De geschatte waarden zijn ŷ = xb̂ = x(x'x)⁻¹x'y = hy. De matrix h = x(x'x)⁻¹x' ∈ ℝⁿˣⁿ heet de
hoedmatrix omdat ze de waargenomen vector y omzet in de geschatte vector ŷ.
Intuïtie
De hoedmatrix is een orthogonale projectie: ze projecteert de vector y op de kolomruimte van x.
Visualiseer dit in 3D: de datapunten liggen in een ruimte, en de hoedmatrix laat ze loodrecht
vallen op het vlak bepaald door de verklarende variabelen.
3.2 Wiskundige eigenschappen
• Idempotentie: h² = h. Als je de projectie tweemaal uitvoert, krijg je hetzelfde
resultaat.
• Symmetrie: h' = h. De invloed van yⱼ op ŷᵢ is gelijk aan de invloed van yᵢ op ŷⱼ.
• h(I − h) = 0: ŷ ⊥ ê — de residuenvector staat loodrecht op de geschatte waarden.
3.3 Leverage: de diagonaalelementen hᵢ
Het diagonaalelement hᵢ = hᵢ,ᵢ heet de leverage van observatie i. Het meet hoeveel invloed
de i-de waarneming heeft op haar eigen geschatte waarde.
ENKELVOUDIG MODEL — FORMULE VOOR Hᵢ
hᵢ = 1/n + (xᵢ − x̄)² / Σₖ(xₖ − x̄)²
• 0 ≤ hᵢ ≤ 1 altijd (met constante term: 1/n ≤ hᵢ ≤ 1)
• Hoe verder xᵢ van het gemiddelde x̄, hoe groter de leverage
• Als hᵢ = 1: dan is ŷᵢ = yᵢ (de observatie bepaalt volledig haar eigen schatting)
3.4 Stelling van Pythagoras & sum of squares
Omdat ŷ ⊥ ê, volgt uit de stelling van Pythagoras:
‖y‖² = ‖ŷ‖² + ‖ê‖²
Dit is het fundament van de sum of squares decomposition (zie sectie 4).
3.5 Cook's distance
Cook's distance meet hoeveel de geschatte coëfficiënten zouden veranderen als observatie
i verwijderd werd:
Econometrie — Uitgebreide Samenvatting · Pagina 5 van 31
