Statistiek (Samenvatting Econometrie)

Statistiek

Bachelor Econometrie & Operationele Research


Hoofdstuk 9 (week 1, 2 en 3)
Schatten van een onbekende parameter
Er moet een schatter worden gevonden voor een bepaalde, nog onbekende, parameter. Deze
parameter is meestal 𝜃𝜃. Dit kan op twee manieren.

MME (Method of Moment Estimators)
Bereken 𝐸𝐸(𝑋𝑋). Stel 𝐸𝐸(𝑋𝑋) = 𝑋𝑋�. Maak 𝜃𝜃 vrij. Dit is de gevonden schatter 𝜃𝜃�𝑀𝑀𝑀𝑀𝑀𝑀 .

MLE (Maximum Likelihood Estimator)

⋅ Geval 1: 𝜃𝜃 > 𝑎𝑎
Stel de likelihood function 𝐿𝐿(𝜃𝜃) = 𝑓𝑓(𝑥𝑥1 , … , 𝑥𝑥𝑛𝑛 ; 𝜃𝜃) = ∏ni=1 f(xi ; θ) op.
Neem het natuurlijk logaritme ℓ(𝜃𝜃) = ln ∏ni=1 f(xi ; θ).
𝜕𝜕
Neem de afgeleide naar de onbekende parameter, ℓ(𝜃𝜃).
𝜕𝜕𝜕𝜕
Stel de afgeleide gelijk aan 0 (je berekent een maximum).
Maak 𝜃𝜃 vrij. Dit is de gevonden schatter 𝜃𝜃�𝑀𝑀𝑀𝑀𝑀𝑀 .

⋅ Geval 2: 𝑎𝑎 < 𝑥𝑥 ≤ 𝜃𝜃
Bepaal 𝐿𝐿(𝜃𝜃) = ∏ni=1 f(xi ; θ).
Bepaal wat er met 𝐿𝐿(𝜃𝜃) gebeurt als 𝜃𝜃 verandert.
Bepaal 𝜃𝜃 zodat 𝐿𝐿(𝜃𝜃) wordt gemaximaliseerd.


1
Voorbeeld Zij 𝐿𝐿(𝜃𝜃) = met 0 < {𝑥𝑥1 , … , 𝑥𝑥𝑛𝑛 } < 𝜃𝜃. Vind de MLE schatter.
𝜃𝜃𝑛𝑛



Als 𝜃𝜃 ↓, dan 𝐿𝐿(𝜃𝜃) ↑. Om 𝐿𝐿(𝜃𝜃) te maximaliseren, moeten we 𝜃𝜃 dus zo klein mogelijk nemen.
Er geldt 𝜃𝜃 > 𝑥𝑥𝑛𝑛:𝑛𝑛 ≥ ⋯ ≥ 𝑥𝑥1:𝑛𝑛 > 0.
Je kunt nu nemen 𝜃𝜃�𝑀𝑀𝑀𝑀𝑀𝑀 = 𝑥𝑥1:𝑛𝑛 als MLE schatter zodat 𝐿𝐿(𝜃𝜃) zo maximaal mogelijk wordt, maar er
moet ook gelden dat 𝜃𝜃�𝑀𝑀𝑀𝑀𝑀𝑀 > 𝑥𝑥𝑛𝑛:𝑛𝑛 . Dus neem 𝜃𝜃�𝑀𝑀𝑀𝑀𝑀𝑀 > 𝑥𝑥𝑛𝑛:𝑛𝑛 (dan heb je voldaan aan de restrictie dat 𝜃𝜃
groter moet zijn dan de grootste 𝑥𝑥 én tegelijkertijd de kleinst mogelijke 𝜃𝜃 gekozen).
Dus neem 𝜃𝜃𝑚𝑚𝑚𝑚𝑚𝑚 = 𝑥𝑥𝑛𝑛:𝑛𝑛 = 𝜃𝜃�𝑀𝑀𝑀𝑀𝑀𝑀 .


Over het algemeen geldt
⋅ 𝑇𝑇 = de gevonden schatter, bijvoorbeeld 𝜃𝜃�𝑀𝑀𝑀𝑀𝑀𝑀 .
⋅ 𝜏𝜏(𝜃𝜃) = hetgeen geschat moet worden, bijvoorbeeld 𝜃𝜃.


Invariantie
Als 𝜃𝜃�𝑀𝑀𝑀𝑀𝑀𝑀 de MLE-schatter is voor 𝜃𝜃, dan is 𝑢𝑢(𝜃𝜃�𝑀𝑀𝑀𝑀𝑀𝑀 ) een MLE voor 𝑢𝑢(𝜃𝜃).


Pagina 1

, Zuiverheid (unbiasedness)
Een gevonden schatter 𝑇𝑇 is zuiver als geldt
𝐸𝐸(𝑇𝑇) = 𝜏𝜏(𝜃𝜃)

Een andere definitie van zuiverheid als 𝑛𝑛 groot is gegeven door

𝑃𝑃
𝑇𝑇 → 𝜏𝜏(𝜃𝜃)


CRLB (Cramèr-Rao Lower Bound)
De Cramèr-Rao Lower Bound 𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶(𝑇𝑇) van een bepaalde schatter 𝑇𝑇
is de minimale variantie die de schatter 𝑇𝑇 aan kan nemen.
Er geldt
[𝜏𝜏 ′ (𝜃𝜃)]2
𝑉𝑉𝑉𝑉𝑉𝑉(𝑇𝑇) ≥ 2 = 𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶
𝜕𝜕
𝑛𝑛𝑛𝑛 �� ln 𝑓𝑓(𝑥𝑥𝑖𝑖 ; 𝜃𝜃)� �
𝜕𝜕𝜕𝜕


UMVUE
De meest optimale ofwel beste schatter 𝑇𝑇 heet UMVUE en heeft twee eigenschappen.
⋅ 𝐸𝐸(𝑇𝑇) = 𝜏𝜏(𝜃𝜃) de schatter 𝑇𝑇 is zuiver
⋅ 𝑉𝑉𝑉𝑉𝑉𝑉(𝑇𝑇) = 𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶 de variantie van de schatter 𝑇𝑇 bereikt de 𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶


CRLB Corollary
Als 𝑇𝑇 een UMVUE is voor 𝜏𝜏(𝜃𝜃), dan geldt

𝑛𝑛
𝜕𝜕
� ln f(xi ; θ) = Κ(𝑛𝑛, 𝜃𝜃)�𝑇𝑇 − 𝜏𝜏(𝜃𝜃)�
𝜕𝜕𝜕𝜕
𝑖𝑖=1


Dus als het linkerdeel op te splitsen is in �𝑇𝑇 − 𝜏𝜏(𝜃𝜃)� met erbuiten een 'rest' Κ(𝑛𝑛, 𝜃𝜃) bestaande uit
constanten, 𝑛𝑛 en 𝜃𝜃, dan wordt de 𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶 bereikt voor 𝜏𝜏(𝜃𝜃).




Pagina 2