Kwantitatieve beleidsmethoden
(BOEK 1)
Inhoud
Hoofdstuk 1. Inleiding............................................................................................................................3
Van theorie naar model......................................................................................................................3
Hoofdstuk 2. Het lineair regressiemodel................................................................................................4
Het lineair model................................................................................................................................4
Het enkelvoudig lineair regressiemodel.............................................................................................4
Methode van de kleinste kwadraten..................................................................................................4
Eigenschappen van de kleinste kwadratenschatters..........................................................................5
Assumptie 1....................................................................................................................................6
Assumptie 2....................................................................................................................................6
Assumptie 3....................................................................................................................................6
Stelling 2.1. Gauss-Markov stelling.................................................................................................6
Een schatter voor σ²...........................................................................................................................7
Statistische inferentie betreffende β0 en β1......................................................................................7
Assumptie 4....................................................................................................................................7
De kwaliteit van het enkelvoudig regressiemodel..............................................................................8
Methode 1: Determinatiecoëfficiënt..............................................................................................8
Methode 2: Toetsen van de significantie van het model................................................................8
Voorspellen met het geschatte model................................................................................................9
Intervalvoorspelling........................................................................................................................9
Puntvoorspelling voor.....................................................................................................................9
Causaliteit...........................................................................................................................................9
Hoofdstuk 3. Meervoudige regressie......................................................................................................9
Het meervoudig regressiemodel en de methode van de kleinste kwadraten....................................9
Kleinste kwadratenmethode..........................................................................................................9
Veronderstelling bij het meervoudig regressiemodel.......................................................................10
Assumptie 1..................................................................................................................................10
Assumptie 2 (homoscedasticiteit).................................................................................................10
Assumptie 3 (ongecorreleerde van waarnemingen).....................................................................10
Assumptie 4..................................................................................................................................10
Eigenschappen van de kleinste kwadratenschatter..........................................................................10
1
, Statistische inferentie.......................................................................................................................10
Een schatter voor σ².....................................................................................................................10
Determinatiecoëfficiënt................................................................................................................11
Algemene F-toets.........................................................................................................................11
Hypothesetoets voor individuele parameters..............................................................................11
Hypothesetoets voor meerder parameters..................................................................................11
Voorspellingen..............................................................................................................................12
Multicollineariteit.............................................................................................................................13
Gecorreleerde versus niet-gecorreleerde verklarende variabelen...............................................13
Gevolgen van multicollineariteit...................................................................................................13
Remedies tegen multicollineariteit...............................................................................................13
Modelspecificatie.............................................................................................................................13
Weglaten van verklarende variabelen..........................................................................................13
RESET-test van Ramsey.................................................................................................................13
Opnemen van irrelevante variabelen (uitwerking niet te kennen)...............................................14
Aanpassen functionele vorm van model.......................................................................................14
Modelselectie...................................................................................................................................14
Het toetsen van de veronderstellingen (WC)...................................................................................14
Hoofdstuk 4. Kwalitatieve verklarende variabelen...............................................................................14
Kwalitatieve variabelen met 2 niveaus.............................................................................................14
Kwalitatieve variabelen met meer dan 2 categorieën......................................................................16
Het testen van kwalitatieve effecten (voorbeeld)............................................................................17
De Chow test....................................................................................................................................18
Stuksgewijze lineaire regressie.........................................................................................................18
Hoofdstuk 5. Niet-lineaire modellen....................................................................................................18
Veeltermen en interacties................................................................................................................18
Inverse functies................................................................................................................................18
Stuksgewijze lineaire functies...........................................................................................................18
Logaritmische functies......................................................................................................................18
Vergelijken van de kwaliteit van modellen voor Y en transformaties voor Y....................................19
Hoofdstuk 6. Heteroscedasticiteit........................................................................................................19
Inleiding............................................................................................................................................19
De gewone kleinste kwadratenschatters bij heteroscedasticiteit.....................................................20
De gewogen of veralgemeende kleinste kwadratenmethode..........................................................21
Het opsporen van heteroscedasticiteit.............................................................................................22
Grafische methode.......................................................................................................................22
2
, Statistische methode....................................................................................................................22
Transformaties.................................................................................................................................23
Hoofdstuk 7. Autocorrelatie.................................................................................................................23
Inleiding............................................................................................................................................23
Eerste orde autocorrelatie................................................................................................................24
Veralgemeende kleinste kwadratenschatter....................................................................................25
Vertraagde variabelen......................................................................................................................26
Het opsporen van autocorrelatie van de eerste orden.....................................................................26
Hoofdstuk 9. Logistische regressie.......................................................................................................27
Het lineaire kansmodel.....................................................................................................................27
Het enkelvoudig logit model.............................................................................................................27
Opbouw van het model................................................................................................................27
Schatting van het model...............................................................................................................29
Kwaliteit van het model................................................................................................................29
Classificatie met behulp van logistische modellen............................................................................30
Meervoudige logistische regressiemodellen....................................................................................31
Hoofdstuk 1. Inleiding
Van theorie naar model
Theorie: inzicht relatie tussen variabelen, vb. consumptieniveau (c) wordt beïnvloed door
beschikbaar inkomen (x)
"theoretische"relatie uitdrukkken met wiskundige functie (vertalen): Model: c = f (x)
q = f (p, ps, pc , x)
Algemeen: y = f (x1, x2,..., xk)
- y: respons of afhankelijke variabele
- x1, x2,..., xk: verklarende of onafhankelijke variabelen
Verband tussen y en x1, x2,... positief of negatief
Correlatie: meet hoe sterk 2 kwantitatieve variabelen Y en x een lineair verband vertonen en wat de
richting van dat verband is (positief of negatief)
Of hoe sterk sluiten de punten op een scatterplot aan bij een denkbeeldige rechte
- Tussen -1 < r < 1
- Als r = 0 dan is er geen lineair verband
Zijn theoretische grenzen, bij +1 liggen alle punten op 1 lijn, dit kan niet, er gaan altijd
uitzonderingen zijn op uw regel/theorie
Correlatiecoëfficiënt geeft geen informatie over gevoeligheid van de respons variabele Y t.o.v. x
Wel het geval bij regressie-analyse
- Niet enkel kijken of punten aansluiten bij rechte
- Maar ook rechte kwantificeren (hellingscoëfficiënt kennen correlatiecoëfficiënt kijkt hier
niet naar, hier zie je hoe groot het effect is van x op y)
3
,Hoofdstuk 2. Het lineair regressiemodel
Het lineair model
Kwantitatieve afhankelijke of responsvariabele Y en kwan. onafhankelijke of verklarende variabele x
Gestelde vragen:
- Is er een sterke lineaire relatie tussen beide variabelen?
- Is deze lineaire relatie significant?
- Hoe gevoelig is Y voor veranderingen in x?
- Welke waarde voor Y voorspelt men gegeven een waarde van x?
Bij een lineair model verschijnen de parameters β0, β1, β2,... op een lineaire wijze in f
Voorbeelden:
- Y = β0 + β1x1 + β2x2 + . . . + βkxk + U
- Y = β0 + β1x + U
- Y = β0 + β1lnx + U
Parameters niet in de macht, geen kwadraten
Het enkelvoudig lineair regressiemodel
Voorbeeld. Er is een verband tussen de lengte (x) en het gewicht van een persoon (Y )
Bijhorend lineair model: Y = β0 + β1x + U
- β0: intercept, snijpunt met y-as
- β1: helling van de rechte, effect van x (lengte) op Y (gewicht)
- U: afwijking van de theorie, relatie is niet perfect, door andere invloeden (levensstijl,
genetische invloed)
Onbekende parameters β0 en β1 gaan we schatten, deze schatters noemen we ^β 0 en ^β 1
Steekproef nemen: yˆ = b0 + b1x (= rechte lijn)
Werkelijk in de steekproef: y = b0 + b1x + u
Best mogelijke rechte: alle afwijkingen zo klein mogelijk
Deze afwijkingen zijn oftewel positief of negatief tov deze rechte
(Probleem: gaan elkaar opheffen als we ze optellen)
Kwadrateren (best mogelijk rechte: rechte die de som van de
gekwadrateerde afwijkingen min., methode vd kleinste kwadraten
Methode van de kleinste kwadraten
= methode voor het schatten van de onbekende parameters
Bepalen coëfficiënten van optimale rechte (modelschatting)
U i= y i−^y i=b 0+ b1 x i (werkelijke waarde – voorspelde waarde)
Minimaliseer
Partiële afgeleiden (kettingregel gebruiken):
Normaalvergelijkingen:
n
−2 ∑ ( y i−b 0−b 1 x i )=0
i=1
n n n
∑ yi −∑ b0 −∑ b1 x i=0
i=1 i=1 i=1
n n
∑ yi =n b0 +b 1 ∑ x i
i=1 i=1
4
, n
−2 ∑ x i ( y i−b0−b1 x i )=0
i=1
n n n
∑ x i y i−∑ x i b 0−∑ x i b1 x i=0
i=1 i=1 i=1
n n n
∑ x i y i=b 0 ∑ x i +b1 ∑ x i ²
i=1 i=1 i=1
Oplossing voor b0 en b1:
n n n
n ∑ y i x i−( ∑ y i)( ∑ x i )
i=1 i=1 i=1
b 1= n n
n ∑ x i ²−( ∑ xi ) ²
i=1 i=1
n
( y ¿¿ i− y )
¿ ∑ ( x¿¿ i− x) n
¿¿
i=1
∑ (x¿ ¿i −x)² ¿
i=1
b 0= y−b1 x
Voorbeeld. Modelschatting relatie lengte gewicht
- b0 = −58.23
- b1 = 0.716
- modelschatting: gewicht = -58.23 + 0.716*lengte
rekenvoorbeeld cursus
► b0 = 0.7
► b1 = −0.1
β0 heeft hier geen praktisch nut omdat dit het voorspelde gewicht is als lengte = 0
Als lengte toeneemt met 1 cm, verhoogt het gewicht met 0,716 kg
Eigenschappen van de kleinste
kwadratenschatters
Vóór het experiment/verzamelen steekproefgegevens
- De respons een kansvariabele: Yi
- Afwijking een kansvariabel: Ui
- Kleinste kwadratenschatters
Kwadraatsommen om variaties te meten:
variatie in x-waarden
Variatie in y-waarden
Covariatie in x en y-waarden
Deze kwadraatsommen kunnen we invullen in ^β 1 en ^β 0:
lineaire schatter: ^β 1 en ^β 0 (b0 en b1) zijn lineaire combinaties
van Yi (yi)
[ ]
n n
1 1
E ( β^ 1 ) =E ∑
SS xx i=1
(x i−x) Y i = ∑ ( x −x) E (Y ¿¿ i)¿
SS xx i=1 i
Praktijk vaak slechts één steekproef
5
(BOEK 1)
Inhoud
Hoofdstuk 1. Inleiding............................................................................................................................3
Van theorie naar model......................................................................................................................3
Hoofdstuk 2. Het lineair regressiemodel................................................................................................4
Het lineair model................................................................................................................................4
Het enkelvoudig lineair regressiemodel.............................................................................................4
Methode van de kleinste kwadraten..................................................................................................4
Eigenschappen van de kleinste kwadratenschatters..........................................................................5
Assumptie 1....................................................................................................................................6
Assumptie 2....................................................................................................................................6
Assumptie 3....................................................................................................................................6
Stelling 2.1. Gauss-Markov stelling.................................................................................................6
Een schatter voor σ²...........................................................................................................................7
Statistische inferentie betreffende β0 en β1......................................................................................7
Assumptie 4....................................................................................................................................7
De kwaliteit van het enkelvoudig regressiemodel..............................................................................8
Methode 1: Determinatiecoëfficiënt..............................................................................................8
Methode 2: Toetsen van de significantie van het model................................................................8
Voorspellen met het geschatte model................................................................................................9
Intervalvoorspelling........................................................................................................................9
Puntvoorspelling voor.....................................................................................................................9
Causaliteit...........................................................................................................................................9
Hoofdstuk 3. Meervoudige regressie......................................................................................................9
Het meervoudig regressiemodel en de methode van de kleinste kwadraten....................................9
Kleinste kwadratenmethode..........................................................................................................9
Veronderstelling bij het meervoudig regressiemodel.......................................................................10
Assumptie 1..................................................................................................................................10
Assumptie 2 (homoscedasticiteit).................................................................................................10
Assumptie 3 (ongecorreleerde van waarnemingen).....................................................................10
Assumptie 4..................................................................................................................................10
Eigenschappen van de kleinste kwadratenschatter..........................................................................10
1
, Statistische inferentie.......................................................................................................................10
Een schatter voor σ².....................................................................................................................10
Determinatiecoëfficiënt................................................................................................................11
Algemene F-toets.........................................................................................................................11
Hypothesetoets voor individuele parameters..............................................................................11
Hypothesetoets voor meerder parameters..................................................................................11
Voorspellingen..............................................................................................................................12
Multicollineariteit.............................................................................................................................13
Gecorreleerde versus niet-gecorreleerde verklarende variabelen...............................................13
Gevolgen van multicollineariteit...................................................................................................13
Remedies tegen multicollineariteit...............................................................................................13
Modelspecificatie.............................................................................................................................13
Weglaten van verklarende variabelen..........................................................................................13
RESET-test van Ramsey.................................................................................................................13
Opnemen van irrelevante variabelen (uitwerking niet te kennen)...............................................14
Aanpassen functionele vorm van model.......................................................................................14
Modelselectie...................................................................................................................................14
Het toetsen van de veronderstellingen (WC)...................................................................................14
Hoofdstuk 4. Kwalitatieve verklarende variabelen...............................................................................14
Kwalitatieve variabelen met 2 niveaus.............................................................................................14
Kwalitatieve variabelen met meer dan 2 categorieën......................................................................16
Het testen van kwalitatieve effecten (voorbeeld)............................................................................17
De Chow test....................................................................................................................................18
Stuksgewijze lineaire regressie.........................................................................................................18
Hoofdstuk 5. Niet-lineaire modellen....................................................................................................18
Veeltermen en interacties................................................................................................................18
Inverse functies................................................................................................................................18
Stuksgewijze lineaire functies...........................................................................................................18
Logaritmische functies......................................................................................................................18
Vergelijken van de kwaliteit van modellen voor Y en transformaties voor Y....................................19
Hoofdstuk 6. Heteroscedasticiteit........................................................................................................19
Inleiding............................................................................................................................................19
De gewone kleinste kwadratenschatters bij heteroscedasticiteit.....................................................20
De gewogen of veralgemeende kleinste kwadratenmethode..........................................................21
Het opsporen van heteroscedasticiteit.............................................................................................22
Grafische methode.......................................................................................................................22
2
, Statistische methode....................................................................................................................22
Transformaties.................................................................................................................................23
Hoofdstuk 7. Autocorrelatie.................................................................................................................23
Inleiding............................................................................................................................................23
Eerste orde autocorrelatie................................................................................................................24
Veralgemeende kleinste kwadratenschatter....................................................................................25
Vertraagde variabelen......................................................................................................................26
Het opsporen van autocorrelatie van de eerste orden.....................................................................26
Hoofdstuk 9. Logistische regressie.......................................................................................................27
Het lineaire kansmodel.....................................................................................................................27
Het enkelvoudig logit model.............................................................................................................27
Opbouw van het model................................................................................................................27
Schatting van het model...............................................................................................................29
Kwaliteit van het model................................................................................................................29
Classificatie met behulp van logistische modellen............................................................................30
Meervoudige logistische regressiemodellen....................................................................................31
Hoofdstuk 1. Inleiding
Van theorie naar model
Theorie: inzicht relatie tussen variabelen, vb. consumptieniveau (c) wordt beïnvloed door
beschikbaar inkomen (x)
"theoretische"relatie uitdrukkken met wiskundige functie (vertalen): Model: c = f (x)
q = f (p, ps, pc , x)
Algemeen: y = f (x1, x2,..., xk)
- y: respons of afhankelijke variabele
- x1, x2,..., xk: verklarende of onafhankelijke variabelen
Verband tussen y en x1, x2,... positief of negatief
Correlatie: meet hoe sterk 2 kwantitatieve variabelen Y en x een lineair verband vertonen en wat de
richting van dat verband is (positief of negatief)
Of hoe sterk sluiten de punten op een scatterplot aan bij een denkbeeldige rechte
- Tussen -1 < r < 1
- Als r = 0 dan is er geen lineair verband
Zijn theoretische grenzen, bij +1 liggen alle punten op 1 lijn, dit kan niet, er gaan altijd
uitzonderingen zijn op uw regel/theorie
Correlatiecoëfficiënt geeft geen informatie over gevoeligheid van de respons variabele Y t.o.v. x
Wel het geval bij regressie-analyse
- Niet enkel kijken of punten aansluiten bij rechte
- Maar ook rechte kwantificeren (hellingscoëfficiënt kennen correlatiecoëfficiënt kijkt hier
niet naar, hier zie je hoe groot het effect is van x op y)
3
,Hoofdstuk 2. Het lineair regressiemodel
Het lineair model
Kwantitatieve afhankelijke of responsvariabele Y en kwan. onafhankelijke of verklarende variabele x
Gestelde vragen:
- Is er een sterke lineaire relatie tussen beide variabelen?
- Is deze lineaire relatie significant?
- Hoe gevoelig is Y voor veranderingen in x?
- Welke waarde voor Y voorspelt men gegeven een waarde van x?
Bij een lineair model verschijnen de parameters β0, β1, β2,... op een lineaire wijze in f
Voorbeelden:
- Y = β0 + β1x1 + β2x2 + . . . + βkxk + U
- Y = β0 + β1x + U
- Y = β0 + β1lnx + U
Parameters niet in de macht, geen kwadraten
Het enkelvoudig lineair regressiemodel
Voorbeeld. Er is een verband tussen de lengte (x) en het gewicht van een persoon (Y )
Bijhorend lineair model: Y = β0 + β1x + U
- β0: intercept, snijpunt met y-as
- β1: helling van de rechte, effect van x (lengte) op Y (gewicht)
- U: afwijking van de theorie, relatie is niet perfect, door andere invloeden (levensstijl,
genetische invloed)
Onbekende parameters β0 en β1 gaan we schatten, deze schatters noemen we ^β 0 en ^β 1
Steekproef nemen: yˆ = b0 + b1x (= rechte lijn)
Werkelijk in de steekproef: y = b0 + b1x + u
Best mogelijke rechte: alle afwijkingen zo klein mogelijk
Deze afwijkingen zijn oftewel positief of negatief tov deze rechte
(Probleem: gaan elkaar opheffen als we ze optellen)
Kwadrateren (best mogelijk rechte: rechte die de som van de
gekwadrateerde afwijkingen min., methode vd kleinste kwadraten
Methode van de kleinste kwadraten
= methode voor het schatten van de onbekende parameters
Bepalen coëfficiënten van optimale rechte (modelschatting)
U i= y i−^y i=b 0+ b1 x i (werkelijke waarde – voorspelde waarde)
Minimaliseer
Partiële afgeleiden (kettingregel gebruiken):
Normaalvergelijkingen:
n
−2 ∑ ( y i−b 0−b 1 x i )=0
i=1
n n n
∑ yi −∑ b0 −∑ b1 x i=0
i=1 i=1 i=1
n n
∑ yi =n b0 +b 1 ∑ x i
i=1 i=1
4
, n
−2 ∑ x i ( y i−b0−b1 x i )=0
i=1
n n n
∑ x i y i−∑ x i b 0−∑ x i b1 x i=0
i=1 i=1 i=1
n n n
∑ x i y i=b 0 ∑ x i +b1 ∑ x i ²
i=1 i=1 i=1
Oplossing voor b0 en b1:
n n n
n ∑ y i x i−( ∑ y i)( ∑ x i )
i=1 i=1 i=1
b 1= n n
n ∑ x i ²−( ∑ xi ) ²
i=1 i=1
n
( y ¿¿ i− y )
¿ ∑ ( x¿¿ i− x) n
¿¿
i=1
∑ (x¿ ¿i −x)² ¿
i=1
b 0= y−b1 x
Voorbeeld. Modelschatting relatie lengte gewicht
- b0 = −58.23
- b1 = 0.716
- modelschatting: gewicht = -58.23 + 0.716*lengte
rekenvoorbeeld cursus
► b0 = 0.7
► b1 = −0.1
β0 heeft hier geen praktisch nut omdat dit het voorspelde gewicht is als lengte = 0
Als lengte toeneemt met 1 cm, verhoogt het gewicht met 0,716 kg
Eigenschappen van de kleinste
kwadratenschatters
Vóór het experiment/verzamelen steekproefgegevens
- De respons een kansvariabele: Yi
- Afwijking een kansvariabel: Ui
- Kleinste kwadratenschatters
Kwadraatsommen om variaties te meten:
variatie in x-waarden
Variatie in y-waarden
Covariatie in x en y-waarden
Deze kwadraatsommen kunnen we invullen in ^β 1 en ^β 0:
lineaire schatter: ^β 1 en ^β 0 (b0 en b1) zijn lineaire combinaties
van Yi (yi)
[ ]
n n
1 1
E ( β^ 1 ) =E ∑
SS xx i=1
(x i−x) Y i = ∑ ( x −x) E (Y ¿¿ i)¿
SS xx i=1 i
Praktijk vaak slechts één steekproef
5
