Inhoudsopgave
Lijst met figuren................................................................................................................. 2
1 Simple linear regression ............................................................................................. 4
1.1 Model specification ........................................................................................................ 4
1.2 Fit model and inference about parameters ..................................................................... 7
1.2.1 Geschat model .................................................................................................................. 7
1.2.2 Inferentie parameters ....................................................................................................... 9
1.2.3 Hypothesetoetsen........................................................................................................... 10
1.3 Goodness of fit ............................................................................................................. 11
1.4 Check model assumptions ............................................................................................ 13
2 Multiple linear regression .........................................................................................15
2.1 Model specification ...................................................................................................... 15
2.1.1 Multiple linear regression ............................................................................................... 15
2.1.2 Interpretatie van de parameters .................................................................................... 16
2.1.3 Non-lineaire Modellen .................................................................................................... 16
2.1.4 Dummy variables ............................................................................................................ 19
2.1.5 Interactie variabelen ....................................................................................................... 21
2.1.6 Choice of explanatory variables ...................................................................................... 22
2.2 Model fit and inference ................................................................................................ 23
2.2.1 Estimating parameters .................................................................................................... 23
2.2.2 Estimating standard error of model ................................................................................ 23
2.2.3 Sampling distribution of estimators ................................................................................ 24
2.2.4 Inference about parameters ........................................................................................... 25
2.2.5 Joint hypotheses tests..................................................................................................... 26
2.3 Goodnesss of fit ............................................................................................................ 31
2.3.1 ANOVA table and F-test .................................................................................................. 31
2.3.2 Adjusted R-square ........................................................................................................... 32
2.3.3 Model selection strategies .............................................................................................. 33
2.4 Checking Assumptions .................................................................................................. 34
2.4.1 Diagnostic plots ............................................................................................................... 34
2.4.2 Multicollinearity .............................................................................................................. 35
2.4.3 Hetroscedasticity ............................................................................................................ 38
3 Tijdreeksanalyse .......................................................................................................41
3.1 Inleiding ....................................................................................................................... 41
3.1.1 Differenties in tijdreeksen............................................................................................... 41
3.1.2 MLR op tijdreeksgegevens .............................................................................................. 42
3.1.3 Vertraagde variabelen in tijdreeksen .............................................................................. 43
3.2 Moeilijkheden bij tijdreeksen ....................................................................................... 44
3.2.1 Probleem 1: Data ............................................................................................................ 44
3.2.2 Probleem 2: Spurious correlation ................................................................................... 44
3.2.3 Probleem 3: Autocorrelatie ............................................................................................ 49
3.2.4 Oplossingen voor autocorrelatie: ................................................................................... 52
3.3 Tijdreeksmodellen ........................................................................................................ 53
3.3.1 Statische modellen.......................................................................................................... 53
3.3.2 Distributed lag models .................................................................................................... 54
3.3.3 Dynamissche modellen: AR(1) ........................................................................................ 55
1
,Lijst met figuren
Figure 1: Relatie tussen x en Y bij ELR ....................................................................................... 4
Figure 2: ELR - Non-lineaire relaties .......................................................................................... 5
Figure 3: ELR – Geschikte functionele vorm? ............................................................................ 5
Figure 4:ELR - Invloed van keuzes bij niet-lineaire relaties........................................................ 6
Figure 5: ELR - Populatie versus geschat model (1/2) ............................................................... 7
Figure 6: ELR - Populatie versus geschat model (2/2) ............................................................... 7
Figure 7: ELR- Standaard fout van het model ............................................................................ 8
Figure 8: ELR - Bi Als een random variable ................................................................................ 9
Figure 9: ELR – Betrouwbaarheidsinterval voor βi .................................................................... 9
Figure 10: ELR – Geschikte descriptive statistics ..................................................................... 10
Figure 11: ELR- Geschikte test ................................................................................................. 10
Figure 12: ELR – P-waarde ....................................................................................................... 11
Figure 13: ELR - Decompositie van de variantie ...................................................................... 12
Figure 14: ELR - Mean squares ................................................................................................ 12
Figure 15: ELR – R-kwadraat .................................................................................................... 12
Figure 16: ELR – Anova F-toets ................................................................................................ 13
Figure 17: MLR - Grafisch ........................................................................................................ 15
Figure 18: MLR- Transformatie ................................................................................................ 17
Figure 19: MLR – Polynomial model ........................................................................................ 17
Figure 20: MLR – LOG Transformatie ...................................................................................... 18
Figure 21: MLR – Dummy grafisch ........................................................................................... 19
Figure 22: MLR – Dummy - Grafisch ........................................................................................ 20
Figure 23: MLR – Parameters schatten kleinste kwadraten schatters .................................... 23
Figure 24: MLR – Scatterplot ................................................................................................... 25
Figure 25: MLR – Test statistiek ............................................................................................... 25
Figure 26: MLR - Decompositie van de variantie ..................................................................... 26
Figure 27: MLR – Restricted model ......................................................................................... 27
Figure 28: MLR – Unrestricted model...................................................................................... 27
Figure 29: MLR – Joint F-test: P-waarde .................................................................................. 27
Figure 30: MLR – Joint F-test: Link met R² - Restricted model................................................. 28
Figure 31: MLR – Joint F-test: Link met R² - Unrestricted model ............................................. 28
Figure 32: MLR – Joint F-test: link met t-test (1/2) .................................................................. 29
Figure 33: MLR – Joint F-test: link met t-test (2/2) .................................................................. 29
Figure 34: MLR – Model significance: P-waarde...................................................................... 30
Figure 35: MLR – ANOVA Tabel ............................................................................................... 31
Figure 36: MLR – ANOVA Tabel Template ............................................................................... 31
Figure 37: MLR – Aangepaste R kwadraat (1/2) ...................................................................... 32
Figure 38: MLR – Aangepaste R kwadraat (2/2) ...................................................................... 32
Figure 39: MLR – Multicollineariteit illustratie (1/2) ............................................................... 35
Figure 40: MLR – Multicollineariteit illustratie (2/2) ............................................................... 35
Figure 41: MLR – Hetroskedasticiteit (1/2).............................................................................. 38
Figure 42: MLR – Hetroskedassticiteit (2/2) ............................................................................ 38
Figure 43: MLR – Hetroskedasiticiteit: Detectie ...................................................................... 39
Figure 44: MLR – Voorbeeld: Y: electricity usage X1: income à define per capita ................ 40
Figure 45: Voorbeeld differenties in tijdreeksen ..................................................................... 41
2
,Figure 46: Graph voorbeeld differenties in tijdreeksen .......................................................... 41
Figure 47: Voorbeeld PHILIPS curve (1/2) ............................................................................... 42
Figure 48: Voorbeeld PHILIPS curve (2/2) ............................................................................... 42
Figure 49: Spurious correlation (1/3) ...................................................................................... 44
Figure 50: spurious correlation (2/3) ....................................................................................... 45
Figure 51: spurious correlation (3/3) ....................................................................................... 45
Figure 52: Spurious correlation (1/2) ...................................................................................... 45
Figure 53: Spurious correlation (2/2) ...................................................................................... 45
Figure 54: Voorbeeld BBP (1/2) ............................................................................................... 46
Figure 55: Voorbeeld BBP (2/2) ............................................................................................... 46
Figure 56: Relatieve verandering in bbp over de tijd .............................................................. 47
Figure 57: Relatieve verandering in bev. Dichtheid over de tijd ............................................. 47
Figure 58: verband tussen veranderingen ............................................................................... 47
Figure 59: Geen autocorrelatie................................................................................................ 49
Figure 60: Positieve autocorrelatie ......................................................................................... 50
Figure 61: Negatieve autocorrelatie ........................................................................................ 50
Figure 62: Statische modellen ................................................................................................. 53
3
, 1 Simple linear regression
= Enkelvoudige lineaire regressie
Illustratie:
• Doel:Modelleer het effect van onafhankelijke variabele X op de afhankelijke variabele Y.
• Voorbeeld Hamburger Chain:
o Populatie: restaurants van een hamburgerketen in verschillende steden
o Onderzoeksvraag: Welk effect heeft de prijs van de producten op de sales?
o Afhankelijke variabele: monthly sales in a city (in 1000$)
o Onafhankelijke variabele: ‘average’ price of all products (in$)
Verschillende stappen:
• Model specificatie:
o Suggereer een theoretisch model voor de populatie gebaseerd op de kennis van een
‘expert’ (bv. literatuur)
o Houdt in dat je assumpties maakt die moetne gecontroleerd worden.
• Schat parameters in het model
o Fit het model op basis van de data
o Voer hypothese toetsen uit
• Goodness of fit
o Levert het theoretische model een goede fit voor de data?
• Check de assumpties op basis van de data
o Dit kan leiden tot een aangepaste model specificatie
1.1 Model specification
Eerst de theorie:
• Wat vertelt/vertellen de literatuur/experten jou over de relatie tussen X en Y?
• Voorbeeld Hamburger Chain: Niet eenduidig
o als een prijsverlaging slechts leidt tot een kleine toename van de sales, zullen de
verkoopopbrengsten dalen (de vraag is prijsinelastisch); een prijsverlaging die leidt
tot een grote toename van de sales zal leiden tot een toename van de omzet (de
vraag is prijselastisch).
o als de vraagfunctie lineair is, dan is de sales een kwadratische functie van de prijs,
voor relatief kleine prijsveranderingen kan dit worden benaderd door een lineaire
functie.
Klassieke enkelvoudige lineaire regressie
• Modelleer de relatie tussen X en Y met een lineaire functie. De punten liggen niet exact op
een rechte: Y = β0 + β1 x + ε, met ε ~N(0, σ), waar σ de standaard fout van het model
wordt genoemd.
• Voorbeeld Hamburger Chain:
o Rode rechte met vergelijking: y=122-8x
Figure 1: Relatie tussen x en Y bij ELR
4
Lijst met figuren................................................................................................................. 2
1 Simple linear regression ............................................................................................. 4
1.1 Model specification ........................................................................................................ 4
1.2 Fit model and inference about parameters ..................................................................... 7
1.2.1 Geschat model .................................................................................................................. 7
1.2.2 Inferentie parameters ....................................................................................................... 9
1.2.3 Hypothesetoetsen........................................................................................................... 10
1.3 Goodness of fit ............................................................................................................. 11
1.4 Check model assumptions ............................................................................................ 13
2 Multiple linear regression .........................................................................................15
2.1 Model specification ...................................................................................................... 15
2.1.1 Multiple linear regression ............................................................................................... 15
2.1.2 Interpretatie van de parameters .................................................................................... 16
2.1.3 Non-lineaire Modellen .................................................................................................... 16
2.1.4 Dummy variables ............................................................................................................ 19
2.1.5 Interactie variabelen ....................................................................................................... 21
2.1.6 Choice of explanatory variables ...................................................................................... 22
2.2 Model fit and inference ................................................................................................ 23
2.2.1 Estimating parameters .................................................................................................... 23
2.2.2 Estimating standard error of model ................................................................................ 23
2.2.3 Sampling distribution of estimators ................................................................................ 24
2.2.4 Inference about parameters ........................................................................................... 25
2.2.5 Joint hypotheses tests..................................................................................................... 26
2.3 Goodnesss of fit ............................................................................................................ 31
2.3.1 ANOVA table and F-test .................................................................................................. 31
2.3.2 Adjusted R-square ........................................................................................................... 32
2.3.3 Model selection strategies .............................................................................................. 33
2.4 Checking Assumptions .................................................................................................. 34
2.4.1 Diagnostic plots ............................................................................................................... 34
2.4.2 Multicollinearity .............................................................................................................. 35
2.4.3 Hetroscedasticity ............................................................................................................ 38
3 Tijdreeksanalyse .......................................................................................................41
3.1 Inleiding ....................................................................................................................... 41
3.1.1 Differenties in tijdreeksen............................................................................................... 41
3.1.2 MLR op tijdreeksgegevens .............................................................................................. 42
3.1.3 Vertraagde variabelen in tijdreeksen .............................................................................. 43
3.2 Moeilijkheden bij tijdreeksen ....................................................................................... 44
3.2.1 Probleem 1: Data ............................................................................................................ 44
3.2.2 Probleem 2: Spurious correlation ................................................................................... 44
3.2.3 Probleem 3: Autocorrelatie ............................................................................................ 49
3.2.4 Oplossingen voor autocorrelatie: ................................................................................... 52
3.3 Tijdreeksmodellen ........................................................................................................ 53
3.3.1 Statische modellen.......................................................................................................... 53
3.3.2 Distributed lag models .................................................................................................... 54
3.3.3 Dynamissche modellen: AR(1) ........................................................................................ 55
1
,Lijst met figuren
Figure 1: Relatie tussen x en Y bij ELR ....................................................................................... 4
Figure 2: ELR - Non-lineaire relaties .......................................................................................... 5
Figure 3: ELR – Geschikte functionele vorm? ............................................................................ 5
Figure 4:ELR - Invloed van keuzes bij niet-lineaire relaties........................................................ 6
Figure 5: ELR - Populatie versus geschat model (1/2) ............................................................... 7
Figure 6: ELR - Populatie versus geschat model (2/2) ............................................................... 7
Figure 7: ELR- Standaard fout van het model ............................................................................ 8
Figure 8: ELR - Bi Als een random variable ................................................................................ 9
Figure 9: ELR – Betrouwbaarheidsinterval voor βi .................................................................... 9
Figure 10: ELR – Geschikte descriptive statistics ..................................................................... 10
Figure 11: ELR- Geschikte test ................................................................................................. 10
Figure 12: ELR – P-waarde ....................................................................................................... 11
Figure 13: ELR - Decompositie van de variantie ...................................................................... 12
Figure 14: ELR - Mean squares ................................................................................................ 12
Figure 15: ELR – R-kwadraat .................................................................................................... 12
Figure 16: ELR – Anova F-toets ................................................................................................ 13
Figure 17: MLR - Grafisch ........................................................................................................ 15
Figure 18: MLR- Transformatie ................................................................................................ 17
Figure 19: MLR – Polynomial model ........................................................................................ 17
Figure 20: MLR – LOG Transformatie ...................................................................................... 18
Figure 21: MLR – Dummy grafisch ........................................................................................... 19
Figure 22: MLR – Dummy - Grafisch ........................................................................................ 20
Figure 23: MLR – Parameters schatten kleinste kwadraten schatters .................................... 23
Figure 24: MLR – Scatterplot ................................................................................................... 25
Figure 25: MLR – Test statistiek ............................................................................................... 25
Figure 26: MLR - Decompositie van de variantie ..................................................................... 26
Figure 27: MLR – Restricted model ......................................................................................... 27
Figure 28: MLR – Unrestricted model...................................................................................... 27
Figure 29: MLR – Joint F-test: P-waarde .................................................................................. 27
Figure 30: MLR – Joint F-test: Link met R² - Restricted model................................................. 28
Figure 31: MLR – Joint F-test: Link met R² - Unrestricted model ............................................. 28
Figure 32: MLR – Joint F-test: link met t-test (1/2) .................................................................. 29
Figure 33: MLR – Joint F-test: link met t-test (2/2) .................................................................. 29
Figure 34: MLR – Model significance: P-waarde...................................................................... 30
Figure 35: MLR – ANOVA Tabel ............................................................................................... 31
Figure 36: MLR – ANOVA Tabel Template ............................................................................... 31
Figure 37: MLR – Aangepaste R kwadraat (1/2) ...................................................................... 32
Figure 38: MLR – Aangepaste R kwadraat (2/2) ...................................................................... 32
Figure 39: MLR – Multicollineariteit illustratie (1/2) ............................................................... 35
Figure 40: MLR – Multicollineariteit illustratie (2/2) ............................................................... 35
Figure 41: MLR – Hetroskedasticiteit (1/2).............................................................................. 38
Figure 42: MLR – Hetroskedassticiteit (2/2) ............................................................................ 38
Figure 43: MLR – Hetroskedasiticiteit: Detectie ...................................................................... 39
Figure 44: MLR – Voorbeeld: Y: electricity usage X1: income à define per capita ................ 40
Figure 45: Voorbeeld differenties in tijdreeksen ..................................................................... 41
2
,Figure 46: Graph voorbeeld differenties in tijdreeksen .......................................................... 41
Figure 47: Voorbeeld PHILIPS curve (1/2) ............................................................................... 42
Figure 48: Voorbeeld PHILIPS curve (2/2) ............................................................................... 42
Figure 49: Spurious correlation (1/3) ...................................................................................... 44
Figure 50: spurious correlation (2/3) ....................................................................................... 45
Figure 51: spurious correlation (3/3) ....................................................................................... 45
Figure 52: Spurious correlation (1/2) ...................................................................................... 45
Figure 53: Spurious correlation (2/2) ...................................................................................... 45
Figure 54: Voorbeeld BBP (1/2) ............................................................................................... 46
Figure 55: Voorbeeld BBP (2/2) ............................................................................................... 46
Figure 56: Relatieve verandering in bbp over de tijd .............................................................. 47
Figure 57: Relatieve verandering in bev. Dichtheid over de tijd ............................................. 47
Figure 58: verband tussen veranderingen ............................................................................... 47
Figure 59: Geen autocorrelatie................................................................................................ 49
Figure 60: Positieve autocorrelatie ......................................................................................... 50
Figure 61: Negatieve autocorrelatie ........................................................................................ 50
Figure 62: Statische modellen ................................................................................................. 53
3
, 1 Simple linear regression
= Enkelvoudige lineaire regressie
Illustratie:
• Doel:Modelleer het effect van onafhankelijke variabele X op de afhankelijke variabele Y.
• Voorbeeld Hamburger Chain:
o Populatie: restaurants van een hamburgerketen in verschillende steden
o Onderzoeksvraag: Welk effect heeft de prijs van de producten op de sales?
o Afhankelijke variabele: monthly sales in a city (in 1000$)
o Onafhankelijke variabele: ‘average’ price of all products (in$)
Verschillende stappen:
• Model specificatie:
o Suggereer een theoretisch model voor de populatie gebaseerd op de kennis van een
‘expert’ (bv. literatuur)
o Houdt in dat je assumpties maakt die moetne gecontroleerd worden.
• Schat parameters in het model
o Fit het model op basis van de data
o Voer hypothese toetsen uit
• Goodness of fit
o Levert het theoretische model een goede fit voor de data?
• Check de assumpties op basis van de data
o Dit kan leiden tot een aangepaste model specificatie
1.1 Model specification
Eerst de theorie:
• Wat vertelt/vertellen de literatuur/experten jou over de relatie tussen X en Y?
• Voorbeeld Hamburger Chain: Niet eenduidig
o als een prijsverlaging slechts leidt tot een kleine toename van de sales, zullen de
verkoopopbrengsten dalen (de vraag is prijsinelastisch); een prijsverlaging die leidt
tot een grote toename van de sales zal leiden tot een toename van de omzet (de
vraag is prijselastisch).
o als de vraagfunctie lineair is, dan is de sales een kwadratische functie van de prijs,
voor relatief kleine prijsveranderingen kan dit worden benaderd door een lineaire
functie.
Klassieke enkelvoudige lineaire regressie
• Modelleer de relatie tussen X en Y met een lineaire functie. De punten liggen niet exact op
een rechte: Y = β0 + β1 x + ε, met ε ~N(0, σ), waar σ de standaard fout van het model
wordt genoemd.
• Voorbeeld Hamburger Chain:
o Rode rechte met vergelijking: y=122-8x
Figure 1: Relatie tussen x en Y bij ELR
4
