Samenvatting – STATM – Deel 2: Econometrie
Contents
0. Inleiding ............................................................................................................................................... 6
1. Inleiding tot de regressie-analyse ....................................................................................................... 7
1.1. Inleiding ........................................................................................................................................ 7
1.2. De vergelijking van een regressiemodel....................................................................................... 8
1.3. Foutentermen versus residuen .................................................................................................. 10
1.4. Y is een toevalsvariabele ............................................................................................................ 11
1.5. Regressie-coëfficiënten in SPSS .................................................................................................. 11
1.6. Coëfficiënten bij meervoudige regressie.................................................................................... 12
1.7. Opname van categorische variabelen ........................................................................................ 13
1.8. Opgelet met regressie-analyse ................................................................................................... 14
1.9. Oefeningen ................................................................................................................................. 14
1.9.1. Oefening 1 ........................................................................................................................... 14
1.9.2. Oefening 2 ........................................................................................................................... 14
1.9.3. Oplossing oefening 1 ........................................................................................................... 15
1.9.4. Oplossing oefening 2 ........................................................................................................... 15
2. De methode van de kleinste kwadraten en R² .................................................................................. 16
2.1. Schatting van de regressiecoëfficiënten .................................................................................... 16
2.2. Welk criterium? .......................................................................................................................... 16
2.3. Eigenschappen (voordelen) van OLS .......................................................................................... 16
2.3.1. Varianties kunnen vertekening geven ................................................................................. 16
2.4. Decompositie van de variantie van Y ......................................................................................... 17
2.5. De determinatiecoëfficiënt R² .................................................................................................... 17
2.5.1. Goodness of fit .................................................................................................................... 18
2.6. Adjusted R² (𝑅2) ......................................................................................................................... 19
2.7. SPSS ............................................................................................................................................ 19
2.8. De kwaliteit van een regressiemodel ......................................................................................... 20
3. Regressie in de praktijk...................................................................................................................... 21
3.1. Modelspecificatie ....................................................................................................................... 21
3.1.1. Theoretisch model............................................................................................................... 21
3.1.2. Op te nemen onafhankelijk variabelen ............................................................................... 21
3.1.3. Functionele vorm................................................................................................................. 22
3.2. Verkennende analyses................................................................................................................ 22
1
, Samenvatting – STATM – Deel 2: Econometrie
3.2.1. Transformatie van data ....................................................................................................... 22
3.3. Schatting van het model en evaluatie ........................................................................................ 23
3.3.1. Residuenplot........................................................................................................................ 23
3.4. Rapportering............................................................................................................................... 24
4. Voorwaarden ..................................................................................................................................... 25
4.1. De voorwaarden bij regressie-analyse ....................................................................................... 25
4.2. Vertekening en variabiliteit van een schatter ............................................................................ 26
4.2.1. Vertekende schatters .......................................................................................................... 26
4.3. De 7 voorwaarden ...................................................................................................................... 27
4.3.1. Correcte specificatie ............................................................................................................ 27
4.3.2. 𝐸𝜀 = 0 ................................................................................................................................. 28
4.3.3. Correlatie tussen 𝑋 en 𝜀 moet 0 zijn ................................................................................... 28
4.3.4. Geen autocorrelatie ............................................................................................................ 28
4.3.5. Geen heteroskedasticiteit ................................................................................................... 29
4.3.6. Geen multicollineariteit ....................................................................................................... 29
4.3.7. De foutenterm is normaal verdeeld .................................................................................... 29
4.4. Eigenschappen van OLS-schatters .............................................................................................. 30
4.4.1. Eigenschappen van de verdeling van 𝛽1 bij enkelvoudige regressie .................................. 30
4.4.2. De verwachtingswaarde van 𝛽1: 𝐸𝛽1 = 𝛽1 ....................................................................... 30
4.4.3. De variantie van 𝛽1: 𝑉𝑎𝑟𝛽1 = 𝜎2𝑛 − 1. 𝑆²𝑋 .................................................................... 31
4.4.4. De stelling van Gauss-Markov: ............................................................................................ 31
4.4.5. Conclusie ............................................................................................................................. 31
4.5. Beknopte samenvatting hoofdstuk ............................................................................................ 31
5. T-testen en F-testen .......................................................................................................................... 32
5.1. De T-test ..................................................................................................................................... 32
5.1.1. Inleiding ............................................................................................................................... 32
5.1.2. De testgrootheid ................................................................................................................. 33
5.1.2. T-testen in SPSS ................................................................................................................... 33
5.1.3. Rapportering T-testen ......................................................................................................... 34
5.1.4. Significant effect .................................................................................................................. 34
5.2. De F-test ..................................................................................................................................... 35
5.2.1. Algemeen............................................................................................................................. 35
5.2.2. De testgrootheid ................................................................................................................. 35
5.2.3. Toepassing: seizoenschommelingen ................................................................................... 36
2
, Samenvatting – STATM – Deel 2: Econometrie
5.2.4. Dé F-test .............................................................................................................................. 37
5.3. ANOVA via regressie-analyse ..................................................................................................... 38
5.4. Oefeningen ................................................................................................................................. 39
Oefening 1 ..................................................................................................................................... 39
Oefening 2 ..................................................................................................................................... 39
Oplossing 1 .................................................................................................................................... 39
Oplossing 2 .................................................................................................................................... 39
5.5. Samenvatting F-test ................................................................................................................... 40
5.6. Samenvatting T-test ................................................................................................................... 40
5.7. Samenvatting ANOVA................................................................................................................. 40
5.8. Oefening op regressie: kwaliteiten, ANOVA-tabel, t-toetsen .................................................... 41
5.8.1. Opgave................................................................................................................................. 41
5.8.2. Oplossing ............................................................................................................................. 42
6. De selectie van onafhankelijke variabelen ........................................................................................ 44
6.1. Weglaten van een relevante variabele....................................................................................... 44
6.2. Opname van irrelevante variabelen ........................................................................................... 46
6.3. Data mining ................................................................................................................................ 47
6.3.1. Problemen met data mining................................................................................................ 47
6.4. “Best practices” bij het selecteren van de onafhankelijke variabelen ....................................... 48
6.5. Oefening ..................................................................................................................................... 48
6.5.1. Oplossing ............................................................................................................................. 48
7. Alternatieve functionele vormen ...................................................................................................... 49
7.1. Transformaties van de variabelen .............................................................................................. 49
7.1.1. De verschillende transformaties ......................................................................................... 49
7.1.2. Tranformaties: voorbeeld.................................................................................................... 53
7.1.2............................................................................................................................................... 53
7.1.3. Toepassing: het graviteitsmodel ......................................................................................... 54
7.2. Het opnemen van vertraagde variabelen................................................................................... 54
7.3. Het opnemen van interactie-termen ......................................................................................... 55
7.3.1. Interacties tussen twee categorische variabelen ................................................................ 55
7.3.2. Interacties tussen een categorische en een kwantitatieve variabele ................................. 56
7.3.3. Interacties tussen twee kwantitatieve variabelen .............................................................. 57
7.4. Oefening ..................................................................................................................................... 57
7.4.1. Oplossing ............................................................................................................................. 58
3
, Samenvatting – STATM – Deel 2: Econometrie
8. Multicollineariteit .............................................................................................................................. 59
8.1. Wat is perfecte multicollineariteit?............................................................................................ 59
8.1.1. Enkelvoudige regressie: 𝑌 = 𝛽0 + 𝛽1𝑋 + 𝜀 ....................................................................... 59
8.1.2. Meervoudige regressie met twee variabelen: .................................................................... 59
8.1.3. Regressie met meerdere variabelen ................................................................................... 59
8.1.4. Perfecte multicollineariteit versus QMC ............................................................................. 60
8.2. Gevolgen van QMC ..................................................................................................................... 60
8.3. Hoe QMC opsporen? .................................................................................................................. 61
8.3.1. Wat is een hoge QMC? ........................................................................................................ 61
8.3.1. In SPSS ................................................................................................................................. 62
8.4. Oplossingen voor hoge QMC ...................................................................................................... 62
8.5. Oefening ..................................................................................................................................... 63
8.5.1. Oplossing ................................................................................................................................. 63
9. Seriële correlatie ............................................................................................................................... 64
10. Heteroskedasticiteit ........................................................................................................................ 65
10.1. Wat is heteroskedasticiteit? ..................................................................................................... 65
10.2. Wat zijn de gevolgen van heteroskedasticiteit? ...................................................................... 65
10.3. Hoe kan heteroskedasticiteit opgespoord worden? (de test van White) ............................... 66
10.3.1. Grafische controle ............................................................................................................. 66
10.3.2. De test van White .............................................................................................................. 66
10.4. Oplossingen voor heteroskedasticiteit? ................................................................................... 68
10.4.1. Voorbeeld .......................................................................................................................... 68
10.5. Toepassing: Linear Probability Model ...................................................................................... 70
10.6. Oefening ................................................................................................................................... 71
10.6.1. Oplossing ........................................................................................................................... 71
11. Tijdreeksen: inleiding ...................................................................................................................... 72
11.1. Wat zijn tijdreeksen? ................................................................................................................ 72
11.2. Moeilijkheden bij tijdreeksen ................................................................................................... 72
11.2.1. Moeilijkheid 1: Data (weinig observaties) ......................................................................... 72
11.2.2. Moeilijkheid 2: Spurious correlation (onechte correlatie) ................................................ 73
11.2.3. Moeilijkheid 3: Seriële correlatie van foutentermen ........................................................ 74
11.2.4. Seriële correlatie ............................................................................................................... 75
11.3. De LM-test voor seriële correlatie............................................................................................ 76
11.3.1. De LM-test: werkwijze ....................................................................................................... 76
4
, Samenvatting – STATM – Deel 2: Econometrie
11.4. Niet-stationaire tijdreeksen en de DF-test ............................................................................... 78
11.4.1. Drie stochastische processen ............................................................................................ 78
11.4.2. Spurious regression door niet-stationariteit ..................................................................... 79
11.4.3. De Dickey-Fuller-test (DF-test) .......................................................................................... 80
11.5. Beknopte samenvatting ........................................................................................................... 81
12. Tijdreeksen: regressie-modellen ..................................................................................................... 82
12.1. Types regressiemodellen .......................................................................................................... 82
12.1.1. Statische modellen ............................................................................................................ 82
12.1.2. Distributed lag modellen ................................................................................................... 82
12.1.3. Dynamische modellen ....................................................................................................... 85
12.2. Tijdreeks-regressie in de praktijk ............................................................................................. 87
12.2.1. Voorbeeld .......................................................................................................................... 87
5
, Samenvatting – STATM – Deel 2: Econometrie
0. Inleiding
Overzicht van deel II - ‘Econometrie’:
1. Inleiding tot regressie-analyse
2. De methode van de kleinste kwadraten en R²
3. Regressie in de praktijk
4. Voorwaarden
5. De t-testen en de F-test
6. De selectie van onafhankelijke variabelen
7. Alternatieve functionele vormen
8. Multicollineariteit
9. Seriële correlatie in tijdreeksen
10. Heteroskedasticiteit
11. Tijdreeksen: inleiding
12. Tijdreeksen: regressie-modellen
Evaluatie
De score voor het OPO ‘Onderzoeksmethoden 3’ is het gewogen gemiddelde van de scores op
‘Statistische Modellen’ (gewicht 2/3) en ‘Kwantitatief Onderzoeksproject’ (gewicht 1/3) op
voorwaarde dat je minimaal 8/20 haalt voor elk van beide OLA’s. Zie de ECTS-fiche voor alle info mbt
de evaluatie (Toledo).
Examen ‘Statistische Modellen’: schriftelijk examen (70%) + pc-examen (30%). Schriftelijk examen:
• Uitsluitend oefeningen en interpretatie (Voorbeeldexamen op Toledo).
• Gesloten boek, maar met een formuleblad opgesteld door de docent
(Toledo). Rekentoestel toegelaten.
Computerexamen:
• Analoog aan opdrachten tijdens monitoraten (Voorbeeldexamen op Toledo).
• Gesloten boek, maar met het formuleblad. Rekentoestel toegelaten.
6
, Samenvatting – STATM – Deel 2: Econometrie
1. Inleiding tot de regressie-analyse
1.1. Inleiding
Econometrie is het meten en kwantitatief analyseren van economische fenomenen aan de hand van
regressie-analyse.
VOORBEELD de relatie tussen leeftijd en lonen
𝑌̂ = schatting waar meeste observaties liggen
De correlatie r=.26 is significant (p<.001), maar hoe groot is het effect van leeftijd op loon?
En kunnen we het loon voorspellen voor een bepaalde leeftijd?
→ Dit zijn de grote voordelen van regressie-analyse
• Regressie-analyse is een statistische techniek die probeert om één variabele (de afhankelijke
variabele) te verklaren in functie van een één of meer andere variabelen (de onafhankelijke
variabelen) door het schatten van een vergelijking.
• In lineaire regressie wordt de afhankelijke variabele gemodelleerd als een lineaire functie van de
onafhankelijke variabelen.
• Voorbeeld: 𝑌̂ = 1240 + 30𝑋
o Het loon 𝑌: de afhankelijke variabele of de te verklaren variabele. Deze variabele “hangt
af” van de andere variabelen. In lineaire regressie-analyse moet dit een kwantitatieve
variabele zijn. → altijd kwantitief
o De leeftijd 𝑋 is de onafhankelijke of verklarende variabele. Zowel kwantitatieve als
kwalitatieve variabelen zijn mogelijk als onafhankelijke variabelen.
→ kwantitatief of kwalitatief
7
, Samenvatting – STATM – Deel 2: Econometrie
1.2. De vergelijking van een regressiemodel
• In een enkelvoudig model is er maar één onafhankelijke variabele.
Voorbeeld: 𝑌̂ = 1240 + 30𝑋
Bij meervoudige of multivariate regressie zijn er meerdere onafhankelijke variabelen.
Voorbeeld: 𝑌̂ = 347 − 654. 𝑋1 + 32. 𝑋2 + 758. 𝑋3
• In een enkelvoudig model 𝑌̂ = 𝛽̂0 + 𝛽̂1 𝑋
De beta’s zijn de coëfficiënten van het model.
𝛽̂0 is de constante term (engels: ‘the intercept’)
𝛽̂1 is de richtingscoëfficiënt van de regressierechte (‘the slope’). → meet effect van x op y
• Niet alle variatie in Y wordt verklaard door X:
o 𝑌 = 𝛽0 + 𝛽1 𝑋 + 𝜀
▪ 𝛽0 + 𝛽1 𝑋 → deterministische component
• Bepalen a.d.h.v. steekproeven
▪ 𝜀 → toevalscomponent
• Werkelijke fout
• De foutenterm 𝜀 vat alle variatie die niet door de onafhankelijke variabelen gevat wordt:
o Niet opgenomen verklarende variabelen
o Foute functionele vorm (het werkelijke model is niet-lineair)
▪ VB: seriële correlatie → het werkelijk verband kan een boogfunctie zijn
Probleem met de functionele vorm van het model
o Volkomen onvoorspelbare variatie
• 𝜀 is een toevalsvariabele:
o Ter herinnering: toevalsvariabelen hebben een kansverdeling met een een verwachte
waarde en een standaardafwijking.
o Aangezien 𝜀 een toevalsvariabele is, is ook Y een toevalsvariabele.
8
, Samenvatting – STATM – Deel 2: Econometrie
1. Hoe werkt econometrie?
Regressie splitst de effecten op y uit over de verschillende verklarende variabelen.
̂ 𝟏 = bij verandering van X met één eenheid zal Y veranderen met 𝜷
𝜷 ̂ 𝟏 eenheden, gegeven dat alle
andere verklarende variabelen constant gehouden worden
2. Van populatie naar steekproef
Grotere steekprpeven leiden tot betere benadering van 𝛽̂1 en zorgen dat e beter samenvalt met ε
→ hoe meer puntjes, hoe juister de benadering
MOGELIJKE PROBLEMEN
1. HETEROSKEDASTICITEIT
2. MULTICOLLINEARITEIT
→ X en Y zijn afhankelijk van elkaar: 𝑌 = 𝛽̂0 + 𝛽̂1 𝑋 + 𝛽̂2 𝑌 + 𝑒
→ kan verandering van Y niet meer duidelijk opsplitsen naar het effect van X en Z
→ vertekening van 𝛽̂1 en 𝛽̂2 (want ze bewegen samen)
3. SCHIJNVERBAND
→ het niet opnemen van belangrijke verklarende variabelen
VOORBEELD
→ het sterke verband wordt toegekend aan de verkeerde verklarende variabele
9
, Samenvatting – STATM – Deel 2: Econometrie
• Niet alle variatie in Y wordt verklaard door X:
• De foutenterm 𝜀 vat alle variatie die niet door
de onafhankelijke variabelen gevat wordt:
o Niet opgenomen verklarende variabelen
o Foute functievorm (het werkelijke model
is niet-lineair)
o Volkomen onvoorspelbare variatie
• 𝜀 is een toevalsvariabele:
o Ter herinnering: toevalsvariabelen hebben een kansverdeling met een een verwachte
waarde en een standaardafwijking.
o Aangezien 𝜀 een toevalsvariabele is, is ook Y een toevalsvariabele.
Notatie
Hele populatie Steekproef
𝑌=𝛽 ̂0 + 𝛽
̂1 𝑋 + 𝑒
𝑌 = 𝛽0 + 𝛽1 𝑋 + 𝜀 of
̂0 + 𝛽
𝑌̂ = 𝛽 ̂1 𝑋
1.3. Foutentermen versus residuen
Populatie Steekproef
𝜀𝑖 = 𝑌𝑖 − 𝐸(𝑌𝑖 |𝑋𝑖 ) 𝑒𝑖 = 𝑌𝑖 − 𝑌̂𝑖
• 𝐸(𝑌𝑖 |𝑋𝑖 ) is de theoretische • 𝑌̂𝑖 is de voorspelde waarde o.b.v. het
verwachtingswaarde o.b.v. het model in de geschatte model.
populatie. • De residuen 𝑒𝑖 kunnen beschouwd worden
• De foutentermen 𝜀𝑖 kunnen we nooit als schattingen voor 𝜀𝑖
observeren want de 𝐸(𝑌𝑖 |𝑋𝑖 ) kennen we
niet.
De ware populatie kan je nooit waarnemen
10
Contents
0. Inleiding ............................................................................................................................................... 6
1. Inleiding tot de regressie-analyse ....................................................................................................... 7
1.1. Inleiding ........................................................................................................................................ 7
1.2. De vergelijking van een regressiemodel....................................................................................... 8
1.3. Foutentermen versus residuen .................................................................................................. 10
1.4. Y is een toevalsvariabele ............................................................................................................ 11
1.5. Regressie-coëfficiënten in SPSS .................................................................................................. 11
1.6. Coëfficiënten bij meervoudige regressie.................................................................................... 12
1.7. Opname van categorische variabelen ........................................................................................ 13
1.8. Opgelet met regressie-analyse ................................................................................................... 14
1.9. Oefeningen ................................................................................................................................. 14
1.9.1. Oefening 1 ........................................................................................................................... 14
1.9.2. Oefening 2 ........................................................................................................................... 14
1.9.3. Oplossing oefening 1 ........................................................................................................... 15
1.9.4. Oplossing oefening 2 ........................................................................................................... 15
2. De methode van de kleinste kwadraten en R² .................................................................................. 16
2.1. Schatting van de regressiecoëfficiënten .................................................................................... 16
2.2. Welk criterium? .......................................................................................................................... 16
2.3. Eigenschappen (voordelen) van OLS .......................................................................................... 16
2.3.1. Varianties kunnen vertekening geven ................................................................................. 16
2.4. Decompositie van de variantie van Y ......................................................................................... 17
2.5. De determinatiecoëfficiënt R² .................................................................................................... 17
2.5.1. Goodness of fit .................................................................................................................... 18
2.6. Adjusted R² (𝑅2) ......................................................................................................................... 19
2.7. SPSS ............................................................................................................................................ 19
2.8. De kwaliteit van een regressiemodel ......................................................................................... 20
3. Regressie in de praktijk...................................................................................................................... 21
3.1. Modelspecificatie ....................................................................................................................... 21
3.1.1. Theoretisch model............................................................................................................... 21
3.1.2. Op te nemen onafhankelijk variabelen ............................................................................... 21
3.1.3. Functionele vorm................................................................................................................. 22
3.2. Verkennende analyses................................................................................................................ 22
1
, Samenvatting – STATM – Deel 2: Econometrie
3.2.1. Transformatie van data ....................................................................................................... 22
3.3. Schatting van het model en evaluatie ........................................................................................ 23
3.3.1. Residuenplot........................................................................................................................ 23
3.4. Rapportering............................................................................................................................... 24
4. Voorwaarden ..................................................................................................................................... 25
4.1. De voorwaarden bij regressie-analyse ....................................................................................... 25
4.2. Vertekening en variabiliteit van een schatter ............................................................................ 26
4.2.1. Vertekende schatters .......................................................................................................... 26
4.3. De 7 voorwaarden ...................................................................................................................... 27
4.3.1. Correcte specificatie ............................................................................................................ 27
4.3.2. 𝐸𝜀 = 0 ................................................................................................................................. 28
4.3.3. Correlatie tussen 𝑋 en 𝜀 moet 0 zijn ................................................................................... 28
4.3.4. Geen autocorrelatie ............................................................................................................ 28
4.3.5. Geen heteroskedasticiteit ................................................................................................... 29
4.3.6. Geen multicollineariteit ....................................................................................................... 29
4.3.7. De foutenterm is normaal verdeeld .................................................................................... 29
4.4. Eigenschappen van OLS-schatters .............................................................................................. 30
4.4.1. Eigenschappen van de verdeling van 𝛽1 bij enkelvoudige regressie .................................. 30
4.4.2. De verwachtingswaarde van 𝛽1: 𝐸𝛽1 = 𝛽1 ....................................................................... 30
4.4.3. De variantie van 𝛽1: 𝑉𝑎𝑟𝛽1 = 𝜎2𝑛 − 1. 𝑆²𝑋 .................................................................... 31
4.4.4. De stelling van Gauss-Markov: ............................................................................................ 31
4.4.5. Conclusie ............................................................................................................................. 31
4.5. Beknopte samenvatting hoofdstuk ............................................................................................ 31
5. T-testen en F-testen .......................................................................................................................... 32
5.1. De T-test ..................................................................................................................................... 32
5.1.1. Inleiding ............................................................................................................................... 32
5.1.2. De testgrootheid ................................................................................................................. 33
5.1.2. T-testen in SPSS ................................................................................................................... 33
5.1.3. Rapportering T-testen ......................................................................................................... 34
5.1.4. Significant effect .................................................................................................................. 34
5.2. De F-test ..................................................................................................................................... 35
5.2.1. Algemeen............................................................................................................................. 35
5.2.2. De testgrootheid ................................................................................................................. 35
5.2.3. Toepassing: seizoenschommelingen ................................................................................... 36
2
, Samenvatting – STATM – Deel 2: Econometrie
5.2.4. Dé F-test .............................................................................................................................. 37
5.3. ANOVA via regressie-analyse ..................................................................................................... 38
5.4. Oefeningen ................................................................................................................................. 39
Oefening 1 ..................................................................................................................................... 39
Oefening 2 ..................................................................................................................................... 39
Oplossing 1 .................................................................................................................................... 39
Oplossing 2 .................................................................................................................................... 39
5.5. Samenvatting F-test ................................................................................................................... 40
5.6. Samenvatting T-test ................................................................................................................... 40
5.7. Samenvatting ANOVA................................................................................................................. 40
5.8. Oefening op regressie: kwaliteiten, ANOVA-tabel, t-toetsen .................................................... 41
5.8.1. Opgave................................................................................................................................. 41
5.8.2. Oplossing ............................................................................................................................. 42
6. De selectie van onafhankelijke variabelen ........................................................................................ 44
6.1. Weglaten van een relevante variabele....................................................................................... 44
6.2. Opname van irrelevante variabelen ........................................................................................... 46
6.3. Data mining ................................................................................................................................ 47
6.3.1. Problemen met data mining................................................................................................ 47
6.4. “Best practices” bij het selecteren van de onafhankelijke variabelen ....................................... 48
6.5. Oefening ..................................................................................................................................... 48
6.5.1. Oplossing ............................................................................................................................. 48
7. Alternatieve functionele vormen ...................................................................................................... 49
7.1. Transformaties van de variabelen .............................................................................................. 49
7.1.1. De verschillende transformaties ......................................................................................... 49
7.1.2. Tranformaties: voorbeeld.................................................................................................... 53
7.1.2............................................................................................................................................... 53
7.1.3. Toepassing: het graviteitsmodel ......................................................................................... 54
7.2. Het opnemen van vertraagde variabelen................................................................................... 54
7.3. Het opnemen van interactie-termen ......................................................................................... 55
7.3.1. Interacties tussen twee categorische variabelen ................................................................ 55
7.3.2. Interacties tussen een categorische en een kwantitatieve variabele ................................. 56
7.3.3. Interacties tussen twee kwantitatieve variabelen .............................................................. 57
7.4. Oefening ..................................................................................................................................... 57
7.4.1. Oplossing ............................................................................................................................. 58
3
, Samenvatting – STATM – Deel 2: Econometrie
8. Multicollineariteit .............................................................................................................................. 59
8.1. Wat is perfecte multicollineariteit?............................................................................................ 59
8.1.1. Enkelvoudige regressie: 𝑌 = 𝛽0 + 𝛽1𝑋 + 𝜀 ....................................................................... 59
8.1.2. Meervoudige regressie met twee variabelen: .................................................................... 59
8.1.3. Regressie met meerdere variabelen ................................................................................... 59
8.1.4. Perfecte multicollineariteit versus QMC ............................................................................. 60
8.2. Gevolgen van QMC ..................................................................................................................... 60
8.3. Hoe QMC opsporen? .................................................................................................................. 61
8.3.1. Wat is een hoge QMC? ........................................................................................................ 61
8.3.1. In SPSS ................................................................................................................................. 62
8.4. Oplossingen voor hoge QMC ...................................................................................................... 62
8.5. Oefening ..................................................................................................................................... 63
8.5.1. Oplossing ................................................................................................................................. 63
9. Seriële correlatie ............................................................................................................................... 64
10. Heteroskedasticiteit ........................................................................................................................ 65
10.1. Wat is heteroskedasticiteit? ..................................................................................................... 65
10.2. Wat zijn de gevolgen van heteroskedasticiteit? ...................................................................... 65
10.3. Hoe kan heteroskedasticiteit opgespoord worden? (de test van White) ............................... 66
10.3.1. Grafische controle ............................................................................................................. 66
10.3.2. De test van White .............................................................................................................. 66
10.4. Oplossingen voor heteroskedasticiteit? ................................................................................... 68
10.4.1. Voorbeeld .......................................................................................................................... 68
10.5. Toepassing: Linear Probability Model ...................................................................................... 70
10.6. Oefening ................................................................................................................................... 71
10.6.1. Oplossing ........................................................................................................................... 71
11. Tijdreeksen: inleiding ...................................................................................................................... 72
11.1. Wat zijn tijdreeksen? ................................................................................................................ 72
11.2. Moeilijkheden bij tijdreeksen ................................................................................................... 72
11.2.1. Moeilijkheid 1: Data (weinig observaties) ......................................................................... 72
11.2.2. Moeilijkheid 2: Spurious correlation (onechte correlatie) ................................................ 73
11.2.3. Moeilijkheid 3: Seriële correlatie van foutentermen ........................................................ 74
11.2.4. Seriële correlatie ............................................................................................................... 75
11.3. De LM-test voor seriële correlatie............................................................................................ 76
11.3.1. De LM-test: werkwijze ....................................................................................................... 76
4
, Samenvatting – STATM – Deel 2: Econometrie
11.4. Niet-stationaire tijdreeksen en de DF-test ............................................................................... 78
11.4.1. Drie stochastische processen ............................................................................................ 78
11.4.2. Spurious regression door niet-stationariteit ..................................................................... 79
11.4.3. De Dickey-Fuller-test (DF-test) .......................................................................................... 80
11.5. Beknopte samenvatting ........................................................................................................... 81
12. Tijdreeksen: regressie-modellen ..................................................................................................... 82
12.1. Types regressiemodellen .......................................................................................................... 82
12.1.1. Statische modellen ............................................................................................................ 82
12.1.2. Distributed lag modellen ................................................................................................... 82
12.1.3. Dynamische modellen ....................................................................................................... 85
12.2. Tijdreeks-regressie in de praktijk ............................................................................................. 87
12.2.1. Voorbeeld .......................................................................................................................... 87
5
, Samenvatting – STATM – Deel 2: Econometrie
0. Inleiding
Overzicht van deel II - ‘Econometrie’:
1. Inleiding tot regressie-analyse
2. De methode van de kleinste kwadraten en R²
3. Regressie in de praktijk
4. Voorwaarden
5. De t-testen en de F-test
6. De selectie van onafhankelijke variabelen
7. Alternatieve functionele vormen
8. Multicollineariteit
9. Seriële correlatie in tijdreeksen
10. Heteroskedasticiteit
11. Tijdreeksen: inleiding
12. Tijdreeksen: regressie-modellen
Evaluatie
De score voor het OPO ‘Onderzoeksmethoden 3’ is het gewogen gemiddelde van de scores op
‘Statistische Modellen’ (gewicht 2/3) en ‘Kwantitatief Onderzoeksproject’ (gewicht 1/3) op
voorwaarde dat je minimaal 8/20 haalt voor elk van beide OLA’s. Zie de ECTS-fiche voor alle info mbt
de evaluatie (Toledo).
Examen ‘Statistische Modellen’: schriftelijk examen (70%) + pc-examen (30%). Schriftelijk examen:
• Uitsluitend oefeningen en interpretatie (Voorbeeldexamen op Toledo).
• Gesloten boek, maar met een formuleblad opgesteld door de docent
(Toledo). Rekentoestel toegelaten.
Computerexamen:
• Analoog aan opdrachten tijdens monitoraten (Voorbeeldexamen op Toledo).
• Gesloten boek, maar met het formuleblad. Rekentoestel toegelaten.
6
, Samenvatting – STATM – Deel 2: Econometrie
1. Inleiding tot de regressie-analyse
1.1. Inleiding
Econometrie is het meten en kwantitatief analyseren van economische fenomenen aan de hand van
regressie-analyse.
VOORBEELD de relatie tussen leeftijd en lonen
𝑌̂ = schatting waar meeste observaties liggen
De correlatie r=.26 is significant (p<.001), maar hoe groot is het effect van leeftijd op loon?
En kunnen we het loon voorspellen voor een bepaalde leeftijd?
→ Dit zijn de grote voordelen van regressie-analyse
• Regressie-analyse is een statistische techniek die probeert om één variabele (de afhankelijke
variabele) te verklaren in functie van een één of meer andere variabelen (de onafhankelijke
variabelen) door het schatten van een vergelijking.
• In lineaire regressie wordt de afhankelijke variabele gemodelleerd als een lineaire functie van de
onafhankelijke variabelen.
• Voorbeeld: 𝑌̂ = 1240 + 30𝑋
o Het loon 𝑌: de afhankelijke variabele of de te verklaren variabele. Deze variabele “hangt
af” van de andere variabelen. In lineaire regressie-analyse moet dit een kwantitatieve
variabele zijn. → altijd kwantitief
o De leeftijd 𝑋 is de onafhankelijke of verklarende variabele. Zowel kwantitatieve als
kwalitatieve variabelen zijn mogelijk als onafhankelijke variabelen.
→ kwantitatief of kwalitatief
7
, Samenvatting – STATM – Deel 2: Econometrie
1.2. De vergelijking van een regressiemodel
• In een enkelvoudig model is er maar één onafhankelijke variabele.
Voorbeeld: 𝑌̂ = 1240 + 30𝑋
Bij meervoudige of multivariate regressie zijn er meerdere onafhankelijke variabelen.
Voorbeeld: 𝑌̂ = 347 − 654. 𝑋1 + 32. 𝑋2 + 758. 𝑋3
• In een enkelvoudig model 𝑌̂ = 𝛽̂0 + 𝛽̂1 𝑋
De beta’s zijn de coëfficiënten van het model.
𝛽̂0 is de constante term (engels: ‘the intercept’)
𝛽̂1 is de richtingscoëfficiënt van de regressierechte (‘the slope’). → meet effect van x op y
• Niet alle variatie in Y wordt verklaard door X:
o 𝑌 = 𝛽0 + 𝛽1 𝑋 + 𝜀
▪ 𝛽0 + 𝛽1 𝑋 → deterministische component
• Bepalen a.d.h.v. steekproeven
▪ 𝜀 → toevalscomponent
• Werkelijke fout
• De foutenterm 𝜀 vat alle variatie die niet door de onafhankelijke variabelen gevat wordt:
o Niet opgenomen verklarende variabelen
o Foute functionele vorm (het werkelijke model is niet-lineair)
▪ VB: seriële correlatie → het werkelijk verband kan een boogfunctie zijn
Probleem met de functionele vorm van het model
o Volkomen onvoorspelbare variatie
• 𝜀 is een toevalsvariabele:
o Ter herinnering: toevalsvariabelen hebben een kansverdeling met een een verwachte
waarde en een standaardafwijking.
o Aangezien 𝜀 een toevalsvariabele is, is ook Y een toevalsvariabele.
8
, Samenvatting – STATM – Deel 2: Econometrie
1. Hoe werkt econometrie?
Regressie splitst de effecten op y uit over de verschillende verklarende variabelen.
̂ 𝟏 = bij verandering van X met één eenheid zal Y veranderen met 𝜷
𝜷 ̂ 𝟏 eenheden, gegeven dat alle
andere verklarende variabelen constant gehouden worden
2. Van populatie naar steekproef
Grotere steekprpeven leiden tot betere benadering van 𝛽̂1 en zorgen dat e beter samenvalt met ε
→ hoe meer puntjes, hoe juister de benadering
MOGELIJKE PROBLEMEN
1. HETEROSKEDASTICITEIT
2. MULTICOLLINEARITEIT
→ X en Y zijn afhankelijk van elkaar: 𝑌 = 𝛽̂0 + 𝛽̂1 𝑋 + 𝛽̂2 𝑌 + 𝑒
→ kan verandering van Y niet meer duidelijk opsplitsen naar het effect van X en Z
→ vertekening van 𝛽̂1 en 𝛽̂2 (want ze bewegen samen)
3. SCHIJNVERBAND
→ het niet opnemen van belangrijke verklarende variabelen
VOORBEELD
→ het sterke verband wordt toegekend aan de verkeerde verklarende variabele
9
, Samenvatting – STATM – Deel 2: Econometrie
• Niet alle variatie in Y wordt verklaard door X:
• De foutenterm 𝜀 vat alle variatie die niet door
de onafhankelijke variabelen gevat wordt:
o Niet opgenomen verklarende variabelen
o Foute functievorm (het werkelijke model
is niet-lineair)
o Volkomen onvoorspelbare variatie
• 𝜀 is een toevalsvariabele:
o Ter herinnering: toevalsvariabelen hebben een kansverdeling met een een verwachte
waarde en een standaardafwijking.
o Aangezien 𝜀 een toevalsvariabele is, is ook Y een toevalsvariabele.
Notatie
Hele populatie Steekproef
𝑌=𝛽 ̂0 + 𝛽
̂1 𝑋 + 𝑒
𝑌 = 𝛽0 + 𝛽1 𝑋 + 𝜀 of
̂0 + 𝛽
𝑌̂ = 𝛽 ̂1 𝑋
1.3. Foutentermen versus residuen
Populatie Steekproef
𝜀𝑖 = 𝑌𝑖 − 𝐸(𝑌𝑖 |𝑋𝑖 ) 𝑒𝑖 = 𝑌𝑖 − 𝑌̂𝑖
• 𝐸(𝑌𝑖 |𝑋𝑖 ) is de theoretische • 𝑌̂𝑖 is de voorspelde waarde o.b.v. het
verwachtingswaarde o.b.v. het model in de geschatte model.
populatie. • De residuen 𝑒𝑖 kunnen beschouwd worden
• De foutentermen 𝜀𝑖 kunnen we nooit als schattingen voor 𝜀𝑖
observeren want de 𝐸(𝑌𝑖 |𝑋𝑖 ) kennen we
niet.
De ware populatie kan je nooit waarnemen
10
