ECONOMETRIE EN MULTIVARIATE STATISTIEK
TABLE OF CONTENTS
Deel 0: praktische info & inleiding ............................................................................................................................................... 3
Praktische info ........................................................................................................................................................................ 3
Overzicht Beschrijvende Statistiek & Kansrekenen + Verklarende Statistiek ............................................................................. 5
Regressiemodellen: een inleiding ................................................................................................................................................ 7
Terminologie ........................................................................................................................................................................... 7
Model ..................................................................................................................................................................................... 7
Enkelvoudige vs meervoudige regressiemodellen .................................................................................................................... 8
Van deterministisch naar statistisch model .............................................................................................................................. 8
Lineaire regressiemodellen...................................................................................................................................................... 9
Niet-lineaire regressiemodellen ............................................................................................................................................. 12
Causaliteit ............................................................................................................................................................................. 12
Enkelvoudie lineaire regressie ................................................................................................................................................... 13
JMP ....................................................................................................................................................................................... 17
Schatters en schattingen ....................................................................................................................................................... 18
Kleinste kwadratenschatters ................................................................................................................................................. 19
Variantie en covariantie ........................................................................................................................................................ 21
Gauss-Markov stelling ........................................................................................................................................................... 22
Schatten van 𝜎²..................................................................................................................................................................... 22
Geschatte (co)variantie ......................................................................................................................................................... 23
Statistische inferentie............................................................................................................................................................ 24
Betrouwbaarheidsintervallen ................................................................................................................................................ 24
Hypothesetoetsen I ............................................................................................................................................................... 24
Hypothesetoetsen II .............................................................................................................................................................. 25
Kwaliteit van het regressiemodel........................................................................................................................................... 26
Meerdere voorspellingen ...................................................................................................................................................... 32
Diagnostiek ........................................................................................................................................................................... 32
Lack of fit test ....................................................................................................................................................................... 34
F-teststatistiek ...................................................................................................................................................................... 35
Voorbeeld zetmeelextractie (batch 1) .................................................................................................................................... 36
Conclusie .............................................................................................................................................................................. 37
1
,Meervoudige lineaire regressie ................................................................................................................................................. 38
Kleinste kwadratenmethode ................................................................................................................................................. 38
Kleinste kwadratenschatter ................................................................................................................................................... 44
Gauss-Markov stelling ........................................................................................................................................................... 45
Schatten van 𝜎2 .................................................................................................................................................................... 46
Statische inferentie ............................................................................................................................................................... 48
Betrouwbaarheidsintervallen ................................................................................................................................................ 49
Hypothesetoetsen I ............................................................................................................................................................... 49
Hypothesetoesen II ............................................................................................................................................................... 49
JMP (Fit Model) ..................................................................................................................................................................... 50
Toets voor één lineaire restrictie ........................................................................................................................................... 50
Toets voor meerdere lineaire restricties ................................................................................................................................ 51
Kwaliteit van het regressiemodel........................................................................................................................................... 53
Voorspellingen ...................................................................................................................................................................... 56
Type I kwadraatsommen ....................................................................................................................................................... 57
Type II Kwadraatsommen ...................................................................................................................................................... 58
Multicolineariteit .................................................................................................................................................................. 58
Diagnostiek: werkwijzes ........................................................................................................................................................ 62
RESET test van Ramsey .......................................................................................................................................................... 65
Selectie van het beste model ................................................................................................................................................. 67
Kwalitatieve verklarende variabelen .......................................................................................................................................... 70
Binaire codering: Kwalitatieve verklarende variabelen met 2 niveaus met additief effect ....................................................... 71
Effects-type codering ............................................................................................................................................................ 73
Kwalitatieve verklarende variabelen met 2 niveaus met interactie-effect............................................................................... 74
Kwalitatieve verklarende variabelen met meer dan 2 niveaus met additief effect .................................................................. 76
Kwalitatieve verklarende variabelen met meer dan 2 niveaus met interactie-effect ............................................................... 78
Enkele bemerkingen .............................................................................................................................................................. 80
Toetsen, interpretatie en JMP ............................................................................................................................................... 81
Heteroscedasticiteit en autocorrelatie....................................................................................................................................... 89
Heteroscedasticiteit Opsporen en toetsen ........................................................................................................................... 106
Autocorrelatie opsporen en toetsen .................................................................................................................................... 107
Veralgemeende lineaire regressiemodellen (logistieke regressie) ............................................................................................ 109
Variantieanalyse ..................................................................................................................................................................... 117
Enkelvoudige variantieanalyse............................................................................................................................................. 117
Meervoudige variantieanalyse............................................................................................................................................. 132
Tweevoudige variantieanalyse ......................................................................................................................................... 133
Drievoudige variantieanalyse ........................................................................................................................................... 141
Principale componentenanalyse .............................................................................................................................................. 144
Factoranalyse.......................................................................................................................................................................... 151
2
,DEEL 0: PRAKTISCHE INFO & INLEIDING
PRAKTISCHE INFO
• Contactmomenten
o Hoorcolleges:
▪ Maandagmorgen(t.e.m. 28 oktober)
▪ Maandagnamiddag(ganse semester)
o Docent Peter Goos
▪ Handelsingenieur van opleiding
▪ Buitengewoon hoogleraar UAntwerpen
▪ Gewoon hoogleraar KU Leuven
o Werkcolleges/oefenzittingen
▪ Elke donderdag
▪ Assistenten: Anja Struyf, Felix Nolet
• Evaluatie
o Examen
▪ Schriftelijk, Gesloten boek, met formularium en rekentoestel
▪ Theorie (+/- 40%)
• Wiskundige afleidingen (4 van de 20 punten)
• Inzichtsvragen, vragen over concepten of voor of nadelen van bepaalde analyses
• Verbanden tussen getalletjes in statistische outputs! + interpretatie!
▪ Oefeningen (+/- 60%)
• Oefeningen over de ganse cursus, dus zowel over regressie analyse (lineair en logistiek) als
variantie-analyse, als multivariate statistiek (principale componentenanalyse of
clusteranalyse)
o Groepswerk
▪ Onderwerp: meervoudige regressie-analyse
▪ Meer informatie volgt later via Blackboard
o Puntenverdeling
▪ Januari-zittijd: 16 punten op examen + 4 op groepswerk
▪ September-zittijd: 18 punten op examen + 2 op groepswerk
▪ Geen herkansing voor het groepswerk
• Remedies
o Onderschat het vak niet !
o 6 studiepunten, d.w.z. even zwaar als Beschrijvende Statistiek en Kansrekenen + Verklarende Statistiek samen
o Voorkennis vereist!
▪ Statistiek uit 1ste en 2de bachelor
▪ Wiskunde: sommaties, matrixalgebra, afgeleiden, …
▪ Eventueel opfrissen of bijspijkeren
o Grondiger en actiever studeren
▪ JMP output begrijpen en kunnen reconstrueren
▪ Verbanden tussen JMP outputs kunnenleggen
▪ Ontbrekende getallen aanvullen in JMP outputs
o Studeer ook wiskundige afleidingen (4 van de 20 punten sowieso hierop)
3
, • Cursusnota’s
o Onderwerpen
▪ Regressie-analyse (grootste deel!)
▪ Enkelvoudige en meervoudige variantie-analyse (ANOVA)
▪ Multivariate statistiek
▪ Gaat over verbanden tussen variabelen (alles gaat hier over verbanden)
o Belangrijke basistechnieken voor machine learning, articial intelligence en predictive modeling
o Op maat gemaakte cursusnota’s
▪ Hoofdstuk 17 uit het boek `Verklarende Statistiek: Schatten & Toetsen’
• Zie boek 2de bachelor, brug tussen dit vak en verklarende statistiek
• Via zelfstudie (redelijk gemakkelijk hoofdstuk)
▪ Nieuw handboek `Regression and Analysis of Variance’ (Belangrijkste cursusnota)
▪ Nieuwe cursustekst `Multivariate’ (ACCO) → Extra, maar ook te kennen
o Slides komen steeds op Blackboard
▪ Staan er al op, mogelijks nog kleine aanpassingen aan slides, maar waarschijnlijk niet
• Weetjes
o Oude examenvragen komen aan bod in de werkcolleges
o Examen ( wordt normaal gezien ) verbeterd via een systeem genaamd ANS
o Je kunt online je examen inkijken
o Handboek is op maat gemaakt van handelsingenieurs , door een handelsingenieur en rekening houdend met
jullie voorkennis
o Dit academiejaar uitsluitend JMP voor Econometrie & Multivariate Statistiek
• JMP software
o JMP 17 Pro
o Gebruiksvriendelijk pakket (Mac + Windows)
o Gratis beschikbaar voor alle studenten van Universiteit Antwerpen → installeer dat!
o Demonstraties in nagenoeg elk hoorcollege
o Inoefenen thuis en in werkcolleges
o Nodig voor het groepswerk
o JMP wordt veel in de praktijk in bedrijven gebruikt (Apple, Unilever, Atlas Copco, …)
o Veel screenshots in handboek!
• Te kennen leerstof
o Alles wat in de cursusnota’s staat …
▪ De meeste zaken zullen in het hoorcollege aan bod komen
▪ Hoofdstuk 17 uit het boek `Verklarende Statistiek: Schatten & Toetsen’ (wordt niet in de les
behandeld)
• combineert correlaties, betrouwbaarheidsintervallen, hypothesetoetsen, en p-waarden
• bedoeld om belangrijke concepten op te frissen
o Alles wat op de slides vermeld staat …
o Alles wat in de les verteld wordt …
o … tenzij expliciet meegedeeld op Blackboard dat iets niet gekend moet zijn
4
TABLE OF CONTENTS
Deel 0: praktische info & inleiding ............................................................................................................................................... 3
Praktische info ........................................................................................................................................................................ 3
Overzicht Beschrijvende Statistiek & Kansrekenen + Verklarende Statistiek ............................................................................. 5
Regressiemodellen: een inleiding ................................................................................................................................................ 7
Terminologie ........................................................................................................................................................................... 7
Model ..................................................................................................................................................................................... 7
Enkelvoudige vs meervoudige regressiemodellen .................................................................................................................... 8
Van deterministisch naar statistisch model .............................................................................................................................. 8
Lineaire regressiemodellen...................................................................................................................................................... 9
Niet-lineaire regressiemodellen ............................................................................................................................................. 12
Causaliteit ............................................................................................................................................................................. 12
Enkelvoudie lineaire regressie ................................................................................................................................................... 13
JMP ....................................................................................................................................................................................... 17
Schatters en schattingen ....................................................................................................................................................... 18
Kleinste kwadratenschatters ................................................................................................................................................. 19
Variantie en covariantie ........................................................................................................................................................ 21
Gauss-Markov stelling ........................................................................................................................................................... 22
Schatten van 𝜎²..................................................................................................................................................................... 22
Geschatte (co)variantie ......................................................................................................................................................... 23
Statistische inferentie............................................................................................................................................................ 24
Betrouwbaarheidsintervallen ................................................................................................................................................ 24
Hypothesetoetsen I ............................................................................................................................................................... 24
Hypothesetoetsen II .............................................................................................................................................................. 25
Kwaliteit van het regressiemodel........................................................................................................................................... 26
Meerdere voorspellingen ...................................................................................................................................................... 32
Diagnostiek ........................................................................................................................................................................... 32
Lack of fit test ....................................................................................................................................................................... 34
F-teststatistiek ...................................................................................................................................................................... 35
Voorbeeld zetmeelextractie (batch 1) .................................................................................................................................... 36
Conclusie .............................................................................................................................................................................. 37
1
,Meervoudige lineaire regressie ................................................................................................................................................. 38
Kleinste kwadratenmethode ................................................................................................................................................. 38
Kleinste kwadratenschatter ................................................................................................................................................... 44
Gauss-Markov stelling ........................................................................................................................................................... 45
Schatten van 𝜎2 .................................................................................................................................................................... 46
Statische inferentie ............................................................................................................................................................... 48
Betrouwbaarheidsintervallen ................................................................................................................................................ 49
Hypothesetoetsen I ............................................................................................................................................................... 49
Hypothesetoesen II ............................................................................................................................................................... 49
JMP (Fit Model) ..................................................................................................................................................................... 50
Toets voor één lineaire restrictie ........................................................................................................................................... 50
Toets voor meerdere lineaire restricties ................................................................................................................................ 51
Kwaliteit van het regressiemodel........................................................................................................................................... 53
Voorspellingen ...................................................................................................................................................................... 56
Type I kwadraatsommen ....................................................................................................................................................... 57
Type II Kwadraatsommen ...................................................................................................................................................... 58
Multicolineariteit .................................................................................................................................................................. 58
Diagnostiek: werkwijzes ........................................................................................................................................................ 62
RESET test van Ramsey .......................................................................................................................................................... 65
Selectie van het beste model ................................................................................................................................................. 67
Kwalitatieve verklarende variabelen .......................................................................................................................................... 70
Binaire codering: Kwalitatieve verklarende variabelen met 2 niveaus met additief effect ....................................................... 71
Effects-type codering ............................................................................................................................................................ 73
Kwalitatieve verklarende variabelen met 2 niveaus met interactie-effect............................................................................... 74
Kwalitatieve verklarende variabelen met meer dan 2 niveaus met additief effect .................................................................. 76
Kwalitatieve verklarende variabelen met meer dan 2 niveaus met interactie-effect ............................................................... 78
Enkele bemerkingen .............................................................................................................................................................. 80
Toetsen, interpretatie en JMP ............................................................................................................................................... 81
Heteroscedasticiteit en autocorrelatie....................................................................................................................................... 89
Heteroscedasticiteit Opsporen en toetsen ........................................................................................................................... 106
Autocorrelatie opsporen en toetsen .................................................................................................................................... 107
Veralgemeende lineaire regressiemodellen (logistieke regressie) ............................................................................................ 109
Variantieanalyse ..................................................................................................................................................................... 117
Enkelvoudige variantieanalyse............................................................................................................................................. 117
Meervoudige variantieanalyse............................................................................................................................................. 132
Tweevoudige variantieanalyse ......................................................................................................................................... 133
Drievoudige variantieanalyse ........................................................................................................................................... 141
Principale componentenanalyse .............................................................................................................................................. 144
Factoranalyse.......................................................................................................................................................................... 151
2
,DEEL 0: PRAKTISCHE INFO & INLEIDING
PRAKTISCHE INFO
• Contactmomenten
o Hoorcolleges:
▪ Maandagmorgen(t.e.m. 28 oktober)
▪ Maandagnamiddag(ganse semester)
o Docent Peter Goos
▪ Handelsingenieur van opleiding
▪ Buitengewoon hoogleraar UAntwerpen
▪ Gewoon hoogleraar KU Leuven
o Werkcolleges/oefenzittingen
▪ Elke donderdag
▪ Assistenten: Anja Struyf, Felix Nolet
• Evaluatie
o Examen
▪ Schriftelijk, Gesloten boek, met formularium en rekentoestel
▪ Theorie (+/- 40%)
• Wiskundige afleidingen (4 van de 20 punten)
• Inzichtsvragen, vragen over concepten of voor of nadelen van bepaalde analyses
• Verbanden tussen getalletjes in statistische outputs! + interpretatie!
▪ Oefeningen (+/- 60%)
• Oefeningen over de ganse cursus, dus zowel over regressie analyse (lineair en logistiek) als
variantie-analyse, als multivariate statistiek (principale componentenanalyse of
clusteranalyse)
o Groepswerk
▪ Onderwerp: meervoudige regressie-analyse
▪ Meer informatie volgt later via Blackboard
o Puntenverdeling
▪ Januari-zittijd: 16 punten op examen + 4 op groepswerk
▪ September-zittijd: 18 punten op examen + 2 op groepswerk
▪ Geen herkansing voor het groepswerk
• Remedies
o Onderschat het vak niet !
o 6 studiepunten, d.w.z. even zwaar als Beschrijvende Statistiek en Kansrekenen + Verklarende Statistiek samen
o Voorkennis vereist!
▪ Statistiek uit 1ste en 2de bachelor
▪ Wiskunde: sommaties, matrixalgebra, afgeleiden, …
▪ Eventueel opfrissen of bijspijkeren
o Grondiger en actiever studeren
▪ JMP output begrijpen en kunnen reconstrueren
▪ Verbanden tussen JMP outputs kunnenleggen
▪ Ontbrekende getallen aanvullen in JMP outputs
o Studeer ook wiskundige afleidingen (4 van de 20 punten sowieso hierop)
3
, • Cursusnota’s
o Onderwerpen
▪ Regressie-analyse (grootste deel!)
▪ Enkelvoudige en meervoudige variantie-analyse (ANOVA)
▪ Multivariate statistiek
▪ Gaat over verbanden tussen variabelen (alles gaat hier over verbanden)
o Belangrijke basistechnieken voor machine learning, articial intelligence en predictive modeling
o Op maat gemaakte cursusnota’s
▪ Hoofdstuk 17 uit het boek `Verklarende Statistiek: Schatten & Toetsen’
• Zie boek 2de bachelor, brug tussen dit vak en verklarende statistiek
• Via zelfstudie (redelijk gemakkelijk hoofdstuk)
▪ Nieuw handboek `Regression and Analysis of Variance’ (Belangrijkste cursusnota)
▪ Nieuwe cursustekst `Multivariate’ (ACCO) → Extra, maar ook te kennen
o Slides komen steeds op Blackboard
▪ Staan er al op, mogelijks nog kleine aanpassingen aan slides, maar waarschijnlijk niet
• Weetjes
o Oude examenvragen komen aan bod in de werkcolleges
o Examen ( wordt normaal gezien ) verbeterd via een systeem genaamd ANS
o Je kunt online je examen inkijken
o Handboek is op maat gemaakt van handelsingenieurs , door een handelsingenieur en rekening houdend met
jullie voorkennis
o Dit academiejaar uitsluitend JMP voor Econometrie & Multivariate Statistiek
• JMP software
o JMP 17 Pro
o Gebruiksvriendelijk pakket (Mac + Windows)
o Gratis beschikbaar voor alle studenten van Universiteit Antwerpen → installeer dat!
o Demonstraties in nagenoeg elk hoorcollege
o Inoefenen thuis en in werkcolleges
o Nodig voor het groepswerk
o JMP wordt veel in de praktijk in bedrijven gebruikt (Apple, Unilever, Atlas Copco, …)
o Veel screenshots in handboek!
• Te kennen leerstof
o Alles wat in de cursusnota’s staat …
▪ De meeste zaken zullen in het hoorcollege aan bod komen
▪ Hoofdstuk 17 uit het boek `Verklarende Statistiek: Schatten & Toetsen’ (wordt niet in de les
behandeld)
• combineert correlaties, betrouwbaarheidsintervallen, hypothesetoetsen, en p-waarden
• bedoeld om belangrijke concepten op te frissen
o Alles wat op de slides vermeld staat …
o Alles wat in de les verteld wordt …
o … tenzij expliciet meegedeeld op Blackboard dat iets niet gekend moet zijn
4
