Samenvatting kwantitatieve
onderzoekmethoden
Inhoudsopgave
Meervoudige lineaire regressive .................................................................................................................... 2
1 Model specificatie .............................................................................................................................. 2
2 Model fit and inference .................................................................................................................... 15
3 Goodness of Fit ................................................................................................................................ 26
4 Checking assumptions ...................................................................................................................... 28
Tijdreeksen .................................................................................................................................................. 38
1 Inleiding ........................................................................................................................................... 38
2 Moeilijkheden bij tijdreeksen ........................................................................................................... 42
3 Tijdreeksmodellen............................................................................................................................ 51
1
, Meervoudige lineaire regressive
1 Model specificatie
1.1 Inleiding
Net zoals ELR bestaat MLR uit:
• Een systematisch deel dat info geeft over hoe een combinatie van x-outputs zorgt voor een
gemiddelde waarde voor Y: μY/X
• Een foutenterm 𝜀 om rekening te houden met het feit dat Y/X een willekeurige variabele is.
Grafisch gezien verschillen ELR en MLR wel van elkaar.
• ELR = lijn
• MLR = vlak met β0 als intercept en β1 en β2 als helling van het vlak in de richting van de variabele. Kan
enkel grafisch tekenen met 2 variabelen, bij meer is het niet meer mogelijk.
Voorbeeld Hamburger Chain:
− Verkoop: maandelijkse verkoop in een stad (in 1000$)
− Prijs: "gemiddelde" prijs voor producten (in $) in de stad
− Advertentie: maandelijkse reclame-uitgaven in de stad (in 1000$)
1.2 Klassieke meervoudige lineaire regressie
Klassieke assumpties voor meervoudige lineaire regressie:
• A1: μY|x = β0 + β1 x1 + … + βK xk (ε gemiddeld 0 voor alle x)
• A2: ε heeft constante standaard afw. σ- homoskedasticiteit
• A3: cov(εi,εj) = cov(Yi,Yj) = 0
• A4: Variabelen xi zijn non random, zijn geen exacte lineaire functies van de andere verklarende
variabelen. Als het wel zo is, dan hebben we te maken met multicollineariteit
• A5: (optioneel) ε is normaal verdeeld
2
,1.3 Interpretatie van de parameters
β0 als intercept = de algemene (gemiddelde waarde) voor Y als alle x-variabelen gelijk zijn aan 0 → is vaak
niet relevant.
In zeer specifieke gevallen zal er altijd een intercept zijn in het model, ook al heeft het geen directe
economische interpretatie. Het weglaten ervan kan leiden tot een model dat slecht bij de gegevens past en
dat niet goed voorspelt.
Coëfficienten βi = een helling in de xi richting.
Meet het effect op van een variabele x op de verwachte waarde van Y. → Om de impact te berekenen van
een variabele moet je kijken naar de partiële afgeleide.
→ ceteris paribus: indien alle andere variabelen constant blijven. We vinden dit door de partiële afgeleide te
nemen zoals E (Y )
xi
Voorbeeld Hamburger Chain: 𝑌 = 𝛽0 + 𝛽1 𝑃𝑟𝑖𝑐𝑒 + 𝛽2 𝐴𝑑𝑣𝑒𝑟𝑡 + 𝜀
β0: interpretatie voor price=0 en advert=0 is niet realistisch
β1: de verandering in monthly Sales ($1000) wanneer Price toeneemt met één eenheid ($1) en
Advert constant blijft
β2: de verandering in monthly Sales ($1000) wanneer advertising expenditures toenemen met
één eenheid ($1000) en Price constant blijft.
Het is dus erg belangrijk om voorzichtig na te denken over de specifiëring van het model:
• Welke functievorm? μY/X = f(x)
o Lineair of niet lineair?
o Wat met kwalitatieve variabelen? Hoe opnemen?
o Wat met interactieëffecten?
• Welke verklarende variabelen?
1.4 Niet lineair model
Net als in ELR, kunnen bij MLR niet-lineaire verbanden getransformeerd worden.
» Logaritmische transformatie= een veelgebruikte transformatie in economische toepassingen.
Rechtsscheef → normale verdeling (symmetrisch)
» Polynomiale functies = wanneer we deze bestudeerden bij ELR, waren we beperkt omdat we slechts
één verklarende variabele hadden. Nu kunnen we een onbeperkt aantal verklarende variabelen
opnemen. Soms kan het opnemen van een variabele en het product of derdemacht ervan wel
multicollineariteitsproblemen veroorzaken.
3
, Hoe kies je de geschikte funtionele vorm?
→ kijken naar de puntenwolk. Aangezien kwadratische functie is het een parabool en rechts logaritmische.
Voorbeeld Hamburger Chain:
Sales =β0 + β1Advert + β2Advert² + ε Sales = β0 + β1 ln(Advert)
1.4.1.1 Polynomial model
Voorbeel Hamburger Chain: Beschouw het kwadratisch model:
Sales = β0 + β1 Price + β2 Advert + β3 Advert² + ε
Welk teken verwacht je voor β2 , β3 ?
Om de impact te berekenen van een variabele moet
je kijken naar de partiële afgeleide.
(om makkelijker te maken: Sales = β0 + β1 Price + β2 x + β3 x² + ε )
→ = β2 + 2* β3 Advert = 12,151 – 2*2,768 *Advert
Marginaal effect (=helling) van advertising op sales is β2 + 2 β3 Advert
Wanneer advertising = $500, dan is het marginale effect van advertising op sales $9.383.
→ 12,151 – 2*2,768 *0,5 (want gemeten in 1000) = $ 9383→ impact is groter
Wanneer advertising = $2000, is het marginale effect $1.079.
→ 12,151 – 2*2,768 * 2 (want gemeten in 1000) = $ 1079 → impact ik kleiner
Vb als nog geen reclame doet en dan een klein beetje, dan zal de impact zeer groot zijn.
Als je al heel veel reclame maakt en dan een beetje meer reclame maakt, dan is impact zeer klein.
1.4.1.2 Log transformaties
Voorbeeld Hamburger Chain: Beschouw een model met ln(Advert)
Sales = β0 + β1 Price + β2 ln(Advert) + ε De prijs heeft een negatieve impact op de
verkoop nl:
→ Als de prijs stijgt met $1 dan dalen de
sales met $7841.
linear-log: x neemt toe met 1%, y met ≈
0.01β1 eenheden
Wanneer advertisement expenditure toeneemt met 1%, nemen de sales toe met 3,456/100 = 0,03456
($1000) = $34,56.
→ Als advert stijgt met 1%, dan stijgen de sales met $ 34,56.
4
onderzoekmethoden
Inhoudsopgave
Meervoudige lineaire regressive .................................................................................................................... 2
1 Model specificatie .............................................................................................................................. 2
2 Model fit and inference .................................................................................................................... 15
3 Goodness of Fit ................................................................................................................................ 26
4 Checking assumptions ...................................................................................................................... 28
Tijdreeksen .................................................................................................................................................. 38
1 Inleiding ........................................................................................................................................... 38
2 Moeilijkheden bij tijdreeksen ........................................................................................................... 42
3 Tijdreeksmodellen............................................................................................................................ 51
1
, Meervoudige lineaire regressive
1 Model specificatie
1.1 Inleiding
Net zoals ELR bestaat MLR uit:
• Een systematisch deel dat info geeft over hoe een combinatie van x-outputs zorgt voor een
gemiddelde waarde voor Y: μY/X
• Een foutenterm 𝜀 om rekening te houden met het feit dat Y/X een willekeurige variabele is.
Grafisch gezien verschillen ELR en MLR wel van elkaar.
• ELR = lijn
• MLR = vlak met β0 als intercept en β1 en β2 als helling van het vlak in de richting van de variabele. Kan
enkel grafisch tekenen met 2 variabelen, bij meer is het niet meer mogelijk.
Voorbeeld Hamburger Chain:
− Verkoop: maandelijkse verkoop in een stad (in 1000$)
− Prijs: "gemiddelde" prijs voor producten (in $) in de stad
− Advertentie: maandelijkse reclame-uitgaven in de stad (in 1000$)
1.2 Klassieke meervoudige lineaire regressie
Klassieke assumpties voor meervoudige lineaire regressie:
• A1: μY|x = β0 + β1 x1 + … + βK xk (ε gemiddeld 0 voor alle x)
• A2: ε heeft constante standaard afw. σ- homoskedasticiteit
• A3: cov(εi,εj) = cov(Yi,Yj) = 0
• A4: Variabelen xi zijn non random, zijn geen exacte lineaire functies van de andere verklarende
variabelen. Als het wel zo is, dan hebben we te maken met multicollineariteit
• A5: (optioneel) ε is normaal verdeeld
2
,1.3 Interpretatie van de parameters
β0 als intercept = de algemene (gemiddelde waarde) voor Y als alle x-variabelen gelijk zijn aan 0 → is vaak
niet relevant.
In zeer specifieke gevallen zal er altijd een intercept zijn in het model, ook al heeft het geen directe
economische interpretatie. Het weglaten ervan kan leiden tot een model dat slecht bij de gegevens past en
dat niet goed voorspelt.
Coëfficienten βi = een helling in de xi richting.
Meet het effect op van een variabele x op de verwachte waarde van Y. → Om de impact te berekenen van
een variabele moet je kijken naar de partiële afgeleide.
→ ceteris paribus: indien alle andere variabelen constant blijven. We vinden dit door de partiële afgeleide te
nemen zoals E (Y )
xi
Voorbeeld Hamburger Chain: 𝑌 = 𝛽0 + 𝛽1 𝑃𝑟𝑖𝑐𝑒 + 𝛽2 𝐴𝑑𝑣𝑒𝑟𝑡 + 𝜀
β0: interpretatie voor price=0 en advert=0 is niet realistisch
β1: de verandering in monthly Sales ($1000) wanneer Price toeneemt met één eenheid ($1) en
Advert constant blijft
β2: de verandering in monthly Sales ($1000) wanneer advertising expenditures toenemen met
één eenheid ($1000) en Price constant blijft.
Het is dus erg belangrijk om voorzichtig na te denken over de specifiëring van het model:
• Welke functievorm? μY/X = f(x)
o Lineair of niet lineair?
o Wat met kwalitatieve variabelen? Hoe opnemen?
o Wat met interactieëffecten?
• Welke verklarende variabelen?
1.4 Niet lineair model
Net als in ELR, kunnen bij MLR niet-lineaire verbanden getransformeerd worden.
» Logaritmische transformatie= een veelgebruikte transformatie in economische toepassingen.
Rechtsscheef → normale verdeling (symmetrisch)
» Polynomiale functies = wanneer we deze bestudeerden bij ELR, waren we beperkt omdat we slechts
één verklarende variabele hadden. Nu kunnen we een onbeperkt aantal verklarende variabelen
opnemen. Soms kan het opnemen van een variabele en het product of derdemacht ervan wel
multicollineariteitsproblemen veroorzaken.
3
, Hoe kies je de geschikte funtionele vorm?
→ kijken naar de puntenwolk. Aangezien kwadratische functie is het een parabool en rechts logaritmische.
Voorbeeld Hamburger Chain:
Sales =β0 + β1Advert + β2Advert² + ε Sales = β0 + β1 ln(Advert)
1.4.1.1 Polynomial model
Voorbeel Hamburger Chain: Beschouw het kwadratisch model:
Sales = β0 + β1 Price + β2 Advert + β3 Advert² + ε
Welk teken verwacht je voor β2 , β3 ?
Om de impact te berekenen van een variabele moet
je kijken naar de partiële afgeleide.
(om makkelijker te maken: Sales = β0 + β1 Price + β2 x + β3 x² + ε )
→ = β2 + 2* β3 Advert = 12,151 – 2*2,768 *Advert
Marginaal effect (=helling) van advertising op sales is β2 + 2 β3 Advert
Wanneer advertising = $500, dan is het marginale effect van advertising op sales $9.383.
→ 12,151 – 2*2,768 *0,5 (want gemeten in 1000) = $ 9383→ impact is groter
Wanneer advertising = $2000, is het marginale effect $1.079.
→ 12,151 – 2*2,768 * 2 (want gemeten in 1000) = $ 1079 → impact ik kleiner
Vb als nog geen reclame doet en dan een klein beetje, dan zal de impact zeer groot zijn.
Als je al heel veel reclame maakt en dan een beetje meer reclame maakt, dan is impact zeer klein.
1.4.1.2 Log transformaties
Voorbeeld Hamburger Chain: Beschouw een model met ln(Advert)
Sales = β0 + β1 Price + β2 ln(Advert) + ε De prijs heeft een negatieve impact op de
verkoop nl:
→ Als de prijs stijgt met $1 dan dalen de
sales met $7841.
linear-log: x neemt toe met 1%, y met ≈
0.01β1 eenheden
Wanneer advertisement expenditure toeneemt met 1%, nemen de sales toe met 3,456/100 = 0,03456
($1000) = $34,56.
→ Als advert stijgt met 1%, dan stijgen de sales met $ 34,56.
4
