Uitgebreide Samenvatting Hoorcolleges Experimenteel Correlationeel Onderzoek: 9.1 voor tentamen!

Week 4:
HC 4: Geavanceerde lineaire regressie

Voorbeeld meervoudige regressie:
Kunnen we misdaad voorspellen uit zwaarte van de straffen. 47 staten van de VS worden onderzocht.
In dit onderzoek worden verschillende predictoren meegenomen:




# Regressiemodel maken in R:




Voordat je een regressie analyse gaat uitvoeren moet je naar de volgende zaken kijken:
1. Assumpties:
Voordat je uitspraken kan doen over de populatie op basis van je regressie analyse, moet je
kijken of aan de volgende aannames is voldaan:
- Lineariteit:
Er is een lineair verband tussen de predictor(en) en de respons variabele.
- Homoscedasticiteit:
Variantie van de residuen is voor elke voorspelde waarde gelijk. Dit wil eigenlijk
zeggen dat de spreiding van de punten rondom ons model overal redelijk gelijk is.
- Normaliteit van de residuen:
De residuen zijn voor elke voorspelde waarde normaal verdeeld.




Alle punten liggen dus normaal verdeeld rondom dit lineaire model (lineariteit en
normaliteit aannames). Waarbij de meeste punten op de lijn van het populatiemodel
liggen en er steeds minder punten ervan af liggen, normaal verdeeld. De verdelingen
op verschillende punten van de lijn zijn ook gelijk aan elkaar.

→ Alle assumpties hebben als het ware betrekking op de residuen; de mate waarin we
ernaast zitten.

,Controleren van de aannames:
- Lineariteit:
o Enkelvoudige regressie:
→ Maak een scatterplot met de predictor op de x-as en de respons op de y-
as.

o Meervoudige regressie:
→ Maak een scatterplot met de voorspelde waardes (=fitted values) op de
x-as en de residuen op de y-as.
• Er is bij meervoudige regressie sprake van lineariteit als de rechte
horizontale lijn de beste beschrijving geeft van de relatie tussen de
voorspelde waarden en de gestandaardiseerde residuen.
• Je wilt in deze scatterplot zien dat de punten willekeurig rondom de
horizontale lijn verspreid liggen (de referentielijn). Dus dat er een
soort homogene band rondom de referentielijn ligt.
• De rode lijn zet R er zelf automatisch in maar kan soms een
vertekend beeld geven, kijk dus vooral zelf.




- Homoscedasticiteit:
→ Maak een scatterplot met de voorspelde waardes op de x-as en de residuen op
de y-as.
• Er is sprake van homoscedasticiteit als alle punten als een soort rechte band
rondom de horizontale lijn verspreid liggen; de puntenwolk is overal
ongeveer even wijd. Als je dus op een bepaald punt op de horizontale lijn
kijkt dan zie je dat daar even ver spreiding is naar boven en onder, dan op
een ander punt. Je kan dus als het ware een horizontale lijn boven en onder
trekken waar de punten tussen vallen.
• Aan de uiteinden van de plot zullen er vaak minder observaties zijn
waardoor het soms een vertekend beeld kan geven in de vorm. Het gaat dan
ook om het geheel.
• VB: Geen homoscedasticiteit/heteroscedasticiteit;
Dan zie je dat de punten in de vorm van een koker verspreid zijn rondom de
referentielijn. Dan kan je dus eigenlijk in een bepaald stuk van het model de
waardes heel goed voorspellen en in een ander stuk helemaal niet.

, - Normaliteit van de residuen
→ Maak een histogram van de residuen, of
→ Maak een Q-Q plot van de residuen




Omdat de assumpties gaan over de populatie, je kijkt alleen zelf dus naar je steekproef en of
die voldoende klopt met de aanname over de populatie. Daarom hoeft het allemaal niet
perfect te kloppen, je steekproef is immers nooit een perfecte representatie van de
populatie. Maar het moet goed genoeg zijn om aannemelijk te kunnen maken dat de
aanname in de populatie wel klopt. Het histogram hierboven zie je dus geen perfecte
normaliteit, maar wel normaal genoeg.

Wat te doen bij schending van de aannames:
- Transformeren van de variabelen:
Je doet voor alle observaties hetzelfde, alleen zullen hoge waardes meer beïnvloed
worden dan lage. Omdat je voor alle waardes hetzelfde doet zal er in principe in de
totale verdeling, hoe de scores zich verhouden tot elkaar, niets veranderen. De
hoogste scores worden niet ineens de laagste scores, ze behouden hun eigen plek in
de data.
o Wortel nemen; positief scheve verdeling normaal maken
o Logaritme nemen
→ Als transformatie niet geholpen, wees dan terughoudend bij interpretatie van je
toets, je zegt dan vooral iets over de steekproef.

2. Multicollineariteit:
Er is dan spraken van een sterke onderlinge correlatie tussen twee of meer predictoren
(r>0.70 a 0.80). Dan kan je stellen dat deze twee predictoren eigenlijk in het model hetzelfde
werk doen, dit wil je voorkomen. De gevolgen hiervan zijn namelijk:
- De regressiecoëfficiënten zijn erg instabiel:
De waarde van de regressiecoëfficiënten verschilt erg per steekproef.
- De standaardfouten worden groter:
Het is moeilijker om een significant effect te vinden. Er is meer error variantie in het
model.

Je kan dit controleren middels de Tolerance en de Variance inflation factor (VIF), nu nog niet
kennen.
Als multicollineairiteit zich voordoet probeer je eerst de overlap te verklaren en vervolgens
één van de volgende oplossingen te kiezen:
- Predictor uit het regressiemodel verwijderen
- Predictoren samenvoegen in een somscore of schaal

Het gevolg voor de steekproef kan zijn dat de significantie van de predictoren er anders uit
ziet.
Zo zou het model zonder predictor 1 een predictor 2 hebben die significant is. Maar is bij het
model zonder predictor 2 de predictor 1 weer significant. En is het model met beide
predictor 1 significant en predictor 2 niet. Dit wil je niet.

, 3. Uitbijters:
Een uitbijter is dus een ongewone combinatie van scores op de variabelen; uitzonderlijke
scores. Maar een punt kan op verschillende manieren ongewoon zijn. Om de onderzoeken of
iets een uitbijter is gebruik je dan ook de volgende drie diagnostieken:
- Distance:
Zijn de scores op Y veel hoger of lager dan verwacht?
o Statistiek:
Gestandaardiseerde residuen.
o Vuistregel:
Waardes van > |3| duidt op een uitbijter.
In andere woorden: als iets 3 standaardfouten van de voorspelde waarde
afligt dan is het een uitbijter.




- Leverage:
Uitbijters op de predictoren.
o Statistiek:
Leverage, oftewel de hat values.
o Vuistregel:
Waardes van > 3(p+1)/N duidt op een uitbijter.




(Hierbij is de leverage formule ingevuld obv het eerdere voorbeeld over de USA)


- Influence:
Hoeveel invloed heeft een observatie op de resultaten?
o Statistiek:
Cook’s D.
o Vuistregel:
Waardes ruim onder de 1 duiden op niet invloedrijke observaties.
Dat zegt dus eigenlijk dat of een punt nu wel of niet in de analyse zit, dat het
niet heel veel verandert/invloed heeft op het resultaat van de analyse. Een
uitbijter zou dan dus niet zo veel uitmaken voor je statistische resultaten,
interpretatie en conclusies.




Het is belangrijk om te beseffen dat wanneer je een uitbijter vindt, je niet meteen besluit
deze uit de data te halen. Je gaat proberen te achterhalen waarom deze observaties anders
zijn:
- Zijn het onmogelijke scores?
→ Herstel de fout. Onmogelijke scores zijn vaak typfouten oid.