Sessie 1: Correlatie en regressie
Univariate regressie
Bij univariate regressie (dat wil zeggen regressie met één onafhankelijke variabele) bepaal
je de parameters van de lijn die de relatie tussen de twee variabelen het beste beschrijft;
meer specifiek bepaal je de lijn die het beste past bij de punten in het scatterplot-diagram
dat de relatie tussen de onafhankelijke en afhankelijke variabelen weergeeft. De 'best
passende' regressielijn wordt bepaald met behulp van de methode van de kleinste
kwadraten.
Multivariate regressie
Hier ligt de focus op de voorspelling van een afhankelijke variabele op basis van meerdere
onafhankelijke variabelen (of 'voorspellers'). In dergelijke multivariate regressieanalyses
moet de onderzoeker vaak verschillende mogelijkheden (of 'regressiemodellen') uitproberen
om een adequaat beeld van de gegevens te verkrijgen.
Naarmate we verder gaan met dit onderwerp, zul je zien dat de omvang en statistische
significantie van een bepaalde voorspellende variabele niet constant zijn. In plaats daarvan
hangen deze waarden af van welke andere voorspellers zijn opgenomen in het
regressiemodel.
Analyse van restwaarden
Na het uitvoeren van een regressieanalyse is het eerste wat je moet doen, kijken naar de
afwijkingen tussen de regressielijn en de oorspronkelijke gegevenspunten in het scatterplot.
Deze afwijkingen worden aangeduid als de restwaarden. Door te beoordelen of de
restwaarden voldoen aan verschillende belangrijke voorwaarden, kun je beoordelen of jouw
regressieoplossing een adequaat beeld geeft van de gegevens.
Bivariate relations & Simple regression
Regressie: Regression→ Lineair
De nulhypothese van regressie is dat de b in de populatie 0 is.
De alternatieve hypothese van regressie is dat de b in de populatie niet 0 is.
Hypothesen gaan altijd over de populatie (Griekse letters), omdat je je sample gebruikt om
iets te zeggen over je populatie!
Je kan de ongestandaardiseerde voorspelde waarde van Y opslaan door te kiezen voor de
‘save’ optie in het regressiemenu. De variabele heet PRE_1.
Je kan daarna de X-variabele afzetten tegen deze voorspelde waarde van Y in een
strooidiagram. De voorspelde waarde van Y is een lineaire transformatie van Y. Elke lineaire
,transformatie van een variabele is perfect gecorreleerd met de variabele in haar originele
vorm.
Je regressiemodel voorspelt scores op een rechte lijn. De ‘echte data’ zijn meer verspreid
rondom deze lijn, en daarom zie je daar residuen.
Strooidiagram met X en de voorspelde
waarde van Y (liggen meer op rechte lijn)
Strooidiagram met X en de data die je hebt
verzameld van Y (residuen)
Regressieanalyse: checken van lineariteitsaanname
Correlaties bereken je via Analyze → Correlate → Bivariate.
Het is heel belangrijk om een scatterplot te maken om je variabelen te
beschrijven (via Build Graphs) om te zien of een lineaire regressie accuraat is in
het beschrijven van je data. Via dit plot zie je namelijk of de lijn lineair is en of er
outliers zijn. Er kan een hoge correlatie en R^2 zijn, zelfs als de relatie niet
lineair is. Ook kan de SD en gemiddelde van alle variabelen hetzelfde zijn
(Analyze → Descriptive statistics → Descriptives).
Verken altijd de univariate (histogrammen) en bivariate (strooidiagram) verdelingen van je
variabelen voordat je een statistische analyse uitvoert.
Regressieanalyse: checken van aanname van normaliteit van residuen
Residu =
Maak een plot van de gestandaardiseerde voorspelde waarden van y (ZPRED) op de x-as
tegenover de gestandaardiseerde residuen (ZRESID) op de y-as.
, Je kan hiermee de volgende aannames controleren:
1. Homogeniteit van van errorvariantie bij de hele reeks van voorspelde waarden.
Hieraan wordt voldaan als de punten in een horizontale band liggen rond de nullijn.
2. Normaal verdeelde errors. Het gemiddelde van errors is nul, maar we controleren
ook of ze normaal verdeeld zijn rondom het gemiddelde van 0. Hieraan wordt
voldaan als de meeste punten dicht bij de nullijn liggen en er net zo veel afwijkingen
boven als onder de nullijn zijn.
3. Lineariteit van de relatie tussen Y en de voorspeller(s). Hieraan wordt voldaan
als het patroon van punten rondom de nul geen significant andere vorm heeft, zoals
een curve of golf.
Voorbeeld:
Hier wordt grofweg aan de drie aannames voldaan.
Scatterplot van X tegenover Y met regressielijn
De residuen zijn de afstanden van de datapunten tot de regressielijn. De variabiliteit van de
punten rondom de regressie representeert daarmee de sterkte van de correlatie. Als de
correlatie r = 1 zou zijn, zouden alle restwaarden nul zijn en zouden alle punten op het
scatterplot exact op de regressielijn liggen
Multiple regression en rapporteren van resultaten
Als je bij correlatie ziet dat voorspellers sterk met elkaar correleren, kan het zijn dan een van
de voorspellers overbodig is. In regressieanalyse wordt de unieke bijdrage van elke
voorspeller aan het verklaren van de variantie in de afhankelijke variabele bepaald.
Venndiagrammen
In deze oefening kijken we naar de verklaarde variantie van het criterium Y door twee
voorspellers, X1 en X2, in een regressievergelijking, evenals de unieke bijdrage van elke
voorspeller afzonderlijk.
Univariate regressie
Bij univariate regressie (dat wil zeggen regressie met één onafhankelijke variabele) bepaal
je de parameters van de lijn die de relatie tussen de twee variabelen het beste beschrijft;
meer specifiek bepaal je de lijn die het beste past bij de punten in het scatterplot-diagram
dat de relatie tussen de onafhankelijke en afhankelijke variabelen weergeeft. De 'best
passende' regressielijn wordt bepaald met behulp van de methode van de kleinste
kwadraten.
Multivariate regressie
Hier ligt de focus op de voorspelling van een afhankelijke variabele op basis van meerdere
onafhankelijke variabelen (of 'voorspellers'). In dergelijke multivariate regressieanalyses
moet de onderzoeker vaak verschillende mogelijkheden (of 'regressiemodellen') uitproberen
om een adequaat beeld van de gegevens te verkrijgen.
Naarmate we verder gaan met dit onderwerp, zul je zien dat de omvang en statistische
significantie van een bepaalde voorspellende variabele niet constant zijn. In plaats daarvan
hangen deze waarden af van welke andere voorspellers zijn opgenomen in het
regressiemodel.
Analyse van restwaarden
Na het uitvoeren van een regressieanalyse is het eerste wat je moet doen, kijken naar de
afwijkingen tussen de regressielijn en de oorspronkelijke gegevenspunten in het scatterplot.
Deze afwijkingen worden aangeduid als de restwaarden. Door te beoordelen of de
restwaarden voldoen aan verschillende belangrijke voorwaarden, kun je beoordelen of jouw
regressieoplossing een adequaat beeld geeft van de gegevens.
Bivariate relations & Simple regression
Regressie: Regression→ Lineair
De nulhypothese van regressie is dat de b in de populatie 0 is.
De alternatieve hypothese van regressie is dat de b in de populatie niet 0 is.
Hypothesen gaan altijd over de populatie (Griekse letters), omdat je je sample gebruikt om
iets te zeggen over je populatie!
Je kan de ongestandaardiseerde voorspelde waarde van Y opslaan door te kiezen voor de
‘save’ optie in het regressiemenu. De variabele heet PRE_1.
Je kan daarna de X-variabele afzetten tegen deze voorspelde waarde van Y in een
strooidiagram. De voorspelde waarde van Y is een lineaire transformatie van Y. Elke lineaire
,transformatie van een variabele is perfect gecorreleerd met de variabele in haar originele
vorm.
Je regressiemodel voorspelt scores op een rechte lijn. De ‘echte data’ zijn meer verspreid
rondom deze lijn, en daarom zie je daar residuen.
Strooidiagram met X en de voorspelde
waarde van Y (liggen meer op rechte lijn)
Strooidiagram met X en de data die je hebt
verzameld van Y (residuen)
Regressieanalyse: checken van lineariteitsaanname
Correlaties bereken je via Analyze → Correlate → Bivariate.
Het is heel belangrijk om een scatterplot te maken om je variabelen te
beschrijven (via Build Graphs) om te zien of een lineaire regressie accuraat is in
het beschrijven van je data. Via dit plot zie je namelijk of de lijn lineair is en of er
outliers zijn. Er kan een hoge correlatie en R^2 zijn, zelfs als de relatie niet
lineair is. Ook kan de SD en gemiddelde van alle variabelen hetzelfde zijn
(Analyze → Descriptive statistics → Descriptives).
Verken altijd de univariate (histogrammen) en bivariate (strooidiagram) verdelingen van je
variabelen voordat je een statistische analyse uitvoert.
Regressieanalyse: checken van aanname van normaliteit van residuen
Residu =
Maak een plot van de gestandaardiseerde voorspelde waarden van y (ZPRED) op de x-as
tegenover de gestandaardiseerde residuen (ZRESID) op de y-as.
, Je kan hiermee de volgende aannames controleren:
1. Homogeniteit van van errorvariantie bij de hele reeks van voorspelde waarden.
Hieraan wordt voldaan als de punten in een horizontale band liggen rond de nullijn.
2. Normaal verdeelde errors. Het gemiddelde van errors is nul, maar we controleren
ook of ze normaal verdeeld zijn rondom het gemiddelde van 0. Hieraan wordt
voldaan als de meeste punten dicht bij de nullijn liggen en er net zo veel afwijkingen
boven als onder de nullijn zijn.
3. Lineariteit van de relatie tussen Y en de voorspeller(s). Hieraan wordt voldaan
als het patroon van punten rondom de nul geen significant andere vorm heeft, zoals
een curve of golf.
Voorbeeld:
Hier wordt grofweg aan de drie aannames voldaan.
Scatterplot van X tegenover Y met regressielijn
De residuen zijn de afstanden van de datapunten tot de regressielijn. De variabiliteit van de
punten rondom de regressie representeert daarmee de sterkte van de correlatie. Als de
correlatie r = 1 zou zijn, zouden alle restwaarden nul zijn en zouden alle punten op het
scatterplot exact op de regressielijn liggen
Multiple regression en rapporteren van resultaten
Als je bij correlatie ziet dat voorspellers sterk met elkaar correleren, kan het zijn dan een van
de voorspellers overbodig is. In regressieanalyse wordt de unieke bijdrage van elke
voorspeller aan het verklaren van de variantie in de afhankelijke variabele bepaald.
Venndiagrammen
In deze oefening kijken we naar de verklaarde variantie van het criterium Y door twee
voorspellers, X1 en X2, in een regressievergelijking, evenals de unieke bijdrage van elke
voorspeller afzonderlijk.
