Grasple
Multipele Regressie 1: Controle assumpties (initieel)
Een van de voorwaarde voor een multipele regressieanalyse is dat de afhankelijke variabele minimaal
van interval meetniveau is.
Een tweede voorwaarde voor een multipele regressieanalyse is dat er lineaire verbanden zijn tussen
de afhankelijke variabele en alle kwantitatieve onafhankelijke variabelen. Spreidingsdiagram
Een derde voorwaarde is dat er geen uitschieters aanwezig zijn. Spreidingsdiagram
Multipele Regressie 2: Controle assumpties (statistisch)
Uitvoeren regressie analyse in SPSS: analyze regression linear.
Eerst bedenken wat de afhankelijke en onafhankelijke variabelen en deze op de goede plek zetten.
Vervolgens assumpties controleren:
- Afwezigheid uitschieters: save standardized residuals, mahalanobis en Cook’s distance.
- Afwezigheid multicollineariteit: statistics collinearity diagnostics.
- Homoscedasticiteit: plots gestandaardiseerde voorspelde waarden (ZPRED) op de X as en
gestandaardiseerde residuen op de Y as (ZRESID).
- Normaal verdeelde residuen: plots histogram.
Afwezigheid uitschieters
Het is mogelijk om met een spreidingsdiagram of boxplot op het oog te bekijken of er uitschieters in
de data aanwezig zijn. Het is ook mogelijk om dit formeel te beoordelen tijdens het uitvoeren van de
analyses. Hiervoor kijk je naar de tabel Residuals Statistics en bekijk je de minimum en maximum
waardes van de standardized residuals, Mahalanobis Distance en Cook’s distance. Aan de hand van
deze waardes beoordeel je respectievelijk of er uitschiters in Y-ruimte, X-ruimte en XY-ruimte zijn.
Wanneer je een keuze moet maken over het al dan niet verwijderen van een uitschieter is een aantal
dingen belangrijk:
- Behoort deze participant tot de groep waarover je uitspraken wilt doen? Zo nee, neem de
participant dan niet mee in de analyses.
- Is de extreme waarde van de participant theoretisch mogelijk? Zo nee, neem de participant
dan niet mee in de analyses. Zo ja, draai de analyse dan met en zonder de participant,
rapporteer de resultaten van beide analyses en bespreek eventuele verschillen.
Standardized residuals
Hiermee controleer je of er uitschieters zijn in de Y-ruimte. De vuistregel is dat de waardes tussen -
3.3 en +3.3 moeten liggen. Waardes kleiner dan -3.3 of groter dan 3.3 duiden op uitschieters.
Mahalanobis distance
Hiermee controleer je of er sprake is van uitschieters in de X-ruimte. Een uitschieter in de X-ruimte is
een extreme score op een predictor of combinatie van predictoren. De vuistregel is dat waardes voor
Mahalanobis distance lager moeten zijn dan 10 + 2 (x onafhankelijke variabelen). Zo moeten in een
onderzoek met twee onafhankelijke variabelen de waardes voor Mahalanobis distance lager zijn dan
10 + 2 x 2 = 14. Waardes hoger dan deze kritieke waarden duiden op uitschieters.
,Cook’s distance
Hiermee controleer je of er sprake is van uitschieters in XY-ruimte. Een uitschieter in de XY-ruimte is
een extreme combinatie van X(-en) en Y-scores. Cook’s distance geeft aan wat de overall invloed is
van een respondent op het model. Als vuistregel houden we aan dat waardes voor Cook’s distance
lager dan 1 moeten zijn. Waardes hoger dan 1 duiden op invloedrijke respondenten (influential
cases).
Afwezigheid multicollineariteit
In de tabel Coefficients staat in de laatste twee kolommen informatie over multicollineariteit.
Hiermee wordt gekeken of de relatie tussen twee of meerdere onafhankelijke variabelen te sterk is (r
> .80). Als je te sterk gerelateerde variabelen opneemt in je model heeft dat drie gevolgen:
- De regressiecoëfficiënten (B) zijn onbetrouwbaar.
- Het beperkt de grootte van R (de correlatie tussen Y en Y^).
- Het belang van individuele onafhankelijke variabelen is niet/moeilijk vast te stellen.
Vaststellen of multicollineariteit een probleem is, kan aan de hand van de statistieken die SPSS geeft
in de laatste twee kolommen van de tabel Coefficients. Hierbij kun je de volgende vuistregels
aanhouden:
- Waardes voor de Tolerance kleiner dan .2 duiden op een mogelijk probleem.
- Waardes voor de Tolerance kleiner dan .1 duiden op een probleem.
- De VIF is gelijk aan 1/Tolerance dus voor de VIF geldt dat waardes groter dan 10 duiden op
een probleem.
Homoscedasticiteit
De voorwaarde van homoscedasticiteit houdt in dat de spreiding van de residuen per x-waarde
ongeveer gelijk moet zijn. Dit beoordelen we door gestandaardiseerde residuen te plotten tegen de
gestandaardiseerde voorspelde waardes. Als er voor elke voorspelde waarde (X-as) ongeveer
evenveel spreiding is op de Y-as, dan is er voldaan aan de voorwaarde.
Normaal verdeelde residuen
De gestandaardiseerde residuen moeten normaal verdeeld zijn als je kijkt naar de
frequentieverdeling in een histogram.
, Multipele Regressie 3: Uitvoeren en interpreteren
Wanneer voldaan is aan de assumpties mag het regressiemodel geïnterpreteerd worden. Hiervoor
kijken we naar de eerste vier tabellen in de output:
1. In de eerste tabel staat wat de onafhankelijke en afhankelijke variabelen zijn.
2. In de tweede tabel staan de algemene kwaliteitsgegevens van het regressiemodel.
3. In de derde tabel stuit de uitkomst van de F-toets voor het model.
4. In de vierde tabel staat informatie over de regressiecoëfficiënten.
R = multipele regressiecoëfficiënt van het regressiemodel. Deze waarde geeft aan wat de correlatie is
tussen de daadwerkelijke scores (Y) en de voorspelde scores (Y^). Dit is een indicatie van hoe goed
het model is.
Hoeveel van de variantie in Y wordt verklaard door het model wordt gedaan met de R square (R 2). De
R square geeft het percentage verklaarde variantie aan in de steekproef. Naast de R square zie je de
Adjusted R square. Deze geeft aan wat het geschatte percentage verklaarde variantie is in de
populatie. De R2 wordt hiervoor aangepast op basis van de steekproefgrootte (n) en het aantal
predictoren in het model (k). Het geschatte percentage verklaarde variantie in de populatie is altijd
iets lager dan het verklaarde variantie percentage in de steekproef.
De F-toets toetst of het gehele model significant is. Hier wordt dus gekeken of de onafhankelijke
variabelen samen een significant deel van de spreiding kunnen verklaren.
De regressiecoëfficiënten laten zien welke variabelen significante voorspellers zijn. Bij de beta
gestandaardiseerde coëfficiënt kun je zien welke variabele de meest significante voorspeller is.
Een hiërarchische multipele regressieanalyse houdt in dat je een uitbreiding maakt van het oude
model met nieuwe variabelen. Hiermee kun je de vraag beantwoorden of de toevoeging van deze
variabelen voor een betere voorspelling zorgt. De assumpties moeten dan ook opnieuw
gecontroleerd worden.
Hiërarchische regressieanalyse uitvoeren in SPSS: analyse regression linear. Plaats de
onafhankelijke variabelen van het oorspronkelijke model in Block 1 of 1. Klik op next. Hiermee kun je
een nieuw blok met variabelen toevoegen. Hier selecteer je alleen de extra variabelen. Het is niet
nodig om de variabelen uit het eerste blok nogmaals te selecteren. Vraag onder statistics om R
squared change.
De output lijkt op de output van de oorspronkelijke multipele regressie. De eerste vier tabellen geven
de volgende (nieuwe) informatie:
1. In de eerste tabel staat weer wat de onafhankelijke en afhankelijke variabelen zijn. specifiek
staat er per model welke onafhankelijke variabelen er in die stap zijn toegevoegd.
Multipele Regressie 1: Controle assumpties (initieel)
Een van de voorwaarde voor een multipele regressieanalyse is dat de afhankelijke variabele minimaal
van interval meetniveau is.
Een tweede voorwaarde voor een multipele regressieanalyse is dat er lineaire verbanden zijn tussen
de afhankelijke variabele en alle kwantitatieve onafhankelijke variabelen. Spreidingsdiagram
Een derde voorwaarde is dat er geen uitschieters aanwezig zijn. Spreidingsdiagram
Multipele Regressie 2: Controle assumpties (statistisch)
Uitvoeren regressie analyse in SPSS: analyze regression linear.
Eerst bedenken wat de afhankelijke en onafhankelijke variabelen en deze op de goede plek zetten.
Vervolgens assumpties controleren:
- Afwezigheid uitschieters: save standardized residuals, mahalanobis en Cook’s distance.
- Afwezigheid multicollineariteit: statistics collinearity diagnostics.
- Homoscedasticiteit: plots gestandaardiseerde voorspelde waarden (ZPRED) op de X as en
gestandaardiseerde residuen op de Y as (ZRESID).
- Normaal verdeelde residuen: plots histogram.
Afwezigheid uitschieters
Het is mogelijk om met een spreidingsdiagram of boxplot op het oog te bekijken of er uitschieters in
de data aanwezig zijn. Het is ook mogelijk om dit formeel te beoordelen tijdens het uitvoeren van de
analyses. Hiervoor kijk je naar de tabel Residuals Statistics en bekijk je de minimum en maximum
waardes van de standardized residuals, Mahalanobis Distance en Cook’s distance. Aan de hand van
deze waardes beoordeel je respectievelijk of er uitschiters in Y-ruimte, X-ruimte en XY-ruimte zijn.
Wanneer je een keuze moet maken over het al dan niet verwijderen van een uitschieter is een aantal
dingen belangrijk:
- Behoort deze participant tot de groep waarover je uitspraken wilt doen? Zo nee, neem de
participant dan niet mee in de analyses.
- Is de extreme waarde van de participant theoretisch mogelijk? Zo nee, neem de participant
dan niet mee in de analyses. Zo ja, draai de analyse dan met en zonder de participant,
rapporteer de resultaten van beide analyses en bespreek eventuele verschillen.
Standardized residuals
Hiermee controleer je of er uitschieters zijn in de Y-ruimte. De vuistregel is dat de waardes tussen -
3.3 en +3.3 moeten liggen. Waardes kleiner dan -3.3 of groter dan 3.3 duiden op uitschieters.
Mahalanobis distance
Hiermee controleer je of er sprake is van uitschieters in de X-ruimte. Een uitschieter in de X-ruimte is
een extreme score op een predictor of combinatie van predictoren. De vuistregel is dat waardes voor
Mahalanobis distance lager moeten zijn dan 10 + 2 (x onafhankelijke variabelen). Zo moeten in een
onderzoek met twee onafhankelijke variabelen de waardes voor Mahalanobis distance lager zijn dan
10 + 2 x 2 = 14. Waardes hoger dan deze kritieke waarden duiden op uitschieters.
,Cook’s distance
Hiermee controleer je of er sprake is van uitschieters in XY-ruimte. Een uitschieter in de XY-ruimte is
een extreme combinatie van X(-en) en Y-scores. Cook’s distance geeft aan wat de overall invloed is
van een respondent op het model. Als vuistregel houden we aan dat waardes voor Cook’s distance
lager dan 1 moeten zijn. Waardes hoger dan 1 duiden op invloedrijke respondenten (influential
cases).
Afwezigheid multicollineariteit
In de tabel Coefficients staat in de laatste twee kolommen informatie over multicollineariteit.
Hiermee wordt gekeken of de relatie tussen twee of meerdere onafhankelijke variabelen te sterk is (r
> .80). Als je te sterk gerelateerde variabelen opneemt in je model heeft dat drie gevolgen:
- De regressiecoëfficiënten (B) zijn onbetrouwbaar.
- Het beperkt de grootte van R (de correlatie tussen Y en Y^).
- Het belang van individuele onafhankelijke variabelen is niet/moeilijk vast te stellen.
Vaststellen of multicollineariteit een probleem is, kan aan de hand van de statistieken die SPSS geeft
in de laatste twee kolommen van de tabel Coefficients. Hierbij kun je de volgende vuistregels
aanhouden:
- Waardes voor de Tolerance kleiner dan .2 duiden op een mogelijk probleem.
- Waardes voor de Tolerance kleiner dan .1 duiden op een probleem.
- De VIF is gelijk aan 1/Tolerance dus voor de VIF geldt dat waardes groter dan 10 duiden op
een probleem.
Homoscedasticiteit
De voorwaarde van homoscedasticiteit houdt in dat de spreiding van de residuen per x-waarde
ongeveer gelijk moet zijn. Dit beoordelen we door gestandaardiseerde residuen te plotten tegen de
gestandaardiseerde voorspelde waardes. Als er voor elke voorspelde waarde (X-as) ongeveer
evenveel spreiding is op de Y-as, dan is er voldaan aan de voorwaarde.
Normaal verdeelde residuen
De gestandaardiseerde residuen moeten normaal verdeeld zijn als je kijkt naar de
frequentieverdeling in een histogram.
, Multipele Regressie 3: Uitvoeren en interpreteren
Wanneer voldaan is aan de assumpties mag het regressiemodel geïnterpreteerd worden. Hiervoor
kijken we naar de eerste vier tabellen in de output:
1. In de eerste tabel staat wat de onafhankelijke en afhankelijke variabelen zijn.
2. In de tweede tabel staan de algemene kwaliteitsgegevens van het regressiemodel.
3. In de derde tabel stuit de uitkomst van de F-toets voor het model.
4. In de vierde tabel staat informatie over de regressiecoëfficiënten.
R = multipele regressiecoëfficiënt van het regressiemodel. Deze waarde geeft aan wat de correlatie is
tussen de daadwerkelijke scores (Y) en de voorspelde scores (Y^). Dit is een indicatie van hoe goed
het model is.
Hoeveel van de variantie in Y wordt verklaard door het model wordt gedaan met de R square (R 2). De
R square geeft het percentage verklaarde variantie aan in de steekproef. Naast de R square zie je de
Adjusted R square. Deze geeft aan wat het geschatte percentage verklaarde variantie is in de
populatie. De R2 wordt hiervoor aangepast op basis van de steekproefgrootte (n) en het aantal
predictoren in het model (k). Het geschatte percentage verklaarde variantie in de populatie is altijd
iets lager dan het verklaarde variantie percentage in de steekproef.
De F-toets toetst of het gehele model significant is. Hier wordt dus gekeken of de onafhankelijke
variabelen samen een significant deel van de spreiding kunnen verklaren.
De regressiecoëfficiënten laten zien welke variabelen significante voorspellers zijn. Bij de beta
gestandaardiseerde coëfficiënt kun je zien welke variabele de meest significante voorspeller is.
Een hiërarchische multipele regressieanalyse houdt in dat je een uitbreiding maakt van het oude
model met nieuwe variabelen. Hiermee kun je de vraag beantwoorden of de toevoeging van deze
variabelen voor een betere voorspelling zorgt. De assumpties moeten dan ook opnieuw
gecontroleerd worden.
Hiërarchische regressieanalyse uitvoeren in SPSS: analyse regression linear. Plaats de
onafhankelijke variabelen van het oorspronkelijke model in Block 1 of 1. Klik op next. Hiermee kun je
een nieuw blok met variabelen toevoegen. Hier selecteer je alleen de extra variabelen. Het is niet
nodig om de variabelen uit het eerste blok nogmaals te selecteren. Vraag onder statistics om R
squared change.
De output lijkt op de output van de oorspronkelijke multipele regressie. De eerste vier tabellen geven
de volgende (nieuwe) informatie:
1. In de eerste tabel staat weer wat de onafhankelijke en afhankelijke variabelen zijn. specifiek
staat er per model welke onafhankelijke variabelen er in die stap zijn toegevoegd.
