Les 5: Lineaire regressie
Verschil correlatie en lineaire regressie:
Correlatie: het verband tussen 2 variabelen wordt nagegaan.
Lineaire regressie: De Invloed van de ene variabele op de andere wordt nagegaan
Enkelvoudige lineaire regressie
Bij een enkelvoudige lineaire regressie willen we nagaan of een kwantitatieve variabele een voorspeller is van een andere
kwantitatieve variabele (is er een invloed van de ene variabele op de andere). De 2 variabelen zijn dus altijd kwantitatief !!
X is een verklarende variabele of OV (bepalende variabelen)
Y is een te verklaren variabele of AV (afhankelijke variabele)
Voorbeeld: Een onderzoeker wil nagaan of het aantal doelpunten op een baskettraining het aantal doelpunten tijdens de
wedstrijd kan voorspellen.
Analyze > Regression > Lineair
à Kunnen de doelpunten op training, de doelpunten op wedstrijd voorspellen?
58
, We kijken eerst naar Model Summary.
De adjusted R Square is 0,88: 88% van de variantie in de afhankelijke variabele (m.a.w. de doelpunten in de wedstrijd) wordt
verklaard door de onafhankelijke variabele (de doelpunten op de training)
Vervolgens kijken we naar de ANOVA tabel.
We hebben een F-waarde van 82,44 met p-waarde <0,001. We kunnen besluiten dat het aantal doelpunten op training een
significante voorspeller is van het aantal doelpunten op wedstrijd.
Tenslotte kunnen we ook nog een uitspraak doen aan de hand van de coefficients tabel.
De Beta-waarde is 0,94, de t-waarde is 9,08 en de bijhorende p-waarde <0,001.
De t-waarde leert ons iets over de richting van de voorspelling: aangezien de t-waarde positief is, kunnen we concluderen dat
het aantal doelpunten op training een positieve voorspeller is.
Tenslotte dient er bij een lineaire regressieanalyse ook altijd een regressieverelijking opgesteld te worden. Daarvoor kijken we
naar B
Y = 1,78 + 0,86x
Besluit: We kunnen besluiten dat het aantal doelpunten op training een significante voorspeller is van het aantal doelpunten op
wedstrijd. Aangezien de t-waarde positief is, is er een positieve voorspelling. Hoe meer doelpunten op training, hoe meer
doelpunten op wedstrijd.
Meervoudige lineaire regressie
Of meerder kwantitatieve variabelen voorspellers zijn van een andere kwantitatieve variabele. De variabelen zijn ook hier dus
allemaal kwantitatief.
Zijn X1, X2 en X3 voorspellers van Y?
Voorbeeld: Kunnen de resultaten voor de vakken wiskunde, wetenschappen en Engels uit het middelbaar, de totaalscore in de
eerste bachelor informatica voorspellen?
STAP 1: Voor we een meervoudige lineaire regressie kunnen uitvoeren, dienen we eerst na te gaan of er sprake is van
multicollineariteit. Dit is een fenomeen waarbij 2 of meer voorspellende variabelen te sterk gecorreleerd zijn, of met andere
woorden teveel hetzelfde meten. In dat geval moet slechts 1 van beide onafhankelijke variabelen opgenomen worden in de
regressie. Multicollineariteit moet nagegeaan worden adhv de pearson correlatiecoefficient.
59
Verschil correlatie en lineaire regressie:
Correlatie: het verband tussen 2 variabelen wordt nagegaan.
Lineaire regressie: De Invloed van de ene variabele op de andere wordt nagegaan
Enkelvoudige lineaire regressie
Bij een enkelvoudige lineaire regressie willen we nagaan of een kwantitatieve variabele een voorspeller is van een andere
kwantitatieve variabele (is er een invloed van de ene variabele op de andere). De 2 variabelen zijn dus altijd kwantitatief !!
X is een verklarende variabele of OV (bepalende variabelen)
Y is een te verklaren variabele of AV (afhankelijke variabele)
Voorbeeld: Een onderzoeker wil nagaan of het aantal doelpunten op een baskettraining het aantal doelpunten tijdens de
wedstrijd kan voorspellen.
Analyze > Regression > Lineair
à Kunnen de doelpunten op training, de doelpunten op wedstrijd voorspellen?
58
, We kijken eerst naar Model Summary.
De adjusted R Square is 0,88: 88% van de variantie in de afhankelijke variabele (m.a.w. de doelpunten in de wedstrijd) wordt
verklaard door de onafhankelijke variabele (de doelpunten op de training)
Vervolgens kijken we naar de ANOVA tabel.
We hebben een F-waarde van 82,44 met p-waarde <0,001. We kunnen besluiten dat het aantal doelpunten op training een
significante voorspeller is van het aantal doelpunten op wedstrijd.
Tenslotte kunnen we ook nog een uitspraak doen aan de hand van de coefficients tabel.
De Beta-waarde is 0,94, de t-waarde is 9,08 en de bijhorende p-waarde <0,001.
De t-waarde leert ons iets over de richting van de voorspelling: aangezien de t-waarde positief is, kunnen we concluderen dat
het aantal doelpunten op training een positieve voorspeller is.
Tenslotte dient er bij een lineaire regressieanalyse ook altijd een regressieverelijking opgesteld te worden. Daarvoor kijken we
naar B
Y = 1,78 + 0,86x
Besluit: We kunnen besluiten dat het aantal doelpunten op training een significante voorspeller is van het aantal doelpunten op
wedstrijd. Aangezien de t-waarde positief is, is er een positieve voorspelling. Hoe meer doelpunten op training, hoe meer
doelpunten op wedstrijd.
Meervoudige lineaire regressie
Of meerder kwantitatieve variabelen voorspellers zijn van een andere kwantitatieve variabele. De variabelen zijn ook hier dus
allemaal kwantitatief.
Zijn X1, X2 en X3 voorspellers van Y?
Voorbeeld: Kunnen de resultaten voor de vakken wiskunde, wetenschappen en Engels uit het middelbaar, de totaalscore in de
eerste bachelor informatica voorspellen?
STAP 1: Voor we een meervoudige lineaire regressie kunnen uitvoeren, dienen we eerst na te gaan of er sprake is van
multicollineariteit. Dit is een fenomeen waarbij 2 of meer voorspellende variabelen te sterk gecorreleerd zijn, of met andere
woorden teveel hetzelfde meten. In dat geval moet slechts 1 van beide onafhankelijke variabelen opgenomen worden in de
regressie. Multicollineariteit moet nagegeaan worden adhv de pearson correlatiecoefficient.
59
