Hoofdstuk 7: Bivariate lineaire
regressie
Line of best ft
Bij regressie gaat het erom een variabele y op interval niveau zo goed mogelijk te beschrijven of te
voorspellen op grond van één of meer verklarende variabelen (de predictoren). Bij éénvoudige
lineaire regressie wordt bivariaat de lineaire tendens van de scaterplot tussen x en y ingeschat op
basis van line of best ft . (met de ingeschate data van de oututvariabele, a de
intercept en b de richtngscoëfciënt van de rechte. STEEKPROEF)
Binnen de scaterplot liggen de ruwe steekproefdata (y) ten opzichte van de ingeschate data (die
gekoppeld zijn aan de line of best ft) op een zekere afstand genoemd: e i = yi – ^y i.
Idealiter worden de residuën tot de ‘line of best ftt zo klein mogelijk gehouden. Dit gebeurt op basis
van de least squares methode waarbij de kwadratensom van de residuën geminimaliseerd wordt.
.
Voor de regressierechte ^y i = a + b . xi zijn op basis van de kleinste kwadratenmethode b en a:
- b=
- a=
^y i = a + b . xi is een ‘line of best ftt gekoppeld aan de steekproefdata. De kwantfcate van de relate
tussen xi en ^y i gebeurt door de richtngscoëfciënt b van de lineaire regressie. De b-coëfciënt moet
gelezen worden als
- ‘Wanneer de xi waarde stjgt met een eenheid dan stjgt de gekoppelde ^y i waarde met b-
eenhedent
Voor de populate is de regressievergelijking y 1= β 0 + β 1.xi + ε i. a en b zijn inschatngen van beta0 en
Beta 1 waarvoor betrouwbaarheidsintervallen worden berekend. De standaardfouten van de
inschatngen voor β 0 (SE(a) genoemd) en voor β 1 (SE(b) genoemd zijn:
Predictie
^y
De standaardfout van een ingeschate i obv een gegeven waarde xi is: . Dit
betekent dat SE( ^y i) kleiner wordt naarmate de xi dichter bij het gemiddelde ligt. Dit betekent
1
, omgekeerd dat men bij waarden van x i die verder van het gemiddelde gepositoneerd eerder
terughoudend moeten zijn qua predicte.
ANOVA
De volgende vraag is op de regressie statstsch signifcant is, i.a.w. een meerwaarde heef dan y i in te
schaten obv het gemiddelde. Antwoord: SST = SSregressie + SSresidu. Waarbij:
Hieruit kunnen we de MS berekenen met: MS regressie = SSregressie/1 en MSerror = MSerror / n-2.
MSregressie
De F-score: F = . Deze wordt getest binnen de H0: b = 0 en H1: b≠ 0 binnen een F-distribute
MS error
met 1 en n-2 vrijheidsgraden.
Determinatiecoëfficiënt
De correlatecoëfciënt werd gedefnieerd als: .
Gegeven dat b= dan is de determinantecoëfciënt r een maat voor de
variantie van de outputvariabele die verllaard wordt door de regrressielinn.
Voorbeeld:
Buiten descripte en predicte wordt de regressie ook gebruikt binnen de ANCOVA-procedure ter
correcte voor een covariaat.
Standardized coëfficiënt
Bij de standarized regressiecoëfciënt BETA, wordt de regressie gestandaardiseerd naar een context
waarbij de variantes van de AV en OV beide 1 zij. Het zijn dus eigenlijk niet de b-coëfciënten die
worden gestandaardiseerd maar wel de regressievariabelen. i.e. gepositoneerd t.o.v. het
gemiddelde en in eenheden van standaarddeviate.
- ! beta niet te verwarren met de theoretsche beta coëfciënten in de POPULATIEregressie
In SPPS is b gegeven als B(Unstandardized Coefcient)
De standarized coëfciënt Beta wordt afgelezen als een stiging van één standaarddeviate in xi doet
yi met Beta standaarddeviates stigen.
In de toepassing betekent dit dat een verhoging van 1 SD in jaren de BP doet stjgen met 0,696 SD.
Waar de unstandardized coefcient B een prediciteve waarde bezit binnen de regressievergelijking
2
regressie
Line of best ft
Bij regressie gaat het erom een variabele y op interval niveau zo goed mogelijk te beschrijven of te
voorspellen op grond van één of meer verklarende variabelen (de predictoren). Bij éénvoudige
lineaire regressie wordt bivariaat de lineaire tendens van de scaterplot tussen x en y ingeschat op
basis van line of best ft . (met de ingeschate data van de oututvariabele, a de
intercept en b de richtngscoëfciënt van de rechte. STEEKPROEF)
Binnen de scaterplot liggen de ruwe steekproefdata (y) ten opzichte van de ingeschate data (die
gekoppeld zijn aan de line of best ft) op een zekere afstand genoemd: e i = yi – ^y i.
Idealiter worden de residuën tot de ‘line of best ftt zo klein mogelijk gehouden. Dit gebeurt op basis
van de least squares methode waarbij de kwadratensom van de residuën geminimaliseerd wordt.
.
Voor de regressierechte ^y i = a + b . xi zijn op basis van de kleinste kwadratenmethode b en a:
- b=
- a=
^y i = a + b . xi is een ‘line of best ftt gekoppeld aan de steekproefdata. De kwantfcate van de relate
tussen xi en ^y i gebeurt door de richtngscoëfciënt b van de lineaire regressie. De b-coëfciënt moet
gelezen worden als
- ‘Wanneer de xi waarde stjgt met een eenheid dan stjgt de gekoppelde ^y i waarde met b-
eenhedent
Voor de populate is de regressievergelijking y 1= β 0 + β 1.xi + ε i. a en b zijn inschatngen van beta0 en
Beta 1 waarvoor betrouwbaarheidsintervallen worden berekend. De standaardfouten van de
inschatngen voor β 0 (SE(a) genoemd) en voor β 1 (SE(b) genoemd zijn:
Predictie
^y
De standaardfout van een ingeschate i obv een gegeven waarde xi is: . Dit
betekent dat SE( ^y i) kleiner wordt naarmate de xi dichter bij het gemiddelde ligt. Dit betekent
1
, omgekeerd dat men bij waarden van x i die verder van het gemiddelde gepositoneerd eerder
terughoudend moeten zijn qua predicte.
ANOVA
De volgende vraag is op de regressie statstsch signifcant is, i.a.w. een meerwaarde heef dan y i in te
schaten obv het gemiddelde. Antwoord: SST = SSregressie + SSresidu. Waarbij:
Hieruit kunnen we de MS berekenen met: MS regressie = SSregressie/1 en MSerror = MSerror / n-2.
MSregressie
De F-score: F = . Deze wordt getest binnen de H0: b = 0 en H1: b≠ 0 binnen een F-distribute
MS error
met 1 en n-2 vrijheidsgraden.
Determinatiecoëfficiënt
De correlatecoëfciënt werd gedefnieerd als: .
Gegeven dat b= dan is de determinantecoëfciënt r een maat voor de
variantie van de outputvariabele die verllaard wordt door de regrressielinn.
Voorbeeld:
Buiten descripte en predicte wordt de regressie ook gebruikt binnen de ANCOVA-procedure ter
correcte voor een covariaat.
Standardized coëfficiënt
Bij de standarized regressiecoëfciënt BETA, wordt de regressie gestandaardiseerd naar een context
waarbij de variantes van de AV en OV beide 1 zij. Het zijn dus eigenlijk niet de b-coëfciënten die
worden gestandaardiseerd maar wel de regressievariabelen. i.e. gepositoneerd t.o.v. het
gemiddelde en in eenheden van standaarddeviate.
- ! beta niet te verwarren met de theoretsche beta coëfciënten in de POPULATIEregressie
In SPPS is b gegeven als B(Unstandardized Coefcient)
De standarized coëfciënt Beta wordt afgelezen als een stiging van één standaarddeviate in xi doet
yi met Beta standaarddeviates stigen.
In de toepassing betekent dit dat een verhoging van 1 SD in jaren de BP doet stjgen met 0,696 SD.
Waar de unstandardized coefcient B een prediciteve waarde bezit binnen de regressievergelijking
2
