Samenvatting statistiek 3
Vrije Universiteit Amsterdam
1
,Week 1: Herhaling statistiek 1 en 2
Hoofdstuk 11
Enkelvoudige regressiemodel (bivariate)= omvat een model waarin een lineaire lijn de
relatie tussen een voorspelende (afhankelijke) variabele en verklarende (onafhankelijke)
variabele impliceert. De onafhankelijke variabele is de X-variabele en de afhankelijke
variabele is de Y-variabele.
Dit model bevat 1 voorspeller.Formule= E (y) = a + Bx
Meervoudig regressiemodel= omvat een lineaire relatie met twee of meer verklarende
kwantitatieve variabelen (x1 en x2 zijn onafhankelijk). Elke nieuwe verklarende variabele
wordt met een additionele Bx beschreven in de formule. Dit model bevat 2 voorspellers.
Formule =
• Y’ = is de voorspelde score op de resultaatvariabele Y
• b0 = is de intercept of constante
• b = is de helling
Het intercept is de voorspelde Y-score wanneer X gelijk is aan 0. De helling is de
hoeveelheid verandering in de ruwe score op Y, bij toename van een eenheid in de ruwe
score op X. Daarnaast zegt de helling iets over de aard van het verband tussen X en Y
(positief/negatief lineair).
Een bivariate regressie is nauw verwant met Pearson’s r. De schaal loopt van -1 tot +1.
Bivariate regressie gaat ervan uit dat het verband tussen X en Y lineair is, wat inhoudt dat de
scores op Y kunnen worden voorspeld met een lineaire functies van de scores op X.
De grootte van de r geeft aan hoe goed de voorspelde Y’ scores overeenkomen met de
werkelijke waargenomen Y’ scores. Hoe dichter de r de 1 nadert, hoe beter de voorspelde
scores overeenkomen met de waargenomen scores. De parameters b0 en b worden zo
berekend dat zij de beste mogelijke voorspellingen geven voor Y.
De best mogelijke voorspelling wordt berekend met de kleinste
kwadratenmethode/Ordinary least squares method (OLS). Deze methode zorgt ervoor
dat we de best passende lijn vinden, die de beste lijn in de populatie weergeeft. Dit betekent
dat we bepaalde kwadraten gaan minimaliseren. Dit doen we door het totaal van de
gekwadrateerde afwijkingen in verticale zin daar het kwadraat van, dat getal zo klein mogelijk
te krijgen.
Formule =
• y= geobserveerde y score yˆ= voorspelde y score
Stappen:
1. Het residu berekenen = de afstand van de echte waarde y
2. Y tot onze voorspelde waarde, formule = y – yˆ
3. Bereken de som van alle fouten = alle bovenstaande uitkomsten optellen.
4. Vervolgens kwadrateer je deze som, totale formule = ∑(y - yˆ)2
5. ∑(y - yˆ)2 = SSE = som of squared errors.
2
,We kunnen de lijn gebruiken om aan de hand van de ene variabele de andere variabele te
voorspellen. Hiervoor moeten we eerst uitrekenen hoeveel de lijn stijgt. Dat noemen we de
helling of de richtingscoëfficiënt (b1).
We kijken dan naar: hoeveel stijgt y wanneer x met 1 toeneemt. Dit kunnen we berekenen
door de verandering in y te delen door de verandering in x.
• Als x toeneemt en y neemt af, dan komt er dus een negatief getal uit.
• Minimaliseren = Σ(Y′-Y)2=Σ(e2 )=SSE
De volgende formules kunnen gebruikt worden om α en β te schatten/uit te rekenen
Σ(X − M X )(Y − M Y )
b1 =
OF
Σ(X − M X )2 (andere notatie)
b = de kruisproduct van de deviatie scores in de teller tonen of er positief of negatief
verband zal zijn en hoe sterk dit verband is.
OF
b0 = M Y − b1M X
Enkelvoudige regressieanalyse in SPSS = effect hardlopen:
Uit deze output moeten we weer a en b halen en de regressievergelijking opstellen:
• Depressie = 37.27 - 1.32 * hardlopen.
Wat is de voorspelde depressie-score bij gegeven aantal uren hardlopen? Invullen
geeft:
3
, Er zijn twee soorten modellen:
• Een theoretisch model = over mogelijke causale en niet-causale verbanden tussen
variabelen, vaak weergegeven in de vorm van een pad diagram. Bijvoorbeeld: een
mediatie model.
• Een statistisch model = Een vergelijking die scores op Y voorspelt op basis van scores
op één of meer predictoren X. Bijvoorbeeld: een statistisch lineair model.
Lineaire modellen:
• Lineair model kan consistent of inconsistent zijn met theoretisch model;
• Uitkomsten lineair model vormen nooit sluitend bewijs dat theoretisch model
geldig is = dit betekent dat vaak meerdere theoretische modellen consistent zijn met één
lineair model, dus een statisch model. Dit kan bijvoorbeeld een theoretisch mediatie
verband zijn of een schijnverband, waardoor je nog niet met zekerheid kan zeggen wat
eraan de grondslag ligt.
• Voor theoretische modellen met causale paden zijn experimenten nodig om meer
uitsluitsel te geven = dit betekent dat we niet op basis van correlaties causale
uitspraken kunnen doen.
Algemene lineaire modellen = Omvat alle modellen met een kwantitatieve y.
• F-toets in GLM = Alle toetsen voor kwantitatieve y uitvoerbaar met F-toets. Bij iedere
toets in GLM wordt een compleet model vergeleken met een gereduceerd model: Is het
weglaten van de parameter(s) een significante verslechtering?
X1 X2 Y Methode
Kwantitatief Kwantitatief Enkelvoudige lineaire regressie
Kwantitatief Kwantitatief Kwantitatief Meervoudige lineaire regressie
Categorisch Kwantitatief Eenwegs ANOVA
Categorisch Categorisch Kwantitatief Tweewegs ANOVA
Kwantitatief Categorisch Kwantitatief Lineaire regressie met dummies (of
ANCOVA)
Categorisch Kwantitatief Kwantitatief ANCOVA (of lineaire regressie met
dummies)
4
Vrije Universiteit Amsterdam
1
,Week 1: Herhaling statistiek 1 en 2
Hoofdstuk 11
Enkelvoudige regressiemodel (bivariate)= omvat een model waarin een lineaire lijn de
relatie tussen een voorspelende (afhankelijke) variabele en verklarende (onafhankelijke)
variabele impliceert. De onafhankelijke variabele is de X-variabele en de afhankelijke
variabele is de Y-variabele.
Dit model bevat 1 voorspeller.Formule= E (y) = a + Bx
Meervoudig regressiemodel= omvat een lineaire relatie met twee of meer verklarende
kwantitatieve variabelen (x1 en x2 zijn onafhankelijk). Elke nieuwe verklarende variabele
wordt met een additionele Bx beschreven in de formule. Dit model bevat 2 voorspellers.
Formule =
• Y’ = is de voorspelde score op de resultaatvariabele Y
• b0 = is de intercept of constante
• b = is de helling
Het intercept is de voorspelde Y-score wanneer X gelijk is aan 0. De helling is de
hoeveelheid verandering in de ruwe score op Y, bij toename van een eenheid in de ruwe
score op X. Daarnaast zegt de helling iets over de aard van het verband tussen X en Y
(positief/negatief lineair).
Een bivariate regressie is nauw verwant met Pearson’s r. De schaal loopt van -1 tot +1.
Bivariate regressie gaat ervan uit dat het verband tussen X en Y lineair is, wat inhoudt dat de
scores op Y kunnen worden voorspeld met een lineaire functies van de scores op X.
De grootte van de r geeft aan hoe goed de voorspelde Y’ scores overeenkomen met de
werkelijke waargenomen Y’ scores. Hoe dichter de r de 1 nadert, hoe beter de voorspelde
scores overeenkomen met de waargenomen scores. De parameters b0 en b worden zo
berekend dat zij de beste mogelijke voorspellingen geven voor Y.
De best mogelijke voorspelling wordt berekend met de kleinste
kwadratenmethode/Ordinary least squares method (OLS). Deze methode zorgt ervoor
dat we de best passende lijn vinden, die de beste lijn in de populatie weergeeft. Dit betekent
dat we bepaalde kwadraten gaan minimaliseren. Dit doen we door het totaal van de
gekwadrateerde afwijkingen in verticale zin daar het kwadraat van, dat getal zo klein mogelijk
te krijgen.
Formule =
• y= geobserveerde y score yˆ= voorspelde y score
Stappen:
1. Het residu berekenen = de afstand van de echte waarde y
2. Y tot onze voorspelde waarde, formule = y – yˆ
3. Bereken de som van alle fouten = alle bovenstaande uitkomsten optellen.
4. Vervolgens kwadrateer je deze som, totale formule = ∑(y - yˆ)2
5. ∑(y - yˆ)2 = SSE = som of squared errors.
2
,We kunnen de lijn gebruiken om aan de hand van de ene variabele de andere variabele te
voorspellen. Hiervoor moeten we eerst uitrekenen hoeveel de lijn stijgt. Dat noemen we de
helling of de richtingscoëfficiënt (b1).
We kijken dan naar: hoeveel stijgt y wanneer x met 1 toeneemt. Dit kunnen we berekenen
door de verandering in y te delen door de verandering in x.
• Als x toeneemt en y neemt af, dan komt er dus een negatief getal uit.
• Minimaliseren = Σ(Y′-Y)2=Σ(e2 )=SSE
De volgende formules kunnen gebruikt worden om α en β te schatten/uit te rekenen
Σ(X − M X )(Y − M Y )
b1 =
OF
Σ(X − M X )2 (andere notatie)
b = de kruisproduct van de deviatie scores in de teller tonen of er positief of negatief
verband zal zijn en hoe sterk dit verband is.
OF
b0 = M Y − b1M X
Enkelvoudige regressieanalyse in SPSS = effect hardlopen:
Uit deze output moeten we weer a en b halen en de regressievergelijking opstellen:
• Depressie = 37.27 - 1.32 * hardlopen.
Wat is de voorspelde depressie-score bij gegeven aantal uren hardlopen? Invullen
geeft:
3
, Er zijn twee soorten modellen:
• Een theoretisch model = over mogelijke causale en niet-causale verbanden tussen
variabelen, vaak weergegeven in de vorm van een pad diagram. Bijvoorbeeld: een
mediatie model.
• Een statistisch model = Een vergelijking die scores op Y voorspelt op basis van scores
op één of meer predictoren X. Bijvoorbeeld: een statistisch lineair model.
Lineaire modellen:
• Lineair model kan consistent of inconsistent zijn met theoretisch model;
• Uitkomsten lineair model vormen nooit sluitend bewijs dat theoretisch model
geldig is = dit betekent dat vaak meerdere theoretische modellen consistent zijn met één
lineair model, dus een statisch model. Dit kan bijvoorbeeld een theoretisch mediatie
verband zijn of een schijnverband, waardoor je nog niet met zekerheid kan zeggen wat
eraan de grondslag ligt.
• Voor theoretische modellen met causale paden zijn experimenten nodig om meer
uitsluitsel te geven = dit betekent dat we niet op basis van correlaties causale
uitspraken kunnen doen.
Algemene lineaire modellen = Omvat alle modellen met een kwantitatieve y.
• F-toets in GLM = Alle toetsen voor kwantitatieve y uitvoerbaar met F-toets. Bij iedere
toets in GLM wordt een compleet model vergeleken met een gereduceerd model: Is het
weglaten van de parameter(s) een significante verslechtering?
X1 X2 Y Methode
Kwantitatief Kwantitatief Enkelvoudige lineaire regressie
Kwantitatief Kwantitatief Kwantitatief Meervoudige lineaire regressie
Categorisch Kwantitatief Eenwegs ANOVA
Categorisch Categorisch Kwantitatief Tweewegs ANOVA
Kwantitatief Categorisch Kwantitatief Lineaire regressie met dummies (of
ANCOVA)
Categorisch Kwantitatief Kwantitatief ANCOVA (of lineaire regressie met
dummies)
4
