Samenvatting Method & Statistics III: Multivariate Data-analyses

1

Assignment  SPSS en Course combi
Exercises  voorbereiding op de toets
Soms wat uitdagender dan de toets

, 2



College 2: Lineaire regressie
- Simpele regressie
o Model vergelijking met parameters en beta
o Model fit: R square en F-test
o Voorspellers beoordelen
o Resultaten rapporteren
o Outliers
- Multiple regressie

Hoofdstuk 8: Regressie
Regressie is een manier om de waarde van een andere variabele te voorspellen
- Het is een hypothetisch model van de relatie tussen twee variabele
- Het model is lineair
- De relatie wordt omschreven met een vergelijking van een rechte lijn
Bij regressie maken we ten opzichte van correlatie wel onderscheid tussen de onafhankelijke
en de afhankelijke variabele. De onafhankelijke is hier dan ook wel de voorspeller, predictor.
Een regressie lijn is een rechte lijn die beschrijft hoe een uitkomst variabele y verandert als
een verklarende variabele x verandert.

- Een regressie scatterplot gaat gepaard met een regressielijn vergelijking:
- ^y =b0 +b1 x of ook wel y=ax+ b
- X is de waarde van de verklarende variabele
- ^y is de verwachte waarde van de uitkomst variabele voor de gegeven waarde van x
- b 1 is de helling van de lijn, ook wel de hoeveelheid waarmee y verandert per één stap
x
- b 0 is het intercept, de waarde van y als de lijn de y-as snijdt dus x=0

sy s
b 1=r x Y i=b0 +b1 X i +ε i y
sx y
sx
- B1 is de regressiecoëfficiënt
o Helling van de regressielijn
o Afhankelijk van de schaal van de variabele
- B0 is het intercept (waarde van Y als x=0)
o Punt waar de regressie lijn de Y-as snijdt
- Aflezen van de SPSS-output
o B0=constant
o B1=variabele in de B kolom

, 3


ANOVA: Beoordelen hoe goed een regressie model is:
- Is het model in staat de werkelijkheid te reflecteren?
- Kan gedaan worden met een ANOVA; kijken of het model beter is in het voorspellen
dan gebruik te maken van de gemiddelde




-
- SSt totaal= SSm model + SSe Error
- SSm model is hoever de regressie van de orginele waarde afligt
o In een perfect model is dit SS model= SS totaal
- Als SSe=SSt dan is 0% van de variante verklaard door het model




o Dus een slecht model
- In SPSS output:
o SS regression =model
o SS residual = error
o SS total = total
o Je gaat kijken wat het oppervlakte is van het overlappende gedeelte dus dat
doe je door SSmodel te delen door de SStotaal (wat je overigens ook ziet in
Rquare in de model summary)
 1 =100%
 0=0%
- Mean squared Error
o Sums of squares zijn de totale waarde
o Worden geuit in gemiddeldes (MS=SS/df) en worden Mean squares genoemd
(MS)
Variantie verklaard door het model Effect
o Test statistiek = =
Variantie niet verklaard door het model Error
o Df = degrees of freedom  hoeveelheid onafhankelijke stukken informatie die
gebruikt worden om de statistiek te berekenen

, 4

o




- Het uiteindelijke doel is om de model variantie kleiner te krijgen dan random
o F> 1 is al iets, bij F=1 zijn ze hetzelfde
- Uit de F waarde kan een P waarde volgen
o Hoe hoger de F, hoe kleiner de P
- De predictor beoordeeld worden aan de hand van een T-test




-
- Een t-test is altijd de coëfficiënt of de parameter gedeeld door de SE
Je kan ook het regressiemodel gaan testen met ANOVA: Variantieanalyse, een begrip uit de
statistiek, vaak aangeduid als ANOVA, is een toetsingsprocedure om na te gaan of de
populatiegemiddelden van meer dan 2 groepen van elkaar verschillen. Het is in die zin een
generalisatie van de t-toets voor twee steekproeven.
Mean Square = sum of squares : df
Wat doe je als je niks weet en eigenlijk te weinig informatie hebt?  Dan ga je uit van het
gemiddelde want dat is je best guess.
Vervolgens ga je kijken naar wat de afstand is van de punten naar het gemiddelde en dit
kwadrateer je, zo kom je vervolgens op je sum of squares SSy
Groen  SST, Sum of squares total, Zwart  punt tot lijn, is de regressie en Groen – Zwart 
Residu