College 1 – 07-02-2022 ➔ Regressieanalyse
Overzicht Cursus
1. Regressieanalyse
2. Multivariate relaties
3. Variantieanalyse
4. Covariantieanalyse
5. Regressieanalyse met categorische predictoren
6. Logistische regressieanalyse
7. Repeated measures ANOVA
Soorten variabelen
- NOM: nominaal (“labels”)
- DUM: dummyvariabelen (bv. D = 1: experimenteel, D = 0: controle)
- INT: interval/kwantitatieve variabele
Verschillende modellen
Onafh. Afh.
X1 X2 Y Model
DUM INT t-toets voor onafhankelijke groepen
NOM INT éénwegvariantieanalyse (ANOVA)
NOM NOM INT tweewegvariantieanalyse (ANOVA)
INT INT enkelvoudige regressieanalyse
INT INT INT multipele regressieanalyse
INT NOM INT covariantieanalyse
INT DUM DUM logistische regressieanalyse
Afh.
Y1 Y2 Y3 Model
INT INT t-toets voor gepaarde waarnemingen
INT INT INT repeated measures ANOVA
Regressieanalyse = het voorspellen van een intervalvariabele uit een of meerdere andere variabelen
Lineaire relaties
In veel onderzoekssituaties zijn er intervalvariabelen (INT), zoals:
- Lengte, gewicht, leeftijd
- Schaalscores voor introversie, depressie, coping, attitude
- Vaardigheidsscores voor taal, rekenen
Vanuit een wetenschappelijke theorie hebben we vaak verwachtingen over hoe variabelen
gerelateerd zijn. Hoe kan je een relatie uitdrukken?
, Voorbeeld: Onderzoek naar depressie en coping (deel 1)
Steekproef van N = 84 random geselecteerde RUG-studenten
Twee variabelen:
- BDI (Beck Depression Inventory): 0-9 weinig, 10-18 mild, 19-29 matig, 30-63 zware depressie
- Coping score: 0 = geen coping, 10 = goed kunnen omgaan met tegenslag
Onderzoeksvraag: Is er een relatie tussen BDI en coping (in de populatie)?
→ Hogere scores op coping, lagere score op BDI
Veronderstel: relatie is lineair → toename in coping is proportioneel t.o.v. afname BDI
Een lineair model werkt goed in de praktijk, het blijkt dat veel relaties tussen twee intervalvariabelen
redelijk met een lineair verband zijn samen te vatten. Een lijn wordt beschreven door een helling, dit
getal (= parameter) geeft de richting van relatie weer en geeft een interpretatie aan de relatie.
Welke lijn moet je nemen? → Bereken alle residuen (= afstanden punten tot lijn), kwadrateer alle
residuen (want dan zijn positieve en negatieve waarden gelijk en je wordt gestraft voor punten die
ver weg liggen), tel alle gekwadrateerde residuen op en kies een lijn zodat deze som zo klein mogelijk
is. Kleinste kwadratensom van residuen is uniek en geeft een unieke lijn.
Intermezzo
- Nulhypothese: een populatiegrootheid heeft een bepaalde waarde
- Alternatieve hypothese: de populatie-grootheid heeft die waarde niet (groter, kleiner, ongelijk)
→ probeer de nulhypothese te verwerpen
vb. H0: = 0 versus Ha: ≠ 0 OF H0: ß1 = 0 versus Ha: ß1 > 0
>: rechtszijdig
<: linkszijdig
≠ : tweezijdig (welke van de drie blijkt uit de vraagstelling)
Hoe waarschijnlijk is het dat, uitgaande van de nulhypothese, de nulhypothese niet
waar is (en de alternatieve dus wel waar is)?
- Gebaseerd op een toetsingsgrootheid (test statistic):
Toetsingsgrootheid (z-waarde of t-waarde) is een noodzakelijke tussenstap
om van een statistic naar een bepaalde kans te komen.
,- p-waarde = “De kans om een uitkomst te vinden zo extreem of nog extremer dan het gevonden
effect, als H0 waar zou zijn.”
→ Hoe kleiner p des te sterker is het bewijs tegen de nulhypothese, d.w.z. hoe onwaarschijnlijker de
nulhypothese is. (Hoe klein is p? → vergelijk met significantieniveau )
- p < α : significant : “er lijkt bewijs tegen de nulhypothese” (dit hoeft niet per se sterk bewijs te zijn)
- p > α : niet significant : “geen idee of er een populatie-effect is” (en dus niet: “er is waarschijnlijk
geen populatie-effect”) → je neemt de nulhypothese niet aan, maar je
verwerpt hem niet → p-waarde is niet de kans dat de nulhypothese waar is
- NB: wees voorzichtig! Rigide interpretaties zijn zelden wenselijk
- Test statistic: “hoeveel standaardfouten ligt gevonden uitkomst van de waarde onder de H0 af”?
- P-waarde: wat is de kans op minstens de gevonden test statistic indien H0 waar zou zijn?
Voorbeeld: Onderzoek naar depressie en coping (deel 2)
Met kleinste kwadratenlijn kunnen we nu een aantal vragen beantwoorden
Onderzoeksvraag 1: Is er een lineaire relatie tussen BDI en coping in de populatie?
Pearson correlatie
- Maat voor sterkte lineaire relatie
- Nulhypothese bij t-toets → H0: r = 0 (geen relatie)
- p < 0.001 → significante relatie tussen BDI en coping
- Relatie negatief: meer coping gaat samen met minder depressie
- SPSS:
Onderzoeksvraag 2 Hoe sterk is de lineaire relatie tussen BDI en coping?
Pearson correlatie
- maat voor sterkte van een lineaire relatie
- kwadraat van de correlatie is de gemeenschappelijke variantie tussen variabelen
→ (–0.88)2 = 0.774 →BDI en coping hebben dus 77% variantie gemeenschappelijk
Onderzoeksvraag 3 (1 + 2): Kan BDI voorspeld worden door coping?
→ Enkelvoudige regressieanalyse (= regressieanalyse met één voorspeller)
Statistisch model
Relatie tussen variabelen in de populatie: yi = β0 + β1xi + i
- yi = score op afhankelijke variabele y voor persoon i
- xi = score onafhankelijke variabele x voor persoon i
- i = residu (error, afwijking)
- Regressiecoëfficiënten: - β0 = intercept
- β1 = helling (slope)
De regressiecoëfficiënten moeten geschat worden (uit de steekproef).
, Statistisch model heeft de vorm data = model + error
- data = yi
- model = β0 + β1xi (regressielijn)
- error = I (geeft aan hoeveel iemand boven of onder de regressielijn zijt; normaal verdeeld
met gemiddelde 0)
Coëfficiënten zijn niet direct observeerbaar (populatielijn):
- β0 = intercept
- β1 = helling (slope)
Ze moeten geschat worden, dit gebeurt met kleinste kwadratenmethode.
yˆ = b + b x
Geschatte regressielijn is dan i 0 1 i
- b0 = schatter van β0
- b1 = schatter van β1
- Voor gemak schrijven we: BDI = b0 + b1*coping
Vergelijking voor een lijn: y = ax +b
- b = intercept (waarde van y als x = 0) (snijpunt y-as)
- a = helling (slope) (geeft steilheid van de lijn)
BDI = b0 + b1*coping
- b0 = intercept (waarde van BDI als coping = 0)
- b1 = helling (slope) (geeft steilheid van de lijn) b1 = –5.2 (dalend)
Het is niet nodig dat alle punten op de regressielijn liggen.
Restrictie: homoscedasticiteit = verticale spreiding (van onder naar boven) is voor ongeveer alle
waarden van X gelijk
SPSS-analyse
Analyze/Regression/Linear
Coëfficiëntentabel:
Unstandardized coefficients:
- waarde van b0 (= 54.3) bij Constant
- waarde van b1 (= – 5.2) bij coping
- Invullen in BDI = b0 + b1*coping geeft de geschatte regressievergelijking: BDI = 54.3 – 5.2*coping
t-toets voor populatie-intercept
- H0: β0 = 0
- Toets of populatie-intercept ongelijk aan 0 is
- t = 30.3, p < 0.001 → intercept waarschijnlijk ongelijk aan 0 in populatie
- Als toets niet significant, niet een probleem (intercept is dan heel klein)
t-toets voor populatie regressiecoëfficiënt van coping
- H0: β1 = 0
- Toets of coping een voorspeller is van BDI in populatie
- t = –16.7, p < 0.001
- coping lijkt in de populatie een voorspeller van BDI
Overzicht Cursus
1. Regressieanalyse
2. Multivariate relaties
3. Variantieanalyse
4. Covariantieanalyse
5. Regressieanalyse met categorische predictoren
6. Logistische regressieanalyse
7. Repeated measures ANOVA
Soorten variabelen
- NOM: nominaal (“labels”)
- DUM: dummyvariabelen (bv. D = 1: experimenteel, D = 0: controle)
- INT: interval/kwantitatieve variabele
Verschillende modellen
Onafh. Afh.
X1 X2 Y Model
DUM INT t-toets voor onafhankelijke groepen
NOM INT éénwegvariantieanalyse (ANOVA)
NOM NOM INT tweewegvariantieanalyse (ANOVA)
INT INT enkelvoudige regressieanalyse
INT INT INT multipele regressieanalyse
INT NOM INT covariantieanalyse
INT DUM DUM logistische regressieanalyse
Afh.
Y1 Y2 Y3 Model
INT INT t-toets voor gepaarde waarnemingen
INT INT INT repeated measures ANOVA
Regressieanalyse = het voorspellen van een intervalvariabele uit een of meerdere andere variabelen
Lineaire relaties
In veel onderzoekssituaties zijn er intervalvariabelen (INT), zoals:
- Lengte, gewicht, leeftijd
- Schaalscores voor introversie, depressie, coping, attitude
- Vaardigheidsscores voor taal, rekenen
Vanuit een wetenschappelijke theorie hebben we vaak verwachtingen over hoe variabelen
gerelateerd zijn. Hoe kan je een relatie uitdrukken?
, Voorbeeld: Onderzoek naar depressie en coping (deel 1)
Steekproef van N = 84 random geselecteerde RUG-studenten
Twee variabelen:
- BDI (Beck Depression Inventory): 0-9 weinig, 10-18 mild, 19-29 matig, 30-63 zware depressie
- Coping score: 0 = geen coping, 10 = goed kunnen omgaan met tegenslag
Onderzoeksvraag: Is er een relatie tussen BDI en coping (in de populatie)?
→ Hogere scores op coping, lagere score op BDI
Veronderstel: relatie is lineair → toename in coping is proportioneel t.o.v. afname BDI
Een lineair model werkt goed in de praktijk, het blijkt dat veel relaties tussen twee intervalvariabelen
redelijk met een lineair verband zijn samen te vatten. Een lijn wordt beschreven door een helling, dit
getal (= parameter) geeft de richting van relatie weer en geeft een interpretatie aan de relatie.
Welke lijn moet je nemen? → Bereken alle residuen (= afstanden punten tot lijn), kwadrateer alle
residuen (want dan zijn positieve en negatieve waarden gelijk en je wordt gestraft voor punten die
ver weg liggen), tel alle gekwadrateerde residuen op en kies een lijn zodat deze som zo klein mogelijk
is. Kleinste kwadratensom van residuen is uniek en geeft een unieke lijn.
Intermezzo
- Nulhypothese: een populatiegrootheid heeft een bepaalde waarde
- Alternatieve hypothese: de populatie-grootheid heeft die waarde niet (groter, kleiner, ongelijk)
→ probeer de nulhypothese te verwerpen
vb. H0: = 0 versus Ha: ≠ 0 OF H0: ß1 = 0 versus Ha: ß1 > 0
>: rechtszijdig
<: linkszijdig
≠ : tweezijdig (welke van de drie blijkt uit de vraagstelling)
Hoe waarschijnlijk is het dat, uitgaande van de nulhypothese, de nulhypothese niet
waar is (en de alternatieve dus wel waar is)?
- Gebaseerd op een toetsingsgrootheid (test statistic):
Toetsingsgrootheid (z-waarde of t-waarde) is een noodzakelijke tussenstap
om van een statistic naar een bepaalde kans te komen.
,- p-waarde = “De kans om een uitkomst te vinden zo extreem of nog extremer dan het gevonden
effect, als H0 waar zou zijn.”
→ Hoe kleiner p des te sterker is het bewijs tegen de nulhypothese, d.w.z. hoe onwaarschijnlijker de
nulhypothese is. (Hoe klein is p? → vergelijk met significantieniveau )
- p < α : significant : “er lijkt bewijs tegen de nulhypothese” (dit hoeft niet per se sterk bewijs te zijn)
- p > α : niet significant : “geen idee of er een populatie-effect is” (en dus niet: “er is waarschijnlijk
geen populatie-effect”) → je neemt de nulhypothese niet aan, maar je
verwerpt hem niet → p-waarde is niet de kans dat de nulhypothese waar is
- NB: wees voorzichtig! Rigide interpretaties zijn zelden wenselijk
- Test statistic: “hoeveel standaardfouten ligt gevonden uitkomst van de waarde onder de H0 af”?
- P-waarde: wat is de kans op minstens de gevonden test statistic indien H0 waar zou zijn?
Voorbeeld: Onderzoek naar depressie en coping (deel 2)
Met kleinste kwadratenlijn kunnen we nu een aantal vragen beantwoorden
Onderzoeksvraag 1: Is er een lineaire relatie tussen BDI en coping in de populatie?
Pearson correlatie
- Maat voor sterkte lineaire relatie
- Nulhypothese bij t-toets → H0: r = 0 (geen relatie)
- p < 0.001 → significante relatie tussen BDI en coping
- Relatie negatief: meer coping gaat samen met minder depressie
- SPSS:
Onderzoeksvraag 2 Hoe sterk is de lineaire relatie tussen BDI en coping?
Pearson correlatie
- maat voor sterkte van een lineaire relatie
- kwadraat van de correlatie is de gemeenschappelijke variantie tussen variabelen
→ (–0.88)2 = 0.774 →BDI en coping hebben dus 77% variantie gemeenschappelijk
Onderzoeksvraag 3 (1 + 2): Kan BDI voorspeld worden door coping?
→ Enkelvoudige regressieanalyse (= regressieanalyse met één voorspeller)
Statistisch model
Relatie tussen variabelen in de populatie: yi = β0 + β1xi + i
- yi = score op afhankelijke variabele y voor persoon i
- xi = score onafhankelijke variabele x voor persoon i
- i = residu (error, afwijking)
- Regressiecoëfficiënten: - β0 = intercept
- β1 = helling (slope)
De regressiecoëfficiënten moeten geschat worden (uit de steekproef).
, Statistisch model heeft de vorm data = model + error
- data = yi
- model = β0 + β1xi (regressielijn)
- error = I (geeft aan hoeveel iemand boven of onder de regressielijn zijt; normaal verdeeld
met gemiddelde 0)
Coëfficiënten zijn niet direct observeerbaar (populatielijn):
- β0 = intercept
- β1 = helling (slope)
Ze moeten geschat worden, dit gebeurt met kleinste kwadratenmethode.
yˆ = b + b x
Geschatte regressielijn is dan i 0 1 i
- b0 = schatter van β0
- b1 = schatter van β1
- Voor gemak schrijven we: BDI = b0 + b1*coping
Vergelijking voor een lijn: y = ax +b
- b = intercept (waarde van y als x = 0) (snijpunt y-as)
- a = helling (slope) (geeft steilheid van de lijn)
BDI = b0 + b1*coping
- b0 = intercept (waarde van BDI als coping = 0)
- b1 = helling (slope) (geeft steilheid van de lijn) b1 = –5.2 (dalend)
Het is niet nodig dat alle punten op de regressielijn liggen.
Restrictie: homoscedasticiteit = verticale spreiding (van onder naar boven) is voor ongeveer alle
waarden van X gelijk
SPSS-analyse
Analyze/Regression/Linear
Coëfficiëntentabel:
Unstandardized coefficients:
- waarde van b0 (= 54.3) bij Constant
- waarde van b1 (= – 5.2) bij coping
- Invullen in BDI = b0 + b1*coping geeft de geschatte regressievergelijking: BDI = 54.3 – 5.2*coping
t-toets voor populatie-intercept
- H0: β0 = 0
- Toets of populatie-intercept ongelijk aan 0 is
- t = 30.3, p < 0.001 → intercept waarschijnlijk ongelijk aan 0 in populatie
- Als toets niet significant, niet een probleem (intercept is dan heel klein)
t-toets voor populatie regressiecoëfficiënt van coping
- H0: β1 = 0
- Toets of coping een voorspeller is van BDI in populatie
- t = –16.7, p < 0.001
- coping lijkt in de populatie een voorspeller van BDI
