Aantekeningen Statistische modellen 2
Docenten: Rink Hoekstra
Andrea Stoevenbelt
Practica: Jasmine Muradchanian
College 1 – Regressieanalyse
Herhaling/ basiskennis
De populatie is de groep waar je uitspraak over wilt doen. Deze groep bestaat vaak uit veel mensen,
waardoor er een steekproef getrokken wordt uit deze populatie. Een parameter is een numerieke
samenvatting van een eigenschap in de populatie. Een statistic is een numerieke samenvatting van
een eigenschap in de steekproef.
Door een random steekproef te trekken, zorg je ervoor dat de steekproef meer representatief is voor
de populatie dan wanneer je een selecte steekproef trekt. Representativiteit is belangrijk voor de
generaliseerbaarheid (externe validiteit) van je onderzoek.
Bij beschrijvende statistiek wordt er gekeken naar gemiddelde, spreiding, mediaan, minimum,
maximum, IQR, etc. Deze maten kunnen ook grafisch worden weergegeven in een histogram,
boxplot, spreidingsdiagram, Q-Q-plot, etc.
Inferentiële (toetsende) statistiek wordt gebruikt om kansuitspraken te doen over parameters. Twee
methodes hiervoor zijn het toetsen van hypothesen en betrouwbaarheidsintervallen.
Bij een significantie-toets kijk je naar bewijs tegen de nulhypothese (H0). Bij een nulhypothese heeft
een populatiegrootheid een bepaalde waarde. De alternatieve hypothese (Ha) geeft aan dat de
populatiegrootheid die waarde niet heeft (maar > (rechtszijdig), < (linkszijdig) of ≠ (tweezijdig)).
De p-waarde is de kans om een uitkomst te vinden zo extreem of nog extreme dan het gevonden
effect, als de nulhypothese waar zou zijn. Hoe kleiner de p-waarde, des te sterker is het bewijs tegen
de nulhypothese. Dit betekent dus des te onwaarschijnlijker de nulhypothese is. De p-waarde
vergelijk je hierbij met het significantieniveau α (α = 0.05, tenzij anders aangegeven).
- p < α = significant: “Er lijkt bewijs te zijn tegen de nulhypothese” “Er lijkt een populatie-effect te
zijn”
- p > α = niet significant: “Er is onvoldoende bewijs om de nulhypothese te verwerpen” “We
hebben geen idee of er een populatie-effect is”
- NOM = nominale variabelen (labels)
- DUM = dummyvariabelen (geeft aan of je in een bepaalde groep zit, waarde van 1 of 0)
- INT = interval/kwantitatieve variabele
Bij een 95% betrouwbaarheidsinterval kunnen we zeggen dat we voor 95% zeker zijn dat de
parameter in het gevonden interval ligt.
Lineair verband
Het simpelste verband tussen y (respons variabele) en x (verklarende variabele) is een lineair
verband: ^y = a + bx
1
, - a is hierbij het intercept (snijpunt met de y-as)
- b is hierbij de helling/slope (de verandering in y, wanneer x met één eenheid toeneemt)
• Wanneer b gelijk is aan 0, dan is er sprake van een horizontale lijn
• Wanneer b positief is geldt: y neemt toe wanneer x toeneemt; hoge y-waardes gaan samen
met hoge x-waardes
• Wanneer b negatief is geldt: y neemt af wanneer x toeneemt; lage y-waardes gaan samen met
hoge x-waardes
Aan de hand van een scatterplot kan gekeken worden of er sprake is van lineairiteit. Hierin kunnen
we ook uitbijters zien. Deze uitbijters kunnen sterk van invloed zijn op de lineaire lijn ^y = a + bx.
De lijn ^y = a + bx maakt een schatting van de waarde y voor een bepaalde x-waarde. Dit zorgt voor
een deterministisch model; elke waarde van x correspondeert met een apart y-waarde. Het verschil
tussen de geobserveerde waarde van y en de geschatte waarde (y - ^y ) noemen we het residu. Dit is
dus ook wel het verticale verschil tussen het punt en de lineaire lijn.
De lijn ^y = a + bx wordt ook wel de kleinste kwadraten lijn (least squares line) genoemd, doordat het
de lijn in met de kleinste som van gekwadrateerde residuen heeft. Dit betekent dat te lage
voorspellingen van y worden opgeheven door te hoge voorspellingen van y. En dat de lijn door het
centrum van de data gaat (dus door het punt x , y ).
Lineair regressie model
Het is niet realistisch om een deterministisch model aan te houden bij de sociale wetenschappen.
Het komt namelijk amper voor dat respondenten met dezelfde x-waarde ook altijd dezelfde y-waarde
hebben.
Een probablistisch model met een regressiefunctie past daarom beter: E(y) = a + bx
Voor een gegeven x vertegenwoordigt a + bx het gemiddelde van de voorwaardelijke verdeling van y
voor proefpersonen met die waarde van x.
Correlatie
De correlatie (r) is een maat voor het lineaire verband of de lineaire samenhang tussen 2
kwantitatieve variabelen. Een samenvattingsmaat die hieraan vooraf gaat is de covariantie.
n
1
cov(x,y) = Sxy =
n−1 ∑ ( xi −x ) ( y i− y )
i=1
Als de covariantie positief is, is er ook sprake van een positief verband tussen de twee variabelen. Dit
leidt ook tot een positieve correlatie, waarbij geldt dat een hoge x-waarde hoort bij een hoge y-
waarde of een lage x-waarde hoort bij een lage y-waarde.
Als de covariantie negatief is, is er ook sprake van een negatief verband tussen de twee variabelen.
Dit leidt ook tot een negatieve correlatie, waarbij geldt dat een hoge x-waarde hoort bij een lage y-
waarde en een lage x-waarde met een hoge y-waarde.
De correlatie kan dan gedefinieerd worden als:
( )( )
xi −x y i− y
n n
1 1
rxy =
n−1
∑ sx sy
=
n−1 ∑ zix z iy
i=1 i=1
De correlatie heeft als eigenschap: -1 r 1
- Correlatie = 1 wordt bereikt als in een scatterplot van de twee variabelen alle punten op één lijn
liggen met een positieve hellingshoek (de lijn loopt omhoog).
- Correlatie = 0 wordt bereikt als een geen lineaire samenhang is tussen twee variabelen. Er kan wel
sprake zijn van een ander soort samenhang. Hierbij geldt: b = 0 en dus ^y = y .
- Correlatie = -1 wordt bereikt als in een scatterplot van de twee variabelen alle punten op één lijn
liggen met een negatieve hellingshoek (de lijn loopt naar beneden).
2
, • Positieve r
hoge x-waarde samen met
hoge y-waarde
lage x-waarde samen met
lage y-waarde
• Negatieve r
hoge x-waarde samen met
lage y-waarde
lage x-waarde samen met
hoge y-waarde
Als je alleen naar correlatie kijkt en niet naar plaatsjes, dan wordt je soms op het verkeerde been
gezet. Zo kan er een 3e variabele (lurking variable) zijn die de relatie beïnvloedt.
oVoorbeeld: Het aantal uren dat iemand tv kijkt, hangt sterk samen met hoeveel iemand rookt. Dit
betekent NIET, dat doordat je veel rookt je veel tv gaat kijken. Een verklaring door derde
variabele: sociale klasse. In lagere klasse kijkt men meer tv en rookt men meer.
Bij de Simpson’s paradox beïnvloedt een 3e variabele de andere twee variabelen. Door deze 3 e
variabele mee te nemen in je analyse, kun je opeens een heel andere resultaat krijgen. Het verband
tussen de twee variabelen draait om qua richting, doordat je de 3 e variabele meeneemt.
Door de correlatie te kwadrateren (r2 of R sqaure), kun je de verschillen in y verklaren door x
(“proportie verklaarde variantie”). Hiermee kijk je hoe goed jou regressielijn past bij de data. Het
geeft de sterkte voor een lineaire relatie aan.
o Voorbeeld: r = .86
r2 = R square = .74, dus 74% van de variantie in y wordt verklaard door de regressie van y op x
1 – r2 is de onverklaarde variantie
E1−E 2
r2 = coefficient of determination = ∑ ¿¿ ¿ =
E1
Voor r2 geldt: 0 ≤ r2 ≤ 1. Als r2 hoog is (dus dicht bij 1 of 100% zit), dan lijkt x een goede voorspeller
voor y te zijn. Als r2 laag is (dus dichter bij 0), dan is x een minder goede voorspeller voor y.
Regressieanalyse
Bij een regressieanalyse wordt een causaal verband gesuggereerd. Er zijn 3 criteria waaraan voldaan
moet worden bij een causaal verband:
1) Er moet een relatie zijn tussen X en Y
• Dit betekent dat wanneer X verandert Y ook zal veranderen
2) De tijdvolgorde moet juist zijn
• X veroorzaakt Y
3) Alternatieve verklaringen moeten geëlimineerd worden
• Met observationele studies kunnen we nooit bewijzen dat de ene variabele de oorzaak is van
de andere. Hierdoor wordt er gebruikgemaakt van gerandomiseerde experimenten
Er bestaan verschillende soorten regressieanalyses:
- Enkelvoudige regressieanalyse
- Meervoudige regressieanalyse
- Logistische regressieanalyse
3
Docenten: Rink Hoekstra
Andrea Stoevenbelt
Practica: Jasmine Muradchanian
College 1 – Regressieanalyse
Herhaling/ basiskennis
De populatie is de groep waar je uitspraak over wilt doen. Deze groep bestaat vaak uit veel mensen,
waardoor er een steekproef getrokken wordt uit deze populatie. Een parameter is een numerieke
samenvatting van een eigenschap in de populatie. Een statistic is een numerieke samenvatting van
een eigenschap in de steekproef.
Door een random steekproef te trekken, zorg je ervoor dat de steekproef meer representatief is voor
de populatie dan wanneer je een selecte steekproef trekt. Representativiteit is belangrijk voor de
generaliseerbaarheid (externe validiteit) van je onderzoek.
Bij beschrijvende statistiek wordt er gekeken naar gemiddelde, spreiding, mediaan, minimum,
maximum, IQR, etc. Deze maten kunnen ook grafisch worden weergegeven in een histogram,
boxplot, spreidingsdiagram, Q-Q-plot, etc.
Inferentiële (toetsende) statistiek wordt gebruikt om kansuitspraken te doen over parameters. Twee
methodes hiervoor zijn het toetsen van hypothesen en betrouwbaarheidsintervallen.
Bij een significantie-toets kijk je naar bewijs tegen de nulhypothese (H0). Bij een nulhypothese heeft
een populatiegrootheid een bepaalde waarde. De alternatieve hypothese (Ha) geeft aan dat de
populatiegrootheid die waarde niet heeft (maar > (rechtszijdig), < (linkszijdig) of ≠ (tweezijdig)).
De p-waarde is de kans om een uitkomst te vinden zo extreem of nog extreme dan het gevonden
effect, als de nulhypothese waar zou zijn. Hoe kleiner de p-waarde, des te sterker is het bewijs tegen
de nulhypothese. Dit betekent dus des te onwaarschijnlijker de nulhypothese is. De p-waarde
vergelijk je hierbij met het significantieniveau α (α = 0.05, tenzij anders aangegeven).
- p < α = significant: “Er lijkt bewijs te zijn tegen de nulhypothese” “Er lijkt een populatie-effect te
zijn”
- p > α = niet significant: “Er is onvoldoende bewijs om de nulhypothese te verwerpen” “We
hebben geen idee of er een populatie-effect is”
- NOM = nominale variabelen (labels)
- DUM = dummyvariabelen (geeft aan of je in een bepaalde groep zit, waarde van 1 of 0)
- INT = interval/kwantitatieve variabele
Bij een 95% betrouwbaarheidsinterval kunnen we zeggen dat we voor 95% zeker zijn dat de
parameter in het gevonden interval ligt.
Lineair verband
Het simpelste verband tussen y (respons variabele) en x (verklarende variabele) is een lineair
verband: ^y = a + bx
1
, - a is hierbij het intercept (snijpunt met de y-as)
- b is hierbij de helling/slope (de verandering in y, wanneer x met één eenheid toeneemt)
• Wanneer b gelijk is aan 0, dan is er sprake van een horizontale lijn
• Wanneer b positief is geldt: y neemt toe wanneer x toeneemt; hoge y-waardes gaan samen
met hoge x-waardes
• Wanneer b negatief is geldt: y neemt af wanneer x toeneemt; lage y-waardes gaan samen met
hoge x-waardes
Aan de hand van een scatterplot kan gekeken worden of er sprake is van lineairiteit. Hierin kunnen
we ook uitbijters zien. Deze uitbijters kunnen sterk van invloed zijn op de lineaire lijn ^y = a + bx.
De lijn ^y = a + bx maakt een schatting van de waarde y voor een bepaalde x-waarde. Dit zorgt voor
een deterministisch model; elke waarde van x correspondeert met een apart y-waarde. Het verschil
tussen de geobserveerde waarde van y en de geschatte waarde (y - ^y ) noemen we het residu. Dit is
dus ook wel het verticale verschil tussen het punt en de lineaire lijn.
De lijn ^y = a + bx wordt ook wel de kleinste kwadraten lijn (least squares line) genoemd, doordat het
de lijn in met de kleinste som van gekwadrateerde residuen heeft. Dit betekent dat te lage
voorspellingen van y worden opgeheven door te hoge voorspellingen van y. En dat de lijn door het
centrum van de data gaat (dus door het punt x , y ).
Lineair regressie model
Het is niet realistisch om een deterministisch model aan te houden bij de sociale wetenschappen.
Het komt namelijk amper voor dat respondenten met dezelfde x-waarde ook altijd dezelfde y-waarde
hebben.
Een probablistisch model met een regressiefunctie past daarom beter: E(y) = a + bx
Voor een gegeven x vertegenwoordigt a + bx het gemiddelde van de voorwaardelijke verdeling van y
voor proefpersonen met die waarde van x.
Correlatie
De correlatie (r) is een maat voor het lineaire verband of de lineaire samenhang tussen 2
kwantitatieve variabelen. Een samenvattingsmaat die hieraan vooraf gaat is de covariantie.
n
1
cov(x,y) = Sxy =
n−1 ∑ ( xi −x ) ( y i− y )
i=1
Als de covariantie positief is, is er ook sprake van een positief verband tussen de twee variabelen. Dit
leidt ook tot een positieve correlatie, waarbij geldt dat een hoge x-waarde hoort bij een hoge y-
waarde of een lage x-waarde hoort bij een lage y-waarde.
Als de covariantie negatief is, is er ook sprake van een negatief verband tussen de twee variabelen.
Dit leidt ook tot een negatieve correlatie, waarbij geldt dat een hoge x-waarde hoort bij een lage y-
waarde en een lage x-waarde met een hoge y-waarde.
De correlatie kan dan gedefinieerd worden als:
( )( )
xi −x y i− y
n n
1 1
rxy =
n−1
∑ sx sy
=
n−1 ∑ zix z iy
i=1 i=1
De correlatie heeft als eigenschap: -1 r 1
- Correlatie = 1 wordt bereikt als in een scatterplot van de twee variabelen alle punten op één lijn
liggen met een positieve hellingshoek (de lijn loopt omhoog).
- Correlatie = 0 wordt bereikt als een geen lineaire samenhang is tussen twee variabelen. Er kan wel
sprake zijn van een ander soort samenhang. Hierbij geldt: b = 0 en dus ^y = y .
- Correlatie = -1 wordt bereikt als in een scatterplot van de twee variabelen alle punten op één lijn
liggen met een negatieve hellingshoek (de lijn loopt naar beneden).
2
, • Positieve r
hoge x-waarde samen met
hoge y-waarde
lage x-waarde samen met
lage y-waarde
• Negatieve r
hoge x-waarde samen met
lage y-waarde
lage x-waarde samen met
hoge y-waarde
Als je alleen naar correlatie kijkt en niet naar plaatsjes, dan wordt je soms op het verkeerde been
gezet. Zo kan er een 3e variabele (lurking variable) zijn die de relatie beïnvloedt.
oVoorbeeld: Het aantal uren dat iemand tv kijkt, hangt sterk samen met hoeveel iemand rookt. Dit
betekent NIET, dat doordat je veel rookt je veel tv gaat kijken. Een verklaring door derde
variabele: sociale klasse. In lagere klasse kijkt men meer tv en rookt men meer.
Bij de Simpson’s paradox beïnvloedt een 3e variabele de andere twee variabelen. Door deze 3 e
variabele mee te nemen in je analyse, kun je opeens een heel andere resultaat krijgen. Het verband
tussen de twee variabelen draait om qua richting, doordat je de 3 e variabele meeneemt.
Door de correlatie te kwadrateren (r2 of R sqaure), kun je de verschillen in y verklaren door x
(“proportie verklaarde variantie”). Hiermee kijk je hoe goed jou regressielijn past bij de data. Het
geeft de sterkte voor een lineaire relatie aan.
o Voorbeeld: r = .86
r2 = R square = .74, dus 74% van de variantie in y wordt verklaard door de regressie van y op x
1 – r2 is de onverklaarde variantie
E1−E 2
r2 = coefficient of determination = ∑ ¿¿ ¿ =
E1
Voor r2 geldt: 0 ≤ r2 ≤ 1. Als r2 hoog is (dus dicht bij 1 of 100% zit), dan lijkt x een goede voorspeller
voor y te zijn. Als r2 laag is (dus dichter bij 0), dan is x een minder goede voorspeller voor y.
Regressieanalyse
Bij een regressieanalyse wordt een causaal verband gesuggereerd. Er zijn 3 criteria waaraan voldaan
moet worden bij een causaal verband:
1) Er moet een relatie zijn tussen X en Y
• Dit betekent dat wanneer X verandert Y ook zal veranderen
2) De tijdvolgorde moet juist zijn
• X veroorzaakt Y
3) Alternatieve verklaringen moeten geëlimineerd worden
• Met observationele studies kunnen we nooit bewijzen dat de ene variabele de oorzaak is van
de andere. Hierdoor wordt er gebruikgemaakt van gerandomiseerde experimenten
Er bestaan verschillende soorten regressieanalyses:
- Enkelvoudige regressieanalyse
- Meervoudige regressieanalyse
- Logistische regressieanalyse
3
