Workshop Statistische modelbouw - Regressiemodellen - RUG (PABA3011)

Workshop Statistische modelbouw
Duo 8: Ymke Riemersma – Cijfers op schoolvakken
C1 – Meervoudige relaties en modellen
Een conceptueel model brengt relaties tussen variabelen in kaart. Voordat je zo’n model kunt maken,
moet je theoretisch onderzoek gedaan hebben. Deze informatie kun je halen uit wetenschappelijke
modellen. Welke variabelen zijn aan elkaar gerelateerd en hoe?
- Afhankelijke variabele (uitkomstmaat/ responsevariabele): de variabele waar de pijl naar toe gaat
(y)
- Onafhankelijke variabele (verklarende variabele): Hierbij kan onderscheidt gemaakt worden
tussen predictoren, factoren (categorisch) en covariabele/ covariaten (kwantitatief). Het is de
variabele waar de pijl vanaf gaat (x)
Met lineaire regressiemodellen kun je het conceptueel model omzetten naar een formule.
Enkelvoudige lineaire regressie model
Er is een lineaire relatie tussen 2 variabelen (een afhankelijke variabele en een onafhankelijke
variabele). Hierbij is y een continue variabele en is kwantitatieve maat/ interval niveau. De x variabele
mag zowel kwantitatief als categoriaal zijn. Bijbehorende vragen kunnen zijn:
- Wat is de relatie tussen x en y?
- Wat is het effect van x op y?
- Is x een voorspeller van y?
Voor de populatie geldt de volgende vergelijking/ formule voor de regressielijn:
yi = β0 + β1x1 + ε i = μy + ε i
- yi = Afhankelijke variabele voor person i
- xi = Onafhankelijke variabele voor persoon i
- β0 = Intercept = De waarde voor y bij x = 0
Δy
- β1 = Helling =
Δx
- ε i = Individuele afwijking (fout/ error/ residu/ ruis) ten opzichte van de verwachte waarde van y i
gegeven de waarde van xi
Er is sprake van een normaal verdeling > N(0, σ ) > Het gemiddelde is 0 en de standaarddeviatie is σ
In de steekproef geldt de volgende vergelijking/ formule voor de regressielijn:
yi = b0 + b1x1 + ei = ^y i + ei
- b0 is het geschatte intercept
- b1 is de geschatte helling
- ei is het geschatte residu
β0 en β1 worden geschat met b0 en b1 door middel van de kleinste kwadraten methode (Ordinary
Least Squares). We schatten deze regressiecoëfficiënten op een zodanige manier dat de som van de
n n
gekwadrateerde residuen zo klein mogelijk is. Oftewel minimaliseer ∑ e = ∑ ¿¿ .
2
i
i=1 i=1

,De geschatte regressielijn wordt dan: ^y = b0 + b1x
- b0 = y – b 1 x
cov ( x , y ) sy
- b1 = =r∙
var ( x ) sx
Correlatie en regressie zijn dus aan elkaar gerelateerd!
Meervoudige lineaire regressiemodel
Een meervoudige lineaire regressiemodel wordt gebruikt wanneer er sprake is van 2 verklarende
variabelen.
De vergelijking voor de populatie is dan:
𝑦𝑖 = 𝛽0 + 𝛽1𝑥1𝑖 + 𝛽2𝑥2𝑖 + 𝜀𝑖 = 𝜇𝑦 + 𝜀𝑖
De principes zijn hierbij hetzelfde als bij de enkelvoudige regressiemodellen, maar er is nu een
regressievlak in plaats van een regressielijn.
De vergelijking voor de steekproef is:
yi = b0 + b1x1i + b2x2i + ei = 𝜇𝑦 + ei
Voorbeeld:
Taalscore (y) hangt af van IQ (x1) en rekenscore (x2)
Vergelijking: taalscore = β0 + β1IQ + β2rekenscore
Interactie-effect – Moderatie
Bij een interactie wordt de relatie tussen 2 variabelen verschillend voor verschillende waarden van de
3e variabele. Deze 3e variabele is van invloed op de afhankelijke variabele, maar speelt ook een rol bij
de relatie tussen de andere onafhankelijke variabele en de afhankelijke variabele.
Voorbeeld:
Taal is een functie van IQ en rekenscore
Vergelijking: taalscore = β0 + β1IQ + β2rekenscore + β3IQrekenscore
Meetniveaus
- Categorisch
- Ordinaal met 4 of minder categorieën Categorisch
- Ordinaal met 5 of meer categorieën
- Interval Kwantitatief
- Ratio
Het meetniveau van de variabelen bepaalt welke samenvattingsmaat je gebruikt:
- Bij categorische variabelen gebruik je percentages
- Bij kwantitatieve variabelen gebruik je de verdeling, gemiddelden, standaarddeviaties, range, ect.

, C2 – Meervoudige relaties en modellen
Standaarddeviatie van 2 groepen vergelijken, om te kijken of de een niet 2x zo groot is als de ander.
Bij een ANOVA kijk je naar de kleinste standaarddeviatie en de grootste standaarddeviatie.
Correlatie
Correlatie is een maat voor lineaire associatie. Hierbij geldt: -1 ≤ r ≤ 1. Des te dichter de correlatie bij
1 of -1 komt, des te sterker is de lineaire associatie:




Positieve covariantie geeft een positieve helling en dus een positieve correlatie.
Dummy
Bij categorische onafhankelijke variabelen moet je dummy variabelen maken om tot de juiste
resultaten te komen. Geslacht is al een dummy variabele, doordat het al 2 categorieën heeft.
Voor categorische variabelen met meer dan 2 categorieën geldt: aantal dummy variabelen = aantal
categorieën – 1.