Summary Notes Multiple Linear Regression | Statistics Educational Science | KU Leuven 2025/26

HS6: MULTIPLE LINEAR REGRESSION:

HC 11

DOEL VAN MEERVOUDIGE LINEAIRE REGRESSIE?
- 1 uitkomstvariabele (DV = y) voorspellen/verklaren met meerdere voorspellers (IV = x i) tegelijkertijd

- “Hoe hangt de DV samen met een bepaalde IV, als we tegelijk ook rekening houden
met andere IV?”

- Je controleert dus voor andere voorspellers
o = Je vergelijkt respondenten die gelijk zijn op IV2  kijkt dan of IV1 nog
samenhangt met DV
o = Je haalt effect v IV2 (hetgeen door IV2 verklaard) uit vergelijking om te
focussen op wat IV1 EXTRA bijdraagt

VERSCHIL MET SIMPLE LINEAR REGRESSION
- SLR: “Mensen met meer testangst scoren lager.”  1 voorspeller
- MLR: “Mensen met meer testangst scoren lager bij gelijke proefexamenscore.  meer voorspellers

WAAROM MLR?
- Stel: je onderzoekt verband tussen testangst en eindexamenscore

- Mogelijk onderzoeksresultaat
o Meer testangst (IV1) → lagere eindexamenscore (DV)
o PROBLEEM
 Komt mss niet doordat testangst (IV1) echt de score (DV) verlaagt.
 Misschien zijn studenten met meer testangst (IV1) gewoon ook minder goed voorbereid (IV2).
  Lagere score (DV) is te verklaren door minder kennis (IV2), niet door angst (IV1)

o OPLOSSING
 Voeg 2de voorspeller toe: proefexamenscore (IV2).
 Die gebruiken we als maat voor voorkennis of voorbereiding.
- Dus:
o SLR = eenvoudige regressie: eindexamenscore (DV) voorspellen uit alleen testangst (IV1)

o MLR = meervoudige regressie: eindexamenscore (DV) voorspellen uit testangst (IV1)
én proefexamenscore (IV2)

- Hierdoor kan je nagaan:
o Heeft testangst (IV1) nog een effect bovenop wat al verklaard wordt door proefexamenscore (IV2)?

REGRESSIEGEWICHT IN MLR
- = Verwachte verandering in DV bij ↑ vd predictor ( x i) met 1 eenheid, TERWIJL ANDERE VOORSPELLERS CONSTANT
BLIJVEN

AANDACHTSPUNT
- Regressieanalyse (net zoals in SLR) toont enkel verband
- Regressieanalyse (net zoals in SLR) toont GEEN causaliteit


EXAMPLE

"PACE OF LIFE" DATA
- For 36 North American cities :
o Bank : Average speed of service by bank staff (change for two $20 notes)
o Walk : Average speed of walking (60 feet, main street, rush hour, beautiful summer day)
o Talk : Speed of postal workers to explain difference between three types of mail (recorded, number of
syllables divided by time)
o Heart : Proportion of deaths due to reduced blood supply to the heart (corrected for age)

- All variables are transformed to the same scale and therefore have no unit of measurement

,
,RESEARCH QUESTION
- How well can we predict Heart with the variables Bank, Walk and Talk?
- Criterion and predictors are all numeric


DESCRIPTIVE STATISTICS AND DATA VISUALIZATION

CORRELATION MATRIX




 Predictors are correlated! = zegt hoe 2 variabelen samenhangen

CORRELATIE EN REGRESSIEGEWICHT ≠ Hetzelfde
- Correlatie: zegt hoe twee variabelen samenhangen
- Regressiegewicht: zegt het effect van een predictor terwijl andere voorspellers constant blijven


VARIABLES
- IV = independent variabel
- DV = depended variabel




- IV “Talk” not included for this illustration

DRAFTMAN'S PLOT OR MATRIX OF SCATTER DIAGRAMS




OEFENING

, VISIALIZATIONS


A coded scatter diagram A matrix of scatter diagrams of some continuous variables




Wat?
Wat?
- Scatterplot (puntenwolk) waarin extra info is
- Matrix (rooster) van meerdere scatterplots.
toegevoegd via codering.
- Je vergelijkt alle paren van variabelen tegelijk.
- Codering = kleur, symbool, grootte van punten…
Stel: je hebt 3 variabelen (X, Y, Z)
- Dan krijg je:
Doel:
o X vs Y
- Derde variabele zichtbaar maken.
o X vs Z
Voorbeeld: o Y vs Z
 X = leeftijd Synoniem
 Y = inkomen - Scatterplot matrix (pair plot)
 Kleur = man/vrouw - a Draftmansplot

Nog steeds scatterplot  maar “verrijkt”. Belangrijk inzicht:
- Wordt gebruikt in exploratieve data-analyse
- Je ziet meteen welke variabelen samenhangen

Matrix = nuttig MAAR onvoldoende


A residual plot A scatter diagram of two continuous variables




Wat? Wat?
- GEEN gewone scatterplot van ruwe data. - Dit is de klassieke scatterplot.
- Hier plot je: - Twee continue variabelen:
o X-as = voorspelde waarde (of X) o X-as = variabele 1
o Y-as = residu = fouten o Y-as = variabele 2
o Residu =
 Verschil tussen geobserveerde Doel:
waarde en voorspelde waarde - Verband zien (lineair? positief? negatief?)
 e i= y i− ^yi

Doel:
- Controleren of je regressiemodel goed is
- Je zoekt geen patroon (random wolk = goed model)