ARMS aantekeningen hoorcolleges
HC 1 – multiple linear regression
Simple/ multiple linear regression
Relation IQ and being a firstborn?
• There was found a significant positive relation → but does this mean that being a
first born that u found this relation, that the IQ is higher
• Is there a real effect of birth order on IQ?:
o Critically review the way the studies were performed:
▪ Representative samples?
▪ Reliable measures of variables?
▪ Correct analyses and correct interpretation of results
o Critically consider alternative explanations for the statistical association:
▪ Association = not causation
▪ Does effect remain when additional variables are included?: maybe there is a
3rd variabele die met beide IQ en wanneer geboren in relatie is en zo de
relatie verklaart
Adding variables
• Multiple linear regression is about adding variables to your model
• Simple linear regression:
o 1 outcome variable (Y)
o 1 predictor (X)
• Multiple linear regression
o 1 outcome (Y)
o Multiple predictors
• Outcome: dependent variable (DV)
• Predictor: independent variable (IV)
• Formule; linear regression equation: equation of a statistical model → be able to
write it down, fill it in, understand it
• ^ 3 predictors in the multiple linear regression
,Ways to decide if it’s a good statistical model, if X is an important predictor for Y
Relevance of a predictor (1): The amount of variance explained (R^2)
• Multiple linear regression: there is an outcome variable and interest in: predicting
the outcome or explaining why people score different on the outcome (explain
variation). Do this by looking at a set of possible predictor variables (independent
variables that help us understand variation in outcome)
• In Multiple regression important is: to what extend does the model/ the equation
explain variation in the data? Bv. Can the predictor explain why some people have
high and other people low IQ’s?
• R^2 (Rsquared): proportion of variation in Y that’s explained by the model/ by the
predictor variable (s): voorbeeld met zo’n rare table (hierarchical predictors? Voegt
steeds een predictor toe in nieuw model, kijk of de Rsquared groter is geworden > ja?
Dan is het model beter met de nieuwe predictor(s) erbij
• Rsquared is a proportion between 0 and 1: bv. R-squared of 0.56 tells us that 56% of
the variance in the outcome is explained by the model (the predictor(s))
• Model is a linear line, bc it’s a linear regression model: linear relation between X and
Y
• Left image: If the line described the dots well: we have a line that fits the data pretty
good; A lot of variation in Y is explained by the model, explained variation in Y is R^2
• Right image: Line with the dots spread wider around it: we have more residuals
(verschil echte punt en punt op de lijn), less of the variation in Y is explained by the
model, its fits less good than the one on the left.
Relevance of the predictor (2): The slope (helling) of the regression line (B1)
• Slope: if X increases by 1 how much does y increase
• Left image: If x increases, the predicted outcome/Y increases with the slope of the
line
, • Right image: if X increases with 1 point, my predicted Y increases a small value;
hardly increases
Multiple linear regression (MLR)
A. The model
• Y: Outcome variable
• B: intercept: geeft start van de lijn (bij x=0), het punt waar de regression line de y-as
kruist
• B1X1/ B2X2: If x increases, the predicted outcome/Y increases with the slope of the
line. Each predictor with its own slope/ regressioncoefficient (B)
• E: residual: A residual is the difference between the observed y-value (from scatter
plot) and the predicted y-value (from regression equation line). It is the vertical
distance from the actual plotted point to the point on the regression line); predicted
y- yhoedje
• Y = ‘Yhoedje’ + e:
o ‘Yhoedje’: prediction from the model with predicted scores → will probabaly not be
exactly the Y that you observe
o E: residual; the observed scores
• Achter elke letter staat een ‘I’ omdat voor elk persoon anders is
, • Additive linear model: only look at main effects; effect of X1 and effect of X2, look at
model were both of them are modeled together in an additive way
B. Types of variables
• Types of variables that are allowed in a multiple linear regression:
• The 4 measurement levels
o Interval meetniveau: Bij variabelen op intervalniveau hebben verschillen wel een
betekenis. Neem bijvoorbeeld temperatuur. Het verschil tussen 30° en 40° is
hetzelfde als het verschil tussen 70° en 80°. Je kunt echter niet zeggen dat 80°
twee keer zo warm is als 40°. (continuous) (quantative)
o Ratio meetniveau: Bij variabelen op rationiveau heb je altijd een nulpunt. Denk
aan gewicht, lengte of het aantal verkochte exemplaren van een product. Je kunt
uitspraken doen 'A scoort twee keer zo hoog als B'. als je de ratio kunt uitrekenen
en het heeft nog betekenis, dan spreken we van ratio. (Iemand van 2 meter is 2
keer zo groot als iemand van 1 meter, geld bv. Niet voor een cito score)
(continuous) (quantative)
o Ordinaal meetniveau: Een waarde op ordinaal niveau geeft alleen een volgorde
aan. Denk bijvoorbeeld aan opleiding. Er is wel sprake van volgorde, een hoger
nummer duidt op een hogere opleiding, maar het verschil tussen bijvoorbeeld 3
en 4 is niet hetzelfde als het verschil tussen 1 en 2. (categorical)
o Nominaal meetniveau: Hier heeft de waarde die een variabele kan aannemen
alleen de betekenis van een naam. Er is geen sprake van een volgorde. Denk
bijvoorbeeld aan rugnummers van een voetbalelftal. Je kunt niet zeggen dat de
speler met rugnummer 14 beter is dan de speler met rugnummer 7. (categorical)
o dichotomous = variables that hold 2 distinct values, bv: sex: man and woman
(categorical- nominal)
HC 1 – multiple linear regression
Simple/ multiple linear regression
Relation IQ and being a firstborn?
• There was found a significant positive relation → but does this mean that being a
first born that u found this relation, that the IQ is higher
• Is there a real effect of birth order on IQ?:
o Critically review the way the studies were performed:
▪ Representative samples?
▪ Reliable measures of variables?
▪ Correct analyses and correct interpretation of results
o Critically consider alternative explanations for the statistical association:
▪ Association = not causation
▪ Does effect remain when additional variables are included?: maybe there is a
3rd variabele die met beide IQ en wanneer geboren in relatie is en zo de
relatie verklaart
Adding variables
• Multiple linear regression is about adding variables to your model
• Simple linear regression:
o 1 outcome variable (Y)
o 1 predictor (X)
• Multiple linear regression
o 1 outcome (Y)
o Multiple predictors
• Outcome: dependent variable (DV)
• Predictor: independent variable (IV)
• Formule; linear regression equation: equation of a statistical model → be able to
write it down, fill it in, understand it
• ^ 3 predictors in the multiple linear regression
,Ways to decide if it’s a good statistical model, if X is an important predictor for Y
Relevance of a predictor (1): The amount of variance explained (R^2)
• Multiple linear regression: there is an outcome variable and interest in: predicting
the outcome or explaining why people score different on the outcome (explain
variation). Do this by looking at a set of possible predictor variables (independent
variables that help us understand variation in outcome)
• In Multiple regression important is: to what extend does the model/ the equation
explain variation in the data? Bv. Can the predictor explain why some people have
high and other people low IQ’s?
• R^2 (Rsquared): proportion of variation in Y that’s explained by the model/ by the
predictor variable (s): voorbeeld met zo’n rare table (hierarchical predictors? Voegt
steeds een predictor toe in nieuw model, kijk of de Rsquared groter is geworden > ja?
Dan is het model beter met de nieuwe predictor(s) erbij
• Rsquared is a proportion between 0 and 1: bv. R-squared of 0.56 tells us that 56% of
the variance in the outcome is explained by the model (the predictor(s))
• Model is a linear line, bc it’s a linear regression model: linear relation between X and
Y
• Left image: If the line described the dots well: we have a line that fits the data pretty
good; A lot of variation in Y is explained by the model, explained variation in Y is R^2
• Right image: Line with the dots spread wider around it: we have more residuals
(verschil echte punt en punt op de lijn), less of the variation in Y is explained by the
model, its fits less good than the one on the left.
Relevance of the predictor (2): The slope (helling) of the regression line (B1)
• Slope: if X increases by 1 how much does y increase
• Left image: If x increases, the predicted outcome/Y increases with the slope of the
line
, • Right image: if X increases with 1 point, my predicted Y increases a small value;
hardly increases
Multiple linear regression (MLR)
A. The model
• Y: Outcome variable
• B: intercept: geeft start van de lijn (bij x=0), het punt waar de regression line de y-as
kruist
• B1X1/ B2X2: If x increases, the predicted outcome/Y increases with the slope of the
line. Each predictor with its own slope/ regressioncoefficient (B)
• E: residual: A residual is the difference between the observed y-value (from scatter
plot) and the predicted y-value (from regression equation line). It is the vertical
distance from the actual plotted point to the point on the regression line); predicted
y- yhoedje
• Y = ‘Yhoedje’ + e:
o ‘Yhoedje’: prediction from the model with predicted scores → will probabaly not be
exactly the Y that you observe
o E: residual; the observed scores
• Achter elke letter staat een ‘I’ omdat voor elk persoon anders is
, • Additive linear model: only look at main effects; effect of X1 and effect of X2, look at
model were both of them are modeled together in an additive way
B. Types of variables
• Types of variables that are allowed in a multiple linear regression:
• The 4 measurement levels
o Interval meetniveau: Bij variabelen op intervalniveau hebben verschillen wel een
betekenis. Neem bijvoorbeeld temperatuur. Het verschil tussen 30° en 40° is
hetzelfde als het verschil tussen 70° en 80°. Je kunt echter niet zeggen dat 80°
twee keer zo warm is als 40°. (continuous) (quantative)
o Ratio meetniveau: Bij variabelen op rationiveau heb je altijd een nulpunt. Denk
aan gewicht, lengte of het aantal verkochte exemplaren van een product. Je kunt
uitspraken doen 'A scoort twee keer zo hoog als B'. als je de ratio kunt uitrekenen
en het heeft nog betekenis, dan spreken we van ratio. (Iemand van 2 meter is 2
keer zo groot als iemand van 1 meter, geld bv. Niet voor een cito score)
(continuous) (quantative)
o Ordinaal meetniveau: Een waarde op ordinaal niveau geeft alleen een volgorde
aan. Denk bijvoorbeeld aan opleiding. Er is wel sprake van volgorde, een hoger
nummer duidt op een hogere opleiding, maar het verschil tussen bijvoorbeeld 3
en 4 is niet hetzelfde als het verschil tussen 1 en 2. (categorical)
o Nominaal meetniveau: Hier heeft de waarde die een variabele kan aannemen
alleen de betekenis van een naam. Er is geen sprake van een volgorde. Denk
bijvoorbeeld aan rugnummers van een voetbalelftal. Je kunt niet zeggen dat de
speler met rugnummer 14 beter is dan de speler met rugnummer 7. (categorical)
o dichotomous = variables that hold 2 distinct values, bv: sex: man and woman
(categorical- nominal)
