College 3
Hiërarchische regressie: modelselectieprocedures
Algemene richtlijnen voor variabeleselectie bij het bouwen van een model:
1. Selecteer relevante variabelen zodat het model theoretisch bruikbaar wordt.
2. Selecteer voldoende variabelen om voldoende power te krijgen (goed genoeg onderscheid
kunnen maken).
3. Houd het model zo eenvoudig mogelijk.
Welke variabelen ga je opnemen in je model?
Met een hiërarchische of sequentiële regressieanalyse voeg je stap voor stap (sets van)
onafhankelijke variabelen toe, of verwijder je deze, en analyseer je telkens de correlaties en
regressiecoëfficiënten (niet alleen zero-order correlaties, maar ook partieel en semi-partieel). Je
bouwt zo een regressiemodel op.
Twee manieren om dit te doen:
1. Handmatig toevoegen en verwijderen van onafhankelijke variabelen (dit heeft de voorkeur)
2. Laat software automatisch de keuze bepalen.
a. De software kijkt steeds naar of er significante (semi-)partiële correlaties zijn.
b. Gebruik de (niet-)significantie van de pri’s in de eerste stap
c. Minder erg als er geen duidelijke ordening in IV’s is, maar verder is deze techniek in
de sociale wetenschappen nogal vreemd (waarom zou je je laten leiden door
software/data?)
Eigenlijk moet je variabelen toevoegen/verwijderen op basis van theorie, en niet op basis van data bij
automatische selectie. Bij de laatste bepaalt de dataset eigenlijk volledig welke variabelen worden
opgenomen in het model. Dus daarom hebben we het liefst handmatige selectie waar goed over is
nagedacht.
Als we variabelen willen selecteren/verwijderen in SPSS moeten we wat veranderen aan de
instellingen. Op dit plaatje zie je het menu dat je krijgt bij lineaire regressie:
, Het menu ‘’Method’’ geeft aan op welke manier je variabelen toevoegt of verwijdert.
Handmatig selecteren:
- Eén voor één toevoegen: Enter -> optie Block
- Eén voor één verwijderen: Remove -> optie Block
Automatisch selecteren:
- Eén voor één toevoegen: Forward -> Forward Selection
- Eén voor één verwijderen: Backward -> Backward Elimination
- Mix van forward en backward: Stepwise -> Stepwise Regression
Technische achtergrond:
We gaan gebruik maken van de opbouw van de verklaarde variantie van y, dus de R² van y terwijl er k
variabelen in het model zitten. Dit wordt zo genoteerd:
Elke keer dat er een variabele bijkomt, stijgt de R²-waarde. De grootte van de toename van deze
waarde is de semi-partiële correlatiewaarde in het kwadraat. Dus we gaan kijken naar de opsplitsing
van de R²-waarde in termen van semi-partiële correlaties.
Voorbeeld: we voegen 4 variabelen toe (enter). Dus op deze volgorde: eerst voegen we X1 toe, als
deze er in zit komt X2 erbij, dan X3, etc. Bij elke variabele komt er een stukje verklaarde variantie bij.
X1 is de correlatie van deze variabele met y in het kwadraat. Als X1 er al in zit, en X2 komt erbij, dan
is de semi-partiële correlatiewaarde van X2 het stukje verklaarde variantie dat erbij komt, er rekening
mee houdend dat X1 er al in zit. En als X3 erbij komt, neemt de variantie toe met de semi-partiële
correlatiewaarde van X3 als X1 en X2 al in het model zitten.
Wanneer we de variabelen er in een andere volgorde inzetten, heeft dit voor de uiteindelijke R²-
waarde geen effect, maar wel voor de opbouw ervan.
Voorbeeld: hier beginnen we als eerste met het kwadraat van de correlatie tussen de derde x-
variabele met y, en voegen we vervolgens de unieke bijdragen van de andere variabelen toe.
Binnen de gedragswetenschappen is het aangeraden om zelf een ordening te kiezen, op basis van
theorie. Je wilt weten welke variabele het sterkst of het zwakst zijn.
Hiërarchische regressie: modelselectieprocedures
Algemene richtlijnen voor variabeleselectie bij het bouwen van een model:
1. Selecteer relevante variabelen zodat het model theoretisch bruikbaar wordt.
2. Selecteer voldoende variabelen om voldoende power te krijgen (goed genoeg onderscheid
kunnen maken).
3. Houd het model zo eenvoudig mogelijk.
Welke variabelen ga je opnemen in je model?
Met een hiërarchische of sequentiële regressieanalyse voeg je stap voor stap (sets van)
onafhankelijke variabelen toe, of verwijder je deze, en analyseer je telkens de correlaties en
regressiecoëfficiënten (niet alleen zero-order correlaties, maar ook partieel en semi-partieel). Je
bouwt zo een regressiemodel op.
Twee manieren om dit te doen:
1. Handmatig toevoegen en verwijderen van onafhankelijke variabelen (dit heeft de voorkeur)
2. Laat software automatisch de keuze bepalen.
a. De software kijkt steeds naar of er significante (semi-)partiële correlaties zijn.
b. Gebruik de (niet-)significantie van de pri’s in de eerste stap
c. Minder erg als er geen duidelijke ordening in IV’s is, maar verder is deze techniek in
de sociale wetenschappen nogal vreemd (waarom zou je je laten leiden door
software/data?)
Eigenlijk moet je variabelen toevoegen/verwijderen op basis van theorie, en niet op basis van data bij
automatische selectie. Bij de laatste bepaalt de dataset eigenlijk volledig welke variabelen worden
opgenomen in het model. Dus daarom hebben we het liefst handmatige selectie waar goed over is
nagedacht.
Als we variabelen willen selecteren/verwijderen in SPSS moeten we wat veranderen aan de
instellingen. Op dit plaatje zie je het menu dat je krijgt bij lineaire regressie:
, Het menu ‘’Method’’ geeft aan op welke manier je variabelen toevoegt of verwijdert.
Handmatig selecteren:
- Eén voor één toevoegen: Enter -> optie Block
- Eén voor één verwijderen: Remove -> optie Block
Automatisch selecteren:
- Eén voor één toevoegen: Forward -> Forward Selection
- Eén voor één verwijderen: Backward -> Backward Elimination
- Mix van forward en backward: Stepwise -> Stepwise Regression
Technische achtergrond:
We gaan gebruik maken van de opbouw van de verklaarde variantie van y, dus de R² van y terwijl er k
variabelen in het model zitten. Dit wordt zo genoteerd:
Elke keer dat er een variabele bijkomt, stijgt de R²-waarde. De grootte van de toename van deze
waarde is de semi-partiële correlatiewaarde in het kwadraat. Dus we gaan kijken naar de opsplitsing
van de R²-waarde in termen van semi-partiële correlaties.
Voorbeeld: we voegen 4 variabelen toe (enter). Dus op deze volgorde: eerst voegen we X1 toe, als
deze er in zit komt X2 erbij, dan X3, etc. Bij elke variabele komt er een stukje verklaarde variantie bij.
X1 is de correlatie van deze variabele met y in het kwadraat. Als X1 er al in zit, en X2 komt erbij, dan
is de semi-partiële correlatiewaarde van X2 het stukje verklaarde variantie dat erbij komt, er rekening
mee houdend dat X1 er al in zit. En als X3 erbij komt, neemt de variantie toe met de semi-partiële
correlatiewaarde van X3 als X1 en X2 al in het model zitten.
Wanneer we de variabelen er in een andere volgorde inzetten, heeft dit voor de uiteindelijke R²-
waarde geen effect, maar wel voor de opbouw ervan.
Voorbeeld: hier beginnen we als eerste met het kwadraat van de correlatie tussen de derde x-
variabele met y, en voegen we vervolgens de unieke bijdragen van de andere variabelen toe.
Binnen de gedragswetenschappen is het aangeraden om zelf een ordening te kiezen, op basis van
theorie. Je wilt weten welke variabele het sterkst of het zwakst zijn.
