HC 1 – multipele regressie
Onderzoeksvraag: kunnen we iemands waarde op een kenmerk voorspellen met kennis over andere
kenmerken?
Afhankelijke variabele Y: kenmerk gemeten op minimaal interval meetniveau
Onafhankelijke variabelen X: ook wel predictoren
• Kenmerk gemeten op minimaal interval meetniveau
• Categorisch kenmerk met twee categorieën; nominaal meetniveau met twee categorieën
noemen we dichotoom (bv sekse)
• Categorisch kenmerk met meer dan twee categorieën; nominaal meetniveau wordt omgezet
in dummyvariabelen (bv etnische achtergrond)
o Kan niet zomaar meegenomen worden in multipele regressie, moet eerst omgezet
worden
• Kennis over welk meetniveau het gaat is erg belangrijk
Doelen:
• Beschrijven van relaties tussen variabelen (regressiemodel)
• Toetsen hypothesen over relaties (significantie)
• Kwantificeren van relaties (effectgrootte)
• Kwalificeren van relaties (klein, middel, groot)
• Beoordelen relevantie relaties (subjectief)
o Bovenste drie beoordelen het effect. En hoe goed het model is om spreiding te
verklaren
• Voorspellen van iemands waarde met regressiemodel (puntschatting en intervalschatting)
! Doe op basis van statistische samenhang geen uitspraken over causaliteit !
– geeft wel ondersteuning
Regressiemodel
Verklaringsmodel
Modelvergelijking; voor geobserveerde variabele Y (kennis van de literatuur)
- Hoe kleiner de error hoe beter het model
Regressiemodel; voor voorspellen van waarde op Y^ (alleen voor het rekenen gebruiken)
- Heeft geen residu/voorspellingsfout/E omdat mensen met dezelfde score combinatie (X1,
X2) dezelfde ^Y hebben, E is dan niet nodig
, E: andere dingen die ook van invloed zijn
op de uitkomst
Doel van MR is om te kijken hoe goed
variabelen/predictoren zijn om variantie
(spreiding in scores) in afhankelijke
variabelen te verklaren
Gaan kijken naar het verband. Als nul dan
kunnen we het beter gewoon weglaten
Lijn wordt gemaakt door te kijken naar kleinste kwadratencriterium, waarbij de gemiddelde
voorspellingsfout minimaal is
Positief residu (boven de lijn); onderschatting door het model??
Negatief residu (onder de lijn); is overschatting model ??
Goodness of fit → kwaliteit model – R^2
Het model (regressielijn) met kleinste residuele kwadratensom.
- Over de verdeeldheid van de residuen
- Hoe goed past mijn model bij de geobserveerde gegevens
- Kleinste kwadratensom residuen
Maar hoe goed is deze lijn dan? De residuen kunnen alsnog ver uiteenlopen
Bepalen goodness of fit (R2)
- Vergelijking lineair model (regressielijn) met basislijn-model/gemiddelde
- Vergelijken het model met een situatie waarbij we geen enkele kennis hebben over de
samenhang in de literatuur
o Gebruiken het gemiddelde op kennis van de literatuur
o Zonder het gebruik van predictoren
ss = sum of squares/ som van kwadraten deviaties
, individueel
Y^ = lineair model (schuin)
Y- = gemiddelde basislijn (horizontaal)
t = totale deviatie, m = verklaarde deel (model),
r = residu/voorspellingsfout
afstand tussen basismodel en individu * =
deviatie
Goodness-of-fit (R2): kwadratensom van model gedeeld door totale
kwadratensom. Proportie door X verklaarde variantie in Y
- Waarde tussen 0 en 1
Interpretatie R en R2
- Multipele correlatiecoëfficiënt R: correlatie tussen geobserveerde Y en Y^
- Determinatiecoëfficiënt R2: proportie in Y verklaarde variantie door het model
- het deel dat verklaard is
Waardering model
- Significantie (=toetsen)
- Kwantificeren relatie (=effectgrootte)
Toetsen R2 en B’s
Populatie: hypothesen
Steekproef: resultaten
Beschrijven
- Verklaring van Y door alle X’en (R2)
- Invloed afzonderlijke X’en op Y (B’s)
Alternatieve hypothesen
Nulhypothesen: R2 = 0, Ha: R2 > 0
Toetsen R2
Kan literatuurkennis verklaard worden met aantal boeken in ouderlijk huis en literatuurkennis vader
en literatuurkennis moeder?
Toets voor R2 – F-toets beoordeel je statistische significantie (a = .05)
Significantie = overscheidingskans = p-waarde
, Beoordelen R2 – met grootte van R2 kwantificeer je de relatie → groot, middel, klein
F-toets: Is de verklaarde variantie significant groter dan 0? Hoeveel verklaart het model ten opzichte
van het deel dat het model niet kan verklaren?
MS = mean sum of squares, SS/df, gemiddelde kwadratensom = variantie
F = model variantie/residuele variantie
Stelt ons instaat om wat we gevonden hebben in de steekproef de kans daarop gegeven de
nulhypothese te berekenen
Gegeven de nulhypothese wat is dan de kans dat een B wel aangeeft dat er positief of
negatief samenhang is. Hoe kan dat dan, doordat H0 niet juist is en er dus wel variantie
verklaard wordt/predictor effect
Toetsen B’s (coëfficiënten)
Kan literatuurkennis verklaard worden met aantal boeken in ouderlijk huis en/of literatuurkennis
vader en/of literatuurkennis moeder?
Toetsen van B coëfficiënt met t-toets (a = .05) → toets voor
afzonderlijke X’en
Invloed X’en beoordeeld met grootte beta’s – gestandaardiseerde B
Beta = gestandaardiseerde regressiecoëfficiënt
*Naar significantie van de constant/intercept hoef je niet te kijken (niet getoetst)*
Regressiecoëfficiënt B
- Gebruik je voor opstellen van regressievergelijking voor Y^
- Schaalafhankelijk
Gestandaardiseerde regressiecoëfficiënt Beta
- Gebruiken om predictoren (X’en) te vergelijken
- Beoordelen van invloed predictoren
- Beta is schaalonafhankelijk
- Hoe groter beta hoe groter invloed van deze predictor
Vergelijking modellen
Wanneer we een model willen uitbreiden gaan we kijken of de uitbreiding echt een verbetering is
van het model. Dit doen we door middel van een hiërarchische regressieanalyse . Is de toevoeging
van drie variabelen aan model statistisch zinvol?
- Beginnen met basis aantal predictoren (3)
- Als we deze vervolgens uitbreiden tot 6 is dat dan nog statistisch zinvol?
- Beoordelen door te kijken naar verbetering model/ van de verklaarde variantie
Onderzoeksvraag: kunnen we iemands waarde op een kenmerk voorspellen met kennis over andere
kenmerken?
Afhankelijke variabele Y: kenmerk gemeten op minimaal interval meetniveau
Onafhankelijke variabelen X: ook wel predictoren
• Kenmerk gemeten op minimaal interval meetniveau
• Categorisch kenmerk met twee categorieën; nominaal meetniveau met twee categorieën
noemen we dichotoom (bv sekse)
• Categorisch kenmerk met meer dan twee categorieën; nominaal meetniveau wordt omgezet
in dummyvariabelen (bv etnische achtergrond)
o Kan niet zomaar meegenomen worden in multipele regressie, moet eerst omgezet
worden
• Kennis over welk meetniveau het gaat is erg belangrijk
Doelen:
• Beschrijven van relaties tussen variabelen (regressiemodel)
• Toetsen hypothesen over relaties (significantie)
• Kwantificeren van relaties (effectgrootte)
• Kwalificeren van relaties (klein, middel, groot)
• Beoordelen relevantie relaties (subjectief)
o Bovenste drie beoordelen het effect. En hoe goed het model is om spreiding te
verklaren
• Voorspellen van iemands waarde met regressiemodel (puntschatting en intervalschatting)
! Doe op basis van statistische samenhang geen uitspraken over causaliteit !
– geeft wel ondersteuning
Regressiemodel
Verklaringsmodel
Modelvergelijking; voor geobserveerde variabele Y (kennis van de literatuur)
- Hoe kleiner de error hoe beter het model
Regressiemodel; voor voorspellen van waarde op Y^ (alleen voor het rekenen gebruiken)
- Heeft geen residu/voorspellingsfout/E omdat mensen met dezelfde score combinatie (X1,
X2) dezelfde ^Y hebben, E is dan niet nodig
, E: andere dingen die ook van invloed zijn
op de uitkomst
Doel van MR is om te kijken hoe goed
variabelen/predictoren zijn om variantie
(spreiding in scores) in afhankelijke
variabelen te verklaren
Gaan kijken naar het verband. Als nul dan
kunnen we het beter gewoon weglaten
Lijn wordt gemaakt door te kijken naar kleinste kwadratencriterium, waarbij de gemiddelde
voorspellingsfout minimaal is
Positief residu (boven de lijn); onderschatting door het model??
Negatief residu (onder de lijn); is overschatting model ??
Goodness of fit → kwaliteit model – R^2
Het model (regressielijn) met kleinste residuele kwadratensom.
- Over de verdeeldheid van de residuen
- Hoe goed past mijn model bij de geobserveerde gegevens
- Kleinste kwadratensom residuen
Maar hoe goed is deze lijn dan? De residuen kunnen alsnog ver uiteenlopen
Bepalen goodness of fit (R2)
- Vergelijking lineair model (regressielijn) met basislijn-model/gemiddelde
- Vergelijken het model met een situatie waarbij we geen enkele kennis hebben over de
samenhang in de literatuur
o Gebruiken het gemiddelde op kennis van de literatuur
o Zonder het gebruik van predictoren
ss = sum of squares/ som van kwadraten deviaties
, individueel
Y^ = lineair model (schuin)
Y- = gemiddelde basislijn (horizontaal)
t = totale deviatie, m = verklaarde deel (model),
r = residu/voorspellingsfout
afstand tussen basismodel en individu * =
deviatie
Goodness-of-fit (R2): kwadratensom van model gedeeld door totale
kwadratensom. Proportie door X verklaarde variantie in Y
- Waarde tussen 0 en 1
Interpretatie R en R2
- Multipele correlatiecoëfficiënt R: correlatie tussen geobserveerde Y en Y^
- Determinatiecoëfficiënt R2: proportie in Y verklaarde variantie door het model
- het deel dat verklaard is
Waardering model
- Significantie (=toetsen)
- Kwantificeren relatie (=effectgrootte)
Toetsen R2 en B’s
Populatie: hypothesen
Steekproef: resultaten
Beschrijven
- Verklaring van Y door alle X’en (R2)
- Invloed afzonderlijke X’en op Y (B’s)
Alternatieve hypothesen
Nulhypothesen: R2 = 0, Ha: R2 > 0
Toetsen R2
Kan literatuurkennis verklaard worden met aantal boeken in ouderlijk huis en literatuurkennis vader
en literatuurkennis moeder?
Toets voor R2 – F-toets beoordeel je statistische significantie (a = .05)
Significantie = overscheidingskans = p-waarde
, Beoordelen R2 – met grootte van R2 kwantificeer je de relatie → groot, middel, klein
F-toets: Is de verklaarde variantie significant groter dan 0? Hoeveel verklaart het model ten opzichte
van het deel dat het model niet kan verklaren?
MS = mean sum of squares, SS/df, gemiddelde kwadratensom = variantie
F = model variantie/residuele variantie
Stelt ons instaat om wat we gevonden hebben in de steekproef de kans daarop gegeven de
nulhypothese te berekenen
Gegeven de nulhypothese wat is dan de kans dat een B wel aangeeft dat er positief of
negatief samenhang is. Hoe kan dat dan, doordat H0 niet juist is en er dus wel variantie
verklaard wordt/predictor effect
Toetsen B’s (coëfficiënten)
Kan literatuurkennis verklaard worden met aantal boeken in ouderlijk huis en/of literatuurkennis
vader en/of literatuurkennis moeder?
Toetsen van B coëfficiënt met t-toets (a = .05) → toets voor
afzonderlijke X’en
Invloed X’en beoordeeld met grootte beta’s – gestandaardiseerde B
Beta = gestandaardiseerde regressiecoëfficiënt
*Naar significantie van de constant/intercept hoef je niet te kijken (niet getoetst)*
Regressiecoëfficiënt B
- Gebruik je voor opstellen van regressievergelijking voor Y^
- Schaalafhankelijk
Gestandaardiseerde regressiecoëfficiënt Beta
- Gebruiken om predictoren (X’en) te vergelijken
- Beoordelen van invloed predictoren
- Beta is schaalonafhankelijk
- Hoe groter beta hoe groter invloed van deze predictor
Vergelijking modellen
Wanneer we een model willen uitbreiden gaan we kijken of de uitbreiding echt een verbetering is
van het model. Dit doen we door middel van een hiërarchische regressieanalyse . Is de toevoeging
van drie variabelen aan model statistisch zinvol?
- Beginnen met basis aantal predictoren (3)
- Als we deze vervolgens uitbreiden tot 6 is dat dan nog statistisch zinvol?
- Beoordelen door te kijken naar verbetering model/ van de verklaarde variantie
