Aantekenigen Blok 1. Kwantitatieve Methoden
Week 1 - Regressieanalyse
- Variabelen
- Causatie en correlatie
Vanaf pagina 2
- Gemiddelde
- Variantie
- Standaarddeviatie
- Covariantie
- Correlatiecoëfficiënt
Week 2 - Hypothesetoetsing (6-stappenplan)
- Difference of Means
- Kritieke gebied
Vanaf pagina
- Nul- en alternatieve hypothese
16 - Bivariate regressievergelijking
Week 3 - Herhaling Bivariate regressievergelijking
- Multivariate regressievergelijking
Vanaf pagina - Adjusted R 2 (R-sq adj)
45
Week 4 - Gauss-Markov Theorema
- Measurement Error
- Waarom regressie?
Vanaf pagina
- Unbiased (zuiverheid) & Efficiency (efficiëntie)
58 - De Lineairiteitsveronderstelling
- Conditionele Gemiddelde-Onafhankelijkheid
Week 5 - Specificatiefout
- Lineair vs. Non-Lineair
- Soorten non-lineairiteit
Vanaf pagina
- Polynoommodel
69 - Additiviteit vs. Niet-additiviteit
- Interactie-effecten
Week 6 - Homoscedasticiteit vs. Heteroscedasticiteit
- Ongecorreleerde fouttermen
- Normaal verdeelde fouttermen
Vanaf pagina
- Multicollineariteit
82 - Natuurlijke Logaritmen Review
Week 7 - Logistische Regressie (Logistic Regression).
- S-Curve
- Odds
Vanaf pagina
- Logits
91 - Interpreteren van Logistische Regressie
1
,Week 1
Regressieanalyse
Wat is Regressieanalyse?
De regressieanalyse is een statistische analyse die het mogelijk maakt verbanden tussen
variabelen inzichtelijk te maken. Bijvoorbeeld het verband tussen overheidsuitgaven aan
onderwijs en schoolprestaties. Hierbij kan zowel de aanwezigheid en omvang van het
verband als het type verband (positief/negatief) worden onderzocht. In essentie duiden
de resultaten van een regressieanalyse alleen op correlatie. Er zijn echter geavanceerde
regressieanalyses die een causaal verband beter kunnen benaderen
In het kort: het is een statistische methode om het verband tussen een afhankelijke
variabele (wat je wilt voorspellen of verklaren) en een of meer onafhankelijke variabelen
(de oorzaken of voorspellers) te onderzoeken en te vangen in een formule
Hoe het werkt
- Je kijkt of de ene variabele verandert als de andere variabele verandert.
- De uitkomst is vaak een rechte lijn (een regressielijn) die de data zo goed mogelijk
samenvat.
Soorten regressieanalyse
- Enkelvoudige lineaire regressie: Er is één onafhankelijke variabele en één
afhankelijke variabele (bijvoorbeeld: lengte van ouders voorspellen op basis van
de lengte van een kind).
- Multipele (meervoudige) regressie: Je gebruikt meerdere onafhankelijke
variabelen tegelijk om één uitkomst te verklaren (bijvoorbeeld: iemands loon
voorspellen op basis van werkervaring, opleiding en leeftijd)
Belangrijk om te weten
- Een sterk verband betekent niet automatisch dat er sprake is van een directe
oorzaak (correlatie is geen causale relatie)
Leerdoelen
- Basis begrijpen: De theoretische achtergrond en werking van de techniek leren.
- Toepassen: De techniek praktisch kunnen toepassen op data.
- Interpreteren: De resultaten van de analyse correct kunnen uitleggen.
Variabelen (Variables)
Een variabele is een kenmerk of eigenschap van een onderzoeksobject die kan variëren
tussen verschillende observaties (bijv. personen, landen, bedrijven). Elk van deze
observaties heeft een specifieke waarde voor de variabele.
Een variabele vervult twee rollen:
1. Geoperationaliseerde weergave van een concept:
o Een concept (zoals Lengte of Democratie) is een abstract, theoretisch
begrip.
o Om dit te onderzoeken moeten we het meetbaar maken
(operationaliseren).
2. Attribuut / kenmerk van een specifieke observatie:
o De daadwerkelijke gemeten waarde voor een specifieke unit/persoon/land.
💡 Kerninzicht voor tentamens: Een abstract begrip (concept) kun je in kwantitatief
onderzoek pas analyseren via regressieanalyse als je het meetbaar hebt gemaakt
(geoperationaliseerd) in concrete waarden per observatie.
2
,Meetniveau Kenmerk Voorbeelden
Nominaal Categorieën: Alleen naamgeven en Geslacht, kleur, postcode, ja/nee (binair).
groeperen. Geen logische volgorde.
Ordinaal Rangorde: Er is een logische volgorde, Opleidingsniveau (HBO/WO), tevredenheid
maar de afstanden tussen stappen zijn (laag/midden/hoog).
niet meetbaar/gelijk.
Interval Numeriek: Gelijke stappen tussen Temperatuur in °C, IQ-score, jaartallen.
waarden, maar geen natuurlijk nulpunt
(0 betekent niet 'niets').
Ratio Numeriek + Nulpunt: Hoogste niveau. Lengte, gewicht, inkomen, leeftijd.
Er is een absoluut nulpunt (0 =
afwezigheid van de variabele).
Relaties tussen Variabelen (Relations between Variables)
- Afhankelijke variabele (Y ): De variabele die je wilt verklaren of voorspellen
(Dependent variable / variable to be explained).
- Onafhankelijke variabele ( X ): De variabele die de verklaring biedt
(Independent variable / explanatory variable).
Jargon: "Regress Y on X"
- Deze zin betekent: je voert een regressieanalyse uit waarbij Y de afhankelijke
variabele is en X de onafhankelijke variabele.
- Onthoudregel: Je verklaart Y aan de hand van Y =aX +B
y=a ⋅ x+ b Ý = β0 + β 1 ⋅ X Formule voor een rechte lijn
b β0 Startwaarde / Snijpunt met Y-as (waarde van Y als
(Intercept) X = 0)
a β 1 (Slope) Helling / Richtingscoëfficiënt (hoeveel Y verandert
per stapje X)
Als je twee punten hebt met coördinaten (x₁, y₁) en (x₂,
y₂), gebruik je deze formule
Causale Inferentie (Causality)
- Regressieanalyse helpt om oorzaak-gevolgrelaties (causal inference) te
onderzoeken.
- ⚠️ Typische tentamenvraag: Regressieanalyse alleen bewijst geen causatie!
Een statistisch verband is pas causaal als je onderzoek opgezet is met een goed
onderzoeksdesign (proper research design), bijvoorbeeld door te controleren
voor storende variabelen (confounders).
Waarom betekent correlatie niet automatisch causatie?
1. Storende variabelen (Confounders / Spurious relation):
o Een derde variabele ( Z ) veroorzaakt veranderingen in zowel X als Y .
o Voorbeeld: Warm weer ( Z ) zorgt voor zowel meer ijsverkopen ( X ) als
meer zwemmers/verdrinkingen (Y ). IJsjes veroorzaken geen verdrinkingen!
2. Omgekeerde causaliteit (Reverse Causality):
o Niet X veroorzaakt Y , maar Y veroorzaakt X .
3. Toeval (Spurious correlation):
3
, o Twee variabelen bewegen puur toevallig op dezelfde manier zonder
inhoudelijk verband.
Begrip Betekenis Klassiek Voorbeeld
Correlatie Er is een statistisch verband tussen IJsverkoop ( X ) en het aantal
(Samenhang) X en Y . Als X verandert, verandert Y verdronken zwemmers (Y )
ook. Dit wil niet zeggen dat X de stijgen allebei in de zomer.
oorzaak is.
Causatie X veroorzaakt rechtstreeks een Roken ( X ) veroorzaakt een
(Oorzaak- verandering in Y . verhoogde kans op
gevolg) longkanker (Y ).
De drie eisen voor Causaliteit (X Y)
Om te mogen zeggen dat X een effect heeft op Y (en dus de oorzaak is), moet aan drie
strikte voorwaarden worden voldaan:
1. Samenhang (Associatie): De waarden van X en Y moeten aantoonbaar samen
veranderen.
2. Temporele volgorde (Tijd): X moet in de tijd voorafgaan aan Y. De oorzaak
moet er eerder zijn dan het gevolg.
3. Theoretisch mechanisme: Er moet een logische, theoretische verklaring zijn.
Waarom zou X leiden tot Y? Zonder logica is een verband waarschijnlijk toeval of
een "schijnverband".
Univariaat vs. Bivariaat
Eigenschap Univariate Analyse (Uni = 1) Bivariate Analyse (Bi = 2)
Aantal 1 variabele 2 variabelen
variabelen
Het doel Eén variabele beschrijven en Een relatie of verband tussen
samenvatten (geen relaties). twee variabelen onderzoeken.
Typische Wat is de gemiddelde score? Heeft X invloed op Y ? Correleren
vragen Hoeveel spreiding is er? deze twee dingen?
Statistische Gemiddelde, mediaan, modus, Correlatie (r ), cross-tabellen
maten standaarddeviatie, (kruistabellen), t-toets,
frequentietabellen. enkelvoudige regressie.
Voorbeeld De gemiddelde leeftijd van Kijken of leeftijd ( X ) samenhangt
respondenten in een steekproef is met het salaris (Y ).
34 jaar.
Voorbeelden uit de slides:
Afbeelding 1: Univariabele verdeling van CITO-scores
Wat zie je? Een histogram van één enkele variabele: de CITO-
scores (Y ).
Wat vertelt het? Het laat zien hoe de CITO-scores verdeeld
zijn. De piek ligt rond de 535–538, en de verdeling is enigszins
scheef naar links (left-skewed), wat betekent dat de meeste
scholen hoog scoren en slechts een klein aantal scholen erg
lage gemiddelde scores heeft.
Waarom univariaat? Je kijkt puur naar één eigenschap,
zonder te vragen waarom scholen zo scoren.
Afbeelding 2: Univariabele verdeling van
achterstandsleerlingen
4
,Wat zie je? Een histogram van een andere variabele: het percentage
achterstandsleerlingen per basisschool ( X ).
Wat vertelt het? Deze verdeling is juist sterk scheef naar rechts (right-skewed). Bij de
meeste basisscholen is het percentage achterstandsleerlingen erg laag (tussen de 0% en
15%), terwijl maar heel weinig scholen een hoog percentage (boven de 40%) hebben.
Waarom univariaat? Ook hier analyseer je slechts één variabele op zichzelf.
Afbeelding 3: Bivariabele verdeling (Scatterplot)
Wat zie je? Een spreidingsdiagram (scatterplot) waarin beide
variabelen worden gecombineerd:
o X-as (Onafhankelijk): Percentage
achterstandsleerlingen.
o Y-as (Afhankelijk): CITO-score.
Wat vertelt het? Elk stipje is één basisschool. Dit
diagram onderzoekt het verband tussen X en Y . Je ziet
een negatieve trend: hoe hoger het percentage
achterstandsleerlingen op een school (naar rechts op de
X-as), hoe lager de gemiddelde CITO-score over het
algemeen ligt (naar beneden op de Y-as).
Waarom bivariaat? Je analyseert twee variabelen tegelijk om te zien hoe de een
varieert ten opzichte van de ander. Dit is de stap die direct voorafgaat aan het
trekken van een regressielijn door deze puntenwolk.
Afbeelding 4: Pasvorm van een Lineaire Relatie (Fit of a
Linear Relation)
Wat zie je in de grafiek?
Blauwe lijn (Fitted values): De geschatte regressielijn
(Ý = β́0 + β́ 1 X ). Deze geeft de verwachte gemiddelde
CITO-score weer voor elk percentage
achterstandsleerlingen.
Rode stippen (cito1): De werkelijke waarnemingen van
individuele scholen.
Negatieve helling ( β 1< 0): De lijn daalt van linksboven
naar rechtsonder. Hoe hoger het percentage
achterstandsleerlingen ( X ), hoe lager de verwachte CITO-score (Ý ).
Wat betekent "Fit" (Pasvorm)?
- De fit geeft aan hoe goed de getrokken regressielijn de werkelijke datapunten
beschrijft.
- Residuen (ϵ i): De verticale afstand tussen de rode stippen (werkelijke score) en
de blauwe lijn (voorspelde score).
Het Gemiddelde ( X )
1. De Formule
Wat betekenen de symbolen?
- X (X-streep / X-bar): Het steekproefgemiddelde van variabele X .
- ∑ ❑ (Sigma): Het somteken; dit betekent "optellen".
5
, - X i : De waarde van de variabele X voor een specifieke observatie i (in dit
voorbeeld: de CITO-score van een specifiek schoolbestuur/district i ).
- n : De totale steekproefgrootte (het totaal aantal schoolbesturen/districten).
Hoe bereken je het in woorden?
1. Tel alle CITO-scores op van alle schoolbesturen in je dataset ( ∑ X i).
2. Deel het totaal door het totale aantal schoolbesturen (n ).
💡 Waarom is dit belangrijk voor regressieanalyse?
Regressielijn gaat door het gemiddelde: Een OLS-regressielijn gaat altijd exact
door het punt van de gemiddelden: ( X , Y ) .
Variantie
Definitie: Variantie meet hoeveel de datapunten gemiddeld afwijken van het gemiddelde
(in het kwadraat).
Het concept: Deviatie (Afwijking)
- Afwijking / Deviatie ( X i −X ): Laat zien hoe ver een specifieke observatie ( X i )
afligt van het gemiddelde ( X ).
o In het voorbeeld op de slide is het gemiddelde X =6 .
o Een datapunt op 10 heeft een deviatie van 10−6=+ 4 .
o Een datapunt op 2 heeft een deviatie van 2−6=−4 .
- Waarom niet gewoon alle afwijkingen optellen?
Als je alle losse afwijkingen optelt, heffen de positieve en negatieve getallen elkaar
precies op tot 0 ((−4 ) + (−2 ) + 0+ ( +2 ) + ( +4 )=0 ). Daar heb je dus niets aan om de totale
spreiding te meten.
De oplossing: Kwadrateren (Squared Deviations)
Om van de negatieve tekens af te komen, kwadrateer je elke deviatie:
- (−4 )2=16
- (−2 )2=4
- ( 0 )2 =0
- ( +2 )2=4
- ( + 4 )2=16
De Variantie ( var ( X ) of s2)
De variantie is simpelweg het gemiddelde
van al deze gekwadrateerde afwijkingen:
Grotere spreiding = grotere variantie: Hoe verder de punten uit elkaar liggen, hoe
hoger de variantie.
Standaarddeviatie (Standard Deviation)
Het probleem met variantie: Variantie is "gekkigheid"
- Omdat we bij het berekenen van de variantie alle afwijkingen kwadrateren,
verandert ook de meeteenheid.
6
, - Voorbeeld: Als je de lengte van mensen meet in centimeter ( cm ), dan is de
variantie uitgedrukt in vierkante centimeter (cm 2 ).
- Het is erg lastig om je een intuïtief beeld te vormen van "een spreiding van 64 cm 2
rond het gemiddelde".
De oplossing: Neem de wortel (√ variantie)
Om weer terug te keren naar de oorspronkelijke meeteenheid (gewoon centimeters in
plaats van vierkante centimeters), trekken we de vierkantswortel uit de variantie. Dit
geeft ons de standaarddeviatie:
Resultaat: De standaarddeviatie geeft de gemiddelde afstand/spreiding van de
datapunten tot het gemiddelde aan in de oorspronkelijke eenheden (bijv. punten op
de CITO-toets, centimeters, of euro's).
Notatie: Populatie (σ ) vs. Steekproef ( s)
Onderaan de slide staat een belangrijk formeel onderscheid:
- σ (Griekse letter sigma): De standaarddeviatie van de gehele populatie.
- s (of SD): De standaarddeviatie van een steekproef (sample).
o (Let op: bij een steekproef deel je formeel vaak door n−1 in plaats van n
om een zuivere schatting te krijgen).
Van Variantie naar Covariantie (From variance to covariance)
Wat is Covariantie?
- Waar variantie de spreiding van één variabele meet, meet covariantie hoe
twee variabelen samen veranderen (co-variëren).
- Het geeft aan of X en Y in dezelfde richting bewegen of juist in tegenovergestelde
richting.
De Formule
Hoe werkt de logica hierachter?
Voor elk datapunt i vermenigvuldig je de afwijking van X met de afwijking van Y :
- Positief samenhang: Als X boven zijn gemiddelde ligt (( X i−X ) > 0) én Y ligt
boven zijn gemiddelde (( Y i −Y ) >0 ), is het product positief. (Of als beiden eronder
liggen: min × min = plus).
- Negatieve samenhang: Als X boven zijn gemiddelde ligt maar Y eronder (of
andersom), is het product negatief (plus × min = min).
Het richtingssignaal:
cov ( x , y ) >0 (groter dan 0): Positief verband
(Als X groter wordt, wordt Y over het algemeen ook groter).
cov ( x , y ) <0 (kleiner dan 0): Negatief verband
(Als X groter wordt, wordt Y over het algemeen kleiner).
cov ( x , y )=0 (gelijk aan 0): Geen lineair verband
7
,(Veranderingen in X zeggen niets over veranderingen in Y ).
Waarom is covariantie gek?
Net zoals bij de variantie heeft covariantie een groot nadeel: de schaal/meeteenheid is
afhankelijk van de variabelen.
- Als X het inkomen in euro's is en Y de leeftijd in jaren, is de covariantie uitgedrukt
in "euro-jaren".
- Daardoor kun je aan een getal als cov ( x , y )=450 niet zien hoe sterk het
verband is. Is 450 heel sterk of heel zwak? Dat weet je niet!
Van Covariantie naar Correlatiecoëfficiënt (Covariance to correlation
coefficient)
Het doel: Standaardiseren
- We wilden een Maatstaf die hetzelfde doet als covariantie, maar die niet meer
afhankelijk is van de schaal of meeteenheid (zoals euro's, centimeters of
punten).
- Dit doen we door de covariantie te standaardiseren.
Hoe standaardiseer je covariantie?
Je deelt de covariantie door de variatie/spreiding van X én de variatie/spreiding van Y :
- Je deelt door de standaarddeviaties van X en Y (of de wortel uit de
vermenigvuldigde varianties).
De Formule voor Correlatie (r )
Wat levert dit op? De eigenschappen van Correlatie (r ):
De correlatiecoëfficiënt (r ) meet de
sterkte en de richting van een lineair
verband tussen twee variabelen:
- Vaste schaal: r ligt altijd tussen −1
en +1.
- r =+1: Perfect positief lineair
verband.
- r =−1: Perfect negatief lineair
verband.
- r =0: Totaal geen lineair verband.
- Geen eenheden meer: r is een
dimensieloos getal, waardoor je de sterkte van héél verschillende relaties direct
met elkaar kunt vergelijken!
Notatie: Populatie ( ρ ) vs. Steekproef (r )
- ρ (Griekse letter rho): De correlatie in de gehele populatie.
- r : De correlatie berekend in een steekproef (sample).
Aanvullende Interpretatie van Correlatie (Additional Interpretation)
1. Bovenste rij: Sterkte van de ruis (Spreiding)
- Van 1.0 tot −1.0: Naarmate de punten wolk platter en strakker wordt, gaat de
correlatie richting +1 of −1.
- Hoe minder ruis (spreiding) rond de denkbeeldige lijn, hoe sterker het lineaire
verband.
2. Middelste rij: Correlatie meet NIET de helling (Slope)
8
, - Allemaal 1.0 (of −1.0): Zolang alle punten exact op een stijgende lijn liggen,
is de correlatie altijd 1.0 , ongeacht of de lijn heel steil of heel flauw stijgt.
- ⚠️ Belangrijke tentamenvalkuil: Correlatie zegt iets over hoe strak de punten
op een lijn liggen, niet hoe steil die lijn loopt!
- Middelste vlakke lijn (0.0 ): Een horizontale lijn heeft een correlatie van 0 (of is
ongedefinieerd), omdat verandering in X helemaal niets doet met Y .
3. Onderste rij: Correlatie meet ALLEEN LINEAIRE verbanden
- Allemaal 0.0 : Bekijk de vormen zoals de cirkel, de U-vorm of de golf. Er is
overduidelijk een heel sterk patroon/verband aanwezig, maar omdat het niet-
lineair (gekromd) is, komt de lineaire correlatiecoëfficiënt uit op exact 0.0 .
- Gouden regel: Een correlatie van 0.0 betekent niet automatisch dat er geen
verband is, maar alleen dat er geen lineair (recht) verband is.
💡 Kerninzichten voor je aantekeningen:
1. r meet de strakheid/ruis, niet de steilheid van de helling.
2. r werkt alleen bij rechte lijnen. Maak dus altijd eerst een scatterplot om te
checken of de data niet gekromd is!
Wat zegt de steilheid ( β 1) wél?
- Directe effectgrootte: De steilheid geeft aan hoeveel eenheden Y verandert
wanneer X met 1 eenheid toeneemt.
o Voorbeeld: Een slope van β 1=−0.5 bij CITO-scores betekent: voor elke 1 %
extra achterstandsleerlingen op een school, dalt de verwachte CITO-score
gemiddeld met 0.5 punt.
o Beleidsrelevantie: In bestuurskunde zegt de steilheid hoe gevoelig Y is
voor een verandering in X . Een steile lijn betekent dat een kleine
verandering in beleid ( X ) een grote impact heeft op het resultaat (Y ).
Filmpjes week 1 van BrightSpace
Link: https://www.youtube.com/watch?v=-Y-M9aD_ccQ&t=440s
Analyse van de 4 Scatterplots
Scatterplot A → r=−0.72
- Richting: Als X toeneemt, neemt Y af (dalende trend).
9
, - Spreiding: De punten liggen duidelijk in een dalend patroon rond de lijn. Dit wijst
op een vrij sterke negatieve correlatie.
Scatterplot C → r=−0.02
- Richting/Patroon: De datapunten liggen overal verspreid zonder een duidelijk
stijgende of dalende richting.
- Spreiding: De lijn voegt nauwelijks voorspellende waarde toe, de waarde van r
ligt daardoor heel dicht bij 0 .
Vergelijking B en D (Beide zijn positief)
Beide grafieken laten zien dat als X groter wordt, Y ook groter wordt (stijgende trend).
Maar hoe kies je welke correlatiewaarde (0.84 of 0.65 ) bij welke grafiek hoort?
- Scatterplot B → r=0.84 : De datapunten liggen strakker/dichter rondom de
stijgende lijn. Er is minder ruis, dus is de correlatie hoger (0.84 ).
- Scatterplot D → r=0.65 : De punten volgen wel een stijgende trend, maar liggen
verder af van de lijn (grotere afwijkingen). Omdat de lijn de data minder goed
beschrijft, is de correlatie lager (0.65 ).
💡 Belangrijkste leerpunt:
Hoe dichter de datapunten rond de regressielijn liggen, hoe dichter de waarde van r bij
+1 of −1 ligt.
Link video: https://www.youtube.com/watch?v=u4ugaNo6v1Q&t=741s
In deze video legt Sal Khan van Khan Academy stap voor stap uit hoe je de
correlatiecoëfficiënt (r ) met de hand berekent op basis van gestandaardiseerde
waarden ( z -scores).
Wat houdt dit in? Voor elk datapunt ( x , y ) bereken je de z -score van x (hoeveel
standaarddeviaties x afwijkt van zijn gemiddelde) en vermenigvuldig je die met de z -
score van y .
De Berekening uit de Video
Met de gegeven dataset van 4 punten:
- Gegevens: x=2 , s x =0.816 , y=3, s y =2.160.
1 1
- Aantal datapunten (n ): 4 → = .
n−1 3
1. Datapunt ( 1,1 ) :
1−2
o zx= =−1.225
0.816
10
Week 1 - Regressieanalyse
- Variabelen
- Causatie en correlatie
Vanaf pagina 2
- Gemiddelde
- Variantie
- Standaarddeviatie
- Covariantie
- Correlatiecoëfficiënt
Week 2 - Hypothesetoetsing (6-stappenplan)
- Difference of Means
- Kritieke gebied
Vanaf pagina
- Nul- en alternatieve hypothese
16 - Bivariate regressievergelijking
Week 3 - Herhaling Bivariate regressievergelijking
- Multivariate regressievergelijking
Vanaf pagina - Adjusted R 2 (R-sq adj)
45
Week 4 - Gauss-Markov Theorema
- Measurement Error
- Waarom regressie?
Vanaf pagina
- Unbiased (zuiverheid) & Efficiency (efficiëntie)
58 - De Lineairiteitsveronderstelling
- Conditionele Gemiddelde-Onafhankelijkheid
Week 5 - Specificatiefout
- Lineair vs. Non-Lineair
- Soorten non-lineairiteit
Vanaf pagina
- Polynoommodel
69 - Additiviteit vs. Niet-additiviteit
- Interactie-effecten
Week 6 - Homoscedasticiteit vs. Heteroscedasticiteit
- Ongecorreleerde fouttermen
- Normaal verdeelde fouttermen
Vanaf pagina
- Multicollineariteit
82 - Natuurlijke Logaritmen Review
Week 7 - Logistische Regressie (Logistic Regression).
- S-Curve
- Odds
Vanaf pagina
- Logits
91 - Interpreteren van Logistische Regressie
1
,Week 1
Regressieanalyse
Wat is Regressieanalyse?
De regressieanalyse is een statistische analyse die het mogelijk maakt verbanden tussen
variabelen inzichtelijk te maken. Bijvoorbeeld het verband tussen overheidsuitgaven aan
onderwijs en schoolprestaties. Hierbij kan zowel de aanwezigheid en omvang van het
verband als het type verband (positief/negatief) worden onderzocht. In essentie duiden
de resultaten van een regressieanalyse alleen op correlatie. Er zijn echter geavanceerde
regressieanalyses die een causaal verband beter kunnen benaderen
In het kort: het is een statistische methode om het verband tussen een afhankelijke
variabele (wat je wilt voorspellen of verklaren) en een of meer onafhankelijke variabelen
(de oorzaken of voorspellers) te onderzoeken en te vangen in een formule
Hoe het werkt
- Je kijkt of de ene variabele verandert als de andere variabele verandert.
- De uitkomst is vaak een rechte lijn (een regressielijn) die de data zo goed mogelijk
samenvat.
Soorten regressieanalyse
- Enkelvoudige lineaire regressie: Er is één onafhankelijke variabele en één
afhankelijke variabele (bijvoorbeeld: lengte van ouders voorspellen op basis van
de lengte van een kind).
- Multipele (meervoudige) regressie: Je gebruikt meerdere onafhankelijke
variabelen tegelijk om één uitkomst te verklaren (bijvoorbeeld: iemands loon
voorspellen op basis van werkervaring, opleiding en leeftijd)
Belangrijk om te weten
- Een sterk verband betekent niet automatisch dat er sprake is van een directe
oorzaak (correlatie is geen causale relatie)
Leerdoelen
- Basis begrijpen: De theoretische achtergrond en werking van de techniek leren.
- Toepassen: De techniek praktisch kunnen toepassen op data.
- Interpreteren: De resultaten van de analyse correct kunnen uitleggen.
Variabelen (Variables)
Een variabele is een kenmerk of eigenschap van een onderzoeksobject die kan variëren
tussen verschillende observaties (bijv. personen, landen, bedrijven). Elk van deze
observaties heeft een specifieke waarde voor de variabele.
Een variabele vervult twee rollen:
1. Geoperationaliseerde weergave van een concept:
o Een concept (zoals Lengte of Democratie) is een abstract, theoretisch
begrip.
o Om dit te onderzoeken moeten we het meetbaar maken
(operationaliseren).
2. Attribuut / kenmerk van een specifieke observatie:
o De daadwerkelijke gemeten waarde voor een specifieke unit/persoon/land.
💡 Kerninzicht voor tentamens: Een abstract begrip (concept) kun je in kwantitatief
onderzoek pas analyseren via regressieanalyse als je het meetbaar hebt gemaakt
(geoperationaliseerd) in concrete waarden per observatie.
2
,Meetniveau Kenmerk Voorbeelden
Nominaal Categorieën: Alleen naamgeven en Geslacht, kleur, postcode, ja/nee (binair).
groeperen. Geen logische volgorde.
Ordinaal Rangorde: Er is een logische volgorde, Opleidingsniveau (HBO/WO), tevredenheid
maar de afstanden tussen stappen zijn (laag/midden/hoog).
niet meetbaar/gelijk.
Interval Numeriek: Gelijke stappen tussen Temperatuur in °C, IQ-score, jaartallen.
waarden, maar geen natuurlijk nulpunt
(0 betekent niet 'niets').
Ratio Numeriek + Nulpunt: Hoogste niveau. Lengte, gewicht, inkomen, leeftijd.
Er is een absoluut nulpunt (0 =
afwezigheid van de variabele).
Relaties tussen Variabelen (Relations between Variables)
- Afhankelijke variabele (Y ): De variabele die je wilt verklaren of voorspellen
(Dependent variable / variable to be explained).
- Onafhankelijke variabele ( X ): De variabele die de verklaring biedt
(Independent variable / explanatory variable).
Jargon: "Regress Y on X"
- Deze zin betekent: je voert een regressieanalyse uit waarbij Y de afhankelijke
variabele is en X de onafhankelijke variabele.
- Onthoudregel: Je verklaart Y aan de hand van Y =aX +B
y=a ⋅ x+ b Ý = β0 + β 1 ⋅ X Formule voor een rechte lijn
b β0 Startwaarde / Snijpunt met Y-as (waarde van Y als
(Intercept) X = 0)
a β 1 (Slope) Helling / Richtingscoëfficiënt (hoeveel Y verandert
per stapje X)
Als je twee punten hebt met coördinaten (x₁, y₁) en (x₂,
y₂), gebruik je deze formule
Causale Inferentie (Causality)
- Regressieanalyse helpt om oorzaak-gevolgrelaties (causal inference) te
onderzoeken.
- ⚠️ Typische tentamenvraag: Regressieanalyse alleen bewijst geen causatie!
Een statistisch verband is pas causaal als je onderzoek opgezet is met een goed
onderzoeksdesign (proper research design), bijvoorbeeld door te controleren
voor storende variabelen (confounders).
Waarom betekent correlatie niet automatisch causatie?
1. Storende variabelen (Confounders / Spurious relation):
o Een derde variabele ( Z ) veroorzaakt veranderingen in zowel X als Y .
o Voorbeeld: Warm weer ( Z ) zorgt voor zowel meer ijsverkopen ( X ) als
meer zwemmers/verdrinkingen (Y ). IJsjes veroorzaken geen verdrinkingen!
2. Omgekeerde causaliteit (Reverse Causality):
o Niet X veroorzaakt Y , maar Y veroorzaakt X .
3. Toeval (Spurious correlation):
3
, o Twee variabelen bewegen puur toevallig op dezelfde manier zonder
inhoudelijk verband.
Begrip Betekenis Klassiek Voorbeeld
Correlatie Er is een statistisch verband tussen IJsverkoop ( X ) en het aantal
(Samenhang) X en Y . Als X verandert, verandert Y verdronken zwemmers (Y )
ook. Dit wil niet zeggen dat X de stijgen allebei in de zomer.
oorzaak is.
Causatie X veroorzaakt rechtstreeks een Roken ( X ) veroorzaakt een
(Oorzaak- verandering in Y . verhoogde kans op
gevolg) longkanker (Y ).
De drie eisen voor Causaliteit (X Y)
Om te mogen zeggen dat X een effect heeft op Y (en dus de oorzaak is), moet aan drie
strikte voorwaarden worden voldaan:
1. Samenhang (Associatie): De waarden van X en Y moeten aantoonbaar samen
veranderen.
2. Temporele volgorde (Tijd): X moet in de tijd voorafgaan aan Y. De oorzaak
moet er eerder zijn dan het gevolg.
3. Theoretisch mechanisme: Er moet een logische, theoretische verklaring zijn.
Waarom zou X leiden tot Y? Zonder logica is een verband waarschijnlijk toeval of
een "schijnverband".
Univariaat vs. Bivariaat
Eigenschap Univariate Analyse (Uni = 1) Bivariate Analyse (Bi = 2)
Aantal 1 variabele 2 variabelen
variabelen
Het doel Eén variabele beschrijven en Een relatie of verband tussen
samenvatten (geen relaties). twee variabelen onderzoeken.
Typische Wat is de gemiddelde score? Heeft X invloed op Y ? Correleren
vragen Hoeveel spreiding is er? deze twee dingen?
Statistische Gemiddelde, mediaan, modus, Correlatie (r ), cross-tabellen
maten standaarddeviatie, (kruistabellen), t-toets,
frequentietabellen. enkelvoudige regressie.
Voorbeeld De gemiddelde leeftijd van Kijken of leeftijd ( X ) samenhangt
respondenten in een steekproef is met het salaris (Y ).
34 jaar.
Voorbeelden uit de slides:
Afbeelding 1: Univariabele verdeling van CITO-scores
Wat zie je? Een histogram van één enkele variabele: de CITO-
scores (Y ).
Wat vertelt het? Het laat zien hoe de CITO-scores verdeeld
zijn. De piek ligt rond de 535–538, en de verdeling is enigszins
scheef naar links (left-skewed), wat betekent dat de meeste
scholen hoog scoren en slechts een klein aantal scholen erg
lage gemiddelde scores heeft.
Waarom univariaat? Je kijkt puur naar één eigenschap,
zonder te vragen waarom scholen zo scoren.
Afbeelding 2: Univariabele verdeling van
achterstandsleerlingen
4
,Wat zie je? Een histogram van een andere variabele: het percentage
achterstandsleerlingen per basisschool ( X ).
Wat vertelt het? Deze verdeling is juist sterk scheef naar rechts (right-skewed). Bij de
meeste basisscholen is het percentage achterstandsleerlingen erg laag (tussen de 0% en
15%), terwijl maar heel weinig scholen een hoog percentage (boven de 40%) hebben.
Waarom univariaat? Ook hier analyseer je slechts één variabele op zichzelf.
Afbeelding 3: Bivariabele verdeling (Scatterplot)
Wat zie je? Een spreidingsdiagram (scatterplot) waarin beide
variabelen worden gecombineerd:
o X-as (Onafhankelijk): Percentage
achterstandsleerlingen.
o Y-as (Afhankelijk): CITO-score.
Wat vertelt het? Elk stipje is één basisschool. Dit
diagram onderzoekt het verband tussen X en Y . Je ziet
een negatieve trend: hoe hoger het percentage
achterstandsleerlingen op een school (naar rechts op de
X-as), hoe lager de gemiddelde CITO-score over het
algemeen ligt (naar beneden op de Y-as).
Waarom bivariaat? Je analyseert twee variabelen tegelijk om te zien hoe de een
varieert ten opzichte van de ander. Dit is de stap die direct voorafgaat aan het
trekken van een regressielijn door deze puntenwolk.
Afbeelding 4: Pasvorm van een Lineaire Relatie (Fit of a
Linear Relation)
Wat zie je in de grafiek?
Blauwe lijn (Fitted values): De geschatte regressielijn
(Ý = β́0 + β́ 1 X ). Deze geeft de verwachte gemiddelde
CITO-score weer voor elk percentage
achterstandsleerlingen.
Rode stippen (cito1): De werkelijke waarnemingen van
individuele scholen.
Negatieve helling ( β 1< 0): De lijn daalt van linksboven
naar rechtsonder. Hoe hoger het percentage
achterstandsleerlingen ( X ), hoe lager de verwachte CITO-score (Ý ).
Wat betekent "Fit" (Pasvorm)?
- De fit geeft aan hoe goed de getrokken regressielijn de werkelijke datapunten
beschrijft.
- Residuen (ϵ i): De verticale afstand tussen de rode stippen (werkelijke score) en
de blauwe lijn (voorspelde score).
Het Gemiddelde ( X )
1. De Formule
Wat betekenen de symbolen?
- X (X-streep / X-bar): Het steekproefgemiddelde van variabele X .
- ∑ ❑ (Sigma): Het somteken; dit betekent "optellen".
5
, - X i : De waarde van de variabele X voor een specifieke observatie i (in dit
voorbeeld: de CITO-score van een specifiek schoolbestuur/district i ).
- n : De totale steekproefgrootte (het totaal aantal schoolbesturen/districten).
Hoe bereken je het in woorden?
1. Tel alle CITO-scores op van alle schoolbesturen in je dataset ( ∑ X i).
2. Deel het totaal door het totale aantal schoolbesturen (n ).
💡 Waarom is dit belangrijk voor regressieanalyse?
Regressielijn gaat door het gemiddelde: Een OLS-regressielijn gaat altijd exact
door het punt van de gemiddelden: ( X , Y ) .
Variantie
Definitie: Variantie meet hoeveel de datapunten gemiddeld afwijken van het gemiddelde
(in het kwadraat).
Het concept: Deviatie (Afwijking)
- Afwijking / Deviatie ( X i −X ): Laat zien hoe ver een specifieke observatie ( X i )
afligt van het gemiddelde ( X ).
o In het voorbeeld op de slide is het gemiddelde X =6 .
o Een datapunt op 10 heeft een deviatie van 10−6=+ 4 .
o Een datapunt op 2 heeft een deviatie van 2−6=−4 .
- Waarom niet gewoon alle afwijkingen optellen?
Als je alle losse afwijkingen optelt, heffen de positieve en negatieve getallen elkaar
precies op tot 0 ((−4 ) + (−2 ) + 0+ ( +2 ) + ( +4 )=0 ). Daar heb je dus niets aan om de totale
spreiding te meten.
De oplossing: Kwadrateren (Squared Deviations)
Om van de negatieve tekens af te komen, kwadrateer je elke deviatie:
- (−4 )2=16
- (−2 )2=4
- ( 0 )2 =0
- ( +2 )2=4
- ( + 4 )2=16
De Variantie ( var ( X ) of s2)
De variantie is simpelweg het gemiddelde
van al deze gekwadrateerde afwijkingen:
Grotere spreiding = grotere variantie: Hoe verder de punten uit elkaar liggen, hoe
hoger de variantie.
Standaarddeviatie (Standard Deviation)
Het probleem met variantie: Variantie is "gekkigheid"
- Omdat we bij het berekenen van de variantie alle afwijkingen kwadrateren,
verandert ook de meeteenheid.
6
, - Voorbeeld: Als je de lengte van mensen meet in centimeter ( cm ), dan is de
variantie uitgedrukt in vierkante centimeter (cm 2 ).
- Het is erg lastig om je een intuïtief beeld te vormen van "een spreiding van 64 cm 2
rond het gemiddelde".
De oplossing: Neem de wortel (√ variantie)
Om weer terug te keren naar de oorspronkelijke meeteenheid (gewoon centimeters in
plaats van vierkante centimeters), trekken we de vierkantswortel uit de variantie. Dit
geeft ons de standaarddeviatie:
Resultaat: De standaarddeviatie geeft de gemiddelde afstand/spreiding van de
datapunten tot het gemiddelde aan in de oorspronkelijke eenheden (bijv. punten op
de CITO-toets, centimeters, of euro's).
Notatie: Populatie (σ ) vs. Steekproef ( s)
Onderaan de slide staat een belangrijk formeel onderscheid:
- σ (Griekse letter sigma): De standaarddeviatie van de gehele populatie.
- s (of SD): De standaarddeviatie van een steekproef (sample).
o (Let op: bij een steekproef deel je formeel vaak door n−1 in plaats van n
om een zuivere schatting te krijgen).
Van Variantie naar Covariantie (From variance to covariance)
Wat is Covariantie?
- Waar variantie de spreiding van één variabele meet, meet covariantie hoe
twee variabelen samen veranderen (co-variëren).
- Het geeft aan of X en Y in dezelfde richting bewegen of juist in tegenovergestelde
richting.
De Formule
Hoe werkt de logica hierachter?
Voor elk datapunt i vermenigvuldig je de afwijking van X met de afwijking van Y :
- Positief samenhang: Als X boven zijn gemiddelde ligt (( X i−X ) > 0) én Y ligt
boven zijn gemiddelde (( Y i −Y ) >0 ), is het product positief. (Of als beiden eronder
liggen: min × min = plus).
- Negatieve samenhang: Als X boven zijn gemiddelde ligt maar Y eronder (of
andersom), is het product negatief (plus × min = min).
Het richtingssignaal:
cov ( x , y ) >0 (groter dan 0): Positief verband
(Als X groter wordt, wordt Y over het algemeen ook groter).
cov ( x , y ) <0 (kleiner dan 0): Negatief verband
(Als X groter wordt, wordt Y over het algemeen kleiner).
cov ( x , y )=0 (gelijk aan 0): Geen lineair verband
7
,(Veranderingen in X zeggen niets over veranderingen in Y ).
Waarom is covariantie gek?
Net zoals bij de variantie heeft covariantie een groot nadeel: de schaal/meeteenheid is
afhankelijk van de variabelen.
- Als X het inkomen in euro's is en Y de leeftijd in jaren, is de covariantie uitgedrukt
in "euro-jaren".
- Daardoor kun je aan een getal als cov ( x , y )=450 niet zien hoe sterk het
verband is. Is 450 heel sterk of heel zwak? Dat weet je niet!
Van Covariantie naar Correlatiecoëfficiënt (Covariance to correlation
coefficient)
Het doel: Standaardiseren
- We wilden een Maatstaf die hetzelfde doet als covariantie, maar die niet meer
afhankelijk is van de schaal of meeteenheid (zoals euro's, centimeters of
punten).
- Dit doen we door de covariantie te standaardiseren.
Hoe standaardiseer je covariantie?
Je deelt de covariantie door de variatie/spreiding van X én de variatie/spreiding van Y :
- Je deelt door de standaarddeviaties van X en Y (of de wortel uit de
vermenigvuldigde varianties).
De Formule voor Correlatie (r )
Wat levert dit op? De eigenschappen van Correlatie (r ):
De correlatiecoëfficiënt (r ) meet de
sterkte en de richting van een lineair
verband tussen twee variabelen:
- Vaste schaal: r ligt altijd tussen −1
en +1.
- r =+1: Perfect positief lineair
verband.
- r =−1: Perfect negatief lineair
verband.
- r =0: Totaal geen lineair verband.
- Geen eenheden meer: r is een
dimensieloos getal, waardoor je de sterkte van héél verschillende relaties direct
met elkaar kunt vergelijken!
Notatie: Populatie ( ρ ) vs. Steekproef (r )
- ρ (Griekse letter rho): De correlatie in de gehele populatie.
- r : De correlatie berekend in een steekproef (sample).
Aanvullende Interpretatie van Correlatie (Additional Interpretation)
1. Bovenste rij: Sterkte van de ruis (Spreiding)
- Van 1.0 tot −1.0: Naarmate de punten wolk platter en strakker wordt, gaat de
correlatie richting +1 of −1.
- Hoe minder ruis (spreiding) rond de denkbeeldige lijn, hoe sterker het lineaire
verband.
2. Middelste rij: Correlatie meet NIET de helling (Slope)
8
, - Allemaal 1.0 (of −1.0): Zolang alle punten exact op een stijgende lijn liggen,
is de correlatie altijd 1.0 , ongeacht of de lijn heel steil of heel flauw stijgt.
- ⚠️ Belangrijke tentamenvalkuil: Correlatie zegt iets over hoe strak de punten
op een lijn liggen, niet hoe steil die lijn loopt!
- Middelste vlakke lijn (0.0 ): Een horizontale lijn heeft een correlatie van 0 (of is
ongedefinieerd), omdat verandering in X helemaal niets doet met Y .
3. Onderste rij: Correlatie meet ALLEEN LINEAIRE verbanden
- Allemaal 0.0 : Bekijk de vormen zoals de cirkel, de U-vorm of de golf. Er is
overduidelijk een heel sterk patroon/verband aanwezig, maar omdat het niet-
lineair (gekromd) is, komt de lineaire correlatiecoëfficiënt uit op exact 0.0 .
- Gouden regel: Een correlatie van 0.0 betekent niet automatisch dat er geen
verband is, maar alleen dat er geen lineair (recht) verband is.
💡 Kerninzichten voor je aantekeningen:
1. r meet de strakheid/ruis, niet de steilheid van de helling.
2. r werkt alleen bij rechte lijnen. Maak dus altijd eerst een scatterplot om te
checken of de data niet gekromd is!
Wat zegt de steilheid ( β 1) wél?
- Directe effectgrootte: De steilheid geeft aan hoeveel eenheden Y verandert
wanneer X met 1 eenheid toeneemt.
o Voorbeeld: Een slope van β 1=−0.5 bij CITO-scores betekent: voor elke 1 %
extra achterstandsleerlingen op een school, dalt de verwachte CITO-score
gemiddeld met 0.5 punt.
o Beleidsrelevantie: In bestuurskunde zegt de steilheid hoe gevoelig Y is
voor een verandering in X . Een steile lijn betekent dat een kleine
verandering in beleid ( X ) een grote impact heeft op het resultaat (Y ).
Filmpjes week 1 van BrightSpace
Link: https://www.youtube.com/watch?v=-Y-M9aD_ccQ&t=440s
Analyse van de 4 Scatterplots
Scatterplot A → r=−0.72
- Richting: Als X toeneemt, neemt Y af (dalende trend).
9
, - Spreiding: De punten liggen duidelijk in een dalend patroon rond de lijn. Dit wijst
op een vrij sterke negatieve correlatie.
Scatterplot C → r=−0.02
- Richting/Patroon: De datapunten liggen overal verspreid zonder een duidelijk
stijgende of dalende richting.
- Spreiding: De lijn voegt nauwelijks voorspellende waarde toe, de waarde van r
ligt daardoor heel dicht bij 0 .
Vergelijking B en D (Beide zijn positief)
Beide grafieken laten zien dat als X groter wordt, Y ook groter wordt (stijgende trend).
Maar hoe kies je welke correlatiewaarde (0.84 of 0.65 ) bij welke grafiek hoort?
- Scatterplot B → r=0.84 : De datapunten liggen strakker/dichter rondom de
stijgende lijn. Er is minder ruis, dus is de correlatie hoger (0.84 ).
- Scatterplot D → r=0.65 : De punten volgen wel een stijgende trend, maar liggen
verder af van de lijn (grotere afwijkingen). Omdat de lijn de data minder goed
beschrijft, is de correlatie lager (0.65 ).
💡 Belangrijkste leerpunt:
Hoe dichter de datapunten rond de regressielijn liggen, hoe dichter de waarde van r bij
+1 of −1 ligt.
Link video: https://www.youtube.com/watch?v=u4ugaNo6v1Q&t=741s
In deze video legt Sal Khan van Khan Academy stap voor stap uit hoe je de
correlatiecoëfficiënt (r ) met de hand berekent op basis van gestandaardiseerde
waarden ( z -scores).
Wat houdt dit in? Voor elk datapunt ( x , y ) bereken je de z -score van x (hoeveel
standaarddeviaties x afwijkt van zijn gemiddelde) en vermenigvuldig je die met de z -
score van y .
De Berekening uit de Video
Met de gegeven dataset van 4 punten:
- Gegevens: x=2 , s x =0.816 , y=3, s y =2.160.
1 1
- Aantal datapunten (n ): 4 → = .
n−1 3
1. Datapunt ( 1,1 ) :
1−2
o zx= =−1.225
0.816
10
