ARMS SAMENVATTING 2025/2026
INHOUDSOPGAVE
Frequentistisch vs Bayesiaans ....................................................................................................................... 3
Betrouwbaarheidsintervallen .............................................................................................................................. 4
Multiple linear regression (MLR) ..................................................................................................................... 5
Aannames ......................................................................................................................................................... 5
Interpretatie....................................................................................................................................................... 7
Frequentistisch.............................................................................................................................................. 7
Bayesiaans .................................................................................................................................................... 7
Hiërarchische MLR ............................................................................................................................................. 8
Zelf dummyvariabelen maken ............................................................................................................................. 9
FAIR data en analyses .................................................................................................................................. 11
Findable .......................................................................................................................................................... 11
Accessible ....................................................................................................................................................... 11
Interoperable ................................................................................................................................................... 12
Reusable ......................................................................................................................................................... 12
Factorial ANOVA .......................................................................................................................................... 13
Algemeen over ANOVA ..................................................................................................................................... 13
Aannames ....................................................................................................................................................... 14
Meer over Factorial ANOVA .............................................................................................................................. 15
Hoofd- en interactie-effecten............................................................................................................................ 16
Interpretatie..................................................................................................................................................... 16
Frequentistisch.............................................................................................................................................16
Bayesiaans ...................................................................................................................................................17
Meervoudig testen en error rates ....................................................................................................................... 17
Follow-up tests en planned comparisons (frequentistisch) ................................................................................ 18
Follow-up tests voor hoofdeffecten: pairwise comparisons ............................................................................18
Follow-up tests voor interactie-effecten: simple main effects .........................................................................19
Planned comparisons/contrast testing ..........................................................................................................19
Informatieve hypotheses (Bayesiaans) .............................................................................................................. 20
Preregistratie en Registered Reports ............................................................................................................ 22
Questionable research practices (QRP’s) .......................................................................................................... 22
Preregistratie ................................................................................................................................................... 22
1
, Registered Reports........................................................................................................................................... 23
ANCOVA ...................................................................................................................................................... 25
Gemiddelden en adjusted means ..................................................................................................................... 25
Interpretatie..................................................................................................................................................... 26
Frequentistisch (& aannames) .......................................................................................................................26
Bayesiaans ...................................................................................................................................................27
ANCOVA als regressie ...................................................................................................................................... 27
Bewijs voor de nulhypothese kwantificeren ....................................................................................................... 28
Equivalence testing (SESOI) .............................................................................................................................. 30
Repeated-Measures ANOVA ......................................................................................................................... 33
Within- & between-subjects en labeling van ANOVA’s ........................................................................................ 33
Aannames ....................................................................................................................................................... 34
Interpretatie RM ANOVA met één factor............................................................................................................. 35
Frequentistisch.............................................................................................................................................35
Bayesiaans ...................................................................................................................................................36
Interpretatie RM ANOVA met twee factoren (alleen frequentistisch) .................................................................... 36
Mixed design ANOVA .................................................................................................................................... 37
Aannames ....................................................................................................................................................... 37
Interpretatie..................................................................................................................................................... 37
Frequentistisch.............................................................................................................................................37
Bayesiaans ...................................................................................................................................................38
Overfitting ................................................................................................................................................... 39
Aannames: schendingen en oplossingen ...................................................................................................... 40
Afwezigheid van outliers ................................................................................................................................... 40
Afwezigheid van multicollinearity ...................................................................................................................... 40
Homoscedasticity ............................................................................................................................................ 41
Linearity .......................................................................................................................................................... 41
Normally distributed residuals .......................................................................................................................... 42
Bootstrapping .................................................................................................................................................. 42
Mediation analyse........................................................................................................................................ 44
Wanneer gebruik je welk statistische model? ............................................................................................... 47
Analyses, meetniveaus en onderzoeksvragen .................................................................................................... 48
Aannames per analyse op een rij .................................................................................................................. 49
Validiteit...................................................................................................................................................... 50
2
,FREQUENTISTISCH VS BAYESIAANS
• Bayesiaans kijkt naar de kans dat de hypothese wordt gesteund door de data.
o Kans op hypothese, gegeven de data.
o Gezien de data die ik heb, hoe waarschijnlijk is het dat mijn hypothese waar is?
o Gezien het bewijs wat ik nu zie, hoe waarschijnlijk is het dat de verdachte schuldig is?
+ Je kan voortbouwen op bestaande kennis en onderzoeken vanwege prior kennis.
+ Resultaten hangen niet af van een sampling plan, Bayesiaanse analyse kijkt alleen naar
geobserveerde data.
+ Intuïtieve resultaten.
+ Kan bewijs vóór de nulhypothese leveren.
+ Informatieve hypotheses zijn makkelijk te evalueren.
- De resultaten hangen af van welke prior je kiest.
- Gebruikt niet de formele (frequentistische) definitie van probability.
- Niet zo wijdverspreid qua beschikbaarheid in gebruiksvriendelijke software.
• Frequentistisch kijkt naar de p-waarde, en daarmee naar de kans dat je dezelfde of meer extreme
data vindt gegeven dat de nulhypothese waar is.
o Kans op de data, gegeven de nulhypothese.
o Als de nulhypothese waar is, hoe waarschijnlijk is het dat ik zulke (of extremere) data zou
zien?
o Als de verdachte onschuldig is, hoe waarschijnlijk is het dan dat ik dit bewijs zou zien?
- De resultaten en conclusies hangen af van o.a. het sampling plan.
De likelihood function heeft op de X-as de parameter
waarin je geïnteresseerd bent, bijv. μ. De Y-as, dus hoe
hoog de lijn op een bepaald punt is, geeft aan wat de
kans is op de geobserveerde data voor elke waarde van
μ. Dit is informatie die rechtstreeks uit de data komt.
Volgens de frequentistische benadering bevindt alle
relevante informatie zich in de likelihood function. De
Bayesiaanse benadering gebruikt naast de data nog
prior informatie over μ.
• Prior is de verwachting die je vooraf al hebt, bijv. op basis van bestaande onderzoeken of
theorieën.
• Posterior distribution is wat je krijgt wanneer je wat je al dacht te weten (prior) combineert met
wat je nu uit de data leert (likelihood, BF’s).
• Posterior Model Probability (PMP) is de relatieve kans op de hypothese na het observeren van
de data. PMP’s tellen altijd samen op tot 1.
• Bayes’ Theorem is een formule voor het bepalen van conditional probability, bijv. “Wat is de
kans op de hypothese, gegeven de data die we hebben geobserveerd?”:
𝑃(𝐵 | 𝐴) × 𝑃(𝐴)
𝑃(𝐴 | 𝐵) =
𝑃(𝐵)
3
, • Frequentistisch à 𝑃(𝑑𝑎𝑡𝑎 | 𝐻! )
o De kans om dezelfde of nog extremere data te vinden als de nulhypothese waar is.
o De kans op de data, gegeven H0.
- Je weet alleen hoe waarschijnlijk de data zijn, niet hoe waarschijnlijk de nulhypothese is.
• Bayesiaans à 𝑃.𝐻" / 𝑑𝑎𝑡𝑎)
o Hoe waarschijnlijk een hypothese is, gegeven de data die we hebben waargenomen.
BETROUWBAARHEIDSINTERVALLEN
• Point estimate is de schatting van een enkele waarde van een parameter.
o De gemiddelde lengte van de leerlingen is 160 cm.
• Interval estimate is een range van waarden waar de parameter in zou moeten zitten.
o De gemiddelde lengte van de leerlingen ligt ergens tussen 154–166 cm.
+ Geeft meer informatie dan een point estimate vanwege de range van mogelijke waarden.
• Confidence interval (frequentistisch)
o Breedte hangt af van de SE. De SE hangt weer af van n en SD. 𝐶𝐼 = 𝑥̅ ± 𝑧#$%& × 𝑆𝐸
Formule hiernaast ter illustratie. Formule hoef je niet uit je
'(
hoofd te kennen, maar kan wel helpen begrijpen wat er 𝑆𝐸 =
√*
gebeurt als er bepaalde waarden veranderen.
§ Grotere n à preciezere schattingen à kleinere SE à
smaller interval.
§ Meer variatie in scores à grotere SD à grotere SE à breder interval.
o Correcte interpretatie 95% confidence interval: “Als we deze studie oneindig vaak
herhalen, zal 95% van de berekende 95% confidence intervallen de ware parameter
bevatten.”
o Parameters staan vast, maar zijn onbekend; data zijn willekeurig vanwege willekeurige
steekproef; probability verwijst naar de procedure waarmee het CI wordt berekend.
• Credible interval (Bayesiaans)
o Correcte interpretatie 95% credible interval: “Er is een 95% kans dat de ware parameter
binnen het interval ligt (gegeven de geobserveerde data en de prior).”
o Parameters zijn willekeurig en hebben een kansverdeling; data staan vast.
4
,MULTIPLE LINEAR REGRESSION (MLR)
AANNAMES
Aanname Beschrijving Hoe controleren?
Measurement levels Continue afhankelijke variabele: Checken of de variabelen numeriek zijn en of
interval of ratio. een nominale variabele dichotoom is. Evt.
dummyvariabele maken.
Continue of dichotome onafhankelijke
variabelen: interval, ratio of nominaal
met twee categorieën (0 en 1).
Linearity Is er een lineaire relatie tussen de Scatterplot bekijken: de puntenwolk moet
afhankelijke variabele en elke continue goed beschreven kunnen worden met een
onafhankelijke variabele? rechte lijn.
Absence of Afwezigheid van uitschieters voor alle Visueel met histogram of boxplot, of
(multivariate) outliers variabelen in het model. spreidingsdiagram. Statistisch met Standard
residuals of Cook’s distance.
Absence of Geen te sterke relatie tussen twee of Tolerance of VIF (Variance Inflation Factor).
multicollinearity meer onafhankelijke variabelen.
Homoscedasticity Variatie rond regressielijn of X-as overal Residuals vs Predicted plot: overal ongeveer
ongeveer even groot. even veel spreiding rond de horizontale lijn.
Normally distributed Residuen moeten ongeveer normaal Q-Q plot of residuals: geen sterk afwijkende
residuals verdeeld zijn. punten vanaf de rode diagonale lijn.
Let op: bij alle aannames-tabellen in het document heb ik (om herhaling te voorkomen) random
samples weggelaten, hoewel dat natuurlijk wel aan de basis van elke analyse ligt. Dus ook al staat
het er niet bij, hoort die er natuurlijk wel bij.
• Lineaire relatie vergelijking: 𝑦 = 𝐵! + 𝐵+ 𝑋 + 𝑒
o B0 is snijpunt met de Y-as.
o B1 is helling van de lijn.
o e is error/residu.
• Niet-lineaire relatie vergelijking: 𝑦 = 𝐵! + 𝐵+ 𝑋 + 𝐵, 𝑋 , + 𝑒
o B1 is lineaire term en geeft aan hoe steil de lijn gemiddeld is, de basishelling.
§ Significant (p < .05)? Dan heeft de lijn een duidelijke helling, loopt niet
horizontaal.
o B2 zegt iets over de kromming van de lijn.
§ Significant (p < .05)? Dan is de lijn krom en niet recht, past een model met
kwadratische relatie beter.
• Standard residuals geeft informatie over of er uitschieters zijn op de Y-as, dus op de outcome
variabele. Ze laten zien hoe ver het datapunt van de regressielijn af ligt, uitgedrukt in SD.
o Vuistregel: waarden moeten tussen -3.3 en +3.3 liggen. Getallen kleiner en groter dan
dat zijn potentiële uitschieters.
o In grote steekproeven kan de marge breder zijn, omdat een uitschieter dan een minder
grote invloed heeft op de resultaten van de analyse.
5
, • Cook’s distance maakt het mogelijk om te controleren of er uitschieters zijn met een extreme
combinatie van X- en Y-scores. Geeft een indicatie voor de invloed van een individuele observatie
op het model als geheel.
o Vuistregel: waarden moeten kleiner zijn dan 1. Waarden groter dan 1 zijn influential
cases; respondenten met een sterke invloed op het regressiemodel.
Outliers aanname geschonden? 3 opties: besluiten niks te doen en datapunt gewoon meenemen in
analyse; datapunt (of complete participant) uit de analyse halen; datapunt aanpassen. Eruit halen of
aanpassen mag niet zomaar, want je weet nooit 100% zeker of iets echt een fout was. Kan zorgen voor
bias, want mogelijke andere foutieve datapunten die niet erg uitschieten, blijven wel zitten. Aanpassen
mag enkel bij heel hoge uitzondering en moet strikt worden vastgelegd. Verwijderen heeft de voorkeur
boven aanpassen, maar wees transparant in wat je doet en waarom.
Als je te sterk samenhangende onafhankelijke variabelen in je model hebt (multicollinearity), bijv. leeftijd
en werkervaring in jaren, heeft dat drie mogelijke consequenties:
1. De regressiecoëfficiënten (B) zijn onbetrouwbaar.
2. Het beperkt de grootte van R (de correlatie tussen Y en Ŷ).
3. Het belang van de individuele onafhankelijke variabelen is moeilijk tot niet vast te stellen.
• Tolerance
o Vuistregel: tolerance waarden van kleiner dan .2 zijn een potentieel probleem;
o Tolerance waarden van kleiner dan .1 zijn een daadwerkelijk probleem.
• VIF (Variance Inflation Factor)
o Staat gelijk aan 1⁄𝑡𝑜𝑙𝑒𝑟𝑎𝑛𝑐𝑒.
o Vuistregel: VIF-waarden van boven de 5 zijn een potentieel probleem;
o VIF-waarden van boven de 10 zijn een daadwerkelijk probleem.
Multicollinearity aanname geschonden? Kijk welke variabelen te sterk gecorreleerd zijn en verwijder één
van die twee. Die is namelijk toch overbodig, omdat er erg grote overlap is in wat ze meten. Je kan ook de
betreffende variabelen combineren in een schaal, bijv. met behulp van factoranalyse.
6
,INTERPRETATIE
• Frequentistisch test NHST of parameters significant niet-nul zijn.
o Bijv. 𝐻! : 𝑅, = 0 vs 𝐻- : 𝑅, > 0
• Bayesiaans vergelijkt bewijs (steun vanuit de data) voor verschillende modellen/hypotheses aan
de hand van Bayes factors.
FREQUENTISTISCH
Onderdeel Betekenis Aandachtspunten
• Best passende model heeft het grootste
R2 Proportie verklaarde variantie in de aandeel verklaarde variantie.
uitkomstvariabele; aandeel variantie dat • Waarde als 0.135 is de proportie, kan je
verklaard wordt door het gehele model. omschrijven naar percentage (13.5%).
Let op tentamen goed op waar om
gevraagd wordt.
• Geschikt voor uitspraken over
steekproef, niet zozeer over populatie.
• Interpretatie hetzelfde als R2.
Adjusted R2 R2, maar dan gecorrigeerd voor het aantal • Meer geschikt voor als je uitspraken wil
predictoren. doen over de populatie.
• Is altijd wat lager dan gewone R2.
• Let ook op deze p-waarde en niet alleen
p-waarde F-test Vertelt je of het model een significant op R2, want R2 is bijna nooit nul, maar dat
deel van de variantie in de betekent niet dat elke hoeveelheid
uitkomstvariabele verklaart. meteen significant is.
• Waarde achter (Intercept) is het snijpunt
b-waarden Kan je gebruiken bij het opstellen van de met de y-as, b0.
(unstandardized) regressievergelijking. • Waarde achter elke variabele is de
coëfficiënt voor die variabele.
• Hoe verder van 0 de waarde af zit
β-waarden Kan je gebruiken bij bepalen welke (ongeacht of het getal positief of negatief
(standardized) predictor de grootste invloed heeft op het is), hoe groter de invloed van die
model. variabele is.
• Unique effect van de predictor is
p-waarde Vertelt je of elke onafhankelijke variabele specifiek voor dit model; kan veranderen
Coefficients tabel een significante predictor is in het model. wanneer er andere predictoren worden
toegevoegd.
BAYESIAANS
Onderdeel Betekenis Aandachtspunten
• Uit dit en/of P(M | data) kan je opmaken
BF10 Vergelijkt hoe een model presteert t.o.v. het welke van de modellen het beste is.
nulmodel op basis van de data. • Hoeveel meer steun is er voor dat model
in vergelijking met het nulmodel.
• Let altijd goed op of er BF10 of BF01 staat!
7
, • Tellen altijd op tot 1.
P(M) Prior probability van elk model, voor het • Bij geen verwachting wordt het gelijk
zien van de data. verdeeld over de modellen.
• Tellen altijd op tot 1.
P(M | data) Posterior model probability (PMP) van elk • Relatieve kans op het model, gegeven de
model, wat een combinatie is van de prior data, prior probability en andere
probabilities en de data. modellen in de analyse.
• Waarden van Mean en Unstandardized
Mean (in Bayesiaanse versie van unstandardized zijn niet 100% gelijk, omdat priors ook
Posterior coëfficiënt. invloed hebben.
Summary tabel)
• Hoe hoger de waarde, hoe meer invloed
BFinclusion Laat zien hoe veel het model verbetert na die predictor op het model heeft.
het toevoegen van de betreffende predictor.
HIËRARCHISCHE MLR
Bij hiërarchische MLR heb je al een model met één of meer predictorvariabelen erin. Vervolgens maak je
een nieuw model waarin je predictoren toevoegt, wat het model nog wat complexer maakt. Daarna
vergelijk je het oorspronkelijke model (met minder predictoren) met het nieuwe model (met meer
predictoren). De vraag is dan of het nieuwe model beter is dan het vorige; helpt de uitbreiding? Let bij het
toevoegen van nieuwe predictoren op dat je eerst weer moet kijken of er geen aannames geschonden zijn.
• Model 0: 𝑦 = 𝑏! + 𝑏+ 𝑥+ + 𝑏, 𝑥, + 𝑒
• Model 1: 𝑦 = 𝑏! + 𝑏+ 𝑥+ + 𝑏, 𝑥, + 𝑏. 𝑥. + 𝑏/ 𝑥/ + 𝑒
Let bij hiërarchische MLR op de Note onder de tabellen. Op die manier kan je zien welke predictoren er al
in het nulmodel zitten, wanneer de output van de andere tabellen niet gegeven is.
• R2 Change geeft aan hoeveel meer variantie het tweede model (Model 1) verklaart vergeleken
met het eerdere model (Model 0).
o De R2 Change van Model 0 is gewoon de R2 van dat model zoals bij normale MLR.
o Een R2 Change = 0.127 bij Model 1 betekent dat het nieuwe model met de extra
predictoren 12.7% meer variantie in de uitkomstvariabele verklaart ten opzichte van
Model 0.
o Het is eigenlijk de R2 van Model 1 min de R2 van Model 0. Bij Bayesiaanse MLR wordt er
geen R2 Change gegeven bij de output, maar dit kan je dus evt. ook zelf berekenen.
De Coefficients tabel blijft hetzelfde wat betreft aflezen en interpreteren van de waarden. Wat wel kan
opvallen, is dat een predictor die in Model 0 nog significant was, niet meer significant is in Model 1. Dat
komt omdat de regressiecoëfficiënt van een predictor altijd afhankelijk is van de aanwezigheid van andere
predictoren in het model (Simpson’s paradox).
8
,ZELF DUMMYVARIABELEN MAKEN
Tot nu toe hebben we MLR gedaan met continue variabelen of met dichotome variabelen. Je kan ook
categorische variabelen met meer dan twee categorieën in een regressieanalyse gebruiken door ze om te
zetten naar meerdere dummyvariabelen. Bij frequentistische MLR doet JASP dit in principe zelf als je de
categorische variabele bij factor zet i.p.v. bij covariate, maar bij Bayesiaanse analyses moet je het
handmatig doen.
1. Tel het aantal groepen dat de variabele heeft en trek er 1 vanaf.
2. Creëer net zo veel nieuwe variabelen als dat je hebt berekend in de eerste stap, dit zijn de
dummyvariabelen. Als je bijv. een variabele hebt die 5 categorieën heeft, maak je 4
dummyvariabelen.
3. Kies welke groep de referentiegroep wordt. Dit is de groep waarmee je alle andere groepen
vergelijkt. Deze keuze maak je op basis van de vergelijkingen welke het meest relevant en
interessant zijn. Bij een experiment met verschillende behandelingen en een controlegroep is de
controlegroep bijv. het meest logisch.
4. Geef je referentiegroep de waarde 0 bij alle dummyvariabelen.
5. Bij de eerste dummyvariabele geef je de waarde 1 aan de eerste groep die je met de
referentiegroep wil vergelijken. Alle andere groepen krijgen een 0 bij deze dummyvariabele.
6. Bij de tweede dummy geef je de waarde 1 aan de tweede groep die je wil vergelijken met de
referentiegroep. Alle andere groepen krijgen wederom 0.
7. Herhaal dit proces totdat je elke groep hebt vertaald naar dummy variabelen.
Het uiteindelijke codeerschema komt er bijv. als volgt uit te zien:
• Als je meerdere dummy’s hebt moeten maken voor een variabele, zorg er dan voor dat je ze altijd
allemaal tegelijk meeneemt in een analyse; hou ze bij elkaar.
• Als je de groepen (dummy’s) wil kunnen vergelijken, heb je de Coefficients tabel nodig en kijk je
daarbij naar de Unstandardized kolom.
o De Unstandardized coëfficiënt vertelt met hoeveel de afhankelijke variabele verandert
wanneer de onafhankelijke variabele met 1 toeneemt.
o Bij een dummyvariabele betekent een toename van 1 punt dat hij verandert van 0 naar 1.
o De Unstandardized is dus het verschil tussen de referentiegroep en de groep van de
dummy.
9
, • De (Intercept) bij M1 is de referentiegroep.
o De referentiegroep heeft een
gemiddelde score van 48.552.
• SESmiddle_dummy laat zien dat iemand in
die groep gemiddeld 12.927 hoger scoort dan
iemand in de referentiegroep.
o Iemand met SES middle heeft dan
gemiddeld een score van 48.552 +
12.927 = 61.479.
o Voor iemand met SES high zou de gemiddelde score 48.552 + 14.648 = 63.2 zijn.
o Deze berekende groepsgemiddelden komen overeen met wat je zou krijgen als je in JASP
bij Descriptives de afhankelijke variabele zou neerzetten met bij Split de groepen.
• Let op: met de data in deze tabellen kan je geen uitspraken doen over of de scores voor high SES
bijv. hoger zijn dan die voor mensen met middle SES. Beide groepen worden vergeleken met de
referentie, niet met elkaar.
Je kan ook een regressievergelijking maken als je een regressie hebt met alleen maar dummyvariabelen.
Stel dat je onderzoek doet naar de effectiviteit van een middel tegen angst. Drie even grote groepen
participanten hebben het medicijn gekregen en er is gekeken wat de scores op angst vervolgens waren.
Daar kwam het volgende uit:
• Lage dosis: M = 50.
• Medium dosis: M = 25.
• Hoge dosis: M = 10.
Om te kijken wat het effect is van het medicijn op angst, maak je een regressievergelijking. Hierbij gebruik
je de hoge dosis groep als referentie.
De constant (Intercept) in de regressievergelijking wordt 10. In een regressievergelijking met alleen maar
dummy’s (zoals hier het geval is), gebruik je voor de intercept het gemiddelde van de referentiegroep. Dat
komt op de plek van b0 in de regressievergelijking. Dat geeft ŷ = 10 + 𝑏+ × 𝑙𝑎𝑔𝑒 𝑑𝑜𝑠𝑖𝑠 +
𝑏, × 𝑚𝑒𝑑𝑖𝑢𝑚 𝑑𝑜𝑠𝑖𝑠. Als je de vergelijking voor lage dosis wil, krijgt dat een waarde van 1 en wordt medium
dosis 0.
De regressiecoëfficiënt kan worden gezien als het verschil tussen de groep waar de dummy bij hoort en de
referentiegroep. Als je wil weten wat de coëfficiënt wordt voor de groep met lage dosis, bereken je dat
door 50 − 10 = 40. Oftewel in de situatie van alleen dummy’s bereken je de regressiecoëfficiënt voor de
betreffende dummy als 𝑴 𝒅𝒖𝒎𝒎𝒚𝒈𝒓𝒐𝒆𝒑 − 𝑴 𝒓𝒆𝒇𝒆𝒓𝒆𝒏𝒕𝒊𝒆𝒈𝒓𝒐𝒆𝒑 (waarbij M staat voor gemiddelde).
10
INHOUDSOPGAVE
Frequentistisch vs Bayesiaans ....................................................................................................................... 3
Betrouwbaarheidsintervallen .............................................................................................................................. 4
Multiple linear regression (MLR) ..................................................................................................................... 5
Aannames ......................................................................................................................................................... 5
Interpretatie....................................................................................................................................................... 7
Frequentistisch.............................................................................................................................................. 7
Bayesiaans .................................................................................................................................................... 7
Hiërarchische MLR ............................................................................................................................................. 8
Zelf dummyvariabelen maken ............................................................................................................................. 9
FAIR data en analyses .................................................................................................................................. 11
Findable .......................................................................................................................................................... 11
Accessible ....................................................................................................................................................... 11
Interoperable ................................................................................................................................................... 12
Reusable ......................................................................................................................................................... 12
Factorial ANOVA .......................................................................................................................................... 13
Algemeen over ANOVA ..................................................................................................................................... 13
Aannames ....................................................................................................................................................... 14
Meer over Factorial ANOVA .............................................................................................................................. 15
Hoofd- en interactie-effecten............................................................................................................................ 16
Interpretatie..................................................................................................................................................... 16
Frequentistisch.............................................................................................................................................16
Bayesiaans ...................................................................................................................................................17
Meervoudig testen en error rates ....................................................................................................................... 17
Follow-up tests en planned comparisons (frequentistisch) ................................................................................ 18
Follow-up tests voor hoofdeffecten: pairwise comparisons ............................................................................18
Follow-up tests voor interactie-effecten: simple main effects .........................................................................19
Planned comparisons/contrast testing ..........................................................................................................19
Informatieve hypotheses (Bayesiaans) .............................................................................................................. 20
Preregistratie en Registered Reports ............................................................................................................ 22
Questionable research practices (QRP’s) .......................................................................................................... 22
Preregistratie ................................................................................................................................................... 22
1
, Registered Reports........................................................................................................................................... 23
ANCOVA ...................................................................................................................................................... 25
Gemiddelden en adjusted means ..................................................................................................................... 25
Interpretatie..................................................................................................................................................... 26
Frequentistisch (& aannames) .......................................................................................................................26
Bayesiaans ...................................................................................................................................................27
ANCOVA als regressie ...................................................................................................................................... 27
Bewijs voor de nulhypothese kwantificeren ....................................................................................................... 28
Equivalence testing (SESOI) .............................................................................................................................. 30
Repeated-Measures ANOVA ......................................................................................................................... 33
Within- & between-subjects en labeling van ANOVA’s ........................................................................................ 33
Aannames ....................................................................................................................................................... 34
Interpretatie RM ANOVA met één factor............................................................................................................. 35
Frequentistisch.............................................................................................................................................35
Bayesiaans ...................................................................................................................................................36
Interpretatie RM ANOVA met twee factoren (alleen frequentistisch) .................................................................... 36
Mixed design ANOVA .................................................................................................................................... 37
Aannames ....................................................................................................................................................... 37
Interpretatie..................................................................................................................................................... 37
Frequentistisch.............................................................................................................................................37
Bayesiaans ...................................................................................................................................................38
Overfitting ................................................................................................................................................... 39
Aannames: schendingen en oplossingen ...................................................................................................... 40
Afwezigheid van outliers ................................................................................................................................... 40
Afwezigheid van multicollinearity ...................................................................................................................... 40
Homoscedasticity ............................................................................................................................................ 41
Linearity .......................................................................................................................................................... 41
Normally distributed residuals .......................................................................................................................... 42
Bootstrapping .................................................................................................................................................. 42
Mediation analyse........................................................................................................................................ 44
Wanneer gebruik je welk statistische model? ............................................................................................... 47
Analyses, meetniveaus en onderzoeksvragen .................................................................................................... 48
Aannames per analyse op een rij .................................................................................................................. 49
Validiteit...................................................................................................................................................... 50
2
,FREQUENTISTISCH VS BAYESIAANS
• Bayesiaans kijkt naar de kans dat de hypothese wordt gesteund door de data.
o Kans op hypothese, gegeven de data.
o Gezien de data die ik heb, hoe waarschijnlijk is het dat mijn hypothese waar is?
o Gezien het bewijs wat ik nu zie, hoe waarschijnlijk is het dat de verdachte schuldig is?
+ Je kan voortbouwen op bestaande kennis en onderzoeken vanwege prior kennis.
+ Resultaten hangen niet af van een sampling plan, Bayesiaanse analyse kijkt alleen naar
geobserveerde data.
+ Intuïtieve resultaten.
+ Kan bewijs vóór de nulhypothese leveren.
+ Informatieve hypotheses zijn makkelijk te evalueren.
- De resultaten hangen af van welke prior je kiest.
- Gebruikt niet de formele (frequentistische) definitie van probability.
- Niet zo wijdverspreid qua beschikbaarheid in gebruiksvriendelijke software.
• Frequentistisch kijkt naar de p-waarde, en daarmee naar de kans dat je dezelfde of meer extreme
data vindt gegeven dat de nulhypothese waar is.
o Kans op de data, gegeven de nulhypothese.
o Als de nulhypothese waar is, hoe waarschijnlijk is het dat ik zulke (of extremere) data zou
zien?
o Als de verdachte onschuldig is, hoe waarschijnlijk is het dan dat ik dit bewijs zou zien?
- De resultaten en conclusies hangen af van o.a. het sampling plan.
De likelihood function heeft op de X-as de parameter
waarin je geïnteresseerd bent, bijv. μ. De Y-as, dus hoe
hoog de lijn op een bepaald punt is, geeft aan wat de
kans is op de geobserveerde data voor elke waarde van
μ. Dit is informatie die rechtstreeks uit de data komt.
Volgens de frequentistische benadering bevindt alle
relevante informatie zich in de likelihood function. De
Bayesiaanse benadering gebruikt naast de data nog
prior informatie over μ.
• Prior is de verwachting die je vooraf al hebt, bijv. op basis van bestaande onderzoeken of
theorieën.
• Posterior distribution is wat je krijgt wanneer je wat je al dacht te weten (prior) combineert met
wat je nu uit de data leert (likelihood, BF’s).
• Posterior Model Probability (PMP) is de relatieve kans op de hypothese na het observeren van
de data. PMP’s tellen altijd samen op tot 1.
• Bayes’ Theorem is een formule voor het bepalen van conditional probability, bijv. “Wat is de
kans op de hypothese, gegeven de data die we hebben geobserveerd?”:
𝑃(𝐵 | 𝐴) × 𝑃(𝐴)
𝑃(𝐴 | 𝐵) =
𝑃(𝐵)
3
, • Frequentistisch à 𝑃(𝑑𝑎𝑡𝑎 | 𝐻! )
o De kans om dezelfde of nog extremere data te vinden als de nulhypothese waar is.
o De kans op de data, gegeven H0.
- Je weet alleen hoe waarschijnlijk de data zijn, niet hoe waarschijnlijk de nulhypothese is.
• Bayesiaans à 𝑃.𝐻" / 𝑑𝑎𝑡𝑎)
o Hoe waarschijnlijk een hypothese is, gegeven de data die we hebben waargenomen.
BETROUWBAARHEIDSINTERVALLEN
• Point estimate is de schatting van een enkele waarde van een parameter.
o De gemiddelde lengte van de leerlingen is 160 cm.
• Interval estimate is een range van waarden waar de parameter in zou moeten zitten.
o De gemiddelde lengte van de leerlingen ligt ergens tussen 154–166 cm.
+ Geeft meer informatie dan een point estimate vanwege de range van mogelijke waarden.
• Confidence interval (frequentistisch)
o Breedte hangt af van de SE. De SE hangt weer af van n en SD. 𝐶𝐼 = 𝑥̅ ± 𝑧#$%& × 𝑆𝐸
Formule hiernaast ter illustratie. Formule hoef je niet uit je
'(
hoofd te kennen, maar kan wel helpen begrijpen wat er 𝑆𝐸 =
√*
gebeurt als er bepaalde waarden veranderen.
§ Grotere n à preciezere schattingen à kleinere SE à
smaller interval.
§ Meer variatie in scores à grotere SD à grotere SE à breder interval.
o Correcte interpretatie 95% confidence interval: “Als we deze studie oneindig vaak
herhalen, zal 95% van de berekende 95% confidence intervallen de ware parameter
bevatten.”
o Parameters staan vast, maar zijn onbekend; data zijn willekeurig vanwege willekeurige
steekproef; probability verwijst naar de procedure waarmee het CI wordt berekend.
• Credible interval (Bayesiaans)
o Correcte interpretatie 95% credible interval: “Er is een 95% kans dat de ware parameter
binnen het interval ligt (gegeven de geobserveerde data en de prior).”
o Parameters zijn willekeurig en hebben een kansverdeling; data staan vast.
4
,MULTIPLE LINEAR REGRESSION (MLR)
AANNAMES
Aanname Beschrijving Hoe controleren?
Measurement levels Continue afhankelijke variabele: Checken of de variabelen numeriek zijn en of
interval of ratio. een nominale variabele dichotoom is. Evt.
dummyvariabele maken.
Continue of dichotome onafhankelijke
variabelen: interval, ratio of nominaal
met twee categorieën (0 en 1).
Linearity Is er een lineaire relatie tussen de Scatterplot bekijken: de puntenwolk moet
afhankelijke variabele en elke continue goed beschreven kunnen worden met een
onafhankelijke variabele? rechte lijn.
Absence of Afwezigheid van uitschieters voor alle Visueel met histogram of boxplot, of
(multivariate) outliers variabelen in het model. spreidingsdiagram. Statistisch met Standard
residuals of Cook’s distance.
Absence of Geen te sterke relatie tussen twee of Tolerance of VIF (Variance Inflation Factor).
multicollinearity meer onafhankelijke variabelen.
Homoscedasticity Variatie rond regressielijn of X-as overal Residuals vs Predicted plot: overal ongeveer
ongeveer even groot. even veel spreiding rond de horizontale lijn.
Normally distributed Residuen moeten ongeveer normaal Q-Q plot of residuals: geen sterk afwijkende
residuals verdeeld zijn. punten vanaf de rode diagonale lijn.
Let op: bij alle aannames-tabellen in het document heb ik (om herhaling te voorkomen) random
samples weggelaten, hoewel dat natuurlijk wel aan de basis van elke analyse ligt. Dus ook al staat
het er niet bij, hoort die er natuurlijk wel bij.
• Lineaire relatie vergelijking: 𝑦 = 𝐵! + 𝐵+ 𝑋 + 𝑒
o B0 is snijpunt met de Y-as.
o B1 is helling van de lijn.
o e is error/residu.
• Niet-lineaire relatie vergelijking: 𝑦 = 𝐵! + 𝐵+ 𝑋 + 𝐵, 𝑋 , + 𝑒
o B1 is lineaire term en geeft aan hoe steil de lijn gemiddeld is, de basishelling.
§ Significant (p < .05)? Dan heeft de lijn een duidelijke helling, loopt niet
horizontaal.
o B2 zegt iets over de kromming van de lijn.
§ Significant (p < .05)? Dan is de lijn krom en niet recht, past een model met
kwadratische relatie beter.
• Standard residuals geeft informatie over of er uitschieters zijn op de Y-as, dus op de outcome
variabele. Ze laten zien hoe ver het datapunt van de regressielijn af ligt, uitgedrukt in SD.
o Vuistregel: waarden moeten tussen -3.3 en +3.3 liggen. Getallen kleiner en groter dan
dat zijn potentiële uitschieters.
o In grote steekproeven kan de marge breder zijn, omdat een uitschieter dan een minder
grote invloed heeft op de resultaten van de analyse.
5
, • Cook’s distance maakt het mogelijk om te controleren of er uitschieters zijn met een extreme
combinatie van X- en Y-scores. Geeft een indicatie voor de invloed van een individuele observatie
op het model als geheel.
o Vuistregel: waarden moeten kleiner zijn dan 1. Waarden groter dan 1 zijn influential
cases; respondenten met een sterke invloed op het regressiemodel.
Outliers aanname geschonden? 3 opties: besluiten niks te doen en datapunt gewoon meenemen in
analyse; datapunt (of complete participant) uit de analyse halen; datapunt aanpassen. Eruit halen of
aanpassen mag niet zomaar, want je weet nooit 100% zeker of iets echt een fout was. Kan zorgen voor
bias, want mogelijke andere foutieve datapunten die niet erg uitschieten, blijven wel zitten. Aanpassen
mag enkel bij heel hoge uitzondering en moet strikt worden vastgelegd. Verwijderen heeft de voorkeur
boven aanpassen, maar wees transparant in wat je doet en waarom.
Als je te sterk samenhangende onafhankelijke variabelen in je model hebt (multicollinearity), bijv. leeftijd
en werkervaring in jaren, heeft dat drie mogelijke consequenties:
1. De regressiecoëfficiënten (B) zijn onbetrouwbaar.
2. Het beperkt de grootte van R (de correlatie tussen Y en Ŷ).
3. Het belang van de individuele onafhankelijke variabelen is moeilijk tot niet vast te stellen.
• Tolerance
o Vuistregel: tolerance waarden van kleiner dan .2 zijn een potentieel probleem;
o Tolerance waarden van kleiner dan .1 zijn een daadwerkelijk probleem.
• VIF (Variance Inflation Factor)
o Staat gelijk aan 1⁄𝑡𝑜𝑙𝑒𝑟𝑎𝑛𝑐𝑒.
o Vuistregel: VIF-waarden van boven de 5 zijn een potentieel probleem;
o VIF-waarden van boven de 10 zijn een daadwerkelijk probleem.
Multicollinearity aanname geschonden? Kijk welke variabelen te sterk gecorreleerd zijn en verwijder één
van die twee. Die is namelijk toch overbodig, omdat er erg grote overlap is in wat ze meten. Je kan ook de
betreffende variabelen combineren in een schaal, bijv. met behulp van factoranalyse.
6
,INTERPRETATIE
• Frequentistisch test NHST of parameters significant niet-nul zijn.
o Bijv. 𝐻! : 𝑅, = 0 vs 𝐻- : 𝑅, > 0
• Bayesiaans vergelijkt bewijs (steun vanuit de data) voor verschillende modellen/hypotheses aan
de hand van Bayes factors.
FREQUENTISTISCH
Onderdeel Betekenis Aandachtspunten
• Best passende model heeft het grootste
R2 Proportie verklaarde variantie in de aandeel verklaarde variantie.
uitkomstvariabele; aandeel variantie dat • Waarde als 0.135 is de proportie, kan je
verklaard wordt door het gehele model. omschrijven naar percentage (13.5%).
Let op tentamen goed op waar om
gevraagd wordt.
• Geschikt voor uitspraken over
steekproef, niet zozeer over populatie.
• Interpretatie hetzelfde als R2.
Adjusted R2 R2, maar dan gecorrigeerd voor het aantal • Meer geschikt voor als je uitspraken wil
predictoren. doen over de populatie.
• Is altijd wat lager dan gewone R2.
• Let ook op deze p-waarde en niet alleen
p-waarde F-test Vertelt je of het model een significant op R2, want R2 is bijna nooit nul, maar dat
deel van de variantie in de betekent niet dat elke hoeveelheid
uitkomstvariabele verklaart. meteen significant is.
• Waarde achter (Intercept) is het snijpunt
b-waarden Kan je gebruiken bij het opstellen van de met de y-as, b0.
(unstandardized) regressievergelijking. • Waarde achter elke variabele is de
coëfficiënt voor die variabele.
• Hoe verder van 0 de waarde af zit
β-waarden Kan je gebruiken bij bepalen welke (ongeacht of het getal positief of negatief
(standardized) predictor de grootste invloed heeft op het is), hoe groter de invloed van die
model. variabele is.
• Unique effect van de predictor is
p-waarde Vertelt je of elke onafhankelijke variabele specifiek voor dit model; kan veranderen
Coefficients tabel een significante predictor is in het model. wanneer er andere predictoren worden
toegevoegd.
BAYESIAANS
Onderdeel Betekenis Aandachtspunten
• Uit dit en/of P(M | data) kan je opmaken
BF10 Vergelijkt hoe een model presteert t.o.v. het welke van de modellen het beste is.
nulmodel op basis van de data. • Hoeveel meer steun is er voor dat model
in vergelijking met het nulmodel.
• Let altijd goed op of er BF10 of BF01 staat!
7
, • Tellen altijd op tot 1.
P(M) Prior probability van elk model, voor het • Bij geen verwachting wordt het gelijk
zien van de data. verdeeld over de modellen.
• Tellen altijd op tot 1.
P(M | data) Posterior model probability (PMP) van elk • Relatieve kans op het model, gegeven de
model, wat een combinatie is van de prior data, prior probability en andere
probabilities en de data. modellen in de analyse.
• Waarden van Mean en Unstandardized
Mean (in Bayesiaanse versie van unstandardized zijn niet 100% gelijk, omdat priors ook
Posterior coëfficiënt. invloed hebben.
Summary tabel)
• Hoe hoger de waarde, hoe meer invloed
BFinclusion Laat zien hoe veel het model verbetert na die predictor op het model heeft.
het toevoegen van de betreffende predictor.
HIËRARCHISCHE MLR
Bij hiërarchische MLR heb je al een model met één of meer predictorvariabelen erin. Vervolgens maak je
een nieuw model waarin je predictoren toevoegt, wat het model nog wat complexer maakt. Daarna
vergelijk je het oorspronkelijke model (met minder predictoren) met het nieuwe model (met meer
predictoren). De vraag is dan of het nieuwe model beter is dan het vorige; helpt de uitbreiding? Let bij het
toevoegen van nieuwe predictoren op dat je eerst weer moet kijken of er geen aannames geschonden zijn.
• Model 0: 𝑦 = 𝑏! + 𝑏+ 𝑥+ + 𝑏, 𝑥, + 𝑒
• Model 1: 𝑦 = 𝑏! + 𝑏+ 𝑥+ + 𝑏, 𝑥, + 𝑏. 𝑥. + 𝑏/ 𝑥/ + 𝑒
Let bij hiërarchische MLR op de Note onder de tabellen. Op die manier kan je zien welke predictoren er al
in het nulmodel zitten, wanneer de output van de andere tabellen niet gegeven is.
• R2 Change geeft aan hoeveel meer variantie het tweede model (Model 1) verklaart vergeleken
met het eerdere model (Model 0).
o De R2 Change van Model 0 is gewoon de R2 van dat model zoals bij normale MLR.
o Een R2 Change = 0.127 bij Model 1 betekent dat het nieuwe model met de extra
predictoren 12.7% meer variantie in de uitkomstvariabele verklaart ten opzichte van
Model 0.
o Het is eigenlijk de R2 van Model 1 min de R2 van Model 0. Bij Bayesiaanse MLR wordt er
geen R2 Change gegeven bij de output, maar dit kan je dus evt. ook zelf berekenen.
De Coefficients tabel blijft hetzelfde wat betreft aflezen en interpreteren van de waarden. Wat wel kan
opvallen, is dat een predictor die in Model 0 nog significant was, niet meer significant is in Model 1. Dat
komt omdat de regressiecoëfficiënt van een predictor altijd afhankelijk is van de aanwezigheid van andere
predictoren in het model (Simpson’s paradox).
8
,ZELF DUMMYVARIABELEN MAKEN
Tot nu toe hebben we MLR gedaan met continue variabelen of met dichotome variabelen. Je kan ook
categorische variabelen met meer dan twee categorieën in een regressieanalyse gebruiken door ze om te
zetten naar meerdere dummyvariabelen. Bij frequentistische MLR doet JASP dit in principe zelf als je de
categorische variabele bij factor zet i.p.v. bij covariate, maar bij Bayesiaanse analyses moet je het
handmatig doen.
1. Tel het aantal groepen dat de variabele heeft en trek er 1 vanaf.
2. Creëer net zo veel nieuwe variabelen als dat je hebt berekend in de eerste stap, dit zijn de
dummyvariabelen. Als je bijv. een variabele hebt die 5 categorieën heeft, maak je 4
dummyvariabelen.
3. Kies welke groep de referentiegroep wordt. Dit is de groep waarmee je alle andere groepen
vergelijkt. Deze keuze maak je op basis van de vergelijkingen welke het meest relevant en
interessant zijn. Bij een experiment met verschillende behandelingen en een controlegroep is de
controlegroep bijv. het meest logisch.
4. Geef je referentiegroep de waarde 0 bij alle dummyvariabelen.
5. Bij de eerste dummyvariabele geef je de waarde 1 aan de eerste groep die je met de
referentiegroep wil vergelijken. Alle andere groepen krijgen een 0 bij deze dummyvariabele.
6. Bij de tweede dummy geef je de waarde 1 aan de tweede groep die je wil vergelijken met de
referentiegroep. Alle andere groepen krijgen wederom 0.
7. Herhaal dit proces totdat je elke groep hebt vertaald naar dummy variabelen.
Het uiteindelijke codeerschema komt er bijv. als volgt uit te zien:
• Als je meerdere dummy’s hebt moeten maken voor een variabele, zorg er dan voor dat je ze altijd
allemaal tegelijk meeneemt in een analyse; hou ze bij elkaar.
• Als je de groepen (dummy’s) wil kunnen vergelijken, heb je de Coefficients tabel nodig en kijk je
daarbij naar de Unstandardized kolom.
o De Unstandardized coëfficiënt vertelt met hoeveel de afhankelijke variabele verandert
wanneer de onafhankelijke variabele met 1 toeneemt.
o Bij een dummyvariabele betekent een toename van 1 punt dat hij verandert van 0 naar 1.
o De Unstandardized is dus het verschil tussen de referentiegroep en de groep van de
dummy.
9
, • De (Intercept) bij M1 is de referentiegroep.
o De referentiegroep heeft een
gemiddelde score van 48.552.
• SESmiddle_dummy laat zien dat iemand in
die groep gemiddeld 12.927 hoger scoort dan
iemand in de referentiegroep.
o Iemand met SES middle heeft dan
gemiddeld een score van 48.552 +
12.927 = 61.479.
o Voor iemand met SES high zou de gemiddelde score 48.552 + 14.648 = 63.2 zijn.
o Deze berekende groepsgemiddelden komen overeen met wat je zou krijgen als je in JASP
bij Descriptives de afhankelijke variabele zou neerzetten met bij Split de groepen.
• Let op: met de data in deze tabellen kan je geen uitspraken doen over of de scores voor high SES
bijv. hoger zijn dan die voor mensen met middle SES. Beide groepen worden vergeleken met de
referentie, niet met elkaar.
Je kan ook een regressievergelijking maken als je een regressie hebt met alleen maar dummyvariabelen.
Stel dat je onderzoek doet naar de effectiviteit van een middel tegen angst. Drie even grote groepen
participanten hebben het medicijn gekregen en er is gekeken wat de scores op angst vervolgens waren.
Daar kwam het volgende uit:
• Lage dosis: M = 50.
• Medium dosis: M = 25.
• Hoge dosis: M = 10.
Om te kijken wat het effect is van het medicijn op angst, maak je een regressievergelijking. Hierbij gebruik
je de hoge dosis groep als referentie.
De constant (Intercept) in de regressievergelijking wordt 10. In een regressievergelijking met alleen maar
dummy’s (zoals hier het geval is), gebruik je voor de intercept het gemiddelde van de referentiegroep. Dat
komt op de plek van b0 in de regressievergelijking. Dat geeft ŷ = 10 + 𝑏+ × 𝑙𝑎𝑔𝑒 𝑑𝑜𝑠𝑖𝑠 +
𝑏, × 𝑚𝑒𝑑𝑖𝑢𝑚 𝑑𝑜𝑠𝑖𝑠. Als je de vergelijking voor lage dosis wil, krijgt dat een waarde van 1 en wordt medium
dosis 0.
De regressiecoëfficiënt kan worden gezien als het verschil tussen de groep waar de dummy bij hoort en de
referentiegroep. Als je wil weten wat de coëfficiënt wordt voor de groep met lage dosis, bereken je dat
door 50 − 10 = 40. Oftewel in de situatie van alleen dummy’s bereken je de regressiecoëfficiënt voor de
betreffende dummy als 𝑴 𝒅𝒖𝒎𝒎𝒚𝒈𝒓𝒐𝒆𝒑 − 𝑴 𝒓𝒆𝒇𝒆𝒓𝒆𝒏𝒕𝒊𝒆𝒈𝒓𝒐𝒆𝒑 (waarbij M staat voor gemiddelde).
10
