-
01
Opbouw en interpretatie van het model Hoofdeffecten en tweeweginteracties Vraag Toetsen bovenstaande hypotheses 1-3 hoofd- of interactie-effecten? Voor de toetsing van bovenstaande hypotheses wordt veelal een multilevel regressiemodel gebruikt, waarin alle drie de effecten gelijktijdig worden getoetst. In het model zijn – naast de predictor tijd (hypothese 1) en de interactietermen cognitieve stimulatie*tijd (hypothese 2) en emotionele steun*tijd (hypothese 3) – de predictoren cognitieve stimulatie en emotionele steun opgenomen. De hoofdeffecten van variabelen die onderdeel zijn van een interactie-effect moeten namelijk altijd worden opgenomen om interactie-effecten zuiver te kunnen interpreteren.
32
-
02
Lukt het je om met de kennis uit Thema 2 en met behulp van bovenstaande informatie de wiskundige vergelijking van dit model op te stellen? De multilevelstructuur mag je eenvoudig houden: gebruik alleen een random intercept. Tip: Denk ook na over subscripts.
32
-
03
Hoe ziet het conceptueel model van bovenstaand onderzoek eruit?
32
-
04
Bij longitudinaal onderzoek is het belangrijk om goed na te denken over de tijdsmaat in je model. In deze casus zijn drie variabelen beschikbaar om tijd te modelleren: het meetmoment (occasion), ruwe leeftijd (de leeftijd van het kind ten tijde van het meetmoment; kidagetv) of getransformeerde leeftijd (de leeftijd van het kind ten tijde van het meetmoment minus zes jaar; kidage6). Welke van deze variabele kies je om tijd te modelleren?
32
-
05
Als je alleen meetmomenten gebruikt, kun je de groei over de dataverzameling beschrijven, maar dat zegt niets over ontwikkeling over kalenderleeftijd. Je weet dus wel hoe de ontwikkeling verloopt over de zes jaren waarin het kind gevolgd is, maar de analyse geeft geen helder inzicht in het verband met de kalenderleeftijd. Zeker wanneer de leeftijd op t=0 varieert (zoals in deze dataset, waar de leeftijd op t=0 tussen 6 en 8 jaar ligt), ligt het ook in de lijn der verwachting dat de leesvaardigheid bij het eerste meetmoment verschilt mede als gevolg van het leeftijdsverschil.
33
-
06
Leeftijd als tijdsmaat is conceptueel beter geschikt bij ontwikkelingsvragen, omdat het aansluit bij het natuurlijke verloop van groei. Toch is ruwe leeftijd niet altijd bruikbaar, in het bijzonder wanneer je het intercept zou modelleren. De leesvaardigheid op leeftijd nul is inhoudelijk betekenisloos. We verwachten dat geen enkel kind kan lezen op leeftijd nul, dus de geschatte leesvaardigheid op t=0 is dan 0. Omdat er geen verschillen in leesvaardigheid zijn op t=0, is de variantie rondom het intercept ook 0.
33
-
07
Om zowel het intercept als de variantie rondom het intercept betekenis te geven, gebruik je vaak een getransformeerde leeftijd. Daarbij wordt een betekenisvol startpunt (zoals 6 jaar bij lezen) ingesteld als ‘nul’ - in dit geval variabele kidage6. Het intercept (t=0) geeft dan een schatting van de gemiddelde leesvaardigheid van een kind dat 6 jaar oud is. De random variantie van het intercept geeft dan een schatting van de verschillen in leesvaardigheid voor kinderen van 6 jaar oud. Die zal groter zijn dan 0 en is bovendien informatiever dan de verschillen in leesvaardigheid voor kinderen van 0 jaar.
33
-
08
Drieweginteracties
33
-
09
Waar een tweeweginteractie inhoudt dat de relatie tussen een predictor en een uitkomst afhangt van een derde variabele, betekent een drieweginteractie dat een interactie-effect tussen twee predictoren afhangt van de waarde van een andere variabele. In dit geval is (zijn) de sterkte en/of richting van de relatie tussen de interactie (emotionele steun × tijd) en de afhankelijke variabele (leesvaardigheid) afhankelijk van het niveau van de andere variabele (cognitieve stimulatie). Het is bij een interactie niet zo dat elk van de drie factoren (tijd, steun, stimulatie) afzonderlijk of op een optelbare manier bijdraagt aan de voorspelling van leesvaardigheid. Een consequentie van een drieweginteractie zou kunnen zijn dat de leesvaardigheid bij kinderen die zowel veel emotionele steun als veel cognitieve stimulatie krijgen, zich bijvoorbeeld sneller ontwikkelen dan je zou verwachten op basis van de hoofdeffecten of tweeweginteracties. Het geheel is dus meer dan de som der delen.
33
-
10
3.1.2 Tutorial – Datascreening
33
-
11
In het vervolg van deze tutorial ga je de opgestelde hypotheses toetsen. Je bouwt de multilevelmodellen stapsgewijs op en baseert gaandeweg je conclusies met betrekking tot de hypotheses op de resultaten die je vindt. Dit proces van modelvorming en toetsing doorloop je stap voor stap.
33
-
12
1. Datascreening
33
-
13
A. Inspecteer de data en selecteer de relevante variabelen. Wat is het meetniveau van de variabelen?
34
-
14
B. Bekijk de verdelingsvormen, outliers en missende waarden van de relevante variabelen die eenmalig gemeten zijn. Geven de uitkomsten aanleiding om de data op te schonen? Tip: maak een (tijdelijke) selectie van variabelen op het 1e meetmoment.
34
-
15
C. Bekijk de bivariate relaties (correlaties) tussen relevante variabelen op het 1e meetmoment. Controleer ook of er sekseverschillen in leesvaardigheid zijn op t=0. Waarom is het zinvol om de correlaties te bekijken? Waarom beperk je je tot de data van één meetmoment? Wat concludeer je uit dit onderdeel van de screening? Tip: maak een (tijdelijke) selectie van variabelen op het 1e meetmoment.
34
-
16
D. Bestudeer mogelijke outliers en de verdeling van de uitkomstvariabele read op alle meetmomenten. Check of de verdelingen bij benadering normaal zijn. Zijn er uitbijters (kinderen die op meerdere meetmomenten extreme scores hebben op leesvaardigheid)?
34
-
17
E. Bestudeer de gemiddelde leesvaardigheid over de tijd. Wat valt je op?
34
-
18
3.1.3 Tutorial – Analyse multilevelmodellen
34
-
19
In de tabel hieronder vind je een overzicht van de verschillende modellen die we gaan bekijken. In de eerste drie modellen (model 0, 1a en 1b) zijn geen psychologische predictorvariabelen opgenomen. Deze modellen vertonen een oplopende complexiteit en zijn bedoeld om de principes van de rekenmethode van multilevelanalyse te verduidelijken. De andere drie modellen (modellen 2, 3 en 4) vertonen eveneens een oplopende complexiteit en zijn bedoeld om de stapsgewijze procedure te illustreren waarmee uit een verzameling modellen een 'zuinig', passend model gekozen kan worden.
34
-
20
Vraag: Welke en hoeveel fixed en random parameters komen er in elk opeenvolgend model bij? Hoeveel vrijheidsgraden heb je dan bij het uitvoeren van een chi-kwadraattoets om die modellen te vergelijken?
34
-
21
Antwoord:
34
-
22
Model 0 - 1a: 1 fixed parameter (regressiecoëfficiënt kidage6)
34
-
23
Model 1a - 1b: 2 random parameters (random slope kidage6; correlatie tussen random intercept en random slope)
34
-
24
Model 1b - 2: 2 fixed parameters (regressiecoëfficiënten homeemo en homecog)
34
-
25
Model 2 - 3: 3 fixed parameters (regressiecoëfficiënten homeemo*kidage6, homecog *kidage6 en homeemo*homecog)
34
-
26
Model 3 - 4: 1 fixed parameter (regressiecoëfficiënt homeemo *homecog *kidage6)
34
-
27
Het aantal vrijheidsgraden is gelijk aan het aantal extra parameters
34
-
28
Vraag B. Zijn modellen 2 en 3 genest in elkaar? Zo ja, welk model is genest in welk model? En modellen 1b en 3?
35
-
29
Antwoord: . Zowel model 1b als model 2 is genest in model 3.
35
-
30
Model 0 - Intercept only model (leeg model/nulmodel)
35
-
31
We beginnen de analyse met een model waarin de uitkomstvariabele (read) wordt voorspeld op basis van de clustervariabele (id). Op basis van dit model bereken je de ICC. Deze vertelt je welk deel van de variantie in de uitkomstvariabele zich op persoonsniveau bevindt en welk deel van de variantie zich binnen personen bevindt. Een ICC van bijvoorbeeld 0.30 geeft aan dat 30% van de variantie zich tussen personen bevindt en 70% binnen personen. Een extreem lage ICC van 0.00 vertelt je dat er in een model zonder voorspellers geen variantie toe te schrijven is aan verschillen tussen personen. Voor deze dataset zou dat betekenen dat alle leerlingen hetzelfde gemiddelde in leesvaardigheid hebben. Hoe hoger de ICC is, hoe meer noodzaak er is om een multilevelanalyse uit te voeren.
35
-
32
Maar let wel: conceptueel gezien ben je sowieso verplicht om een multilevelanalyse uit te voeren vanwege de hiërarchische structuur die is opgenomen in de hypotheses (herhaalde metingen binnen personen). Waar je bij een multilevelanalyse voor cross-sectionele data nog kunt onderzoeken of de ICC een single-levelanalyse toelaat wanneer er geen variabelen op niveau 2 zijn opgenomen in de analyse, kan dat bij een multilevelanalyse voor herhaalde metingen niet.
35
-
33
De output van het nulmodel geeft informatie over twee relevante aspecten: modelfit en de intraklassecorrelatie. De informatie over modelfit hebben we later nodig voor een modelvergelijking: de AIC (5058), de BIC (5073) en de log-likelihood om de deviance ( -2 * -2525.915 = 5051.83) te berekenen. De ICC gebruiken we om na te gaan hoe de verschillen in leesvaardigheid verdeeld zijn over de niveaus (meetmomenten of kinderen). De output geeft aan dat zo'n 11% van de variantie in leesvaardigheid herleid kan worden tot de verschillen tussen de kinderen.
35
-
34
Model 1a - Fixed slope model
35
-
35
Het tweede model dat we bekijken is eveneens een random-interceptmodel, maar hierbij is het meetmoment (kidage6) toegevoegd als voorspeller. De variabele kidage6 is gemaakt door de variabele kidagetv te transformeren:
35
-
36
kidage6 = kidagetv - 6
35
-
37
Voor een kind dat op het eerste meetmoment precies 6 jaar oud was, is kidage6 op het eerste meetmoment gelijk aan 0, op het tweede meetmoment gelijk aan 2, enzovoort. Een kind dat 6.5 jaar oud was ten tijde van het eerste meetmoment heeft dus een score van 6.5 op kidagetv en scores van 0.5 en 2.5 op de eerste twee meetmomenten van kidage6. Zoals uitgelegd in 3.1.1 zorgt deze transformatie ervoor dat (de variantie van) het intercept zinvol interpreteerbaar is. Het intercept geeft bij gebruik van kidage6 de voorspelde leesvaardigheid voor kidage6 = 0 (een kind van 6 jaar oud dus) en de random variantie ervan geeft informatie over de verschillen in leesvaardigheid tussen kinderen op 6-jarige leeftijd.
35
-
38
In deze output zijn wederom twee aspecten met meest relevant: het fixed effect van tijd en de modelfit. De positieve parameterschatting voor kidage6 (b = 0.552, SE = 0.009, p < .001) geeft een stijgende trend van leesvaardigheid over de tijd weer. Dat is iets wat je kunt verwachten bij opgroeiende kinderen die les hebben in het basisonderwijs.
35
-
39
De AIC (3421), BIC (3442) en deviance (-2LL = -2 * -1706.960 = 3413.920) zijn duidelijk lager dan bij het nulmodel. Voor de AIC en BIC kunnen we zonder toetsen concluderen dat model 1a beter bij de data past dan model 0. Voor de deviance voeren we weer een chi-kwadraattoets uit op het verschil in deviance (Δdeviance; het verschil tussen de twee -2LL-waarden). Het verschil in degrees of freedom (Δdf) is het verschil in het aantal geschatte parameters, zoals je dat al eerder hebt berekend. De exacte p-waarde van de bijbehorende chi-kwadraattoets kun je uitrekenen, zie bijvoorbeeld deze Chi-square calculator. Uit alle gepresenteerde fitmaten kunnen we dus concluderen dat model 1a beter bij de data past dan model 0.
35
-
40
Bij modellen met voorspellers erin kijken we niet meer naar de ICC. Die hebben we niet meer nodig om te bepalen of we een multilevelmodel nodig hebben om standaardfouten en p-waarden op een correcte manier te berekenen. Het is ook niet zonder meer zinvol om die te vergelijken met de ICC van het nulmodel of een ander model.
36
-
41
In de grafieken zie je de weergave van een random intercept: alle regressielijnen liggen op een andere hoogte.
36
-
42
Model 1b - Random slope model
36
-
43
In het derde model is, net zoals in model 1a, een component opgenomen die de ontwikkeling van leesvaardigheid in de tijd vertegenwoordigt (i.e., het fixed effect kidage6). Model 1b laat daarenboven toe dat de lineaire ontwikkeling van leesvaardigheid niet voor elk kind hetzelfde is. Model 1b is dus een uitbreiding van model 1a, omdat er een random effect voor tijd is toegevoegd. Met deze zogenaamde 'random slope' sta je het model toe om voor iedere individuele deelnemer een aparte ontwikkelingslijn te specificeren. De term random slope verwijst naar het feit dat deze verschillende regressielijnen niet parallel lopen.
36
-
44
Hoewel er in grote lijnen een vergelijkbaar patroon in de ontwikkeling van de leesvaardigheid is (de leesvaardigheid zal naar verwachting bij alle kinderen toenemen, bijvoorbeeld), valt ook te verwachten dat verschillende kinderen zich in een ander tempo zullen ontwikkelen. Omdat je niet zeker weet of het ook nodig is om rekening te houden met random verschillen, weet je ook niet zeker of een random slope nodig is. Daarom bekijken we of een model met een random slope (significant) beter bij de data past dan het model zonder random slope. Mocht dat niet het geval zijn, dan verwijderen we de random slope in het vervolg van de modelopbouw en concluderen we dat de ontwikkeling in leesvaardigheid bij ieder kind (ongeveer) hetzelfde is.
36
-
45
Als we de modelfitmaten (AIC: 3239; BIC: 3270; deviance = -2 * -1613.376 = 3226.752) vergelijken met die van model 1a, concluderen we dat model 1b tot een significante verbetering leidt. Deze bevinding is een reden om in alle modellen die we in het vervolg toetsen de random slope voor kidage6 op te nemen. Onderstaande grafieken geven weer wat de verschillen zijn tussen model 1a en 1b. De (n = 405) regressielijnen in de linkergrafiek zijn allemaal parallel: er is alleen een fixed slope van kidage6). De regressielijnen in de rechtergrafiek zijn niet parallel en vertonen een divergerend patroon: er is zowel een fixed als een random slope van kidage6).
36
-
46
In de rechtergrafiek van model 1b is trouwens goed te zien dat naarmate kinderen een hogere leesvaardigheid hadden op 6-jarige leeftijd, de stijging in leesvaardigheid in de jaren daarna sterker is. Dit zie je ook aan de correlatie tussen intercept en slope: r(intercept,slope) = 0.878.
37
-
47
Ook dit is weer een reden om goed na te denken over de variabele voor tijd. Een zinvol (gekozen) intercept maakt het mogelijk om de correlatie tussen random intercept en random slope te duiden.
37
-
48
De positieve parameterschatting voor kidage6 (b = 0.564, SE = 0.011, p < .001) geeft ook in dit model een stijgende trend van leesvaardigheid over de tijd weer.
37
-
49
Vraag
37
-
50
Hoe zou je de correlatie tussen random intercept en random slope interpreteren wanneer je de ruwe leeftijd (kidagetv) had gekozen als variabele voor tijd? Kun je ook beredeneren hoe groot die correlatie zou zijn?
37
-
51
Antwoord: De correlatie tussen het random intercept en een random slope van kidagetv zou aangeven in hoeverre de stijging in leesvaardigheid sterker of zwakker is wanneer de kinderen een hogere leesvaardigheid hadden op 0-jarige leeftijd.
37
-
52
Omdat er geen variantie in leesvaardigheid op 0-jarige leeftijd wordt verwacht (i.e., variantie van het random intercept is 0), zal de correlatie tussen random intercept en random slope ook 0 zijn.
37
-
53
Model 2 - Hoofdeffectenmodel
37
-
54
Het vierde model is een model waarin twee psychologische predictorvariabelen zijn opgenomen, namelijk cognitieve stimulatie (homecog) en emotionele steun (homeemo). Inhoudelijk gezien is dit model slechts een tussenstation in de reeks van modelvergelijkingen, omdat de toetsing van hoofdeffecten niets zegt over de 'stijging' in de leesvaardigheid afhankelijk van cognitieve stimulatie of emotionele steun. Wij laten dit model hier wel zien, maar in een echt onderzoek zou je dit model kunnen overslaan. In dit model werken we gestandaardiseerde variabelen voor homecog en homeemo, omdat daardoor de resultaten wat beter interpreteerbaar zijn. Je zou ook kunnen kiezen voor gecentreerde variabelen.
37
-
55
Model 2 resulteert in een kleine, maar significante verbetering in fit in vergelijking met model 1b op basis van de chi-kwadraattoets. Ook de AIC is licht gedaald. De BIC is daarentegen hoger.
37
-
56
Vraag
37
-
57
De modelfitstatistieken geven geen consistent beeld. Wat concludeer je over de modelfit van model 2 ten opzichte van model 1b?
37
-
58
Antwoord: Dat kan gebeuren - en dat betekent dat de verlaging van de deviance volgens de berekening van de BIC niet opweegt tegen het aantal extra parameters. De deviance is lager, maar afhankelijk van het belang dat je zuinigheid van het model toekent, kun je concluderen of je het model beter vindt of niet.
37
-
59
De positieve, significante parameterschatting voor homecog (b = 0.120, SE = 0.038, p = .002) suggereert dat kinderen - gecontroleerd voor emotionele steun - een hogere leesvaardigheid op t=0 (i.e., kidage6 = 0, dus op 6-jarige leeftijd) hebben wanneer zij meer cognitief gestimuleerd zijn.
37
-
60
De positieve, niet-significante parameterschatting voor homeemo (b = 0.009, SE = 0.039, p = .819) suggereert dat kinderen - gecontroleerd voor cognitieve stimulatie - geen significant hogere leesvaardigheid hebben op t=0 naarmate zij thuis meer emotioneel gesteund worden.
38
-
61
Zoals je aan de interpretatie kunt zien, zeggen de hoofdeffecten alleen iets over t=0 en niet over de ontwikkeling over tijd. Voor onze hypotheses over de longitudinale samenhang cognitieve stimulatie/emotionele steung en leesvaardigheid zijn deze hoofdeffecten dus niet interessant. Daarvoor dien je de interactie tussen beide effecten en tijd toe te voegen, hetgeen je gaat doen in model 3.
38
-
62
Model 3 - Model met (alle) tweeweginteractietermen
38
-
63
In vergelijking met het vorige model zijn in model 3 drie tweeweg-interactietermen opgenomen, namelijk de interactie tussen cognitieve stimulatie en tijd, de interactie tussen emotionele steun en tijd en de interactie tussen cognitieve stimulatie en emotionele steun.
38
-
64
Voor het toetsen van hypotheses 2 en 3 heb je de interacties tussen a) cognitieve stimulatie en tijd; en b) emotionele steun en tijd nodig.
38
-
65
De interactie tussen cognitieve stimulatie en emotionele steun heb je niet nodig om deze hypotheses te toetsen. We voegen die interactie hier al toe om straks het model te kunnen vergelijken met een model waarin de drieweg-interactie tussen tijd, cognitieve stimulatie en emotionele steun is opgenomen. Soms is het ook beter om die hypothese weg te laten bij het toetsen van deze hypotheses. We gaan in deze cursus verder niet op die keuze in: in deze cursus mag je hem alvast toevoegen of nog weglaten.
38
-
66
Je hebt die interactie in ieder geval wel nodig in het model waarmee je hypothese 4 toetst (model 4). Als je hem in deze stap weglaat, zorg dan dat je hem niet vergeet bij het model met een drieweginteractie.
38
-
67
Uit de modelvergelijking blijkt dat model 3 ten opzichte van model 2 tot een (kleine) maar significante verbetering in fit leidt. We zien eenzelfde patroon als bij model 2 vs. model 1b: de AIC (3218) daalt, de BIC (3275) stijgt licht en de deviance (3195.602) is significant lager.
38
-
68
Uit de analyse van fixed effecten in model 3 komt naar voren dat er een significante, stijgende trend in leesvaardigheid over de tijd is voor kinderen die gemiddeld scoren op cognitieve stimulatie (homecog = 0) en emotionele steun (homeemo = 0). Dit is namelijk het hoofdeffect van kidage6 (b = 0.564, SE = 0.010, p < .001). Daarnaast is te zien dat meer cognitieve stimulatie significant voorspellend is voor een hogere leesvaardigheid op 6-jarige leeftijd (kidage6 = 0) bij een gemiddelde emotionele steun (homeemo = 0): het hoofeffect van homecog (b = 0.103, SE = 0.039, p = .009). Meer emotionele stimulatie is niet significant voorspellend voor leesvaardigheid op 6-jarige leeftijd (b = -0.034, SE = 0.041, p = .399).
38
-
69
Deze analyse geeft geen steun voor een interactie-effect tussen tijd en cognitieve stimulatie: naarmate kinderen cognitief meer gestimuleerd worden, is de stijging in leesvaardigheid niet significant sterker, wanneer gecontroleerd wordt voor emotionele steun (kidage6∗homecog: b = 0.015, SE =0.011, p = .179). Deze bevinding ondersteunt de hypothese dat er een longitudinale samenhang is tussen cognitieve stimulatie en toename van leesvaardigheid over de tijd (hypothese 2) dus niet.
38
-
70
Daarnaast suggereert deze analyse een positief interactie-effect tussen tijd en emotionele steun: naarmate kinderen emotioneel meer gesteund worden, is de stijging in leesvaardigheid significant sterker, wanneer gecontroleerd wordt voor cognitieve stimulatie (kidage6∗ homeemo: b = 0.038, SE =0.011, p < .001). Deze bevinding ondersteunt dus de hypothese dat er een longitudinale samenhang is tussen emotionele steun en toename van leesvaardigheid over de tijd (hypothese 3).
38
-
71
Model 4 - Model met extra drieweg-interactieterm
39
-
72
Met de analyse van dit laatste en meest complexe model willen we vooral nagaan of de combinatie van een hoge mate van cognitieve stimulatie en hoge mate van emotionele steun een sterkere stijging in leesvaardigheid over de tijd voorspelt dan je zou verwachten wanneer je alleen naar de twee tweeweginteracties met tijd kijkt. Dat doen we door na te gaan of, en zo ja, op welke manier de longitudinale relatie tussen emotionele steun en leesvaardigheid afhangt van de mate van cognitieve stimulatie (hypothese 4). In vergelijking met het vorige model is in model 4 één extra drieweg-interactieterm opgenomen, namelijk die tussen tijd, cognitieve stimulatie en emotionele steun.
39
-
73
Model 4 geeft geen verbetering in fit in vergelijking met model 3. Daarin zijn de fitmaten unaniem.
39
-
74
Vraag: Vormt model 4 een verbetering ten opzichte van model 2? Is dat een zinvolle vergelijking?
39
-
75
Antwoord: Ten opzichte van model 2 daalt de AIC met 3231 - 3219 = 12 eenheden. De BIC stijgt met 3282 - 3273 = 9 eenheden. De deviance daalt met 3215.059 - 3195.479 = 19.580 eenheden, terwijl het model 4 extra parameters heeft. Dat is een significante daling van de deviance (χ2 (4) = 19.580, p < .001). Het is doorgaans een vrij grote stap om in één keer van een model met alleen hoofdeffecten naar een model met zowel tweeweginteracties als een drieweginteractie te gaan. Als je er een goede reden voor hebt om dat te doen, zou het kunnen, maar eigenlijk is het zinvoller om de tweeweginteracties als tussenstap te nemen. Daar heb je immers ook vrijwel altijd een of meerdere hypotheses over.
39
-
76
Uit de resultaten blijkt dat die niet significant is (b = -0.003, SE = 0.010, p = .726). We concluderen dus dat er geen ondersteuning is voor hypothese 4: de relatie tussen emotionele steun en ontwikkeling van leesvaardigheid over tijd hangt niet af van de mate van cognitieve stimulatie.
39
-
77
CHAT vraag bij de tabel, waar kijk ik naar en hoe af te lezen?
39
-
78
Waar kijk je naar?
39
-
79
1. Modellen (0 t/m 4)
39
-
80
Dit zijn verschillende modellen die op dezelfde data zijn geschat.
39
-
81
Model 0 is meestal het nulmodel (zonder voorspellers of alleen met intercept).
39
-
82
Daarna worden steeds meer voorspellers of parameters toegevoegd (1a, 1b, 2, 3, 4).
39
-
83
2. AIC en BIC (fit-indices)
39
-
84
Beide zijn criteria om de model fit te beoordelen, waarbij lager beter is.
39
-
85
Ze houden rekening met zowel de model fit als de complexiteit (aantal parameters).
39
-
86
BIC straft complexiteit sterker dan AIC.
40
-
87
3. Deviance (-2LL)
40
-
88
De log-likelihood is een maat voor hoe goed het model de data verklaart.
40
-
89
Lagere deviance = betere fit.
40
-
90
4. Δdeviance (Δdf)
40
-
91
Dit vergelijkt twee modellen die genest zijn (het ene model is een uitbreiding van het andere).
40
-
92
Δdeviance volgt een χ²-toets met Δdf vrijheidsgraden.
40
-
93
Een significant resultaat (p < .05) betekent dat het uitgebreidere model een significant betere fit geeft.
40
-
94
Hoe lees je deze tabel?
40
-
95
Model 0 → Model 1a: Deviance daalt sterk (5051.830 → 3413.920). Verschil is 1637.91 met 1 df, p < .001 → heel sterke verbetering.
40
-
96
Model 1a → Model 1b: Nogmaals een flinke verbetering (Δdeviance = 187.168, p < .001).
40
-
97
Model 1b → Model 2: Kleinere, maar nog steeds significante verbetering (Δdeviance = 11.693, df = 2, p = .003).
40
-
98
Model 2 → Model 3: Weer significante verbetering (Δdeviance = 19.457, p < .001).
40
-
99
Model 3 → Model 4: Nauwelijks verbetering (Δdeviance = 0.123, p = ns). Model 4 is dus niet beter dan model 3.
40
-
100
Conclusie uit deze tabel
40
-
101
De modellen worden steeds beter tot en met Model 3.
40
-
102
Model 4 levert geen significante verbetering meer op en is dus niet te verkiezen boven Model 3.
40
-
103
Je zou dus zeggen: Model 3 is het beste model, omdat het de beste balans heeft tussen fit en eenvoud.
40
-
104
Je kunt AIC/BIC erbij gebruiken om de keuze te onderbouwen (ook daar zie je dat Model 3 laag scoort).
40
-
105
? Samengevat: Je leest van boven naar beneden hoe elk model de fit verbetert ten opzichte van het vorige. Je kiest uiteindelijk het best passende en nog niet te complexe model (hier: Model 3).
40
-
106
3.1.4 Tutorial – Grafieken maken
40
-
107
Om de resultaten van een analyse van longitudinale data inzichtelijk te maken (voor een lezer) worden vaak grafische weergaven gebruikt. Met name als er een model is opgesteld om een interactiehypothese te toetsen, zijn grafieken uitermate behulpzaam om een inzichtelijke presentatie van relaties tussen variabelen te geven.
40
-
108
Als je grafieken aan APA-normen moeten voldoen, zijn zowel jamovi als SPSS niet altijd een goede keus. Hoewel we in deze cursus geen andere softwareprogramma's onderwijzen, kunnen ook Excel (soms) of R (meestal) meer flexibiliteit bieden in het maken van grafieken.
40
-
109
3.1.5 Verwerkingsopdracht - analyse van ontwikkelingen over de tijd
40
-
110
wordt verwacht dat je de analyses zelfstandig kunt uitvoeren en tussentijds de juiste beslissingen kunt nemen.
40
-
111
Opdracht - De rol van sekse en leeftijd van de moeder
40
-
112
A. Formuleer een vraagstelling en vier bijbehorende hypotheses
40
-
113
B. Voer een datascreening uit met behulp van de gegevens in het geaggregeerde databestand Maak tevens een scatterplot om de samenhang te visualiseren. Vind je dat hier sprake is van een 'lineaire' samenhang?
40
-
114
C. Maak meerdere multilevel modellen waarmee de vier hypotheses getoetst kunnen worden. Bouw daarbij de modellen stapsgewijs op. Neem dus beginnend met het 0-model stapsgewijs steeds meer componenten op en besluit de reeks van modelvergelijkingen met een model waarin een drieweg-interactiecomponent is opgenomen. Welk model is het meest geschikt om de relaties in de data adequaat te beschrijven en wat zeggen deze resultaten over de hypotheses die je eerder hebt geformuleerd?
40
-
115
D. Maak eventueel één of meerdere grafieken voor een inzichtelijke visuele representatie van de relaties tussen de variabelen.
41
-
116
3.2 Analyse van ESM-data
41
-
117
3.2.1 Tutorial - Introductie
41
-
118
In deze tutorial nemen we je stap-voor-stap mee door een multilevelanalyse van longitudinale data, waarbij we geïnteresseerd zijn in fluctuaties in de tijd.
41
-
119
In deze studie wordt gebruik gemaakt van de experience sampling method (ESM). Met deze intensieve methode van dataverzameling wordt verondersteld dat zogenaamde recall bias vermeden wordt door deelnemers te vragen hoe zij zich op dat moment – het moment van de meting – voelen.
41
-
120
In de dataset zijn er twee niveaus te onderscheiden:
41
-
121
Niveau 1 (binnen personen): meetmomenten (herhaalde metingen per persoon). Deze variabelen kunnen per meetmoment verschillen: bv: beepnr – meetmoment per dag
41
-
122
Niveau 2 (tussen personen): de individuele volwassenen. Deze variabelen zijn slechts eenmaal gemeten: Bv: subjnr – uniek respondentnumme
41
-
123
Voorbeeld: Hypotheses
41
-
124
Ten aanzien van de relatie tussen negatief affect en seksueel verlangen zijn op basis van de literatuur (onder andere Van Tuijl et al., 2022) de volgende hypotheses opgesteld:
41
-
125
1. Momentaan negatief affect (NA) hangt negatief samen met momentaan seksueel verlangen (SV).
41
-
126
2. De momentane negatieve relatie tussen NA en SV is negatiever bij vrouwen dan bij mannen.
41
-
127
3. De momentane negatieve relatie tussen NA en SV is minder negatief naarmate personen meer seksuele excitatie ervaren.
41
-
128
4. De relatie tussen seksuele excitatie en de momentane relatie tussen NA en SV wordt gemodereerd door sekse. [NB Dit is een meer exploratieve hypothese, omdat hierbij geen richting van het effect wordt geformuleerd.]
41
-
129
Opbouw en interpretatie van het model
41
-
130
Hoofd- en interactie-effecten
41
-
131
Vraag
41
-
132
Toetsen bovenstaande hypotheses 1-4 hoofd- of interactie-effecten?
41
-
133
Hypothese 1 betreft het hoofdeffect van negatief affect. Hiervoor neem je niet 'tijd' op als een voorspeller in je model, maar alleen NegatiefAffect zoals gemeten op de verschillende tijdstippen.
41
-
134
Hypotheses 2 en 3 betreffen tweeweginteracties. Je onderzoekt of het (beepleveleffect) tussen NegatiefAffect en SeksueelVerlangen anders is voor verschillende niveaus van seksuele excitatie (SES), respectievelijk anders is voor vrouwen dan mannen (sekse).
41
-
135
Hypothese 4 betreft een drieweginteractie. Je onderzoekt of de interactie tussen predictor (NA) en primaire moderator (SES) anders is voor mannen dan voor vrouwen (i.e., gemodereerd wordt door secundaire moderator sekse).
41
-
136
Vraag : Stel dat we voor iedere hypothese een apart model zouden maken. Maak met behulp van bovenstaande informatie voor iedere hypothese de wiskundige vergelijkingen van de model
41
-
137
Vraag
42
-
138
Hoe kun je nagaan of de relaties tussen negatief affect en seksueel verlangen verschillen tussen personen?
42
-
139
Antwoord: Of er verschillen bestaan tussen de deelnemers in de beeplevelassociatie tussen NegatiefAffect en SeksueelVerlangen, toets je door in het model random slopes toe te staan. Hiermee sta je het model toe om voor iedere deelnemer een eigen associatie te specificeren.
42
-
140
Wanneer het model met random slopes een significante verbetering is van het model waarin die variatie in beeplevelassociatie niet is toegestaan, dan neem je die random slopes in je model blijvend opnemen. Dit alles doe je voordat je hypothese 2 en 3 – de interactiehypotheses – gaat toetsen.
42
-
141
Drieweginteractie
42
-
142
Omdat je ook een drieweg-interactie (hypothese 4: NegatiefAffect*sekse*SES) wilt toetsen, heb je het model met alleen de drie tweeweg-interacties (NegatiefAffect* SES, NegatiefAffect*sekse en SES*sekse) nodig om mee te kunnen vergelijken. Naast de drieweg-interactie neem je dus ook de tweeweg-interactie tussen SES en sekse zelf op.
42
-
143
3.2.2 Tutorial - Datascreening
42
-
144
In het vervolg van deze opdracht ga je de opgestelde hypotheses toetsen. Je bouwt de multilevel modellen stapsgewijs op en baseert gaandeweg je conclusies met betrekking tot de hypotheses op de resultaten die je vindt. Dit proces van modelvorming en toetsing doorloop je stap voor stap aan de hand van de onderstaande tekst en uitwerkingen.
42
-
145
1. Datascreening
42
-
146
A. Inspecteer de data en selecteer de relevante variabelen. Wat is het meetniveau van de variabelen?
42
-
147
B. Bekijk de verdelingsvormen, outliers en missende waarden van de relevante variabelen die eenmalig gemeten zijn. Geven de uitkomsten aanleiding om de data op te schonen? Tip: maak een (tijdelijke) selectie van variabelen op het 1e meetmoment.
42
-
148
C. Bekijk de bivariate relaties (correlaties) tussen relevante variabelen. Wat concludeer je uit dit onderdeel van de screening? Tip: gebruik hiervoor het geaggregeerde databestand.
42
-
149
D. Bestudeer mogelijke outliers en de verdeling van de uitkomstvariabele SeksueelVerlangen. Check of de verdelingen bij benadering normaal zijn. Zijn er uitbijters? Zijn er personen die systematisch (op meerdere meetmomenten) extreme scores hebben op seksueel verlangen?
42
-
150
E. Bekijk de gemiddelde mate van SeksueelVerlangen over de verschillende meetmomenten. Wat valt je op?
42
-
151
3.2.3 Tutorial - Analyse van multilevelmodellen
43
-
152
Model 0 - Intercept only model (leeg model)
43
-
153
We beginnen de analyse met een model waarin de uitkomstvariabele (SeksueelVerlangen) wordt 'voorspeld' op basis van de (random) clustervariabele (subjnr). 'Voorspeld' staat tussen aanhalingstekens, omdat de clustervariabele géén voorspeller is, maar helpt wel om te schatten hoe veel variantie zich bevindt op het niveau van personen en hoe veel variantie zich bevindt op het niveau van meetmomenten. Dat geeft een indicatie van de hoeveelheid variantie die we in complexere modellen kunnen proberen te verklaren met voorspellers op respectievelijk niveau 2 en niveau 1. Het nulmodel is de start van je multilevelanalyse en is tegelijk ook een onderbouwing voor het gebruik ervan. Hoe hoger de ICC, des te meer reden om een multilevelanalyse uit te voeren. Door geen voorspeller op te nemen in het model ('empty model') wordt voor iedere persoon één (voorspelde) score op SeksueelVerlangen berekend wat een afspiegeling is van het gemiddelde van alle 70 metingen. Dat zal natuurlijk geen optimale voorspelling zijn en de latere toevoeging van daadwerkelijke voorspellers verbetert het model waarschijnlijk aanzienlijk.
43
-
154
Om vergelijking met complexere modellen te kunnen maken, noteren we de modelfitmaten van het nulmodel: AIC (36664), BIC (36684) en deviance (-2LL = -2 * -18328.871 = 36657.741).
43
-
155
Bovenstaande grafiek is gemaakt om voor een kleine selectie van respondenten te tonen welke informatie wel en niet uit het nulmodel gehaald kan worden. De horizontale lijnen geven de gemiddelde scores van de respondenten over alle meetmomenten weer. Er is geen relatie tussen negatief affect en seksueel verlangen zichtbaar. Dat is ook logisch, want negatief affect is niet opgenomen in dit model. Het nulmodel “voorspelt” voor alle waarden van negatief affect (en elke andere voorspeller die niet in het model is opgenomen) dezelfde waarde. Omdat er een random intercept aan het model is toegevoegd, is het nog wel mogelijk om het gemiddelde per persoon te berekenen. Bij een model zonder random intercept (single-level regressieanalyse dus) is ook dat niet het geval en zou er maar één horizontale lijn geplot worden, namelijk ter hoogte van het steekproefgemiddelde - het fixed intercept van 5.73.
44
-
156
Model 1a - Fixed slope model
44
-
157
Het tweede model dat we bekijken is eveneens een random-interceptmodel, maar hierbij is NegatiefAffect toegevoegd als voorspeller van SeksueelVerlangen.
44
-
158
Centreren bij ESM-data
44
-
159
Tot nu toe hebben we je steeds geleerd om continue variabelen te centreren wanneer ze voorkomen in een interactie. Bij ESM-data levert dat extra complexiteit op, waar we in deze cursus verder niet op in zullen gaan. Daarom gebruiken we bij predictorvariabele bij ESM-data een ongecentreerde predictorvariabele, zoals je bij het runnen van model 1a hebt gebruikt. De moderatoren zijn wel gestandaardiseerd (en daarmee dus automatisch gecentreerd rondom het gemiddelde). Dat helpt verderop bij verwerkingsopdracht 3.2.5 weer om regressievergelijken en grafieken makkelijker te kunnen koppelen aan elkaar. Binnen deze cursus kun je dat voorbeeld volgen: bij ESM-data hoef je een continue predictor niet te centreren en een continue moderatorvariabele kun je standaardiseren.
44
-
160
Model 1a past op basis van alle drie de fit indices beter bij de data dan model 0. De exacte p-waarde van de bijbehorende chi-kwadraattoets kun je uitrekenen
44
-
161
Model 1b - Random slope model
44
-
162
In model 1b is het random effect voor de voorspeller NegatiefAffect toegevoegd. Dit is een belangrijk detail, want met deze zogenaamde 'random slope' sta je het model toe om voor iedere individuele deelnemer een aparte regressielijn te specificeren die het verband weergeeft voor alleen die deelnemer. Je verwacht namelijk dat verschillende deelnemers een verschillend verband tussen NegatiefAffect en SeksueelVerlangen laten zien.
44
-
163
Echter, je weet niet zeker of dit ook zo is. Als het model met 'random slopes' een significante verbetering oplevert ten opzichte van het model zonder 'random slopes', dan is het nodig dit aspect op te nemen in je model. Mocht het niet nodig zijn, dan zegt dat dat de samenhang tussen NegatiefAffect en SeksueelVerlangen voor iedere persoon (nagenoeg) hetzelfde is.
44
-
164
In vergelijking met model 1a zijn er twee extra parameters bijgekomen: (1) een extra parameter die de variantie schat van de regressiecoëfficiënten van de regressielijnen die bij de individuele deelnemers horen en (2) de correlatie tussen de random intercepts en de regressiecoëfficiënten.
44
-
165
Uit de modelvergelijking blijkt dat op basis van de deviance model 1b significant beter bij de data past dan model 1a. Ook de AIC en BIC zijn gedaald. Daarom nemen we in de volgende modellen naast een random intercept tevens een random slope op voor NegatiefAffect.
45
-
166
Onderstaande grafieken (gemaakt met jamovi) geven treffend weer wat de verschillen zijn tussen model 1a en 1b. De (n = 133) regressielijnen in de linkergrafiek zijn allemaal parallel (dat wil zeggen, fixed slope van NegatiefAffect). De regressielijnen in de rechtergrafiek zijn niet parallel (dat wil zeggen, random slope van NegatiefAffect). Voor de meeste personen in de rechtergrafiek is er een negatieve samenhang tussen NegatiefAffect en SeksueelVerlangen, maar er zijn ook enkele personen bij wie een positieve samenhang waarneembaar is.
45
-
167
De rechtergrafiek geeft goed weer dat door het opnemen van een random slope de lijnen nog steeds redelijk parallel lopen, op enkele (stijgende) lijnen na, die duiden op een positieve samenhang tussen negatief affect en seksueel verlangen (voor die personen).
45
-
168
De overall negatieve samenhang tussen NegatiefAffect en SeksueelVerlangen is de te zien in de parameterschatting voor NegatiefAffect (b = -0.270, SE = 0.061, p < .001) geeft een negatieve associatie weer tussen NegatiefAffect en SeksueelVerlangen. Een hoger negatief affect gaat over het algemeen samen met een lager seksueel verlangen.
45
-
169
Model 2 - Hoofdeffectenmodel
45
-
170
Het vierde model is een model waarin twee extra predictorvariabelen zijn opgenomen, namelijk seksuele excitatie (SES) en sekse. Inhoudelijk gezien is dit model slechts een tussenstation in de reeks van modelvergelijkingen, omdat de toetsing van hoofdeffecten niets zegt over de relatie tussen NegatiefAffect en SeksueelVerlangen per persoon. Belangrijk hierbij is dat SES en sekse persoonsvariabelen zijn en dat het effect dat je zult kunnen afleiden uit de tabel met Fixed Effects het effect is van SES en sekse op het gemiddelde van SeksueelVerlangen per cluster (in dit geval, per persoon). Overigens werken we hier met een gestandaardiseerde variabele voor SES, omdat daardoor de resultaten wat beter interpreteerbaar zijn.
45
-
171
Uit AIC, BIC en deviance kunnen we concluderen dat model 2 in een verbetering in fit resulteert in vergelijking met model 1b.
46
-
172
De hoofdeffecten zijn alle drie significant. NegatiefAffect heeft (ook in dit model) een negatieve relatie met SeksueelVerlangen (b = -0.272, SE = 0.061, p < .001). Op momenten waarop iemand meer negatief affect ervaart, zal diegene minder seksueel verlangen voelen. Een toename van 1 punt NegatiefAffect hangt samen met een afname van 0.27 punt SeksueelVerlangen, gecontroleerd voor SES en sekse. SES hangt positief samen met SeksueelVerlangen (b = 1.257, SE = 0.219, p < .001): meer seksuele opwinding voorspelt gemiddeld meer seksueel verlangen, gecontroleerd voor NegatiefAffect en sekse. Verder zien we dat vrouwen een significant lagere voorspelde score hebben op seksueel verlangen dan mannen (b = -1.023, SE = 0.455, p = .026), gecontroleerd voor NegatiefAffect en sekse.
46
-
173
Model 3 - Model met (alle) tweeweg-interactietermen
46
-
174
In model 3 toetsen we hypotheses 2 en 3 door de tweeweg-interacties tussen SES en NegatiefAffect en tussen sekse en NegatiefAffect toe te voegen. In totaal zijn er in model 3 in vergelijking met het vorige model drie extra tweeweg-interactietermen opgenomen. Naast de interactie tussen negatief affect en seksuele excitatie, de interactie tussen negatief affect en sekse is ook de interactie tussen seksuele excitatie en sekse toegevoegd. De laatste interactie voeg je vooral toe om straks het model te kunnen vergelijken met een model waarin de drieweg-interactie tussen negatief affect, seksuele excitatie en sekse is opgenomen.
46
-
175
Uit alle fitmaten in de modelvergelijking blijkt dat model 3 ten opzichte van model 2 niet tot een verbetering in fit leidt.
46
-
176
Uit de analyse van de fixed effects van model 3 komt naar voren dat de drie hoofdeffecten qua richting en nog steeds 'redelijk intact' zijn, maar de effecten van SES en sekse zijn niet meer significant (p > 0.05) wanneer de tweeweginteracties worden toegevoegd.
46
-
177
Op basis van de statistische toetsing van de interactietermen NegatiefAffect∗SES (b = 0.061, SE = 0.068, p = 0.376) en NegatiefAffect∗sekse (b = 0.096, SE = 0.137, p = 0.484) kunnen we beslissen dat hypotheses 2 en 3 niet houdbaar zijn.
46
-
178
De modelfitstatistieken en de significantieniveaus van de afzonderlijke interactietermen geven voldoende statistische argumenten om model 2 te verkiezen boven model 3.
46
-
179
Model 4 - Model met extra drieweg-interactieterm
46
-
180
Met de analyse van dit laatste en meest complexe model willen we nagaan of de (modererende) rol van seksuele excitatie in de relatie tussen (momentaan) negatief affect en seksueel verlangen voor mannen anders is dan voor vrouwen. Mogelijk is er alleen zo'n (modererend) effect voor mannen (hypothese 4). In vergelijking met het vorige model is in model 3 daarom één extra drieweg-interactieterm opgenomen, namelijk die tussen sekse, negatief affect en seksuele excitatie.
47
-
181
Model 4 geeft geen verbetering in fit in vergelijking met model 3. Uit de resultaten blijkt ook dat er geen significante drieweg-interactie is (b = -0.272, SE = 0.156, p = .085). We kunnen dus concluderen dat er ook geen ondersteuning is voor hypothese 4.
47
-
182
De modelfitstatistieken en de significantieniveaus van de afzonderlijke interactietermen geven ook hier voldoende statistische argumenten om model 2 te verkiezen boven model 4. Overall kunnen we concluderen dat er alleen voldoende ondersteuning is voor hypothese 1: op momenten waarop negatief affect hoger is, is het seksueel verlangen lager.
47
-
183
3.2.4 Tutorial - Grafieken maken
47
-
184
Ook voor de ESM-data maken we weer een grafiek. Hiervoor geldt hetzelfde als voor de grafieken over ontwikkelingen over tijd: bedenk eerst welke boodschap je wilt overbrengen en kies op basis daarvan informatieve variabelen en componenten.
47
-
185
In de twee grafieken is te zien dat alle lijnen een dalende trend vertonen. Daaruit kun je afleiden dat er een hoofdeffect van NegatiefAffect is. Daarnaast geven de figuren aan dat voor mannen een iets ander patroon voorspeld is voor de relatie tussen NegatiefAffect en Seksueel Verlangen, wanneer deze is uitgesplitst naar drie niveaus van seksuele excitatie. Voor mannen is er wel een interactie waarneembaar tussen NegatiefAffect en SES en voor vrouwen niet. Deze verschillende tweeweginteracties voor mannen en vrouwen wijzen op een drieweginteractie. Inspectie van de tabel met Fixed effects laat zien dat deze niet significant is.
47
-
186
3.2.5 Verwerkingsopdracht - analyse van ESM-data
47
-
187
In deze verwerkingsopdracht ga je een multilevelanalyse uitvoeren met het databestand dat centraal stond in tutorial 3.2.1: SexESM.sav. Anders dan in de tutorial, wordt je niet stap-voor-stap begeleid bij de analyse, maar wordt verwacht dat je de analyses zelfstandig kunt uitvoeren en tussentijds de juiste beslissingen kunt nemen.
47
-
188
Opdracht - De rol van seksueel remmende gedachten
47
-
189
A. Formuleer een vraagstelling en vier bijbehorende hypotheses.
47
-
190
B. de datascreening (bijvoorbeeld de correlaties op aggregaat niveau), maar SIS2 is nog niet in detail bekeken. Bekijk de verdeling van deze variabele en check of er outliers zijn. Maak tevens een scatterplot om de samenhang tussen SIS2 en seksueel verlangen te visualiseren. Vind je dat hier sprake is van een 'lineaire' samenhang?
47
-
191
C. Maak meerdere multilevelmodellen waarmee de vier hypotheses getoetst kunnen worden. Bouw daarbij de modellen stapsgewijs op. Neem dus beginnend met het nulmodel stapsgewijs steeds meer componenten op en besluit de reeks van modelvergelijkingen met een model waarin een drieweg-interactiecomponent is opgenomen. Welk model is het meest geschikt om de relaties in de data adequaat te beschrijven en wat zeggen deze resultaten over de hypotheses die je eerder hebt geformuleerd?
47
-
192
D. Maak eventueel één of meerdere grafieken voor een inzichtelijke visuele representatie van de relaties tussen de variabelen.
48
-
193
Thema 4 - Mediatie
48
-
194
In dit thema leer je wat het begrip statistische mediatie betekent en hoe je een mediatieanalyse zelf kunt uitvoeren. In de casus behorend bij dit thema voer je een klein onderzoek uit op basis van een databestand. Je voert een mediatieanalyse uit waarbij je nagaat of contraproductief gedrag op het werk samenhangt met de perceptie van een vorm van rechtvaardigheid in de werksituatie. Daarnaast onderzoek je of deze relatie wordt gemedieerd door andere variabelen, in de eerste plaats door vertrouwen in de leiding en later in dit thema door cynisme ten opzichte van de organisatie.
48
-
195
Dit model is in principe een longitudinaal model, omdat de predictor gemeten is voor de mediator en de mediator weer voor de afhankelijke variabele.
48
-
196
Leerdoelen
48
-
197
Na het afronden van dit thema kun je
48
-
198
een conceptueel model opstellen voor mediatieprobleemstellingen
48
-
199
een mediatieanalyse uitvoeren en de resultaten daarvan correct interpreteren.
48
-
200
Samenvatting Thema 4 – Mediatie
48
-
201
1. Wat is statistische mediatie?
48
-
202
Definitie: Mediatie treedt op wanneer de relatie tussen een onafhankelijke variabele (X) en een afhankelijke variabele (Y) (gedeeltelijk) verloopt via een derde variabele (M).
48
-
203
In plaats van een direct effect X → Y, bekijk je of er een indirect pad is:
48
-
204
X → M (a-pad)
48
-
205
M → Y (b-pad)
48
-
206
Het indirect effect is: a × b
48
-
207
Het directe effect (c’-pad) blijft over nadat M is meegenomen.
48
-
208
Het totale effect is: c = c’ + (a × b).
48
-
209
2. Conceptueel model opstellen
48
-
210
Een mediatiemodel wordt vaak weergegeven in een padendiagram:
48
-
211
Predictor (X) → Mediator (M) → Afhankelijke variabele (Y)
48
-
212
Er is ook een directe pijl van X → Y.
48
-
213
Voorbeeld uit de casus:
48
-
214
X = perceptie van rechtvaardigheid
48
-
215
M = vertrouwen in de leiding (en later: cynisme)
48
-
216
Y = contraproductief werkgedrag
48
-
217
3. Longitudinaal aspect
48
-
218
In deze cursuscasus wordt gewerkt met een longitudinaal design:
48
-
219
Predictor (X) is eerder in de tijd gemeten dan de mediator (M).
48
-
220
Mediator (M) is eerder gemeten dan de afhankelijke variabele (Y).
48
-
221
Dit versterkt de mogelijkheid om een causale volgorde te veronderstellen (al blijft het statistisch gezien nog steeds associatief).
48
-
222
4. Hoe voer je een mediatieanalyse uit?
48
-
223
Meestal via regressiemodellen (of SEM).
48
-
224
Stappen:
48
-
225
1. X → M (a-pad: voorspelt de predictor de mediator?)
48
-
226
2. M → Y met controle voor X (b-pad: voorspelt mediator de afhankelijke variabele?)
48
-
227
3. X → Y (c-pad: totaal effect).
48
-
228
4. X → Y met M toegevoegd (c’-pad: direct effect).
48
-
229
Bereken het indirecte effect (a × b).
48
-
230
Betrouwbaarheidsintervallen (bv. via bootstrapping) bepalen of het indirecte effect significant is.
48
-
231
5. Resultaten interpreteren
48
-
232
Volledige mediatie: Het directe effect (c’) wordt niet meer significant wanneer de mediator wordt toegevoegd.
48
-
233
Partiële mediatie: Zowel het directe als indirecte effect zijn significant.
48
-
234
Geen mediatie: Het indirecte effect is niet significant.
49
-
235
6. Specifiek in deze casus
49
-
236
Onderzocht wordt of de relatie tussen rechtvaardigheid en contraproductief gedrag gemedieerd wordt door:
49
-
237
Vertrouwen in de leiding
49
-
238
Later: Cynisme
49
-
239
Conceptueel model: rechtvaardigheid → vertrouwen/cynisme → contraproductief gedrag.
49
-
240
✅ Leerdoelen behaald als je:
49
-
241
1. Zelf een mediatiemodel kunt tekenen en de hypothesen formuleren.
49
-
242
2. Een mediatieanalyse kunt uitvoeren (in SPSS, R of een ander pakket).
49
-
243
3. De directe, indirecte en totale effecten correct kunt rapporteren en interpreteren.
49
-
244
Visueel:
49
-
245
Hier is een visueel schema van het mediatiemodel:
49
-
246
X (Predictor: Rechtvaardigheid) beïnvloedt M (Mediator: Vertrouwen/Cynisme) via pad a.
49
-
247
M beïnvloedt vervolgens Y (Contraproductief gedrag) via pad b.
49
-
248
Er blijft ook een directe route van X naar Y over (c’).
49
-
249
Het indirecte effect wordt berekend als a × b.
49
-
250
4.1 Theoretisch kader en conceptueel model
49
-
251
Waarom is een surveyonderzoek minder geschikt voor het doen van een mediatieanalyse?
49
-
252
Antwoord: Bij een survey wordt niet voldaan aan twee van de drie voorwaarden die gelden bij causaliteit. De predictor wordt niet eerder gemeten dan de afhankelijke variabelen en de storende invloed van andere variabelen kan niet worden uitgesloten.
49
-
253
Een mediator geeft inzicht in het causale proces tussen predictor en afhankelijke variabele. De aanwezigheid van een mediator geeft een mogelijke verklaring van dit proces.
49
-
254
Een moderator geeft aan onder welke voorwaarden er een bepaald effect van predictor op de afhankelijke variabele is. We spreken daarom ook wel van conditionele effecten: effecten onder bepaalde voorwaarden.
49
-
255
4.2 Mediatieanalyse met één mediator
49
-
256
De gedachtegang in deze casus is dat ervaren onrechtvaardigheid kan leiden tot meer contraproductief gedrag. Je kunt je dan afvragen waarom onrechtvaardigheid tot contraproductief gedrag zal leiden. Een mogelijkheid is dat onrechtvaardigheid het vertrouwen in het management ondermijnt en dat gebrek in vertrouwen zal leiden tot meer contraproductief gedrag. Omgekeerd zal het ervaren van bijvoorbeeld procedurele rechtvaardigheid (PR) het vertrouwen (Trust) kunnen verhogen waardoor contraproductief gedrag (CG) afneemt. Het mediatiemodel bij deze redenering ziet er als volgt uit.
49
-
257
Een hypothese bij dit model luidt als volgt:
50
-
258
Het effect van procedurele rechtvaardigheid op contraproductief gedrag wordt gemedieerd door het vertrouwen in het management.
50
-
259
Een mediatieanalyse kan zowel met jamovi als met SPSS efficiënt worden uitgevoerd.
50
-
260
Opdracht
50
-
261
Bekijk de beschrijvende statistieken van de rechtvaardigheidsvariabelen, vertrouwen, cynisme en contraproductief gedrag.
50
-
262
Maak ook een correlatietabel van deze variabelen.
50
-
263
Beschrijf de resultaten en eventueel opvallende uitkomsten.
50
-
264
Voer een mediatieanalyse uit om het hierboven beschreven mediatiemodel 1 te toetsen: PR → Trust → CG.
50
-
265
Wat zijn de conclusies?
50
-
266
Online uitleg: Voordat we kijken of er sprake is van mediatie, kijken we eerst of er in een model zonder mediator een relatie tussen predictor (procedurele rechtvaardigheid) en uitkomstmaat (contraproductief gedrag) is. Deze relatie vinden we bij Total. Daaruit concluderen we dat procedurele rechtvaardigheid significant minder contraproductief gedrag voorspelt (b = -0.73 [-0.85,-0.61], z = -11.95, p < .001).
50
-
267
Om te schatten of een deel van die relatie verklaard kan worden door vertrouwen, kijken we naar het indirecte effect. In dit geval is het indirecte effect negatief en significant (b = -0.56 [-0.72,-0.41], z = -7.07, p < .001). Het gestandaardiseerde indirecte effect (bèta) is -0.43. Om de richting van die indirecte relatie beter te duiden, kijken we naar de individuele componenten van de mediatie. We zien dat procedurele rechtvaardigheid significant meer vertrouwen voorspelt (b = 1.10 [1.01, 1.20], z = 24.04, p < .001) en dat meer vertrouwen significant minder contraproductief gedrag voorspelt (b = -0.51 [-0.64,-0.37], z = -7.40, p < .001).
50
-
268
Verder kun je ook informatie over de verklaarde variantie uit de output halen. In de uitwerking in jamovi vind je onder tabel met Indirect and Total effects tabellen met daarin de afzonderlijke regressieresultaten (Regression results) van deze analyse. Bij Total effects valt af te lezen dat procedurele rechtvaardigheid 30.9% van de variantie van contraproductief gedrag verklaart als deze voorspeller als enige in het model is opgenomen. Onder Full model effects staat dat de verklaarde variantie stijgt naar 41.0%, wanneer vertrouwen wordt toegevoegd als mediator.
50
-
269
Chat uitleg:
50
-
270
1. Structuur van de tabel
51
-
271
De tabel laat de indirecte, directe en totale effecten zien van een mediatiemodel.
51
-
272
PR = Perceived Justice (perceptie van rechtvaardigheid)
51
-
273
Trust = Vertrouwen in leidinggevende (mediator)
51
-
274
CG = Contraproductief gedrag (afhankelijke variabele)
51
-
275
2. Belangrijkste kolommen
51
-
276
Effect: de geschatte sterkte van de relatie (ongeveer de regressiecoëfficiënt).
51
-
277
SE: standaardfout (mate van onzekerheid).
51
-
278
95% C.I. (Lower – Upper): betrouwbaarheidsinterval; als dit interval 0 niet bevat, is het effect significant.
51
-
279
β (beta): gestandaardiseerd effect (vergelijkbaar met een regressie β; maakt vergelijking tussen variabelen mogelijk).
51
-
280
z: toetsingsstatistiek (effect / SE).
51
-
281
p: significantieniveau.
51
-
282
3. Interpretatie van de effecten
51
-
283
Indirect effect
51
-
284
PR ⇒ Trust ⇒ CG: Estimate = -0.56, p < .001
51
-
285
Betekent dat rechtvaardigheid indirect leidt tot minder contraproductief gedrag, via vertrouwen.
51
-
286
Negatief teken = hoe meer rechtvaardigheid, hoe lager CG, via hoger vertrouwen.
51
-
287
Significant → het mediatie-effect is aanwezig.
51
-
288
Componenten van het indirecte effect
51
-
289
PR ⇒ Trust: 1.10, p < .001
51
-
290
Rechtvaardigheid hangt sterk positief samen met vertrouwen.
51
-
291
Meer rechtvaardigheid → meer vertrouwen.
51
-
292
Trust ⇒ CG: -0.51, p < .001
51
-
293
Vertrouwen hangt negatief samen met contraproductief gedrag.
51
-
294
Meer vertrouwen → minder contraproductief gedrag.
51
-
295
? Samen geven deze componenten het indirecte effect (1.10 × -0.51 ≈ -0.56).
51
-
296
Direct effect
51
-
297
PR ⇒ CG: -0.17, p = .073 (ns)
51
-
298
Rechtvaardigheid heeft geen significant direct effect op contraproductief gedrag, zodra vertrouwen is meegenomen.
51
-
299
Dit suggereert dat de relatie vrijwel volledig via de mediator loopt.
51
-
300
Total effect
51
-
301
PR ⇒ CG: -0.73, p < .001
51
-
302
Zonder de mediator meegerekend is er een sterk negatief verband: meer rechtvaardigheid → minder contraproductief gedrag.
51
-
303
Zodra vertrouwen wordt toegevoegd, verdwijnt dit effect grotendeels (volledige mediatie).
51
-
304
4. Conclusie uit deze tabel
51
-
305
Volledige mediatie: Rechtvaardigheid beïnvloedt contraproductief gedrag volledig via vertrouwen.
51
-
306
Mechanisme: Rechtvaardigheid → meer vertrouwen in leiding → minder contraproductief gedrag.
51
-
307
Dit is precies wat mediatieanalyse wil aantonen: de verklaring (M) voor het verband tussen X en Y.
51
-
308
? Ezelsbruggetje voor interpretatie:
51
-
309
1. Kijk eerst naar componenten (a en b-paden): zijn die significant?
51
-
310
2. Kijk dan naar het indirect effect (a × b): is dat significant?
51
-
311
3. Kijk naar het directe effect (c’): significant of niet?
51
-
312
Ja → partiële mediatie
51
-
313
Nee → volledige mediatie
51
-
314
Checklist Mediatie-analyse interpreteren
51
-
315
Stap 1: Check de componentpaden
52
-
316
X → M (a-pad): is de predictor significant gerelateerd aan de mediator?
52
-
317
M → Y (b-pad): is de mediator significant gerelateerd aan de afhankelijke variabele (met X in het model)?
52
-
318
? Beide moeten significant zijn om mediatie aannemelijk te maken.
52
-
319
Stap 2: Bereken of bekijk het indirecte effect (a × b)
52
-
320
Staat meestal apart in de output.
52
-
321
Controleer of het betrouwbaarheidsinterval (95% CI) 0 niet bevat en de p-waarde < .05 is.
52
-
322
Significant? → er is mediatie.
52
-
323
Stap 3: Check het directe effect (c’-pad)
52
-
324
X → Y met M in het model.
52
-
325
Vraag: blijft er nog een significant verband over?
52
-
326
? Twee scenario’s:
52
-
327
Niet significant → Volledige mediatie (relatie loopt helemaal via M).
52
-
328
Nog steeds significant → Partiële mediatie (zowel direct als via M).
52
-
329
Stap 4: Kijk naar het totale effect (c-pad)
52
-
330
X → Y zonder mediator.
52
-
331
Dit geeft de “ruwe” relatie weer.
52
-
332
Handig om te vergelijken met het directe effect om te zien hoeveel van het verband via M verloopt.
52
-
333
Stap 5: Rapporteren
52
-
334
Schrijf altijd over:
52
-
335
De richting en grootte van de effecten (positief/negatief, sterk/zwak).
52
-
336
Of de mediatie volledig of partieel is.
52
-
337
Het mechanisme: “X beïnvloedt Y doordat X leidt tot meer/ minder M, wat op zijn beurt leidt tot meer/ minder Y.”
52
-
338
✅ Kort ezelsbruggetje:
52
-
339
1. a-pad check
52
-
340
2. b-pad check
52
-
341
3. a × b significant?
52
-
342
4. c’ check → partiële of volledige mediatie?
52
-
343
4.3 Mediatieanalyse met meerdere mediatoren en verslaglegging
52
-
344
In deze studietaak ga je aan de slag met een mediatieanalyse waarbij er meerdere mediatoren en covariaten zijn. Ook bespreken we kort hoe je een mediatieanalyse kunt rapporteren in een onderzoeksverslag of wetenschappelijk artikel.
52
-
345
CHAT: dezelfde basisaanpak en checklist geldt ook bij meerdere mediatoren – maar er komen wat extra’s bij kijken. Ik leg het even helder uit:
52
-
346
? Mediatie met meerdere mediatoren
52
-
347
1. Parallelle mediatie
53
-
348
Je hebt meerdere mediatoren (M1, M2, …) die tegelijk in het model worden gezet.
53
-
349
Voorbeeld:
53
-
350
X = rechtvaardigheid
53
-
351
M1 = vertrouwen in leiding
53
-
352
M2 = cynisme
53
-
353
Y = contraproductief gedrag
53
-
354
Analyse:
53
-
355
Schat elk indirect pad afzonderlijk (X → M1 → Y en X → M2 → Y).
53
-
356
Het totaal indirect effect is de som van de afzonderlijke indirecte effecten.
53
-
357
? Interpretatie: je kunt zeggen hoeveel van het effect van X via M1 loopt, hoeveel via M2, en of er nog een direct effect overblijft.
53
-
358
2. Sequentiële (seriële) mediatie
53
-
359
Mediatoren volgen elkaar in een keten: X → M1 → M2 → Y.
53
-
360
Je test dan meerdere indirecte paden:
53
-
361
X → M1 → Y
53
-
362
X → M2 → Y
53
-
363
X → M1 → M2 → Y
53
-
364
Dit laat zien of er een proces in stappen is.
53
-
365
? Verslaglegging bij meerdere mediatoren
53
-
366
Bij het rapporteren hou je dezelfde structuur aan als bij één mediator, maar specifieker:
53
-
367
1. Conceptueel model tekenen (met alle mediatoren en pijlen).
53
-
368
2. Resultaten rapporteren per pad:
53
-
369
Effect X → M1, X → M2, enz.
53
-
370
Effecten van M1 en M2 op Y.
53
-
371
3. Indirecte effecten:
53
-
372
Rapporteer per mediator (bv. indirect effect via vertrouwen, via cynisme).
53
-
373
Geef ook het totaal indirect effect.
53
-
374
4. Direct en totaal effect:
53
-
375
Zeg of de mediatoren samen het verband volledig of partieel verklaren.
53
-
376
5. Interpretatie: beschrijf welk mechanisme het sterkst lijkt.
53
-
377
✅ Checklist uitgebreid voor meerdere mediatoren
53
-
378
1. Zijn de afzonderlijke a-paden (X → Mi) significant?
53
-
379
2. Zijn de afzonderlijke b-paden (Mi → Y) significant?
53
-
380
3. Zijn de indirecte effecten (a × b per mediator) significant?
53
-
381
4. Is het directe effect (c’) nog significant nadat alle mediatoren zijn meegenomen?
53
-
382
5. Welke mediator(en) verklaren het grootste deel van het verband?
53
-
383
? Dus: ja, je kunt exact dezelfde logica gebruiken, maar je kijkt nu per mediator én gezamenlijk naar de indirecte effecten.
53
-
384
Online:
53
-
385
Rapportage van een mediatieanalyse
53
-
386
De resultaten van een mediatieanalyse zijn uitgebreider en complexer dan bij een gewone regressieanalyse. Het is daarom lastig om de resultaten in een enkele tabel samen te vatten.
53
-
387
Een meer compacte presentatie door middel van een figuur is soms heel inzichtelijk.
53
-
388
De regressiecoëfficiënten van alle afzonderlijke paden (pijlen) staan vermeld, samen met hun standard error tussen haakjes. De rechte pijl in het midden geeft het directe effect aan. De getallen in de blokjes van de mediatoren geven het indirecte effect aan. In het bijschrift onder de figuur wordt daarbij het betrouwbaarheidsinterval genoemd. In het blokje van de afhankelijke variabele wordt de verklaarde variantie van het volledige model gegeven.
54
-
389
Een covariaat of controlevariabele is een variabele die geen primair onderwerp van onderzoek is, maar die wel invloed kan hebben op de resultaten van een analyse omdat deze mogelijk samenhangt met de afhankelijke variabele in de analyse. Een covariaat kan de niet-verklaarde variantie van de afhankelijke variabelen verkleinen, waardoor een predictor relatief meer kan verklaren.
54
-
390
Er kan sprake zijn van significante (multiple) mediatie-effecten wanneer het totale effect van de predictor op de afhankelijke variabele niet significant is. Dit kan zich voordoen wanneer er verschillende tegengestelde causale mechanismen aan het werk zijn: het ene mechanisme versterkt het effect tussen de predictor en de afhankelijke variabele en het andere mechanisme verzwakt het effect, waardoor het resultaat op nul uit kan komen.
54
-
391
Voorbeeld rapportage:
54
-
392
Een resultatenparagraaf kan als volgt geschreven worden. In plaats van de figuur kun je ook een tabel presenteren met alle coëfficiënten. Merk op dat in jamovi geen schatting en betrouwbaarheidsinterval van het totale indirecte effect gegeven is bij het model met meerdere mediatoren. De rapportage daarvan in onderstaande tekst is afkomstig uit SPSS. Als je over de informatie beschikt, is het volledig om deze wel te rapporteren. Heb je de informatie niet, dan hoef je het totale indirecte effect niet te rapporteren in het geval van meerdere mediatoren.
54
-
393
Resultaten Een multiple-mediatieanalyse is uitgevoerd met behulp van jamovi (versie 2.3.38)/SPSS 29. In deze analyse zijn de 95%-betrouwbaarheidsintervallen van het indirecte effect geschat door middel van de bootstrap methode (N = 1000). Leeftijd en sekse zijn als controlevariabelen in de analyse meegenomen.
54
-
394
Het model verklaart in totaal circa 48% van de variantie in contraproductief gedrag. De regressiecoëfficiënt voor het totale effect van distributieve rechtvaardigheid op contraproductief gedrag is b = -.75 (SE = 0.07, t = -11.63, p < 0.001). Meer distributieve rechtvaardigheid lijkt samen te hangen met minder contraproductief gedrag, hetgeen een bevestiging is van hypothese 1.
54
-
395
Negatief affect is een mediator van dit verband met een indirect effect van z = -0.29 (95%-CI = -0.39, -0.20), evenals cynisme, z = -0.33 (95%-CI = -0.56, -0.14). Het totale indirecte effect komt daarmee op z = -0.63 (95%-CI = -0.83, -0.44). Zowel hypothese 2 als 3 worden hiermee bevestigd. Het directe effect van distributieve rechtvaardigheid op contraproductief gedrag is b = -.13 (SE = 0.10, t = -1.25, p = 0.21) en is dus niet significant.
54
-
396
Leeftijd en sekse hebben vrijwel geen relatie met contraproductief gedrag.
54
-
397
Figuur 1 geeft een overzicht van de resultaten. De multiple-mediatieanalyse laat zien dat het effect van distributieve rechtvaardigheid op contraproductief gedrag (vrijwel) volledig wordt gemedieerd door negatief affect en cynisme.
54
-
398
Thema 5 - Huiswerkopdrachten
55
-
399
Als extra oefening kun je je in thema 5 nogmaals verdiepen in de statistische technieken van deze cursus: multilevelanalyse en mediatieanalyse.
55
-
400
Leerdoelen
55
-
401
Na het afronden van dit thema
55
-
402
ben je meer bekwaam in het uitvoeren van de analyses die in deze cursus worden onderwezen
55
-
403
heb je meer inzicht in de verschillen tussen moderatie-, mediatie- en multilevelanalyse.
55
-
404
Opdracht 5.1.1 Random-interceptmodel
55
-
405
Bij het analyseren van multilevelmodellen is het gebruikelijk om verschillende (geneste) modellen met elkaar te vergelijken om zo al explorerend te komen tot een model waarmee de data adequaat beschreven kunnen worden. Het is een goede gewoonte om daarbij als startpunt een multilevelmodel te nemen waarbij geen level-1 predictoren zijn opgenomen. Dit model wordt gewoonlijk omschreven als 'random-interceptmodel' en ook wel met de toepasselijke naam 'empty model' (leeg model) (Snijders & Bosker, 2012).
55
-
406
Opdracht 5.1.2 Multilevel regressiemodel
55
-
407
Aangezien het random-interceptmodel het meest eenvoudige multilevelmodel is, past dit model meestal het minst goed bij de data (met andere woorden, de -2LL is het hoogst). Met dit model als uitgangspunt kun je bijvoorbeeld nagaan of door het stapsgewijs opnemen van extra predictoren de overall fit van het model verbeterd kan worden.
55
-
408
Opdracht 5.1.3 Multilevel ANOVA met random intercept
55
-
409
Het doel van het onderzoek is natuurlijk om eventuele interventie-effecten van fitness en yoga op burn-outklachten vast te stellen. De variabele Conditie geeft aan welke interventie is toegepast (1 = Fitness, 2 = Yoga, 3 = Controle). De drie modellen in Tabel 3 zijn gemaakt om het effect van Conditie op Post_Burnout te onderzoeken, maar ze vertonen een oplopende complexiteit: model 5 is iets uitgebreider dan model 4 en model 6 is beduidend complexer dan de twee andere modellen.
55
-
410
Met aanwijzingen in de opdracht kunnen Bonferroni-gecorrigeerde post-hoctoetsen worden verkregen en een enkele of meerdere grafieken worden gemaakt (afhankelijk van de complexiteit van het model). Door de laatste stap (Estimated marginal means) verschijnt in de output een tabel met de verwachte gemiddelden op Post_Burnout voor de drie condities (zie tabel Estimated Marginal Means), waarbij tevens rekening wordt gehouden met een eventuele covariaat (voor model 5 en 6).
55
-
411
CHAT:
55
-
412
Bonferroni-gecorrigeerde post-hoctoetsen
55
-
413
1. Situatie
55
-
414
Stel: je doet een ANOVA en vindt een significant verschil tussen groepen.
55
-
415
ANOVA zegt: er is ergens een verschil, maar niet waar dat verschil zit.
55
-
416
Daarom doe je post-hoc toetsen: paren van groepen met elkaar vergelijken.
55
-
417
2. Het probleem
55
-
418
Hoe meer toetsen je doet, hoe groter de kans op een Type I-fout (ten onrechte iets significant vinden).
56
-
419
Voorbeeld: bij 5 groepen heb je 10 paren → kans op een fout stijgt snel.
56
-
420
3. De oplossing: Bonferroni-correctie
56
-
421
Bonferroni is een eenvoudige manier om de kans op Type I-fouten te controleren.
56
-
422
Werkwijze: deel het gekozen α-niveau (meestal .05) door het aantal toetsen.
56
-
423
Stel: α = .05 en je doet 10 toetsen → nieuwe grens = .05 / 10 = .005.
56
-
424
Alleen p-waarden die kleiner zijn dan deze aangepaste grens worden als significant beschouwd.
56
-
425
4. Toepassing in post-hoc toetsen
56
-
426
In software (SPSS, R, JASP, etc.) kun je kiezen voor Bonferroni post-hoc.
56
-
427
Het programma past automatisch de correctie toe op de p-waarden.
56
-
428
Je kunt dus veilig zeggen welke groepen echt van elkaar verschillen, zonder te veel kans op valse positieven.
56
-
429
✅ Kort samengevat
56
-
430
Post-hoc toetsen: vergelijk groepen na een significante ANOVA.
56
-
431
Probleem: meer vergelijkingen = meer kans op toevallig significante resultaten.
56
-
432
Bonferroni-correctie: verlaagd α (bv. .05/ aantal toetsen) zodat je strenger toetst.
56
-
433
Nadeel: erg conservatief → kans op Type II-fouten (echte verschillen missen) wordt groter.
56
-
434
? Ezelsbruggetje: Bonferroni = strenger rekenen. Je moet méér “verdienen” om significant te zijn.
56
-
435
Opdracht 5.1.4 Multilevel ANCOVA met random intercept
56
-
436
Als in aanvulling op de nominale variabele Conditie een extra numerieke predictor of covariaat wordt opgenomen, spreken we van een multilevel ANCOVA-model (zie Tabel 3, model 5). Zo’n covariaat wordt bij voorkeur gecentreerd, omdat daardoor de interpretatie vergemakkelijkt wordt.
56
-
437
CHAT: Multilevel ANCOVA met random intercept
56
-
438
1. Multilevel
56
-
439
Waarom multilevel? In longitudinale data worden metingen herhaald binnen dezelfde persoon. → Metingen zijn dus genest: meetmomenten (niveau 1) zitten binnen personen (niveau 2).
56
-
440
Klassieke ANOVA/ANCOVA gaat uit van onafhankelijke observaties, maar bij longitudinaal onderzoek zijn metingen van dezelfde persoon juist afhankelijk.
56
-
441
Multilevel analyse houdt rekening met die clustering.
56
-
442
2. ANCOVA
56
-
443
ANalysis of COVAriance: een ANOVA waarin je, naast categorische factoren (zoals Conditie), ook een numerieke covariaat/predictor opneemt.
56
-
444
Voorbeeld: je onderzoekt het effect van Conditie (behandelgroep vs. controle) op een uitkomst (bijv. stress), en je neemt leeftijd of baseline score mee als covariaat.
56
-
445
Door de covariaat te gebruiken, corrigeer je de groepsvergelijking voor verschillen die al door die variabele worden verklaard.
56
-
446
3. Random intercept
56
-
447
In een multilevel model voeg je vaak een random intercept toe.
56
-
448
Betekenis: elke persoon krijgt zijn eigen “startpunt” (eigen gemiddelde niveau van de afhankelijke variabele).
56
-
449
Daarmee corrigeer je voor het feit dat sommige mensen structureel hoger of lager scoren dan anderen, onafhankelijk van conditie of covariaat.
56
-
450
Technisch: het intercept (snijpunt) wordt niet als vast gezien, maar als een toevallig effect dat per individu kan variëren.
56
-
451
4. Gecentreerde covariaat
56
-
452
Covariaten worden vaak gecentreerd (bv. grand mean centering of group mean centering).
56
-
453
Waarom?
57
-
454
Interpretatie van het intercept wordt duidelijker: het staat dan voor de verwachte score bij de gemiddelde waarde van de covariaat.
57
-
455
Collineariteit wordt verminderd, vooral als je interacties gaat bekijken.
57
-
456
✅ Samengevat
57
-
457
Een multilevel ANCOVA met random intercept is een model dat:
57
-
458
rekening houdt met de herhaalde metingen per persoon (multilevel),
57
-
459
een categorische voorspeller (Conditie) en een numerieke covariaat combineert (ANCOVA),
57
-
460
toelaat dat elk individu zijn eigen gemiddelde startniveau (random intercept) heeft.
57
-
461
? Voorbeeld in jouw context
57
-
462
Stel:
57
-
463
Y = stressniveau (herhaald gemeten op 3 tijdstippen)
57
-
464
Conditie = interventie vs. controle
57
-
465
Covariaat = leeftijd
57
-
466
→ Model: Stress ~ Conditie + Leeftijd + (1|Persoon)
57
-
467
Conditie: test of de groepen verschillen.
57
-
468
Leeftijd: corrigeert voor leeftijdsverschillen.
57
-
469
(1|Persoon): random intercept, zodat iedereen een eigen basisniveau van stress mag hebben.
57
-
470
Opdracht 5.1.5 Multilevel ANCOVA met interactie tussen twee level-1 variabelen (random intercept)
57
-
471
Model 6 is eveneens gemaakt om het effect van Conditie op Post_Burnout te onderzoeken, maar het is aanmerkelijk complexer dan alle voorgaande modellen.
57
-
472
Multilevel ANCOVA met interactie tussen twee level-1 variabelen (random intercept)
57
-
473
Hier voeg je een interactieterm toe: je onderzoekt of het effect van de ene variabele afhangt van de waarde van een andere variabele.
57
-
474
Belangrijk: beide voorspellers liggen op niveau 1 (binnen personen, dus variëren over de tijd of per meetmoment).
57
-
475
Voorbeeld:
57
-
476
Covariaat = “werkdruk” (per meetmoment)
57
-
477
Tweede level-1 predictor = “dagdeel” (ochtend vs. middag)
57
-
478
Interactie = Werkdruk × Dagdeel → test of het effect van werkdruk op de uitkomst verschilt tussen dagdelen.
57
-
479
Formuleachtig:
57
-
480
Kern van het verschil
58
-
481
Eerste model, ANCOVA met random intercept: je kijkt naar hoofdeffecten van conditie (niveau 2) en een covariaat (niveau 1).
58
-
482
Tweede model, ANCOVA met interactie (level-1 × level-1): je bekijkt daarnaast of twee level-1 variabelen elkaar beïnvloeden in hun relatie tot de uitkomst (een interactie-effect).
58
-
483
? Ezelsbruggetje
58
-
484
ANCOVA met random intercept = “individuen hebben een eigen startpunt, maar effecten zijn gelijk voor iedereen.”
58
-
485
ANCOVA met interactie (level-1 × level-1) = “het effect van de ene binnen-persoonsvariabele hangt af van de andere binnen-persoonsvariabele.”
58
-
486
5.2 Casus actief bewegen
58
-
487
Opdracht 5.2.1 Oriëntatie op de casus In deze eindopdracht breng je de opgedane kennis in de praktijk aan de hand van een onderzoekscasus.
58
-
488
Pijlenschema
58
-
489
Opdracht 5.2.2 Enkelvoudig en multiple mediatiemodel voor beweeggedrag
58
-
490
Opdracht 5.2.3 Multiple mediatiemodel voor fysiek welbevinden
59
-
491
Opdracht 5.2.4 Mediatieanalyse met covariaten
59
-
492
Extra uitleg bij tentamenvragen
60
-
493
Niveau
60
-
494
Wat betekent het?
60
-
495
Voorbeeldvariabele
60
-
496
Wat doet het in dit onderzoek?
60
-
497
Niveau 1
60
-
498
Dingen die per dag kunnen veranderen binnen één persoon
60
-
499
Dagelijks ervaren conflict
60
-
500
Verklaart dagelijkse schommelingen in intimiteit
60
-
501
Niveau 2
60
-
502
Dingen die tussen mensen verschillen maar per persoon constant zijn
60
-
503
Algemene relatietevredenheid
60
-
504
Verklaart waarom het verband verschilt tussen mensen
60
-
505
Niveau
60
-
506
Wat betekent het?
60
-
507
Voorbeeld in dit onderzoek
60
-
508
Niveau 1
60
-
509
Eigenschappen die per leerling verschillen
60
-
510
Leerresultaten
60
-
511
Niveau 2
60
-
512
Eigenschappen die per klas verschillen
60
-
513
Klasgrootte
60
-
514
Bijvoorbeeld:
60
-
515
Niveau 1 = dagelijks niveau (binnen één persoon)
60
-
516
Dit zijn metingen die per dag veranderen. Bijv.:
60
-
517
Maandag: 3 conflicten, 4 intimiteit
60
-
518
Dinsdag: 1 conflict, 7 intimiteit
60
-
519
Woensdag: 0 conflicten, 8 intimiteit
60
-
520
? Dat is niveau 1: het dagelijkse of within-person niveau. Dus: dagelijks ervaren conflicten is niveau 1. Het verschilt per dag binnen dezelfde persoon.
60
-
521
? Niveau 2 = persoon-niveau (tussen personen)
60
-
522
Dit zijn kenmerken die niet veranderen per dag, maar typisch zijn voor die persoon. Bijv.:
60
-
523
Jan: relatietevredenheid = 8
60
-
524
Marie: relatietevredenheid = 5
60
-
525
Kees: relatietevredenheid = 9
60
-
526
? Dat is niveau 2: het between-person niveau. Dus: algemene relatietevredenheid is niveau 2. Het verschilt tussen personen, maar blijft binnen één persoon constant.
60
-
527
❤️ En de uitkomst (DV)?
60
-
528
De dagelijks ervaren intimiteit is ook per dag gemeten → dus niveau 1 (dagelijks).
60
-
529
? En wat doet het model?
60
-
530
Het model kijkt:
60
-
531
Binnen elke persoon: “Op dagen met meer conflict dan normaal, voelt iemand dan minder intimiteit?”
60
-
532
Tussen personen: “Verschilt dat verband tussen mensen met hoge vs. lage relatietevredenheid?”
60
-
533
Oftewel:
60
-
534
Voor mensen met lage relatietevredenheid (niveau 2-kenmerk) is het negatieve verband tussen dagelijks conflict en intimiteit (niveau 1-variabelen) sterker.
60
-
535
Let OP:
60
-
536
De interactie vindt altijd plaats tussen de voorspellers.
60
-
537
Tweeweg-interactie → de interactie is tussen twee variabelen, meestal:
60
-
538
tijd en een andere variabele, of
60
-
539
twee voorspellende variabelen.
60
-
540
De situatie:
60
-
541
Er zijn meerdere metingen per eigenaar (per activiteit). → Dus: activiteit = niveau 1, eigenaar = niveau 2.
61
-
542
De afhankelijke variabele: zelfgerapporteerde zelfstandigheid per activiteit (1–10).
61
-
543
Model:
61
-
544
Random intercept
61
-
545
3 voorspellers:
61
-
546
1. Moeilijkheidsgraad van de activiteit
61
-
547
2. Ervaring van de hond
61
-
548
3. Drukte van de omgeving
61
-
549
? Wat betekent “random intercept”?
61
-
550
Een random intercept model betekent dat:
61
-
551
Elke eigenaar zijn/haar eigen gemiddelde (intercept) mag hebben.
61
-
552
De hellingen (slopes) van de voorspellers zijn niet random (die zijn vast = fixed effects).
61
-
553
⚙️ Wat zijn “random parameters” precies?
61
-
554
Random parameters = de parameters die te maken hebben met de toevallige (random) delen van het model, dus:
61
-
555
1. De variantie van de random intercepts (hoeveel individuen verschillen in hun gemiddelde).
61
-
556
2. De residuele variantie op niveau 1 (hoeveel variatie er nog overblijft binnen individuen).
61
-
557
? In een model met alleen een random intercept geldt:
61
-
558
Je hebt:
61
-
559
1. 1 random intercept-variantie (tussen personen)
61
-
560
2. 1 residuele variantie (binnen personen)
61
-
561
➡️ Totaal: 2 random parameters
61
-
562
Type parameter
61
-
563
Uitleg
61
-
564
Aantal
61
-
565
Random intercept variance
61
-
566
Verschil tussen eigenaren in hun gemiddelde zelfstandigheid
61
-
567
1
61
-
568
Residual variance
61
-
569
Verschil binnen dezelfde eigenaar tussen activiteiten
61
-
570
1
61
-
571
Random slopes
61
-
572
Niet aanwezig (alle slopes zijn fixed)
61
-
573
0
61
-
574
Een cross-level interactie betekent dat een niveau-2-variabele (zoals steun van leidinggevenden) het verband beïnvloedt tussen twee niveau-1-variabelen (zoals piekeren en stressklachten).
61
-
575
ICC = 15%
61
-
576
Antwoordoptie
61
-
577
Betekenis
61
-
578
Juist?
61
-
579
Waarom
61
-
580
1. 15% op afdelingsniveau → meer overeenkomst binnen afdelingen
61
-
581
ICC = 0.15
61
-
582
✅
61
-
583
ICC beschrijft variantie op groepsniveau
61
-
584
2. 15% op werknemerniveau → meer overeenkomst tussen afdelingen
61
-
585
Onjuist
61
-
586
❌
61
-
587
ICC gaat over groepsvariantie, niet individuele variantie
61
-
588
het random intercept-variance (tussen hackers) is 156.7 en de residuele (binnen-hacker) variantie is 89.4. Omdat 156.7 > 89.4, is de onverklaarde variantie tussen hackers groter dan de onverklaarde variantie binnen hackers (gegeven de voorspellers). De tweede optie gaat over verklaarde variantie per niveau; dat kun je uit deze random-effecten-tabel niet afleiden.
62
-
589
Effect
62
-
590
Variance
62
-
591
Betekenis
62
-
592
Intercept (156.7)
62
-
593
→ Verschillen tussen hackers in gemiddelde hacktijd
62
-
594
Complexiteit (24.3)
62
-
595
→ Verschillen tussen hackers in de helling van complexiteit
62
-
596
Residual (89.4)
62
-
597
→ Verschillen binnen hackers (tussen systemen) die het model nog niet verklaart
62
-
598
Predictor
62
-
599
Coëfficiënt
62
-
600
Betekenis (samengevat)
62
-
601
Intercept (47.856)
62
-
602
Verwachte hacktijd als risicobewustzijn en complexiteit beide 0 zijn.
62
-
603
Risicobewustzijn (12.380)
62
-
604
Hoeveel de hacktijd gemiddeld toeneemt per 1 punt hoger risicobewustzijn, bij gemiddelde complexiteit.
62
-
605
Complexiteit (18.720)
62
-
606
Hoeveel de hacktijd gemiddeld toeneemt per 1 punt hogere complexiteit, bij gemiddeld risicobewustzijn.
62
-
607
Risicobewustzijn × Complexiteit (3.460)
62
-
608
Hoe de helling van risicobewustzijn verandert afhankelijk van de complexiteit.
62
-
609
Een positieve interactie betekent:
62
-
610
Naarmate complexiteit toeneemt, wordt het effect van risicobewustzijn op hacktijd sterker positief.
62
-
611
Dus:
62
-
612
Bij lage complexiteit: risicobewustzijn verhoogt hacktijd enigszins.
62
-
613
Bij hoge complexiteit: risicobewustzijn verhoogt hacktijd nog sterker.
62
-
614
We hebben:
63
-
615
Systeemniveau (niveau 1) → variabelen die per systeem verschillen, zoals:
63
-
616
Systeemcomplexiteit
63
-
617
Systeemtype
63
-
618
Risicobewustzijn
63
-
619
Hackerniveau (niveau 2) → variabelen die per hacker verschillen, zoals:
63
-
620
Ervaring
63
-
621
Technische expertise
63
-
622
Wat is een cross-level interactie?
63
-
623
Een cross-level interactie = een interactie tussen:
63
-
624
één variabele van niveau 1 (binnen hacker) én één variabele van niveau 2 (tussen hackers).
63
-
625
Oftewel: het verband binnen personen verschilt tussen personen.
63
-
626
A. “De samenhang tussen systeemcomplexiteit en hacktijd hangt af van ervaring.”
63
-
627
Systeemcomplexiteit = niveau 1
63
-
628
Ervaring = niveau 2 ✅ → Niveau 1 × Niveau 2 → cross-level interactie
63
-
629
Dit is dus een tweeweg cross-level interactie.
63
-
630
B. “De invloed van het systeemtype op hacktijd hangt af van het complexiteitsniveau.”
63
-
631
Systeemtype = niveau 1
63
-
632
Complexiteit = niveau 1 ➡️ Niveau 1 × Niveau 1 → géén cross-level interactie, maar een gewone binnen-niveau interactie.
63
-
633
Een multilevel nulmodel bevat juist een random intercept om groepsverschillen te modelleren.
63
-
634
Bij een model met één random intercept en één random slope krijg je:
63
-
635
Component
63
-
636
Beschrijving
63
-
637
Aantal parameters
63
-
638
1️⃣ Random intercept-variantie
63
-
639
Verschillen in gemiddelde capaciteit tussen studenten
63
-
640
1
63
-
641
2️⃣ Random slope-variantie
63
-
642
Verschillen in effect van stress tussen studenten
63
-
643
1
63
-
644
3️⃣ Covariantie tussen intercept en slope
63
-
645
Samenhang tussen basiscapaciteit en stressgevoeligheid
63
-
646
1
63
-
647
4️⃣ Residuele variantie (niveau 1)
63
-
648
Onverklaarde variantie binnen studenten
63
-
649
1
63
-
650
Context: longitudinale multilevelanalyse
63
-
651
In longitudinale studies:
63
-
652
meet je meerdere keren dezelfde persoon,
63
-
653
dus herhaalde metingen (tijdspunten) zijn genest binnen personen.
63
-
654
Oftewel:
63
-
655
De structuur is meetmomenten (niveau 1) genest binnen personen (niveau 2).
63
-
656
Niveau
63
-
657
Wat stelt het voor?
63
-
658
Wat varieert er?
63
-
659
Voorbeeld
63
-
660
Niveau 1
63
-
661
Meetmomenten
63
-
662
De scores die per tijdstip veranderen
63
-
663
Burn-outscore, stress, stemming per maand
63
-
664
Niveau 2
63
-
665
Individuele personen
63
-
666
De gemiddelde verschillen tussen mensen
63
-
667
Gemiddeld stressniveau per persoon
63
-
668
Een studie onderzoekt de werkzaamheid van online therapie bij depressie, waarbij wordt onderzocht of de effecten verlopen via verbetering van zelfeffectiviteit en/of sociale steun.
64
-
669
Wat concludeer je op bovenstaande tabel over het werkingsmechanisme van de therapie?
64
-
670
De therapie werkt via twee complementaire herstelprocessen die samen een sterker effect hebben op depressieve symptomen dan elk afzonderlijk
64
-
671
De therapie werkt via twee concurrerende mechanismen waarbij patiënten voor de vermindering van depressieve symptomen vooral baat hebben bij óf zelfeffectiviteit óf sociale steun
64
-
672
Effect
64
-
673
Interpretatie
64
-
674
p-waarde
64
-
675
Betekenis
64
-
676
Totaal effect (c) = -2.456
64
-
677
Het totale effect van therapie op depressie
64
-
678
<0.001
64
-
679
Significant → therapie verlaagt depressie
64
-
680
Direct effect (c′) = -0.234
64
-
681
Effect van therapie op depressie na controle voor de mediatoren
64
-
682
0.238
64
-
683
Niet significant → het effect verloopt volledig via mediatoren
64
-
684
Indirect effect via zelfeffectiviteit = -1.127
64
-
685
Mediatiepad X → M₁ → Y
64
-
686
CI [-1.433, -0.821]
64
-
687
Significant
64
-
688
Indirect effect via sociale steun = -1.095
64
-
689
Mediatiepad X → M₂ → Y
64
-
690
CI [-1.375, -0.815]
64
-
691
Significant
64
-
692
Interpretatie van de paden
64
-
693
Online therapie verhoogt zelfeffectiviteit (a₁ = 1.245, p < .001)
64
-
694
Online therapie verhoogt sociale steun (a₂ = 1.387, p < .001)
64
-
695
Hogere zelfeffectiviteit verlaagt depressie (b₁ = -0.905, p < .001)
64
-
696
Meer sociale steun verlaagt depressie (b₂ = -0.789, p < .001)
64
-
697
➡️ Dus: beide mediatoren zijn significant en werken in dezelfde richting (herstel, minder depressie).
64
-
698
Conclusie
64
-
699
Omdat:
64
-
700
beide indirecte effecten significant én negatief zijn (dus in dezelfde richting),
64
-
701
het directe effect niet meer significant is,
64
-
702
kun je concluderen dat de therapie werkt via twee complementaire herstelprocessen:
64
-
703
één via verbeterde zelfeffectiviteit,
64
-
704
één via meer sociale steun.
64
-
705
Deze versterken elkaar, in plaats van elkaar tegen te werken.
64
-
706
Taal instinkers:
64
-
707
Extensief = weinig metingen, lange tijd ertussen (zoals A: jaarlijks).
64
-
708
Intensief = veel metingen, korte tijd ertussen (zoals C: dagelijks).
64
-
709
Samenvattingsregel:
64
-
710
Gebruik “voorspelt / hangt samen met / is geassocieerd met” → bij correlationeel of modelmatig onderzoek.
65
-
711
Gebruik “leidt tot / zorgt voor / veroorzaakt” → alleen bij experimenteel gemanipuleerde variabelen.
65
-
712
Situatie:
65
-
713
Er is een random slope voor systeemcomplexiteit (dus de helling mag verschillen tussen hackers).
65
-
714
De variantie van die random slope is 24.3.
65
-
715
? Wat betekent dat?
65
-
716
Een variantie van 24.3 zegt niet dat het gemiddelde verschil tussen hackers 24.3 is — het zegt hoe sterk de slopes (hellingen) van complexiteit variëren tussen hackers.
65
-
717
Met andere woorden:
65
-
718
De relatie tussen systeemcomplexiteit en hacktijd is niet voor iedereen even sterk. Sommige hackers worden sterk vertraagd door complexere systemen, terwijl anderen minder gevoelig zijn voor complexiteit.
65
-
719
✅ Correcte interpretatie:
65
-
720
Sommige hackers hebben een sterkere toename in hacktijd bij complexere systemen dan andere hackers.
65
-
721
Term
65
-
722
Coëfficiënt
65
-
723
Betekenis
65
-
724
Ervaring
65
-
725
-8.910
65
-
726
Meer ervaring → kortere hacktijd (sneller hacken)
65
-
727
Technische_expertise
65
-
728
-4.570
65
-
729
Meer expertise → kortere hacktijd
65
-
730
Ervaring × Technische_expertise
65
-
731
-2.130
65
-
732
Interactie: het effect van ervaring verandert afhankelijk van technische expertise
65
-
733
Wat betekent een negatieve interactiecoëfficiënt (-2.130)?
65
-
734
Een negatieve interactie betekent:
65
-
735
Het (gunstige) effect van de ene variabele wordt zwakker naarmate de andere variabele toeneemt.
65
-
736
Of concreet hier:
65
-
737
Het voordeel van ervaring (minder hacktijd) neemt af als technische expertise toeneemt.
65
-
738
Met andere woorden:
65
-
739
Als iemand weinig expertise heeft, helpt ervaring veel (grote tijdswinst).
65
-
740
Als iemand al veel expertise heeft, levert extra ervaring minder extra voordeel op.
65
-
741
Kort ezelsbruggetje voor zulke situaties
65
-
742
1. Check altijd de richting van de afhankelijke variabele (is ‘meer’ goed of slecht?).
65
-
743
2. Negatief effect = minder van de afhankelijke variabele.
65
-
744
Als dat “minder tijd” betekent → beter (sterker effect).
65
-
745
Als dat “minder geluk” betekent → slechter (zwakker effect).
65
-
746
Welke stelling over het 'nul-model' is juist?
66
-
747
In dit model zijn geen level-1 predictoren opgenomen.
66
-
748
Tentamenvragen Casus over bodembekken behandeling waarin wel de covariantie tussen 2 behandelingen genoemd werd maar nier het individuele effect
66
-
749
Dat vond ik verwarrend, veel vragen over die casus en de bijbehorende tabel
66
-
750
Verder vergelijkbare vragen zoals oefentoetsen: theorie, interpretatie tabellen en grafieken en mediatie effect interpretatie
66
