ARMS specific studypath KP
Power and effect sizes:
Partial eta Squared η2
p Pearson r β :
Small 0.01 Small 0.10
Medium 0.06 Medium 0.30
Large ≥ 0.14 Large ≥ 0.50
Wat is de relatie tussen effect size en statistische power? Statistische Power heeft een invloed op de kans van het detecteren van een
bestaand effect, van een bepaalde size, en dus de kans om de null hypothese correct af te wijzen.
Power = 1 – β hierbij is β de kans op een type II fout (doel is .80)
Type I foutα : de H0 wordt afgewezen terwijl deze moet worden aangenomen.
Type II fout β : de H0 wordt aangenomen terwijl deze moet worden afgewezen.
- De kans om een effect te detecteren (de power) ligt aan de P-waarde (de kans op type I fout) en de effect size.
De beta value β als interpretatie voor de effect size:
◌ An effect size value not significantly different from zero supports the null hypothesis that there is no association between the exposure level
and response variable.
◌ A negative β value supports the hypothesis that high exposure level decreases the response. If the upper limit of confidence interval is below
zero then the association is considered statistically significant.
◌ A positive β value supports the hypothesis that high exposure level increases the response. If the lower limit of confidence interval is above
zero then the association is considered statistically significant.
Randomisation and manipulation checks:
Het doel van een experimenteel onderzoek is het vaststellen van causale relaties.
Variabele A verandert variabele B
Er zijn 3 relevante vergelijkingen in stappen;
1. Een baseline meeting voor elke groep.
Randomisation: zijn de participanten random ingedeeld?
2. Post- manipulatie metingen voor elke groep.
Manipulatie: factor A is gemanipuleerd.
3. Pre-post metingen of een controle groep.
Dit is het effect waar je naar opzoek bent.
Een controle groep is meestal het sterkste design voor een experimenteel onderzoek.
Samengevat: er zijn 2 dingen belangrijk om te controleren:
- Randomisatie check
- Manipulatie check
Wat doe je wanneer je randomisatie check significant is (dus geen goede randomisatie) je voegt die variabele toe als een covariate.
Wat doe je wanneer je manipulatie check niet significant is (dus geen goede manipulatie) je kan niks concluderen op je effecten want je
manipulatie is niet goed gegaan.
Interactions in ANOVA & regression and post-hoc testing:
Interactie: vertelt je dat effect X op Y verschillend is, op verschillende waarden van Z.
Moderatie: de moderator Z, is de voorspeller dat het effect verandert van de independent variabele X op Y. je wilt dus weten hoe Z het effect
verandert van X op Y.
Moderation:
, Een voorbeeld kan zijn: X= stress M= social support en Y= well-being.
Meer stress zorgt voor een afname in well-being, maar door social support verandert deze relatie.
Wat is essentieel voor een interactie:
- Meerdere variabelen zijn erbij betrokken.
- Interpretatie van de main effect is incomplete.
- Er is afhankelijkheid van een effect op de dependent variabele (de impact van de ene variabele hangt af van de andere variabele).
- De slopes van de lijnen zijn verschillend.
Om te zien hoe je uit een grafiek de interacties kunt interpreteren kijk op je assignment 2.
Verschil interactie in ANOVA en regressie:
ANOVA:
- IV zijn categorische factoren.
Voorbeeld:
DV= anxiety level
Factor 1= groep
Factor 2= tijd (pre en post treatment)
Check output in SPSS
Regressie:
- IV zijn continuous.
Voorbeeld:
DV= anxiety level
IV 1 = neuroticism
IV 2= aantal trauma exposures
Maak je eigen interactie termen
Maak je eigen plot door 2 groepen te maken, zoals hoge en lage neuroticism
Regressie: de invloed van 1 of meer continuous IV’s op een 1 continuous DV.
Voorbeeld: het effect van age en IQ op salary.
De main effects zijn: effect van age op salary en effect van IQ op salary.
Hypothese: meestal zie je dat mensen met een hoger IQ hun carriere langer kunnen ontwikkelen dan mensen met een laag IQ, daarom zou er
bij mensen met een hoog IQ, de variabele age meer een rol spelen. Het effect van age on salary is stronger voor mensen met een hoog IQ.
Hoe maak je een interactie:
Om een interactie te begrijpen moet je een plot maken.
Voor een regressie gebruik Simple Slope Analysis.
- Plot de regressie line van 1 IV voor 2 significante waarden van de andere IV. Dit is meestal -1SD(low) en +1SD (high). Dus beide IV’s
convert je naar -1SD en +1SD.
In het voorbeeld: High age/ high IQ Low age/ high IQ High age/ low IQ low age/ Low IQ.
Post-hoc testing:
Bij een ANOVA zie je aan de F-statistiek of er een significant verschil is tussen de groepen.
Je weet nog niet waar dit verschil precies is hiervoor gebruik je een post-hoc test.
- Post-hoc tests vergroot de kans op een Type 1 Error (false positive). Dit heet ook wel een multiple comparisons problem.
Hoe los je dit op? je past level alpha aan Bonferroni correctie. α / aantal pairwise comparisons.
Echter vergroot dit de kans op Type II Error.
Enkele opmerkingen:
- Er zijn meerdere manieren om de multiple comparisons problem op te lossen.
- Je moet goed bedenken welke vergelijkingen je wilt maken, je kan niet alle groepen vergelijken. Dit hoeft ook niet wanneer je al
specifieke hypothesen hebt.
Mediation:
Verschil moderation en mediation:
- Moderator heeft een invloed op when or where een effect bestaat.
- Mediator verklaart how or why er een effect is.
Het legt het onderliggende proces (het mechanisme) van de relatie X en Y uit, door mediator Z.
Dit kan een partial of full mediation zijn. de mediator wordt verwacht de dependent variabele te beïnvloeden, niet andersom.
Mediation model:
C = de directe relatie
A = relatie tussen IV en mediator.
B = relatie tussen mediator en DV
A*B = indirecte relatie.
Voorbeeld: IV being bullied Mediator self-esteem IV self-harm
Power and effect sizes:
Partial eta Squared η2
p Pearson r β :
Small 0.01 Small 0.10
Medium 0.06 Medium 0.30
Large ≥ 0.14 Large ≥ 0.50
Wat is de relatie tussen effect size en statistische power? Statistische Power heeft een invloed op de kans van het detecteren van een
bestaand effect, van een bepaalde size, en dus de kans om de null hypothese correct af te wijzen.
Power = 1 – β hierbij is β de kans op een type II fout (doel is .80)
Type I foutα : de H0 wordt afgewezen terwijl deze moet worden aangenomen.
Type II fout β : de H0 wordt aangenomen terwijl deze moet worden afgewezen.
- De kans om een effect te detecteren (de power) ligt aan de P-waarde (de kans op type I fout) en de effect size.
De beta value β als interpretatie voor de effect size:
◌ An effect size value not significantly different from zero supports the null hypothesis that there is no association between the exposure level
and response variable.
◌ A negative β value supports the hypothesis that high exposure level decreases the response. If the upper limit of confidence interval is below
zero then the association is considered statistically significant.
◌ A positive β value supports the hypothesis that high exposure level increases the response. If the lower limit of confidence interval is above
zero then the association is considered statistically significant.
Randomisation and manipulation checks:
Het doel van een experimenteel onderzoek is het vaststellen van causale relaties.
Variabele A verandert variabele B
Er zijn 3 relevante vergelijkingen in stappen;
1. Een baseline meeting voor elke groep.
Randomisation: zijn de participanten random ingedeeld?
2. Post- manipulatie metingen voor elke groep.
Manipulatie: factor A is gemanipuleerd.
3. Pre-post metingen of een controle groep.
Dit is het effect waar je naar opzoek bent.
Een controle groep is meestal het sterkste design voor een experimenteel onderzoek.
Samengevat: er zijn 2 dingen belangrijk om te controleren:
- Randomisatie check
- Manipulatie check
Wat doe je wanneer je randomisatie check significant is (dus geen goede randomisatie) je voegt die variabele toe als een covariate.
Wat doe je wanneer je manipulatie check niet significant is (dus geen goede manipulatie) je kan niks concluderen op je effecten want je
manipulatie is niet goed gegaan.
Interactions in ANOVA & regression and post-hoc testing:
Interactie: vertelt je dat effect X op Y verschillend is, op verschillende waarden van Z.
Moderatie: de moderator Z, is de voorspeller dat het effect verandert van de independent variabele X op Y. je wilt dus weten hoe Z het effect
verandert van X op Y.
Moderation:
, Een voorbeeld kan zijn: X= stress M= social support en Y= well-being.
Meer stress zorgt voor een afname in well-being, maar door social support verandert deze relatie.
Wat is essentieel voor een interactie:
- Meerdere variabelen zijn erbij betrokken.
- Interpretatie van de main effect is incomplete.
- Er is afhankelijkheid van een effect op de dependent variabele (de impact van de ene variabele hangt af van de andere variabele).
- De slopes van de lijnen zijn verschillend.
Om te zien hoe je uit een grafiek de interacties kunt interpreteren kijk op je assignment 2.
Verschil interactie in ANOVA en regressie:
ANOVA:
- IV zijn categorische factoren.
Voorbeeld:
DV= anxiety level
Factor 1= groep
Factor 2= tijd (pre en post treatment)
Check output in SPSS
Regressie:
- IV zijn continuous.
Voorbeeld:
DV= anxiety level
IV 1 = neuroticism
IV 2= aantal trauma exposures
Maak je eigen interactie termen
Maak je eigen plot door 2 groepen te maken, zoals hoge en lage neuroticism
Regressie: de invloed van 1 of meer continuous IV’s op een 1 continuous DV.
Voorbeeld: het effect van age en IQ op salary.
De main effects zijn: effect van age op salary en effect van IQ op salary.
Hypothese: meestal zie je dat mensen met een hoger IQ hun carriere langer kunnen ontwikkelen dan mensen met een laag IQ, daarom zou er
bij mensen met een hoog IQ, de variabele age meer een rol spelen. Het effect van age on salary is stronger voor mensen met een hoog IQ.
Hoe maak je een interactie:
Om een interactie te begrijpen moet je een plot maken.
Voor een regressie gebruik Simple Slope Analysis.
- Plot de regressie line van 1 IV voor 2 significante waarden van de andere IV. Dit is meestal -1SD(low) en +1SD (high). Dus beide IV’s
convert je naar -1SD en +1SD.
In het voorbeeld: High age/ high IQ Low age/ high IQ High age/ low IQ low age/ Low IQ.
Post-hoc testing:
Bij een ANOVA zie je aan de F-statistiek of er een significant verschil is tussen de groepen.
Je weet nog niet waar dit verschil precies is hiervoor gebruik je een post-hoc test.
- Post-hoc tests vergroot de kans op een Type 1 Error (false positive). Dit heet ook wel een multiple comparisons problem.
Hoe los je dit op? je past level alpha aan Bonferroni correctie. α / aantal pairwise comparisons.
Echter vergroot dit de kans op Type II Error.
Enkele opmerkingen:
- Er zijn meerdere manieren om de multiple comparisons problem op te lossen.
- Je moet goed bedenken welke vergelijkingen je wilt maken, je kan niet alle groepen vergelijken. Dit hoeft ook niet wanneer je al
specifieke hypothesen hebt.
Mediation:
Verschil moderation en mediation:
- Moderator heeft een invloed op when or where een effect bestaat.
- Mediator verklaart how or why er een effect is.
Het legt het onderliggende proces (het mechanisme) van de relatie X en Y uit, door mediator Z.
Dit kan een partial of full mediation zijn. de mediator wordt verwacht de dependent variabele te beïnvloeden, niet andersom.
Mediation model:
C = de directe relatie
A = relatie tussen IV en mediator.
B = relatie tussen mediator en DV
A*B = indirecte relatie.
Voorbeeld: IV being bullied Mediator self-esteem IV self-harm
