Samenvatting Repeated Measures (PSMM-2)

Samenvatting Repeated Measures

College 1: Review of ANOVA

ANOVA: 1 DV, 2 of meer groepen.

Het doel van ANOVA is om groepsgemiddelden te vergelijken.

2 groepen: t-test (Bij 2 groepen t2= F)
>2 groepen: ANOVA

Between-factor one-way ANOVA

Doel: vergelijken van groepsgemiddelden (onafhankelijke populaties).




SS partition: SST = SSG + SSE

 SSG – between groups, verklaarde deel
 SSE – within groups, onverklaarde deel

Hoe groter de between group variantie is vergeleken met de within group variantie, hoe
groter de F-waarde.




Significantie test en effect size

- p-waarde = wat is de kans dat deze of meer extreme steekproefgemiddelden
voorkomen als de gemiddelden gelijk zijn in de populatie?
 /Hoe groot is de kans, obv toeval, dat we dit vinden? / Als H0 waar is, hoe groot is
de kans dat je dit vindt?
NIET: De kans dat H0 waar is. Maar WEL: Als H0 waar is, hoe groot is de kans dat je
dit of een extremer effect vindt?
 Geeft de significantie van een factor aan.
- Effect size = meet hoe groot het effect is.
 In ANOVA: hoe groot is het verschil tussen de groepen in de populatie (Cohen’s d)
en hoeveel % vd steekproefvariantie wordt verklaard door het effect van de
variabele.
 η2 = SSeffect/SStotal: proportie van de verklaarde variantie door het effect (bijv.
wat is de proportie vd variantie in alle gemeten lengtes die worden verklaard door
gender?)
 Partial η2: proportie van de verklaarde variantie, nadat je corrigeert voor variantie
door door andere effecten worden verklaard (bijv. wat is de proportie verklaarde
variantie in alle gemeten lengtes die worden verklaard door gender, als je leeftijd
niet meeneemt?)
o .01 = small effectsize
o .06 = medium effectsize
o ≥.14 = large effectsize




Samenvatting Repeated Measures – Lobke Arkes

,In one-way ANOVA: Partial eta squared = R2= Np2 . Het test de praktische relevantie. Bijv.
bij R2= 0.210 kan 21% van de totale steekproefvariantie van Cartoon-1 scores (DV)
worden toegeschreven aan het effect van education (IV).

Experimentele designs

Experimenten hebben 3 kenmerken:

1. Manipulatie van de treatment levels
 De onderzoeker controleert de aard en timing van elk behandelniveau
2. Random toewijzing van de cases aan de levels (groepen)
 Om bias te verwijderen
 Verschillen tussen cases uitmiddelen (average out differences among cases)
3. Controle van externe (extraneous) variabelen
 Alleen treatment level veranderingen tijdens het experiment
 Kan je doen door;
o De externe variabelen constant houden (bijv. door in elke groep nog een
groep maken, bijv. binnen de groep ‘jongeren’ ga je randomiseren in 2
groepen en binnen de groep ‘ouderen’ ga je randomiseren in 2 groepen)
o Hun effecten uitbalanceren
o Ze in een extra factor veranderen

Als alle 3 de kenmerken gelden kunnen de verschillen in de scores worden toegeschreven
aan verschillen in de behandelingsniveaus.

 Nog geen bewijs voor een causaal verband. Daar helpt een goede theorie bij.

Between subjects design

- Verschillen door de behandeling worden getest tussen groepen van de
subjects/proefpersonen: verschillende cases in elk level
- Designs:
 Experimenteel: cases zijn random toegewezen aan behandelingsniveaus
 Niet-experimenteel (/correlationeel/observationeel): geen willekeurige toewijzing
(bijv. geslacht)
- Factorial designs
 = de behandeleffecten worden bepaald door meer dan 1 factor
 Hoofdeffect van elke factor en interactie(s)

Factorial designs

One-way ANOVA heeft 1 factor (=1 onafhankelijke variabele) met twee of meer
niveaus/groepen. Maar vaak is er meer dan 1 factor (die andere groepen definiëren).

Two-way ANOVA heeft 2 factoren (=2 onafhankelijke variabelen) met twee of meer
niveaus/groepen.
Je kunt dan:

- Het main effect van factor A testen
- Het main effect van factor B testen
- De interactie tussen factor A en B testen (of het effect van de ene factor afhangt
van de ander)
- Factor a x factor b is de hoeveelheid cellen in de tabel (aantal groepen)

Main effect = het gemiddelde van de simple effecten van een bepaalde factor (voor alle
niveaus van de resterende factoren)

- Bijv. “Heeft lesmethode invloed op de gemiddelde toetsscore, gemiddeld over
mannen én vrouwen?”
- Beste te interpreteren zonder interactie

Samenvatting Repeated Measures – Lobke Arkes

, - Niet representatief voor simple effecten als er interactie is want dan verandert het
effect van een factor afhankelijk van de andere factor



Je krijgt 2 types informatie bij factorial design:

1. Interactie effecten; vergelijking van de simple effecten (of het effect van één
factor afhangt van het niveau van de andere factor)
 Bijv. “Is het verschillen tussen lesmethodes anders voor mannen dan voor
vrouwen?”
2. Main effects; 2 single-factor experimenten

Meerdere factoren om:

- Error variance te verminderen (regressie analyse met meerdere onafhankelijke
variabelen)
- Interactie tussen variabelen onderzoeken

Ongelijke/gelijke n per cel

Het liefst heb je een gelijk aantal subjecten per cel. Hiervoor moet de SS van de effecten
en de interacties orthogonaal/onafhankelijk zijn van elkaar.

Als je ongelijke n per cel hebt, kun je:

1. Regressie benadering; corrigeer elk effect voor alle andere effecten om de unieke
bijdrage ervan te krijgen
(Type ||| SS; SPSS default)
2. Experimentele methode; schat de belangrijkste effecten zonder rekening te
houden met de interactie, schat de interactie met correctie voor de belangrijkste
effecten
(Type || SS)
3. Hiërarchische benadering; gebruik een (theoretische) volgorde bij het ontbinden
van de effecten
(Type | SS)

Factorial-blocks design

Factorial-blocks design heeft minimaal 2 factoren, waarvan één de blocking factor is:

- Experimentele factor
 = Condities in het experiment; bijv. behandeling vs geen behandeling
- Blocking factor
 =Vaste kenmerken van de subjects/intrinsiek aan de subjecten (categorisch)
 Is gerelateerd aan de DV; bijv. geslacht (je doet dit als je denkt dat het invloed
heeft)

Het doel van een blocking factor is:

- Error reduction (meer power)
- Het vergroot de vergelijkbaarheid van de groepen als je ervoor zorgt dat de block
sizes gelijk zijn (de groepen zijn homogeen)
- Aparte conclusies kunnen trekken over elk blok (bijv. verschillende therapie-
effecten in mannen en vrouwen).
- Interactie tussen factoren kunnen worden gedetecteerd

Als er alleen maar blocking factors zijn, is het een non-experimental design.

Je hebt verschillende factorial blocks designs:

1. Randomized-blocks design

Samenvatting Repeated Measures – Lobke Arkes

,  Homogene blokken van subjecten worden vooraf gevormd om de variabiliteit
within groups te verminderen
 Verhoogd statistische power voor factor A
o Factor A: experimental factor
o Factor B: blocking factor
 Als er 1 observatie per cel is, is er geen interactie tussen de factoren meetbaar
(want geen replicatie, dus variantie is niet te schatten)
2. Post-hoc block design
 = Blocking na het verzamelen van de data
 Niet in eerste instantie gepland
 Probleem:
o Vaak ongelijke sample sizes omdat je het niet vanaf begin al hebt verdeeld
o Data fishing = achteraf ook opeens andere dingen gaan testen waar je in
eerste instantie niet in geïnteresseerd was > kans op vals positieven
 Als de blocking variabele continu is, kan dat voor verlies van informatie zorgen
o Mediaan splits; van de data de helft aan de ene groep, de andere helft aan
de andere groep toewijzen. Bijv. gem van 25 jaar, dus jong <25 jaar
oud>25 jaar. Maar, iemand van 26 is niet hetzelfde als iemand van 40.
o Alternatieven: ANCOVA, Regressie analyse

Types designs

1. Between-subjects designs
 Verschillen door behandeling worden getest tussen groepen van subjects
 Een of meer factoren in een experimenteel design
 Verschillende personen/cases in elke cel van het experimentele design
2. Repeated-measures designs
 Elk persoon/case zit in 1 of meer treatment levels en is in elk level een keer
gemeten
 Within-subjects designs: verschillen door behandelingen worden getest binnen
dezelfde subjects

Effect size, p-waarde en power

- Type 1 error: H0 verwerpen wanneer dat niet moet
 a= P (H0 verwerpen | H0 is waar)
 Vals positief; zeggen dat er een effect is in de test, maar is er niet in de populatie
 Fixed by user: alpha level wordt vooraf bepaald (vaak a=0.05)
- Type 2 error: H0 niet verwerpen wanneer dat wel moet
 B = P (H0 niet verwerpen | H0 is fout)
o B = de kans dat je een echt effect mist
 Vals negatief; zeggen dat er geen effect is in de test, maar is er wel in de
populatie
 Niet fixed: hangt af van a, steekproefgrootte en populatie effectgrootte
- Power
 1-B = P (H0 verwerpen | H0 is fout)
o Kans op juiste beslissing als H0 fout is
 Niet fixed; hangt af van a, steekproefgrootte en populatie effectgrootte




Dus:



Samenvatting Repeated Measures – Lobke Arkes