Complete uitgebreide samenvatting Blok 3.5 Psychometrie H1 t/m H11

Meneer de Jong wilt graag onderzoeken wanneer studenten beter leren. Hij vraagt zich af of studenten de stof voor het tentamen beter tot zich nemen wanneer zij de colleges live bijwonen of ze later online terugkijken. Om dit te onderzoeken verzamelt hij data van 300 studenten waarbij hij de prestaties op het tentamen van blok 2.2 van de studenten die de colleges bijwoonden vergelijkt met die van de studenten die de colleges terugkeken. Kijkend naar de resultaten blijkt dat de studenten die de colleges bijwoonden gemiddeld 0,9 punten hoger scoorden op het tentamen dan de studenten die de colleges terugkeken. Dit verschil was significant. Kan meneer de Jong uit deze resultaten uitgaan van een causaal verband? A) Nee, er is geen causaal verband omdat het verschil tussen de prestaties van de groepen niet groot genoeg is. B) Nee, er is in dit onderzoek te weinig sprake van het manipuleren van variabelen waardoor er derde variabelen aan de orde zouden kunnen zijn. Aan de andere assumpties wordt wel voldaan. C) Ja, aan alle voorwaarden voor causatie wordt voldaan. D) Nee, in het onderzoek van meneer de Jong is sprake van het bidirectionele probleem omdat er geen rekening is gehouden met temporal order

Antwoord: Antwoord De voorwaarden voor causatie zijn: • Er is een relatie tussen oorzaak (X) en gevolg (Y): als X verandert, verandert Y (covariation). Aan deze voorwaarde wordt voldaan: er is een relatie tussen oorzaak (manier van college kijken) en gevolg (prestatie) aangetoond. Het verschil in prestatie t.a.v. de colleges bijwonen of online terugkijken was significant. (Studenten die college’s bijwoonden behaalden hogere scores.) • Veranderingen in X gaan altijd vooraf aan veranderingen in Y (temporal order), - er zijn geen plausibele alternatieve oorzaken voor Y. Aan deze voorwaarde wordt ook voldaan: de volgorde van het bekijken van college’s en het tentamen zijn in het experiment vastgesteld. Er is dus geen sprake van dat de prestatie op het tentamen het wel of niet bekijken van de college’s beïnvloedt. (Antwoord D is dus niet correct) • Er zijn geen plausibele alternatieve oorzaken voor Y. Aan deze voorwaarde wordt niet voldaan (Antwoord C is dus niet correct): in dit onderzoek worden er geen variabelen gemanipuleerd. Meneer de Jong deed namelijk alleen een passieve observatie door de verschillen tussen bepaalde al bestaande groepen studenten te vergelijken. Het “derde variabele probleem” zou hier dus aan de orde kunnen zijn. Zo zou motivatie bijvoorbeeld een derde variabele kunnen zijn wat ervoor zorgt dat studenten die gemotiveerd zijn, de college’s willen bijwonen en door deze motivatie ook beter presteren op het tentamen. (Antwoord B is correct) De grootte van het verschil tussen de prestaties van de twee groepen heeft niks te maken met causatie. (Antwoord A is dus niet correct)

Gegeven zijn de volgende twee stellingen: Stelling I: Een voordeel van het within-subjects design is dat individuele verschillen geen invloed hebben op het resultaat van de analyse. Stelling II: Tijdsgerelateerde effecten zijn nadelen van het within-subjects design. Welk van de genoemde stellingen is waar? A) Beide stellingen zijn waar B) Stelling I is waar, stelling II is niet waar C) Stelling I is niet waar, stelling II is waar D) Beide stellingen zijn niet waar

Antwoord: Alleen antwoord A is correct. Bij een within-subjects design hebben individuele verschillen geen invloed op het resultaat van de analyse. Het is namelijk niet zoals bij het between-subjects design dat deze individuele verschillen extra variantie opleveren. Bij het within-subjects design wordt deze variatie er uitgehaald, omdat dat een deel van de verklaring van de scores oplevert waardoor er minder “onverklaard” overblijft. Een ander voordeel van het within-subjects design is dat je minder proefpersonen nodig hebt omdat je meer power hebt. Stelling I is dus waar. Wel is het zo dat bij een within-subjects design tijdsgerelateerde effecten kunnen optreden zoals leer/geheugen effecten of dat door de tijdsduur en de meerdere condities proefpersonen moe kunnen worden. Om deze reden is counterbalancing van belang bij onderzoek met een within-subjects design. Op die manier spelen andere factoren zoals “in het begin alles geven”, “gewenning aan de manier van tentamineren”, “moeheid”, “laatste sprint” een minder grote rol. Stelling II is dus waar.

In een onderzoek worden drie groepsgemiddelden met elkaar vergeleken. Om dit te toetsen wordt de volgende nulhypothese opgesteld: H0: 1 = 2 = 3 De toets die wordt uitgevoerd om de algemene hypothese te toetsen is de F-toets en er wordt getoetst op een significantieniveau van 0.05. De F-toets resulteert in p = . 001 Welke conclusie kan er worden getrokken met betrekking tot de nulhypothese? A) De nulhypothese moet verworpen worden want de drie groepsgemiddelden verschillen alle drie significant van elkaar. B) De kans dat er een verschil is tussen de groepen is erg klein (p < 0.05) dus de nulhypothese kan niet verworpen worden. C) De nulhypothese moet verworpen worden omdat de kans op het gevonden resultaat erg klein is indien de nulhypothese werkelijk waar is. D) De nulhypothese moet verworpen worden omdat één van de drie groepsgemiddelden significant verschilt van de andere twee.

Antwoord: Antwoord C is correct. De nulhypothese van een ANOVA stelt dat de drie groepsgemiddelden aan elkaar gelijk zijn. Als dit zoals in dit geval niet zo is, levert de ANOVA een significant resultaat op, dan is de kans om zulke grote verschillen tussen de groepen te vinden, of nog extremere verschillen, als de nulhypothese waar is heel klein. (Antwoord C is dus correct.) De p-waarde geeft dus de kans dat het resultaat wordt gevonden indien de NULhypothese waar is, niet de kans dat er een verschil is (Antwoord B is dus incorrect.) In dit geval is de kans dus heel klein dat het gevonden verschil wordt gevonden als alle drie de gemiddelden in de populatie eigenlijk precies gelijk zijn. Er kan daarom vanuit gegaan worden dat deze niet gelijk zijn. Echter is er niets bekend over welke groep afwijkend is, of dat ze alle drie onderling sterk van elkaar verschillen. (Antwoord A en D zijn dus niet correct.) Er moet eerst een post hoc test uitgevoerd worden om hier meer over te kunnen zeggen.