Psychometrie en besliskunde HC 4
Transcriptie HC 4
Itemanalyse: testitems
Scoreverdelingen
Scoretransformaties
Dia 2:
Op het bord heeft de docent voor het idee wat opgeschreven. Als je een toets of een test afneemt bij
een aantal deelnemenrs 1 t/m N dan heb je een aantal items in die test of toets, ga je somscores
bepalen. En normal gesproken wil je dan op basis van de somscores iets zeggen over de deelnemers,
hoeveel kennis of vaardigheid zij hebben bijvoorbeeld of hoeveel zij hebben van een bepaalde
eigenschap. Wat je doet bij item analyse is eigenlijk niet zo kijken naar de somscores om iets te
zeggen over deelnemers, maar je gaat kijken naar de scores op alle items, en ook de somscores om
iets te zeggen over de items zelf.
De scores op items gebruiken we niet alleen om uitspraken te doen over deelnemers, maar ook over
de kwaliteit van je test of toets.
Kernvragen van vandaag zijn dezelfde als die van vorige week.
Dia 4:
Bij vraag 1 en 2 duidt een hogere score op meer depressiviteit bij 3 juist niet.
Het maakt uit of er wel eens of bijna altijd staat. Wel eens, daar zullen de meeste mensen het wel
eens mee eens zijn. Maar bijna altijd zal wat minder tot hoge scores leiden.
Dia 5:
In welke mate lokt een vraag/ een item een bepaald antwoord uit, lokt hij hogere of lagere scores uit.
Dat is het itemgemiddelde.
Waar je dan op moet letten is hoe het item is geformuleerd, is het positief of negatief geformuleerd.
Positief geformuleerde items: als een hogere score op het item duidt op meer van het te meten
construct. (bijv. Hogere score = meer depressie)
Negatief geformuleerd items: als een hogere score op het item duidt op minder van het te meten
construct (hogere score = minder depressie)
Als je negatief geformuleerde items hebt in vragenlijsten, dan moet je die eerst spiegelen. Want je
wilt het itemgemiddelde hebben maar wel zodanig dat het in lijn is met de richting waarop het te
meten construct is gemaakt. Je wilt dus dat een score duidt op meer of minder van het te meten
construct.
Dia 6:
1 is de standaard manier, want als jij meer analyses wilt doen zul je altijd eerst de benodigde items
moeten spiegelen.
Maar soms volstaat het NET ALS BIJ HET TENTAMEN P&B om het itemgemiddelde direct te spiegelen.
5-puntschaal en je vindt het gemiddelde van 3,5. na spiegelen is het gemiddelde dan 2,5.
Daar is ook een formule voor: bijv. 1 + 5 = 6 – 3,5 = 2,5.
1
, Psychometrie en besliskunde HC 4
Dia 7:
Bos
Dia 8:
Hoogste evocatiegraad = item 1
Evocatiegraad item 3 = 2,86 (want je moest die vraag nog spiegelen)
Minste spreiding = item 1
Spreiding heb je nodig om te kunnen onderscheiden tussen mensen met meer of minder van een
eigenschap. Dus nu gaan we naar het onderscheidend vermogen, discriminerend vermogen.
Dia 9:
We spreken van een goed discriminerend vermogen als je op basis van antwoorden op een item als
goed kunt zien, onderscheid kunt maken, tussen wie hogere en wie lagere totaalscores heeft.
Waarvan we dan hopen dat het duidt op meer of minder van de te meten eigenschap.
En dan hoop je dat degene die hoog scoren op een vraag ook de meeste angstige of depressieve
mensen zijn. En degene die lager scoren op een vraag minder angstig zijn of minder depressief.
We kunnen dat onderscheidend vermogen bepalen door correlaties te berekenen tussen scores op
een item en totaalscores op de toets. Dan hebben we de Rit, oftewel de item-totaalcorrelatie.
Hier geldt opnieuw dat als je dat op deze manier doet dan zit de itemscores verwerkt in de totaal
scores, dat is niet helemaal eerlijk want voor dat stukje heb je perfecte correlatie. Item-totaal
correlatie is een beetje kunstmatig te hoog. Je zou ook kunnen zeggen, ik ga de restscores
berekenen. Dat moet je dan voor ieder item afzonderlijk opnieuw doen. De scores op alle items bij
elkaar behalve het item waarvoor je item rest correlatie bepaald. En dan kun je gaan kijken hoe is de
correlatie, de Rir, samenhang tussen de scores op het item en alle andere item scores bij elkaar.
Dezelfde vuistregels gelden als vorige week. Kleiner dan .2 daarvan zeggen we slecht discriminerend
vermogen. Vanaf .4 zeggen we goed discriminerend vermogen.
Ook hierbij geldt, als je een lange test hebt met veel vragen dan zal het niet zoveel uitmaken of je de
item totaal correlatie of de item rest correlatie berekend. Maar bij korte tests is het beter om de item
rest correlatie te berekenen.
Als je weinig spreiding hebt op een item dan gaat het item nooit goed kunnen discrimineren. Je hebt
spreiding nodig, verschil in antwoorden, om te zien gaat dat hoge of lager scoren op het item samen
met hoge of lage somscores.
Dia 10:
Dus eigenlijk hetzelfde. Alleen nu hebben we geen 0/1 items maar items met vaak wat meer
categorieën.
Dia 11:
Waarom is die Rit en Rir negatief bij item 3? -> item 3 was negatief geformuleerd. Dat item is hier dus
nog niet gespiegeld. Dan ga je zien dat hogere scores op een nog niet gespiegeld item samen gaan
hangen met lagere somscores, en andersom.
2
Transcriptie HC 4
Itemanalyse: testitems
Scoreverdelingen
Scoretransformaties
Dia 2:
Op het bord heeft de docent voor het idee wat opgeschreven. Als je een toets of een test afneemt bij
een aantal deelnemenrs 1 t/m N dan heb je een aantal items in die test of toets, ga je somscores
bepalen. En normal gesproken wil je dan op basis van de somscores iets zeggen over de deelnemers,
hoeveel kennis of vaardigheid zij hebben bijvoorbeeld of hoeveel zij hebben van een bepaalde
eigenschap. Wat je doet bij item analyse is eigenlijk niet zo kijken naar de somscores om iets te
zeggen over deelnemers, maar je gaat kijken naar de scores op alle items, en ook de somscores om
iets te zeggen over de items zelf.
De scores op items gebruiken we niet alleen om uitspraken te doen over deelnemers, maar ook over
de kwaliteit van je test of toets.
Kernvragen van vandaag zijn dezelfde als die van vorige week.
Dia 4:
Bij vraag 1 en 2 duidt een hogere score op meer depressiviteit bij 3 juist niet.
Het maakt uit of er wel eens of bijna altijd staat. Wel eens, daar zullen de meeste mensen het wel
eens mee eens zijn. Maar bijna altijd zal wat minder tot hoge scores leiden.
Dia 5:
In welke mate lokt een vraag/ een item een bepaald antwoord uit, lokt hij hogere of lagere scores uit.
Dat is het itemgemiddelde.
Waar je dan op moet letten is hoe het item is geformuleerd, is het positief of negatief geformuleerd.
Positief geformuleerde items: als een hogere score op het item duidt op meer van het te meten
construct. (bijv. Hogere score = meer depressie)
Negatief geformuleerd items: als een hogere score op het item duidt op minder van het te meten
construct (hogere score = minder depressie)
Als je negatief geformuleerde items hebt in vragenlijsten, dan moet je die eerst spiegelen. Want je
wilt het itemgemiddelde hebben maar wel zodanig dat het in lijn is met de richting waarop het te
meten construct is gemaakt. Je wilt dus dat een score duidt op meer of minder van het te meten
construct.
Dia 6:
1 is de standaard manier, want als jij meer analyses wilt doen zul je altijd eerst de benodigde items
moeten spiegelen.
Maar soms volstaat het NET ALS BIJ HET TENTAMEN P&B om het itemgemiddelde direct te spiegelen.
5-puntschaal en je vindt het gemiddelde van 3,5. na spiegelen is het gemiddelde dan 2,5.
Daar is ook een formule voor: bijv. 1 + 5 = 6 – 3,5 = 2,5.
1
, Psychometrie en besliskunde HC 4
Dia 7:
Bos
Dia 8:
Hoogste evocatiegraad = item 1
Evocatiegraad item 3 = 2,86 (want je moest die vraag nog spiegelen)
Minste spreiding = item 1
Spreiding heb je nodig om te kunnen onderscheiden tussen mensen met meer of minder van een
eigenschap. Dus nu gaan we naar het onderscheidend vermogen, discriminerend vermogen.
Dia 9:
We spreken van een goed discriminerend vermogen als je op basis van antwoorden op een item als
goed kunt zien, onderscheid kunt maken, tussen wie hogere en wie lagere totaalscores heeft.
Waarvan we dan hopen dat het duidt op meer of minder van de te meten eigenschap.
En dan hoop je dat degene die hoog scoren op een vraag ook de meeste angstige of depressieve
mensen zijn. En degene die lager scoren op een vraag minder angstig zijn of minder depressief.
We kunnen dat onderscheidend vermogen bepalen door correlaties te berekenen tussen scores op
een item en totaalscores op de toets. Dan hebben we de Rit, oftewel de item-totaalcorrelatie.
Hier geldt opnieuw dat als je dat op deze manier doet dan zit de itemscores verwerkt in de totaal
scores, dat is niet helemaal eerlijk want voor dat stukje heb je perfecte correlatie. Item-totaal
correlatie is een beetje kunstmatig te hoog. Je zou ook kunnen zeggen, ik ga de restscores
berekenen. Dat moet je dan voor ieder item afzonderlijk opnieuw doen. De scores op alle items bij
elkaar behalve het item waarvoor je item rest correlatie bepaald. En dan kun je gaan kijken hoe is de
correlatie, de Rir, samenhang tussen de scores op het item en alle andere item scores bij elkaar.
Dezelfde vuistregels gelden als vorige week. Kleiner dan .2 daarvan zeggen we slecht discriminerend
vermogen. Vanaf .4 zeggen we goed discriminerend vermogen.
Ook hierbij geldt, als je een lange test hebt met veel vragen dan zal het niet zoveel uitmaken of je de
item totaal correlatie of de item rest correlatie berekend. Maar bij korte tests is het beter om de item
rest correlatie te berekenen.
Als je weinig spreiding hebt op een item dan gaat het item nooit goed kunnen discrimineren. Je hebt
spreiding nodig, verschil in antwoorden, om te zien gaat dat hoge of lager scoren op het item samen
met hoge of lage somscores.
Dia 10:
Dus eigenlijk hetzelfde. Alleen nu hebben we geen 0/1 items maar items met vaak wat meer
categorieën.
Dia 11:
Waarom is die Rit en Rir negatief bij item 3? -> item 3 was negatief geformuleerd. Dat item is hier dus
nog niet gespiegeld. Dan ga je zien dat hogere scores op een nog niet gespiegeld item samen gaan
hangen met lagere somscores, en andersom.
2
