Samenvatting theorie psychometrie
Itemanalyse van toetsitems en testitems:
Bij een item-totaal-correlatie(rit) van bijvoorbeeld 0.432 kun je zeggen:
- Dat leerlingen die dit item goed beantwoorden over het algemeen een hogere somscore
behalen dan leerlingen die dit item niet goed beantwoorden.
Of andersom:
- Leerlingen met een hoge somscore maken dit item eerder goed dan leerlingen met een lage
somscore. (en zij zijn dus beter in de te meten eigenschap)
De item-totaal-correlatie (rit) is een indicatie voor het discriminerend vermogen van een item.
Afleiders in vragen bij een item hebben 3 kwaliteitseisen:
1. Alle a-waarden (p-waarden van afleiders) < p-waarden
2. Geen enkele a-waarde mag 0 zijn
3. De a-waarden van een item moeten ongeveer gelijk zijn aan elkaar
De a-waarde is de proportie respondenten die foute afleiders hebben gekozen. De p-waarde is (de
proportie van) het aantal personen dat het juiste antwoord heeft gekozen.
Ruwe scores kun je moeilijk interpreteren. Denk bijvoorbeeld aan een vraag/item met 4
antwoordmogelijkheden, antwoord 1 zou dan 1 punt zijn, antwoord 2-> 2 punten, antwoord 3-> 3
punten en antwoord 4 -> 4 punten. Als je al deze losse scores bij elkaar optelt: zegt dat niks: je zult
het juiste antwoord moeten belonen met 1 punt en de andere antwoorden met 0 en dus zit er maar
1 ding op: hercoderen! Er moet betekenis aan de ruwe scores gegeven worden om ze te kunnen
interpreteren.
Moeilijkheidsgraad (p-waarde): Hoe hoger de moeilijkheidsgraad, hoe makkelijker het item.
Evocatiegraad: gemiddelde score op een item mits het item zo geformuleerd is dat een hoge score
op het item wijst op een hoge score op het te meten construct (anders eerst spiegelen).
ICC:
- X-as: positie op de te meten vaardigheid (vaak somscore toets)
- Y-as: de kans op het bepaalde item goed.
Bij een ICC met in het midden een vlak gedeelte: discriminerend vermogen niet zo goed bij
middelste scores
Wanneer een ICC heel geleidelijk/gelijkmatig stijgt geeft dit juist een beter discriminerend
vermogen.
Geeft de rit alleen een indicatie van de sterkte van het discriminerende vermogen, geeft de
ICC weer in welk gebied van de somscore schaal het item het best discrimineert.
- Item-discriminatie-index volgens de ICC: de steilheid (‘slope’) van de curve op een bepaald
domein: Hoe steiler: hoe groter het discriminerend vermogen.
- Item-evocatie-index volgens de ICC: de testscore die correspondeert met een kans gelijk aan
het theoretisch midden van de antwoordschaal van het item, dus de testscore bij een
evocatiegraad gelijk aan het theoretische itemgemiddelde op de Y-as (voorbeeld:
antwoordschaal 1-5, theoretisch midden =3):
o Hoe hoger de evocatie-index volgens de ICC
o Hoe lager de evocatiegraad
o Hoe lager het itemgemiddelde
- Moeilijkheidsindex aflezen in ICC: de toetsscore die correspondeert met een kans van 2.5
om het item goed te hebben.
o Op welk punt snijdt de 0.5 de lijn.
1
, Samenvatting theorie psychometrie
o Een hogere moeilijkheidsindex (en dus een hoge somscore bij het snijden van de lijn
0.5) betekent een moeilijker item
o Bij een hogere moeilijkheidsindex is de moeilijkheidgraad lager (evenals de p-
waarde).
Als de correlatiecoëfficiënt tussen 2 items .838 is, dan is er sprake van een sterke positieve
samenhang (positief en hoog). Dit wil zeggen: hoe hoger de score op item 1, des te hoger ook de
score op item 2.
1. In hoeverre lokt een item een bepaald antwoordgedrag uit: Evocatiegraad en evocatie- index
2. In hoeverre discrimineert het item tussen personen: Rit/Rir en ICC
3. In hoeverre past het item bij andere items: correlatie (Spearman)
Opmerkingen mbt afronding bij het aantal personen:
- Bij het berekenen van aantal personen aan de hand van de p-waarde, mag je afronden naar
hele personen.
- Bij het berekenen van aantal personen aan de hand van de gecorrigeerd p-waarde (p’), mag
je het antwoord geven op 2 cijfers achter de komma, omdat dit een hypothetisch antwoord
is.
Als je een score van een persoon wilt vergelijken met het gemiddelde van de groep:
- Kun je de gemiddelde somscore van de groep vergelijken met de somscore van die persoon
- Óf je kan zijn somscore delen door het aantal items en dan de score vergelijken met de
gemiddelde itemscore: op die manier kan er uitspraak gedaan worden over hoger of lager
gescoord…
Testscore verdelingen:
- Bij een p’ van 0.50 en een lage rit wil dit zeggen dat er een laag discriminerend vermogen is
(en dus minder samenhang), dus dat er sprake is van meer toevallige meetfouten: dus de
verdeling neigt meer naar een normaalverdeling.
- Hoe hoger de rit, hoe hoger het discriminerend vermogen: en dus een verdeling met een
goed onderscheidend vermogen in het midden daardoor krijg je een plattere curve of kan
deze zelfs omslaan in een omgekeerde normaalcurve.
Van een plafond- of bodemeffect kan gesproken worden als de scoreverdeling scheef verdeeld is,
terwijl de eigenschap normaal verdeeld is. (= vaak het resultaat van een té makkelijke of een té
moeilijke toets.
Bij een lineaire transformatie:
- rechtlijnige transformatie
- de vormverdeling verandert niet
- Rit verandert niet
Bij een niet-lineaire transformatie:
- Niet rechtlijnige transformatie
- de vormverdeling verandert wel
- Rit verandert wel
Transformatiemethoden:
- Percentielscores
- Leeftijd- en niveauscores
- Standaardscores en gestandaardiseerde scores
- Genormaliseerde scores waaronder T-scores en stanines
2
Itemanalyse van toetsitems en testitems:
Bij een item-totaal-correlatie(rit) van bijvoorbeeld 0.432 kun je zeggen:
- Dat leerlingen die dit item goed beantwoorden over het algemeen een hogere somscore
behalen dan leerlingen die dit item niet goed beantwoorden.
Of andersom:
- Leerlingen met een hoge somscore maken dit item eerder goed dan leerlingen met een lage
somscore. (en zij zijn dus beter in de te meten eigenschap)
De item-totaal-correlatie (rit) is een indicatie voor het discriminerend vermogen van een item.
Afleiders in vragen bij een item hebben 3 kwaliteitseisen:
1. Alle a-waarden (p-waarden van afleiders) < p-waarden
2. Geen enkele a-waarde mag 0 zijn
3. De a-waarden van een item moeten ongeveer gelijk zijn aan elkaar
De a-waarde is de proportie respondenten die foute afleiders hebben gekozen. De p-waarde is (de
proportie van) het aantal personen dat het juiste antwoord heeft gekozen.
Ruwe scores kun je moeilijk interpreteren. Denk bijvoorbeeld aan een vraag/item met 4
antwoordmogelijkheden, antwoord 1 zou dan 1 punt zijn, antwoord 2-> 2 punten, antwoord 3-> 3
punten en antwoord 4 -> 4 punten. Als je al deze losse scores bij elkaar optelt: zegt dat niks: je zult
het juiste antwoord moeten belonen met 1 punt en de andere antwoorden met 0 en dus zit er maar
1 ding op: hercoderen! Er moet betekenis aan de ruwe scores gegeven worden om ze te kunnen
interpreteren.
Moeilijkheidsgraad (p-waarde): Hoe hoger de moeilijkheidsgraad, hoe makkelijker het item.
Evocatiegraad: gemiddelde score op een item mits het item zo geformuleerd is dat een hoge score
op het item wijst op een hoge score op het te meten construct (anders eerst spiegelen).
ICC:
- X-as: positie op de te meten vaardigheid (vaak somscore toets)
- Y-as: de kans op het bepaalde item goed.
Bij een ICC met in het midden een vlak gedeelte: discriminerend vermogen niet zo goed bij
middelste scores
Wanneer een ICC heel geleidelijk/gelijkmatig stijgt geeft dit juist een beter discriminerend
vermogen.
Geeft de rit alleen een indicatie van de sterkte van het discriminerende vermogen, geeft de
ICC weer in welk gebied van de somscore schaal het item het best discrimineert.
- Item-discriminatie-index volgens de ICC: de steilheid (‘slope’) van de curve op een bepaald
domein: Hoe steiler: hoe groter het discriminerend vermogen.
- Item-evocatie-index volgens de ICC: de testscore die correspondeert met een kans gelijk aan
het theoretisch midden van de antwoordschaal van het item, dus de testscore bij een
evocatiegraad gelijk aan het theoretische itemgemiddelde op de Y-as (voorbeeld:
antwoordschaal 1-5, theoretisch midden =3):
o Hoe hoger de evocatie-index volgens de ICC
o Hoe lager de evocatiegraad
o Hoe lager het itemgemiddelde
- Moeilijkheidsindex aflezen in ICC: de toetsscore die correspondeert met een kans van 2.5
om het item goed te hebben.
o Op welk punt snijdt de 0.5 de lijn.
1
, Samenvatting theorie psychometrie
o Een hogere moeilijkheidsindex (en dus een hoge somscore bij het snijden van de lijn
0.5) betekent een moeilijker item
o Bij een hogere moeilijkheidsindex is de moeilijkheidgraad lager (evenals de p-
waarde).
Als de correlatiecoëfficiënt tussen 2 items .838 is, dan is er sprake van een sterke positieve
samenhang (positief en hoog). Dit wil zeggen: hoe hoger de score op item 1, des te hoger ook de
score op item 2.
1. In hoeverre lokt een item een bepaald antwoordgedrag uit: Evocatiegraad en evocatie- index
2. In hoeverre discrimineert het item tussen personen: Rit/Rir en ICC
3. In hoeverre past het item bij andere items: correlatie (Spearman)
Opmerkingen mbt afronding bij het aantal personen:
- Bij het berekenen van aantal personen aan de hand van de p-waarde, mag je afronden naar
hele personen.
- Bij het berekenen van aantal personen aan de hand van de gecorrigeerd p-waarde (p’), mag
je het antwoord geven op 2 cijfers achter de komma, omdat dit een hypothetisch antwoord
is.
Als je een score van een persoon wilt vergelijken met het gemiddelde van de groep:
- Kun je de gemiddelde somscore van de groep vergelijken met de somscore van die persoon
- Óf je kan zijn somscore delen door het aantal items en dan de score vergelijken met de
gemiddelde itemscore: op die manier kan er uitspraak gedaan worden over hoger of lager
gescoord…
Testscore verdelingen:
- Bij een p’ van 0.50 en een lage rit wil dit zeggen dat er een laag discriminerend vermogen is
(en dus minder samenhang), dus dat er sprake is van meer toevallige meetfouten: dus de
verdeling neigt meer naar een normaalverdeling.
- Hoe hoger de rit, hoe hoger het discriminerend vermogen: en dus een verdeling met een
goed onderscheidend vermogen in het midden daardoor krijg je een plattere curve of kan
deze zelfs omslaan in een omgekeerde normaalcurve.
Van een plafond- of bodemeffect kan gesproken worden als de scoreverdeling scheef verdeeld is,
terwijl de eigenschap normaal verdeeld is. (= vaak het resultaat van een té makkelijke of een té
moeilijke toets.
Bij een lineaire transformatie:
- rechtlijnige transformatie
- de vormverdeling verandert niet
- Rit verandert niet
Bij een niet-lineaire transformatie:
- Niet rechtlijnige transformatie
- de vormverdeling verandert wel
- Rit verandert wel
Transformatiemethoden:
- Percentielscores
- Leeftijd- en niveauscores
- Standaardscores en gestandaardiseerde scores
- Genormaliseerde scores waaronder T-scores en stanines
2
