Psychometrie en besliskunde HC 3
Transcriptie HC 3
Itemanalyse: toetsitems
Dia 1:
Eerste 2 colleges gingen meer over besliskunde. Conclusie die je kunt trekken uit besluitvorming in de
klinische praktijk is dat het gebruik van goede meetinstrumenten nuttig kan zijn. Wanneer is een
instrument goed? Daarvoor kun je de psychometrische kwaliteiten gaan onderzoeken en dat is
voornamelijk de rest van de cursus, waar kijk je dan naar? Een van de dingen is itemanalyse, hoe
goed zijn de items? Items vormen de basis van een meetinstrument daarvan wil je dat ze van goede
kwaliteit zijn. Volgens de COTAN hebben we vorige week gezien valt de kwaliteit van items onder
begripsvaliditeit.
Vandaag gaan we het dan hebben over de kwaliteit van toetsitems. Volgende week kwaliteit van
testitems.
Dia 2:
Vragen die we dan stellen bij itemanalyse is de vraag naar uitlokkend vermogen, zo zullen we dat
volgende week gaan noemen. Deze week noemen we dat moeilijkheidsgraad. Onderscheidend
vermogen en correlatie tussen items onderling.
Dia 4:
Als je een meerkeuzevraag hebt, bijvoorbeeld een vierkeuze vraag, heb je één antwoord is goed en
alle andere antwoorden zijn verder fout. Zo’n item ga je dan altijd omcoderen naar je krijgt wel een
punt of geen punt. Dus dan wordt het door hercoderen een dichotoom item.
Intelligentietest is dan vaak een toets voor zover je daar antwoorden goed of niet goed kunt geven.
Dia 5:
Juist en onjuist zul je coderen naar 1 voor goed en 0 voor niet goed.
Toetsvraag: hoeveel hersencellen heeft een volwassenman gemiddeld?
A. 66 miljoen
B. 86 miljoen
C. 66 miljard
D. 86 miljard
E. 106 miljard
Studenten moet hand opsteken bij het antwoord dat ze denken dat goed is.
A 5 studenten, B 20 studenten, C 40 studenten, D 50 studenten, E 35 studenten.
Totaal 150 studenten.
De eerste vraag naar de kwaliteit van het toetsitems is hoe moeilijk is een bepaald toetsitems? Dan
kun je de moeilijkheidsgraad berekenen.
Dia 6:
De moeilijkheidsgraad is een proportie die zegt hoeveel van iedereen die de vraag had beantwoord
had de vraag goed beantwoord?
1
, Psychometrie en besliskunde HC 3
A 5 studenten, B 20 studenten, C 40 studenten, D 50 studenten, E 35 studenten.
Totaal 150 studenten.
50 mensen hadden het goede antwoord. 50 van de 150 hadden het antwoord juist. Oftewel een
derde, .33 is dan de moeilijkheidsgraad.
Hoe hoger de moeilijkheidsgraad hoe makkelijker de vraag. OPLETTEN DUS!
De laagste waarde die de moeilijkheidsgraad kan aannemen is 0. En een moeilijkheidsgraad van 0
betekend te moeilijk want niemand heft de vraag goed.
De maximale waarde van de p-waarde, de proportie goed, is 1 en dat betekend iedereen heft de
vraag goed.
We kunnen ook spreken van een q-waarde dat is dan het deel van de mensen die de vraag fout heeft
beantwoord. Dat is dus 1 – het deel mensen dat de vraag goed beantwoord heeft.
En p en q opgeteld, deel wat het goed heeft en deel dat het fout heeft heb je weer 1.
Je zou ook kunnen zeggen de p-waarde is gelijk aan het gemiddelde. Als je get iedereen die de vraag
goed heft krijgt een 1’tje en iedereen die de vraag fout heeft krijgt een 0. Ga je de 0’en en de 1’en bij
elkaar optellen en delen door eht total aantal dan heb je ook de p-waarde.
Dia 7:
Stel je voor dat ik jullie niet 5 keuzes had gegeven maar 2 keuzes. Bijvoorbeeld C & D. Als je dan gaat
gokken heb je meer kans om de vraag goed te hebben, dus we willen rekening houden met de
gokkans, we willen de gecorrigeerde p-waarde berekenen p’.
P’ (gecorrigeerde p-waarde = mensen die de vraag goed hebben – het deel van de mensen die de
vraag goed heeft door gokken.
We kunnen nooit precies weten welk deel dat is maar we kunnen daar wel iets voor berekenen wat
we gaan gebruiken.
Voorbeeld: stel je voor we hebben een item met 4 antwoordmogelijkheden. Antwoord a is juist, b, c
en d zijn onjuist.
Stel je voor de p-waarde is .4 dat betekend dat 40% van de mensen die die vraag hebben
beantwoord het goed hadden. Q is dan .6, 60% van de mensen had het fout. 1-p oftewel q die
hebben dus b, c of d gekozen. Nou is het idee gaan we dan van uit dat als je het antwoord op de
vraag niet weet dan ga je gokken en dan heeft ieder antwoord een even grote kans om gekozen te
worden. We zien dat 60% hiervan is gegokt dat betekend .20 voor b, .20 voor c, .20 voor d. Welk deel
van de mensen zou A hebben gegokt dan? Ook .20. Dus als je ervan uitgaat dat als je moet gokken
heeft iedere optie een even grote kans om gekozen te worden, dan moet dit ook .20 zijn. En dan is de
gecorrigeerde p waarde, het deel dat het goed heeft - .20 het deel wat heeft gegokt, is .2 20% van de
mensen wist het goede antwoord.
2
Transcriptie HC 3
Itemanalyse: toetsitems
Dia 1:
Eerste 2 colleges gingen meer over besliskunde. Conclusie die je kunt trekken uit besluitvorming in de
klinische praktijk is dat het gebruik van goede meetinstrumenten nuttig kan zijn. Wanneer is een
instrument goed? Daarvoor kun je de psychometrische kwaliteiten gaan onderzoeken en dat is
voornamelijk de rest van de cursus, waar kijk je dan naar? Een van de dingen is itemanalyse, hoe
goed zijn de items? Items vormen de basis van een meetinstrument daarvan wil je dat ze van goede
kwaliteit zijn. Volgens de COTAN hebben we vorige week gezien valt de kwaliteit van items onder
begripsvaliditeit.
Vandaag gaan we het dan hebben over de kwaliteit van toetsitems. Volgende week kwaliteit van
testitems.
Dia 2:
Vragen die we dan stellen bij itemanalyse is de vraag naar uitlokkend vermogen, zo zullen we dat
volgende week gaan noemen. Deze week noemen we dat moeilijkheidsgraad. Onderscheidend
vermogen en correlatie tussen items onderling.
Dia 4:
Als je een meerkeuzevraag hebt, bijvoorbeeld een vierkeuze vraag, heb je één antwoord is goed en
alle andere antwoorden zijn verder fout. Zo’n item ga je dan altijd omcoderen naar je krijgt wel een
punt of geen punt. Dus dan wordt het door hercoderen een dichotoom item.
Intelligentietest is dan vaak een toets voor zover je daar antwoorden goed of niet goed kunt geven.
Dia 5:
Juist en onjuist zul je coderen naar 1 voor goed en 0 voor niet goed.
Toetsvraag: hoeveel hersencellen heeft een volwassenman gemiddeld?
A. 66 miljoen
B. 86 miljoen
C. 66 miljard
D. 86 miljard
E. 106 miljard
Studenten moet hand opsteken bij het antwoord dat ze denken dat goed is.
A 5 studenten, B 20 studenten, C 40 studenten, D 50 studenten, E 35 studenten.
Totaal 150 studenten.
De eerste vraag naar de kwaliteit van het toetsitems is hoe moeilijk is een bepaald toetsitems? Dan
kun je de moeilijkheidsgraad berekenen.
Dia 6:
De moeilijkheidsgraad is een proportie die zegt hoeveel van iedereen die de vraag had beantwoord
had de vraag goed beantwoord?
1
, Psychometrie en besliskunde HC 3
A 5 studenten, B 20 studenten, C 40 studenten, D 50 studenten, E 35 studenten.
Totaal 150 studenten.
50 mensen hadden het goede antwoord. 50 van de 150 hadden het antwoord juist. Oftewel een
derde, .33 is dan de moeilijkheidsgraad.
Hoe hoger de moeilijkheidsgraad hoe makkelijker de vraag. OPLETTEN DUS!
De laagste waarde die de moeilijkheidsgraad kan aannemen is 0. En een moeilijkheidsgraad van 0
betekend te moeilijk want niemand heft de vraag goed.
De maximale waarde van de p-waarde, de proportie goed, is 1 en dat betekend iedereen heft de
vraag goed.
We kunnen ook spreken van een q-waarde dat is dan het deel van de mensen die de vraag fout heeft
beantwoord. Dat is dus 1 – het deel mensen dat de vraag goed beantwoord heeft.
En p en q opgeteld, deel wat het goed heeft en deel dat het fout heeft heb je weer 1.
Je zou ook kunnen zeggen de p-waarde is gelijk aan het gemiddelde. Als je get iedereen die de vraag
goed heft krijgt een 1’tje en iedereen die de vraag fout heeft krijgt een 0. Ga je de 0’en en de 1’en bij
elkaar optellen en delen door eht total aantal dan heb je ook de p-waarde.
Dia 7:
Stel je voor dat ik jullie niet 5 keuzes had gegeven maar 2 keuzes. Bijvoorbeeld C & D. Als je dan gaat
gokken heb je meer kans om de vraag goed te hebben, dus we willen rekening houden met de
gokkans, we willen de gecorrigeerde p-waarde berekenen p’.
P’ (gecorrigeerde p-waarde = mensen die de vraag goed hebben – het deel van de mensen die de
vraag goed heeft door gokken.
We kunnen nooit precies weten welk deel dat is maar we kunnen daar wel iets voor berekenen wat
we gaan gebruiken.
Voorbeeld: stel je voor we hebben een item met 4 antwoordmogelijkheden. Antwoord a is juist, b, c
en d zijn onjuist.
Stel je voor de p-waarde is .4 dat betekend dat 40% van de mensen die die vraag hebben
beantwoord het goed hadden. Q is dan .6, 60% van de mensen had het fout. 1-p oftewel q die
hebben dus b, c of d gekozen. Nou is het idee gaan we dan van uit dat als je het antwoord op de
vraag niet weet dan ga je gokken en dan heeft ieder antwoord een even grote kans om gekozen te
worden. We zien dat 60% hiervan is gegokt dat betekend .20 voor b, .20 voor c, .20 voor d. Welk deel
van de mensen zou A hebben gegokt dan? Ook .20. Dus als je ervan uitgaat dat als je moet gokken
heeft iedere optie een even grote kans om gekozen te worden, dan moet dit ook .20 zijn. En dan is de
gecorrigeerde p waarde, het deel dat het goed heeft - .20 het deel wat heeft gegokt, is .2 20% van de
mensen wist het goede antwoord.
2
