Hoofdstuk 1: Item-responstheorie
De klassieke testtheorie (KTT)
Testen, vragenlijsten en observatieschalen bestaan uit opdrachten, vragen en categorieën
die we items noemen. Deze items leveren itemscores en somscores op.
Elke meting bevat meetfouten. De KTT levert een werkwijze om meetfouten de schatten:
een bereik bepalen waarbinnen de betrouwbare score valt: de betrouwbaarheidsinterval.
Formule: Xij = Ti + Eij (Xij = geobserveerde score, Ti = true score, Eij = error score)
Ti (true score/systematisch scorecomponent) wordt gedefinieerd als gemiddelde
geobserveerde score die persoon i heeft behaald over een zeer groot aantal onafhankelijke
herhalingen van een test).
Eij (error score) zal altijd afwijken: niemand let altijd even goed op, condities verschillen, etc.
4 onderstellingen over meetfouten:
- Gemiddelde meetfout is gelijk aan nul (positieve en negatieve factoren heffen elkaar
op)
- Correlatie tussen meetfouten is nul (meetfouten van verschillende metingen
beïnvloeden elkaar niet, omdat ze toevallig en onvoorspelbaar zijn)
- De correlatie tussen de meetfout en de betrouwbare score X is gelijk aan nul
- De standaarddeviatie van de meetfout (standaardmeetfout) is gelijk aan de SD van de
geobserveerde scores
Praktisch: men gaat ervan uit dat de standaardmeetfout voor alle proefpersonen identiek is
(maar is niet zo realistisch).
S2(X) = variantie van de geobserveerde score)
S2 (T) = variantie van de betrouwbare score
,S2 (E) = variantie van de meetfout
Formule voor de betrouwbaarheid van een testscore :
Beperkingen van de klassieke testtheorie:
A) De scoringsregel en het meetniveau van de testscore
Itemconfiguratie: het profiel van juiste en foute antwoorden op de onderscheiden items van
een test.
, In een ideale situatie zou eenzelfde testscore ook moeten wijzen op eenzelfde
itemconfiguratie. Dit ideaal wordt weergegeven in een scalogrammodel:
De gevolgen van deze beperkingen zijn:
- de KTT is test-georiënteerd en niet item-georiënteerd (dus de KTT geeft ons geen
informatie over hoe goed een individu scoort op een specifiek item).
- Alleen nominale schaal (geen bewerkingen mogelijk) oplossing is ruwe scores
transformeren naar Z-scores om zo te kunnen werken met een quasi-intervalschaal.
Zo kan wel onderzocht worden of items of tests parallel zijn.
B) De betrouwbare score is testafhankelijk
, Oplossing: zorgvuldig items selecteren zodat ze een goede operationalisatie vormen
van de te meten eigenschap.
C) De moeilijkheidsgraad van de items is populatieafhankelijk
Oplossing: steekproef zo representatief mogelijk maken een zo goed mogelijke
weergave van de hele populatie waarvoor de test bedoeld is.
D) De betrouwbaarheid is populatie-afhankelijk
E) Betrouwbaarheid en veelvuldig herhaalde meting
Door oefen- en leereffecten is een veelvuldig herhaalde meting om de
betrouwbaarheid te bepalen in de praktijk onuitvoerbaar. De metingen kunnen nl.
niet onafhankelijk van elkaar gebeuren.
Oplossing: verschillende varianten van parallelle metingen hanteren (let op: geen
volledig sluitende oplossing, omdat de equivalentie tussen de tests nooit helemaal te
bereiken is).
De klassieke testtheorie (KTT)
Testen, vragenlijsten en observatieschalen bestaan uit opdrachten, vragen en categorieën
die we items noemen. Deze items leveren itemscores en somscores op.
Elke meting bevat meetfouten. De KTT levert een werkwijze om meetfouten de schatten:
een bereik bepalen waarbinnen de betrouwbare score valt: de betrouwbaarheidsinterval.
Formule: Xij = Ti + Eij (Xij = geobserveerde score, Ti = true score, Eij = error score)
Ti (true score/systematisch scorecomponent) wordt gedefinieerd als gemiddelde
geobserveerde score die persoon i heeft behaald over een zeer groot aantal onafhankelijke
herhalingen van een test).
Eij (error score) zal altijd afwijken: niemand let altijd even goed op, condities verschillen, etc.
4 onderstellingen over meetfouten:
- Gemiddelde meetfout is gelijk aan nul (positieve en negatieve factoren heffen elkaar
op)
- Correlatie tussen meetfouten is nul (meetfouten van verschillende metingen
beïnvloeden elkaar niet, omdat ze toevallig en onvoorspelbaar zijn)
- De correlatie tussen de meetfout en de betrouwbare score X is gelijk aan nul
- De standaarddeviatie van de meetfout (standaardmeetfout) is gelijk aan de SD van de
geobserveerde scores
Praktisch: men gaat ervan uit dat de standaardmeetfout voor alle proefpersonen identiek is
(maar is niet zo realistisch).
S2(X) = variantie van de geobserveerde score)
S2 (T) = variantie van de betrouwbare score
,S2 (E) = variantie van de meetfout
Formule voor de betrouwbaarheid van een testscore :
Beperkingen van de klassieke testtheorie:
A) De scoringsregel en het meetniveau van de testscore
Itemconfiguratie: het profiel van juiste en foute antwoorden op de onderscheiden items van
een test.
, In een ideale situatie zou eenzelfde testscore ook moeten wijzen op eenzelfde
itemconfiguratie. Dit ideaal wordt weergegeven in een scalogrammodel:
De gevolgen van deze beperkingen zijn:
- de KTT is test-georiënteerd en niet item-georiënteerd (dus de KTT geeft ons geen
informatie over hoe goed een individu scoort op een specifiek item).
- Alleen nominale schaal (geen bewerkingen mogelijk) oplossing is ruwe scores
transformeren naar Z-scores om zo te kunnen werken met een quasi-intervalschaal.
Zo kan wel onderzocht worden of items of tests parallel zijn.
B) De betrouwbare score is testafhankelijk
, Oplossing: zorgvuldig items selecteren zodat ze een goede operationalisatie vormen
van de te meten eigenschap.
C) De moeilijkheidsgraad van de items is populatieafhankelijk
Oplossing: steekproef zo representatief mogelijk maken een zo goed mogelijke
weergave van de hele populatie waarvoor de test bedoeld is.
D) De betrouwbaarheid is populatie-afhankelijk
E) Betrouwbaarheid en veelvuldig herhaalde meting
Door oefen- en leereffecten is een veelvuldig herhaalde meting om de
betrouwbaarheid te bepalen in de praktijk onuitvoerbaar. De metingen kunnen nl.
niet onafhankelijk van elkaar gebeuren.
Oplossing: verschillende varianten van parallelle metingen hanteren (let op: geen
volledig sluitende oplossing, omdat de equivalentie tussen de tests nooit helemaal te
bereiken is).
