College chapter 11
Test bias
Er is een systematisch verschil in scores tussen verschillende groepen. Dat
komt niet door echte verschillen die er zijn, maar het is een kenmerk van de
toets die daarvoor zorgt.
Construct bias: woordenschat test, relatie tussen geobserveerde score is
verschillend (tussen 2 groepen: native/non native). Dat zou betekenen dat
wanneer 2 mensen uit de verschillende groepen opzich dezelfde true score
hebben, dat die toch een andere geobserveerde score zullen hebben. Komt
door iets wat in een groep een kenmerk is. Relatie tussen geobserveerde
scores en true scores verschilt systematisch per groep.
Predictive bias: woordenschat test, relatie tussen woordenschat en leesbegrip,
voor 2 groepen geldt een andere relatie tussen test en criterium.
Construct bias en predictive bias zijn onafhankelijk van elkaar.
Construct bias: interne evaluatie van een test
Er wordt gekeken of verschillende groepen op eenzelfde manier op items
antwoorden.
Construct bias: als verschillende groepen op verschillende manieren reageren.
Het betekent niet perse dat 1 groep het slechter doet.
Je kunt op verschillende manieren kijken naar construct bias:
o Item discrimination index: kijken of de discriminatie index verschilt per
groep. Als het item slecht discrimineert construct bias.
o Factor analyse: is de factorstructuur verschillend per groep?
Test bias
Er is een systematisch verschil in scores tussen verschillende groepen. Dat
komt niet door echte verschillen die er zijn, maar het is een kenmerk van de
toets die daarvoor zorgt.
Construct bias: woordenschat test, relatie tussen geobserveerde score is
verschillend (tussen 2 groepen: native/non native). Dat zou betekenen dat
wanneer 2 mensen uit de verschillende groepen opzich dezelfde true score
hebben, dat die toch een andere geobserveerde score zullen hebben. Komt
door iets wat in een groep een kenmerk is. Relatie tussen geobserveerde
scores en true scores verschilt systematisch per groep.
Predictive bias: woordenschat test, relatie tussen woordenschat en leesbegrip,
voor 2 groepen geldt een andere relatie tussen test en criterium.
Construct bias en predictive bias zijn onafhankelijk van elkaar.
Construct bias: interne evaluatie van een test
Er wordt gekeken of verschillende groepen op eenzelfde manier op items
antwoorden.
Construct bias: als verschillende groepen op verschillende manieren reageren.
Het betekent niet perse dat 1 groep het slechter doet.
Je kunt op verschillende manieren kijken naar construct bias:
o Item discrimination index: kijken of de discriminatie index verschilt per
groep. Als het item slecht discrimineert construct bias.
o Factor analyse: is de factorstructuur verschillend per groep?
