Psychometrie – H11
Vertekeningen door mensen = Respons Bias
Vertekeningen door de test = Test Bias → De test is NIET universeel en de voorwaarden gelden niet
voor iedereen en alle groepen.
Test Bias
Verschillen tussen groepen hoeven niks te maken met de verschillende scores op het onderliggende
construct (hetgeen wat je wilt meten).
Test Bias = systematische score verschil tussen groepen op een test komen niet door het verschil in
true scores in het onderliggende construct maar door het gebrek en de bias van een test.
2 vormen van Test Bias
1. Construct Bias = De relatie tussen de geobserveerde scores en true scores zijn systematisch
verschillend (niet hetzelfde) voor verschillende groepen op het meetinstrument.
De relatie tussen de scores zijn anders.
Voorbeeld: de test is moeilijker voor mensen die niet goed begrijpend lezen kunnen, ze
scoren lager op rekentoets maar ze hebben wel dezelfde kennis en true score. Door de
twee groepen te vergelijken zie je verschillende geobserveerde scores terwijl de true
scores hetzelfde kunnen zijn.
2. Predictieve Bias = De relatie tussen de geobserveerde scores op een test en het criterium
(later gemeten) verschilt systematisch voor verschillende groepen. Het gebruik van de test
heeft verschillende implicaties voor verschillende groepen.
Voorbeeld: woordenschat en begrijpend lezen, voor de ene groep is het behalen van een
bepaald makkelijker dan de andere groep. Het verschil komt door een andere oorzaak, lezen,
de relatie tussen woordenschat en begrijpend lezen zal voor deze groep dus hoog zijn.
De relatie tussen de groepen is anders.
Native groep hangt de relatie niet veel samen.
Nonnative groep hangt de relatie wel veel samen door het lezen.
➔ Construct Bias en Predicieve Bias zijn onafhankelijk (deze twee vormen kunnen zonder
elkaar voorkomen / onafhankelijk optreden).
Hoe detecteren we deze twee vormen van BIAS?
1. Construct Bias = Interne evaluatie van de test. Onderlinge samenhang geobserveerde scores
en true scores (CTT). Is de samenhang tussen de items anders voor de verschillende
groepen?
Voorbeeld: Construct Bias voor gender (factoranalyse uitvoeren voor jongens en meisjes)
- Evalueren van de antwoorden op de individuele items op een test
- Mensen die behoren tot verschillende groepen antwoorden anders op een item
- Deze verschillende antwoorden zijn NIET gerelateerd aan groepsverschillen
geassocieerd met het onderliggende psychologisch construct. Dit is onafhankelijk van
echte verschillen op het onderliggende construct.
1
, 4 manieren om Construct Bias te detecteren
1) Item discrimination Index: totaalscore rangordenen hoog en laag, is het zo dat hoog
scorende mensen hogere kans hebben om de items goed te beantwoorden? Als dit zo is dan
is de discriminatie index zo hoog mogelijk en past het item goed bij de test.
Voorbeeld: het kan beter bij jongens zijn dan bij meisjes → de relatie van de scores is dus
niet hetzelfde voor verschillende groepen (bij het item of meerdere items van de test).
2) Factoranalyse: verschillende factorstructuren voor verschillende groepen
3) Verschillende item functioning analyse: item respons theorie (vervolg CTT)
4) Rankorder: iedereen van hoog naar laag ordenen per item en kijken of dit hetzelfde is of
verschillend voor verschillende groepen.
Hoe weet je zeker dat dit komt door Construct bias of Respons bias van de groepen?
- Respons Bias moet eerst gecheckt worden
- Geen echt verschil tussen jongens en meisjes; op basis van theorie het verschil op het onderliggende
construct verwachten of niet verwachten.
- De scores op de items kunnen anders zijn maar de relatie item en factor moet ongeveer hetzelfde
zijn bij factoranalyse.
Voorbeeld: 2 rekenmethoden gebruiken bij een vraag. Is er een verschil tussen deze
twee groepen hoe de test functioneert of niet?
1)Item discrimination Index = Voor iedere vraag kijken wat de discriminatie
index is per groep.
Van de totale scores twee groepen (laag en hoog) verdeling maken. Voor ieder item
wat het verschil tussen de hoge groep en laag scorende groep.
Als de samenhang tussen individuele items en totale toets hetzelfde is voor groepen van beide
methoden → de overeenkomst van item 1 met de totale toets, item 2 met de totale toets.. etc
HETZELFDE moeten zijn voor beide groepen.
Voorbeeld: NIET het geval dat de Item discrimination Index hetzelfde is → de punten moeten wel
dichtbij elkaar liggen idealiter.
3)Different Item Functionering (grafieken) = (doen hetzelfde als Item discrimination Index)
Horizontaal; geschatte true score. Verticaal;
Hoe wordt de kans om het item goed te beantwoorden hoger naar mate dat de true score van
2
Vertekeningen door mensen = Respons Bias
Vertekeningen door de test = Test Bias → De test is NIET universeel en de voorwaarden gelden niet
voor iedereen en alle groepen.
Test Bias
Verschillen tussen groepen hoeven niks te maken met de verschillende scores op het onderliggende
construct (hetgeen wat je wilt meten).
Test Bias = systematische score verschil tussen groepen op een test komen niet door het verschil in
true scores in het onderliggende construct maar door het gebrek en de bias van een test.
2 vormen van Test Bias
1. Construct Bias = De relatie tussen de geobserveerde scores en true scores zijn systematisch
verschillend (niet hetzelfde) voor verschillende groepen op het meetinstrument.
De relatie tussen de scores zijn anders.
Voorbeeld: de test is moeilijker voor mensen die niet goed begrijpend lezen kunnen, ze
scoren lager op rekentoets maar ze hebben wel dezelfde kennis en true score. Door de
twee groepen te vergelijken zie je verschillende geobserveerde scores terwijl de true
scores hetzelfde kunnen zijn.
2. Predictieve Bias = De relatie tussen de geobserveerde scores op een test en het criterium
(later gemeten) verschilt systematisch voor verschillende groepen. Het gebruik van de test
heeft verschillende implicaties voor verschillende groepen.
Voorbeeld: woordenschat en begrijpend lezen, voor de ene groep is het behalen van een
bepaald makkelijker dan de andere groep. Het verschil komt door een andere oorzaak, lezen,
de relatie tussen woordenschat en begrijpend lezen zal voor deze groep dus hoog zijn.
De relatie tussen de groepen is anders.
Native groep hangt de relatie niet veel samen.
Nonnative groep hangt de relatie wel veel samen door het lezen.
➔ Construct Bias en Predicieve Bias zijn onafhankelijk (deze twee vormen kunnen zonder
elkaar voorkomen / onafhankelijk optreden).
Hoe detecteren we deze twee vormen van BIAS?
1. Construct Bias = Interne evaluatie van de test. Onderlinge samenhang geobserveerde scores
en true scores (CTT). Is de samenhang tussen de items anders voor de verschillende
groepen?
Voorbeeld: Construct Bias voor gender (factoranalyse uitvoeren voor jongens en meisjes)
- Evalueren van de antwoorden op de individuele items op een test
- Mensen die behoren tot verschillende groepen antwoorden anders op een item
- Deze verschillende antwoorden zijn NIET gerelateerd aan groepsverschillen
geassocieerd met het onderliggende psychologisch construct. Dit is onafhankelijk van
echte verschillen op het onderliggende construct.
1
, 4 manieren om Construct Bias te detecteren
1) Item discrimination Index: totaalscore rangordenen hoog en laag, is het zo dat hoog
scorende mensen hogere kans hebben om de items goed te beantwoorden? Als dit zo is dan
is de discriminatie index zo hoog mogelijk en past het item goed bij de test.
Voorbeeld: het kan beter bij jongens zijn dan bij meisjes → de relatie van de scores is dus
niet hetzelfde voor verschillende groepen (bij het item of meerdere items van de test).
2) Factoranalyse: verschillende factorstructuren voor verschillende groepen
3) Verschillende item functioning analyse: item respons theorie (vervolg CTT)
4) Rankorder: iedereen van hoog naar laag ordenen per item en kijken of dit hetzelfde is of
verschillend voor verschillende groepen.
Hoe weet je zeker dat dit komt door Construct bias of Respons bias van de groepen?
- Respons Bias moet eerst gecheckt worden
- Geen echt verschil tussen jongens en meisjes; op basis van theorie het verschil op het onderliggende
construct verwachten of niet verwachten.
- De scores op de items kunnen anders zijn maar de relatie item en factor moet ongeveer hetzelfde
zijn bij factoranalyse.
Voorbeeld: 2 rekenmethoden gebruiken bij een vraag. Is er een verschil tussen deze
twee groepen hoe de test functioneert of niet?
1)Item discrimination Index = Voor iedere vraag kijken wat de discriminatie
index is per groep.
Van de totale scores twee groepen (laag en hoog) verdeling maken. Voor ieder item
wat het verschil tussen de hoge groep en laag scorende groep.
Als de samenhang tussen individuele items en totale toets hetzelfde is voor groepen van beide
methoden → de overeenkomst van item 1 met de totale toets, item 2 met de totale toets.. etc
HETZELFDE moeten zijn voor beide groepen.
Voorbeeld: NIET het geval dat de Item discrimination Index hetzelfde is → de punten moeten wel
dichtbij elkaar liggen idealiter.
3)Different Item Functionering (grafieken) = (doen hetzelfde als Item discrimination Index)
Horizontaal; geschatte true score. Verticaal;
Hoe wordt de kans om het item goed te beantwoorden hoger naar mate dat de true score van
2
