Psychometrie en besliskunde (PWB2300)
Betrouwbaarheid (WG2 t/m 5)
Betrouwbaarheid = hoe nauwkeurig meet het instrument?
Klassieke testtheorie
Klassieke testtheorie (KTT): een wargenomen score op een test (X) bestaat uit twee componenten
Ware score / true score (T)
Meetfout / error score (E)
De ware score (T) heft een vaste waarde. De meetfout (E) en de geobserveerde score (X) variëren
echter bij verschillende testafnames.
Assumpties KTT
Assumptie Toelichting
1. X = T + E De geobserveerde/waargenomen score (X) bestaat uit een ware score (T) en de
meetfout/error (E).
2. ε (X) = T Volgens de klassieke testtheorie is T (de ware score) gelijk aan de verwachte
waarde van X (de geobserveerde score). Dat betekent dat de ware score het
gemiddelde is van een oneindig aantal scores van dezelfde persoon op de test bij
herhaal de afname.
3. ρET = 0 Er is geen correlatie tussen errorscore (E) en ware score (T). Dit betekent dat de
hoogte van de errorscore niet afhankelijk is van de hoogte van de ware score.
4. ρE1E2 = 0 Er is geen correlatie tussen een meetfout in test 1 (E1) en een meetfout in test 2
(E2). Bijvoorbeeld in meetfout in lengte tijdens de eerste test, betekent niet dat er
een meetfout in gewicht komt tijdens de tweede test.
5. ρE1T2 = 0 De errorscores op test 1 (E1) zijn niet gecorreleerd met de ware scores op test 2
(T2). Dit betekent dat de fout bij de eerste meting los staat van de ware score op de
tweede.
In de KTT is een meetfout (E) een toevallige, niet-systematische afwijking die de betrouwbaarheid van
een test aantast. Systematische meetfouten tasten daarentegen de validiteit van een test aan: de test
meet niet wat hij pretendeert te meten.
Manieren om betrouwbaarheid uit te drukken
Twee manieren om betrouwbaarheid uit te drukken
1. Op basis van herhaalbaarheid van metingen (ρXX’):
Betrouwbaarheid (ρXX’) = correlatie/samenhang tussen scores van twee parallelle metingen
(bijvoorbeeld versie A en B op een tentamen) Metingen zijn betrouwbaarder naarmate er
minder meetfouten zijn gemaakt. Hiervoor moet 2E = spreiding in de error, zo klein mogelijk
zijn. Bij herhaald meten liggen de scores dus zo dicht mogelijk bij elkaar.
2. Op basis van relatieve grootte ( 2T): proportie ware score variantie
De betrouwbaarheid van een set metingen = (2T) = proportie ware variantie van de totale
variantie.
2 2 2 σ 2T σ 2E
Algemeen geldt: σ =σ +σ
X T E 1= 2 + 2
σX σX
σ 2E
De onbetrouwbaarheid =
σ 2X
2
σ
Dus de betrouwbaarheid = ρ xx' =1− 2T = ρ2xT
σX
,Psychometrie en besliskunde (PWB2300)
ρ
¿
Dit is de betrouwbaarheid tussen geobserveerde scores (¿ xx '=ρ ¿ ¿ xT 2)
¿
¿
Standaardmeetfout (e) = standaardafwijking van de meetfouten
Een maat voor de onnauwkeurigheid van scores, gemeten op dezelfde schaal als de ruwe scores (X)
e = x ( √ 1−ρ x x )'
e = standaardmeetfout, standaarddeviatie van de meetfouten.
x = standaarddeviatie van de scores
ρ x x = de betrouwbaarheid
'
De Standaardmeetfout van scores is gebaseerd op de betrouwbaarheid van scores en de
standaardafwijking van de testscores E Xs =s √ 1−r
xx ' met behulp van de standaardmeetfout
kan worden bepaald hoe ver een geobserveerde score gemiddeld genomen afwijkt van de ware
score.
Betrouwbaarheidsmaten
Er zijn vier soorten betrouwbaarheid
Benaderingswijze Methode Betrouwbaarheid
Meerdere metingen Test-hertest ρxx’
betrouwbaarheid
Parallelvorm ρxx’
betrouwbaarheid
Eenmalige metingen Splithalfmethode: Nρ YY '
twee testdelen ρ XX ' =
1+( N−1) ρYY '
Interne consistentie: N ∑ σ 2i
(1− 2 )
losse items N −1 σx
1a) Test-hertest betrouwbaarheid
Test-hertestbetrouwbaarheid: dezelfde test bij dezelfde personen nogmaals afnemen
ρ^ XX ' =r XX ' =r( X , X )
Voor de betrouwbaarheid geldt: 1 2
ρ^ XX ' = de geschatte waarde voor de betrouwbaarheid
r XX ' = correlatie scores
Als de correlatie tussen twee herhaalde metingen hoger is, dan is de betrouwbaarheid dus hoger.
Voorwaarde: onafhankelijke replicaties
Problemen/bedreigingen:
Verandering eigenschap in het tijdsinterval: leereffect in de test, geheugeneffect eerste test,
differentieel leereffect tussen personen.
Grootte van het tijdsinterval: uitval respondenten, herinnering beïnvloeding
, Psychometrie en besliskunde (PWB2300)
Nadeel hertest na korte tijd: leer- of geheugeneffecten. Dit nadeel is groter bij toetsen dan bij tests.
Nadeel hertest na lange tijd: veranderingen in de te meten eigenschap zouden kunnen optreden. Dit
nadeel is groter bij kenmerken die snel kunnen veranderen dan bij relatief stabiele
persoonskenmerken.
1b) Parallelvorm betrouwbaarheid
Parallelvorm methode: een parallelle versie van de test bij dezelfde persoon afnemen. Je neemt op
één moment twee versies van dezelfde test af: versie X en versie X’.
Voor betrouwbaarheid geldt eveneens: XX ' ρ^
XX ' =r
Dus correlatie als maat voor betrouwbaarheid.
De correlatie van twee parallelle test is meestal geen 1.00, omdat er meetfouten zijn. De correlatie
tussen de ware scores op twee parallelle test is wel 1.00, maar deze perfecte correlatie treedt alleen
2 2
op wanneer er geen meetfouten zijn en geen errorvariantie σ E=σ E ' =0 . Wanneer er geen
σ
2
errorvariantie (σ E ) is, is de geobserveerde score variantie (¿ ¿ X 2 ) gelijk aan de ware score
¿
σ
variantie ¿ ). Alleen in dat geval kan er een perfecte correlatie optreden tussen de geobserveerde
¿
¿
2 2 2 2 2
scores van twee parallelle tests: σ X =σ T +σ E σ x =σ T +0
σ 2T σ 2E
ρ xx' = ρ2xT = en 1−ρ x x =ρ2xE=
'
σ 2X σ 2X
Voorwaarden voor een parallelle test:
Gelijke ware scores (T = T’)
Gelijke errorscore varianties (²E = ²E’)
Dit impliceert dat ook de gemiddelde geobserveerde scores van de twee tests gelijk zijn x́=x́ ’),
¿
σ 2x =σ 2x ' ) en dat de twee tests dezelfde correlaties
dat de geobserveerde score varianties gelijk zijn
¿
hebben met geobserveerde scores van andere tests ρ x' y =ρ xy ¿
Let op: deze twee basisassumpties zijn niet te bewijzen, omdat ware scores en errorscores niet
observeerbaar zijn. Men kan dus nooit met honderd procent zekerheid vaststellen of twee tests echt
parallel zijn. Men kan wel controleren of voldaan wordt aan de assumpties die afgeleid zijn uit de
twee basisassumpties.
2a) Splithalfmethode
Splithalfmethode: de test in twee helften splitsen en de betrouwbaarheid schatten op basis van de
correlatie tussen beide testdelen.
Je deelt de test op in twee delen, waarbij elk deel wordt opgevat als een herhaalde meting.
Eerste en tweede helft
Even en oneven items
Betrouwbaarheid (WG2 t/m 5)
Betrouwbaarheid = hoe nauwkeurig meet het instrument?
Klassieke testtheorie
Klassieke testtheorie (KTT): een wargenomen score op een test (X) bestaat uit twee componenten
Ware score / true score (T)
Meetfout / error score (E)
De ware score (T) heft een vaste waarde. De meetfout (E) en de geobserveerde score (X) variëren
echter bij verschillende testafnames.
Assumpties KTT
Assumptie Toelichting
1. X = T + E De geobserveerde/waargenomen score (X) bestaat uit een ware score (T) en de
meetfout/error (E).
2. ε (X) = T Volgens de klassieke testtheorie is T (de ware score) gelijk aan de verwachte
waarde van X (de geobserveerde score). Dat betekent dat de ware score het
gemiddelde is van een oneindig aantal scores van dezelfde persoon op de test bij
herhaal de afname.
3. ρET = 0 Er is geen correlatie tussen errorscore (E) en ware score (T). Dit betekent dat de
hoogte van de errorscore niet afhankelijk is van de hoogte van de ware score.
4. ρE1E2 = 0 Er is geen correlatie tussen een meetfout in test 1 (E1) en een meetfout in test 2
(E2). Bijvoorbeeld in meetfout in lengte tijdens de eerste test, betekent niet dat er
een meetfout in gewicht komt tijdens de tweede test.
5. ρE1T2 = 0 De errorscores op test 1 (E1) zijn niet gecorreleerd met de ware scores op test 2
(T2). Dit betekent dat de fout bij de eerste meting los staat van de ware score op de
tweede.
In de KTT is een meetfout (E) een toevallige, niet-systematische afwijking die de betrouwbaarheid van
een test aantast. Systematische meetfouten tasten daarentegen de validiteit van een test aan: de test
meet niet wat hij pretendeert te meten.
Manieren om betrouwbaarheid uit te drukken
Twee manieren om betrouwbaarheid uit te drukken
1. Op basis van herhaalbaarheid van metingen (ρXX’):
Betrouwbaarheid (ρXX’) = correlatie/samenhang tussen scores van twee parallelle metingen
(bijvoorbeeld versie A en B op een tentamen) Metingen zijn betrouwbaarder naarmate er
minder meetfouten zijn gemaakt. Hiervoor moet 2E = spreiding in de error, zo klein mogelijk
zijn. Bij herhaald meten liggen de scores dus zo dicht mogelijk bij elkaar.
2. Op basis van relatieve grootte ( 2T): proportie ware score variantie
De betrouwbaarheid van een set metingen = (2T) = proportie ware variantie van de totale
variantie.
2 2 2 σ 2T σ 2E
Algemeen geldt: σ =σ +σ
X T E 1= 2 + 2
σX σX
σ 2E
De onbetrouwbaarheid =
σ 2X
2
σ
Dus de betrouwbaarheid = ρ xx' =1− 2T = ρ2xT
σX
,Psychometrie en besliskunde (PWB2300)
ρ
¿
Dit is de betrouwbaarheid tussen geobserveerde scores (¿ xx '=ρ ¿ ¿ xT 2)
¿
¿
Standaardmeetfout (e) = standaardafwijking van de meetfouten
Een maat voor de onnauwkeurigheid van scores, gemeten op dezelfde schaal als de ruwe scores (X)
e = x ( √ 1−ρ x x )'
e = standaardmeetfout, standaarddeviatie van de meetfouten.
x = standaarddeviatie van de scores
ρ x x = de betrouwbaarheid
'
De Standaardmeetfout van scores is gebaseerd op de betrouwbaarheid van scores en de
standaardafwijking van de testscores E Xs =s √ 1−r
xx ' met behulp van de standaardmeetfout
kan worden bepaald hoe ver een geobserveerde score gemiddeld genomen afwijkt van de ware
score.
Betrouwbaarheidsmaten
Er zijn vier soorten betrouwbaarheid
Benaderingswijze Methode Betrouwbaarheid
Meerdere metingen Test-hertest ρxx’
betrouwbaarheid
Parallelvorm ρxx’
betrouwbaarheid
Eenmalige metingen Splithalfmethode: Nρ YY '
twee testdelen ρ XX ' =
1+( N−1) ρYY '
Interne consistentie: N ∑ σ 2i
(1− 2 )
losse items N −1 σx
1a) Test-hertest betrouwbaarheid
Test-hertestbetrouwbaarheid: dezelfde test bij dezelfde personen nogmaals afnemen
ρ^ XX ' =r XX ' =r( X , X )
Voor de betrouwbaarheid geldt: 1 2
ρ^ XX ' = de geschatte waarde voor de betrouwbaarheid
r XX ' = correlatie scores
Als de correlatie tussen twee herhaalde metingen hoger is, dan is de betrouwbaarheid dus hoger.
Voorwaarde: onafhankelijke replicaties
Problemen/bedreigingen:
Verandering eigenschap in het tijdsinterval: leereffect in de test, geheugeneffect eerste test,
differentieel leereffect tussen personen.
Grootte van het tijdsinterval: uitval respondenten, herinnering beïnvloeding
, Psychometrie en besliskunde (PWB2300)
Nadeel hertest na korte tijd: leer- of geheugeneffecten. Dit nadeel is groter bij toetsen dan bij tests.
Nadeel hertest na lange tijd: veranderingen in de te meten eigenschap zouden kunnen optreden. Dit
nadeel is groter bij kenmerken die snel kunnen veranderen dan bij relatief stabiele
persoonskenmerken.
1b) Parallelvorm betrouwbaarheid
Parallelvorm methode: een parallelle versie van de test bij dezelfde persoon afnemen. Je neemt op
één moment twee versies van dezelfde test af: versie X en versie X’.
Voor betrouwbaarheid geldt eveneens: XX ' ρ^
XX ' =r
Dus correlatie als maat voor betrouwbaarheid.
De correlatie van twee parallelle test is meestal geen 1.00, omdat er meetfouten zijn. De correlatie
tussen de ware scores op twee parallelle test is wel 1.00, maar deze perfecte correlatie treedt alleen
2 2
op wanneer er geen meetfouten zijn en geen errorvariantie σ E=σ E ' =0 . Wanneer er geen
σ
2
errorvariantie (σ E ) is, is de geobserveerde score variantie (¿ ¿ X 2 ) gelijk aan de ware score
¿
σ
variantie ¿ ). Alleen in dat geval kan er een perfecte correlatie optreden tussen de geobserveerde
¿
¿
2 2 2 2 2
scores van twee parallelle tests: σ X =σ T +σ E σ x =σ T +0
σ 2T σ 2E
ρ xx' = ρ2xT = en 1−ρ x x =ρ2xE=
'
σ 2X σ 2X
Voorwaarden voor een parallelle test:
Gelijke ware scores (T = T’)
Gelijke errorscore varianties (²E = ²E’)
Dit impliceert dat ook de gemiddelde geobserveerde scores van de twee tests gelijk zijn x́=x́ ’),
¿
σ 2x =σ 2x ' ) en dat de twee tests dezelfde correlaties
dat de geobserveerde score varianties gelijk zijn
¿
hebben met geobserveerde scores van andere tests ρ x' y =ρ xy ¿
Let op: deze twee basisassumpties zijn niet te bewijzen, omdat ware scores en errorscores niet
observeerbaar zijn. Men kan dus nooit met honderd procent zekerheid vaststellen of twee tests echt
parallel zijn. Men kan wel controleren of voldaan wordt aan de assumpties die afgeleid zijn uit de
twee basisassumpties.
2a) Splithalfmethode
Splithalfmethode: de test in twee helften splitsen en de betrouwbaarheid schatten op basis van de
correlatie tussen beide testdelen.
Je deelt de test op in twee delen, waarbij elk deel wordt opgevat als een herhaalde meting.
Eerste en tweede helft
Even en oneven items
