Reliability (betrouwbaarheid)
1 Introduction
hoe hard verschillen scores op een personaliteitstest van dag tot dag? hoe gelijkend
zijn scores op een essay test naareglang wie de test scoort? wanneer 2 mensen een
format gebruiken om de ernst van een psychologische fout te bepalen, gaan ze dan
overeenkomen in hun vaststellingen?
2 4 important distinctions
1. onderscheid tussen betrouwbaarheid en validiteit:
Validiteit: meten wat men meent te meten.
Betrouwbaarheid: consistentie van meting, ongeacht wat het meet.
Een test kan betrouwbaar zijn zonder dat die valide is, maar een test moet ook
betrouwbaar zijn om valide te kunnen zijn.
2. alledaagse technische betekenis van betrouwbaarheid:
Betrouwbaarheid (alledaags): iets waarop je kan rekenen.
Betrouwbaarheid (technisch, kwantitatief): consistentie, repliceerbaarheid.
Een betrouwbare test is een test die consistent dezelfde score geeft voor een
individu.
3. onderscheid tussen echte verandering of fluctuaties in scores:
Fluctuaties in scores kunnen optreden door:
» veranderingen in persoonlijke omstandigheden
» geluk
» verandering in proefleider
Deze factoren worden beschouwd als onbetrouwbaarheid.
4. onderscheid tussen constante fouten en onsystematische fouten:
Constante fout: fout dat persoon tot een hoge of lage score, ondanks de
consistentie van de antwoorden van de persoon.
Vb.: Jessica die weet welke antwoorden de juiste zijn, ookal weet ze niets van het
onderwerp.
Betrouwbaarheid heeft geen betrekking op constante fouten, maar op
onsystematische fouten.
3 Major sources of unreliability
Alles wat zorgt voor een onsystematische variatie in de testscores is een bron van
onbetrouwbaarheid. We onderscheiden 4 grote domeinen:
» test scoren
» testinhoud
1
, » test administratie condities
» persoonlijke condities
3.1 Test scoren
Onbetrouwbaarheid bij het scoren van een test treedt op wanneer de criteria van
scoring niet duidelijk en expliciet vastliggen. Hoe meer oordeel er aan te pas
komt, hoe meer kan er is op onbetrouwbaarheid in het scoren.
Vb.: proefleider 1 geeft andere scores aan een proefpersoon dan proefleider 2
3.2 Testinhoud
Individuen halen een hogere of lagere score door random veranderingen in de
items gepresenteerd in de test.
Vb.: verschillende testen gemaakt om het niveau van wiskunde te meten de
eerste test heeft 2 vragen i.v.m. Pythagoras en de tweede test 1 wanneer beide
goed zijn in Pythagroas, heeft persoon van 1 ste test meer kans om hogere score te
halen
3.3 Test administratie condities
Een test heeft gestandaardiseerde condities nodig voor de administratie. Dit houdt in:
» richting
» tijdlimieten
» fysische regelingen
Toch is het onmogelijk om al deze factoren te controleren, waardoor deze de
betrouwbaarheid in gevaar kunnen brengen.
Vb.: lawaai in de gang, geen ideaal licht
3.4 Persoonlijke condities
Persoonlijke condities kunnen de testscores beïnvloeden. Dit kan zowel bij de
proefpersoon als de proefleider. Deze factoren hebben niet altijd een invloed op de
scores, maar dit hangt af van situatie tot situatie.
4 Conceptual framework: true score theory
De betrouwbaarheid van testen kunnen bekeken worden binnen 3 theoretische
contexten:
» IRT: item-response theory
» GT: generalizability theory
» CTT: classical test theory
De sleuteltermen binnen de CTT zijn:
O: observed score echte, geobserveerde score op een test dat kan beïnvloed
zijn door verschillende factoren.
T: true score score die persoon zou krijgen wanneer alle factoren van
onbetrouwbaarheid worden weggehaald.
E: error score verschil tussen T en O; kan positief of negatief zijn.
2
1 Introduction
hoe hard verschillen scores op een personaliteitstest van dag tot dag? hoe gelijkend
zijn scores op een essay test naareglang wie de test scoort? wanneer 2 mensen een
format gebruiken om de ernst van een psychologische fout te bepalen, gaan ze dan
overeenkomen in hun vaststellingen?
2 4 important distinctions
1. onderscheid tussen betrouwbaarheid en validiteit:
Validiteit: meten wat men meent te meten.
Betrouwbaarheid: consistentie van meting, ongeacht wat het meet.
Een test kan betrouwbaar zijn zonder dat die valide is, maar een test moet ook
betrouwbaar zijn om valide te kunnen zijn.
2. alledaagse technische betekenis van betrouwbaarheid:
Betrouwbaarheid (alledaags): iets waarop je kan rekenen.
Betrouwbaarheid (technisch, kwantitatief): consistentie, repliceerbaarheid.
Een betrouwbare test is een test die consistent dezelfde score geeft voor een
individu.
3. onderscheid tussen echte verandering of fluctuaties in scores:
Fluctuaties in scores kunnen optreden door:
» veranderingen in persoonlijke omstandigheden
» geluk
» verandering in proefleider
Deze factoren worden beschouwd als onbetrouwbaarheid.
4. onderscheid tussen constante fouten en onsystematische fouten:
Constante fout: fout dat persoon tot een hoge of lage score, ondanks de
consistentie van de antwoorden van de persoon.
Vb.: Jessica die weet welke antwoorden de juiste zijn, ookal weet ze niets van het
onderwerp.
Betrouwbaarheid heeft geen betrekking op constante fouten, maar op
onsystematische fouten.
3 Major sources of unreliability
Alles wat zorgt voor een onsystematische variatie in de testscores is een bron van
onbetrouwbaarheid. We onderscheiden 4 grote domeinen:
» test scoren
» testinhoud
1
, » test administratie condities
» persoonlijke condities
3.1 Test scoren
Onbetrouwbaarheid bij het scoren van een test treedt op wanneer de criteria van
scoring niet duidelijk en expliciet vastliggen. Hoe meer oordeel er aan te pas
komt, hoe meer kan er is op onbetrouwbaarheid in het scoren.
Vb.: proefleider 1 geeft andere scores aan een proefpersoon dan proefleider 2
3.2 Testinhoud
Individuen halen een hogere of lagere score door random veranderingen in de
items gepresenteerd in de test.
Vb.: verschillende testen gemaakt om het niveau van wiskunde te meten de
eerste test heeft 2 vragen i.v.m. Pythagoras en de tweede test 1 wanneer beide
goed zijn in Pythagroas, heeft persoon van 1 ste test meer kans om hogere score te
halen
3.3 Test administratie condities
Een test heeft gestandaardiseerde condities nodig voor de administratie. Dit houdt in:
» richting
» tijdlimieten
» fysische regelingen
Toch is het onmogelijk om al deze factoren te controleren, waardoor deze de
betrouwbaarheid in gevaar kunnen brengen.
Vb.: lawaai in de gang, geen ideaal licht
3.4 Persoonlijke condities
Persoonlijke condities kunnen de testscores beïnvloeden. Dit kan zowel bij de
proefpersoon als de proefleider. Deze factoren hebben niet altijd een invloed op de
scores, maar dit hangt af van situatie tot situatie.
4 Conceptual framework: true score theory
De betrouwbaarheid van testen kunnen bekeken worden binnen 3 theoretische
contexten:
» IRT: item-response theory
» GT: generalizability theory
» CTT: classical test theory
De sleuteltermen binnen de CTT zijn:
O: observed score echte, geobserveerde score op een test dat kan beïnvloed
zijn door verschillende factoren.
T: true score score die persoon zou krijgen wanneer alle factoren van
onbetrouwbaarheid worden weggehaald.
E: error score verschil tussen T en O; kan positief of negatief zijn.
2
