Testtheorie
Maaike Beckers
Inhoud
1 Hoorcollege 1: Inleiding en basiskennis..................................................................4
1.1 Inleiding.......................................................................................................4
1.2 Basiskennis statistiek.....................................................................................5
1.2.1 Gemiddelde en deviatiescore.....................................................................6
1.2.2 Variantie en standaarddeviatie...................................................................7
1.2.3 Standaardscores (z-scores).......................................................................8
1.2.4 Covariantie en correlatie...........................................................................8
2 Hoorcollege 2: Eigenschappen van tests en items....................................................9
2.1 Verschillende typen tests..............................................................................10
2.2 Benodigdheden psychologische test................................................................11
2.3 Spreiding....................................................................................................12
2.3.1 Multiple-choice items..............................................................................13
2.4 Objectiviteit van de test................................................................................15
2.4.1 Cohens kappa........................................................................................16
2.5 Meerkeuze oefenvragen................................................................................18
3 Hoorcollege 3: Bewerkte scores en normen...........................................................20
3.1 Vergelijking van normen gebaseerd op rangorde..............................................20
3.2 Vergelijking van normen gebaseerd op gemiddelde en spreiding........................22
3.3 Transformaties van standaardscores: niet-lineair.............................................23
3.4 Overzicht....................................................................................................23
3.5 Meerkeuze oefenvragen................................................................................23
4 Hoorcollege 4, Betrouwbaarheid..........................................................................24
4.1 Betrouwbaarheid..........................................................................................24
4.2 Klassieke testtheorie....................................................................................25
4.2.1 Eigenschappen voor 1 individu.................................................................26
4.2.2 Eigenschappen voor meerdere individuen maar met 1 testafname................27
4.2.3 Betrouwbaarheidsinterval........................................................................29
, 4.3 Oefenvragen................................................................................................30
5 Hoorcollege 5, betrouwbaarheid in de praktijk.......................................................31
5.1 Bepaling van betrouwbaarheid.......................................................................31
5.1.1 Test-hertest-methode.............................................................................32
5.1.2 Parallelvorm-methode.............................................................................32
5.1.3 Interne-consistentie-methoden................................................................33
5.1.4 IC methoden en dimensionaliteit van de test.............................................37
5.2 Oefenvragen................................................................................................38
6 Hoorcollege 6, invloeden op betrouwbaarheid........................................................39
6.1 5 Factoren die invloed hebben op de betrouwbaarheid......................................39
6.1.1 Kwaliteit van de items.............................................................................39
6.1.2 Dimensionaliteit.....................................................................................40
6.1.3 Aantal items in de test............................................................................42
6.1.4 Heterogeniteit in de populatie..................................................................44
6.1.5 Type score die onderzocht wordt..............................................................44
6.2 Oefenvragen................................................................................................45
7 Hoorcollege 7, betrouwbaarheid: verbeteren en gevolgen.......................................46
7.1 Item-selectie...............................................................................................47
7.1.1 Item-restscore correlatie.........................................................................47
7.1.2 Gedichotomiseerde item-restscore correlatie.............................................48
7.1.3 Item-discriminatie index D......................................................................50
7.1.4 Item-discriminatie paramtere in item-respons model..................................50
7.2 Gevolgen betrouwbaarheid............................................................................50
7.2.1 Correlaties testscore met andere constructen . ...........................................51
7.2.2 Effect size schattingen . ..........................................................................52
7.2.3 Power van statistische test . ....................................................................52
7.3 Oefenvragen................................................................................................52
8 Hoorcollege 9, begripsvaliditeit............................................................................54
8.1 Begripsvaliditeit...........................................................................................55
8.1.1 Inhoud van de test.................................................................................55
, 8.1.2 Samenhang van de testonderdelen...........................................................56
8.1.3 Responsprocessen..................................................................................56
8.1.4 Consequenties van testgebruik................................................................58
8.1.5 Samenhang met andere constructen.........................................................58
8.2 Oefenvragen................................................................................................61
9 Hoorcollege 10, criteriumvaliditeit.......................................................................62
9.1 Onderzoek criteriumvaliditeit.........................................................................62
9.1.1 Restriction of range bij testscore X..........................................................63
9.1.2 Restriction of range bij criterium Y...........................................................64
9.1.3 Niet-lineaire samenhang testscore en criterium.........................................65
9.1.4 Heteroscedasticiteit...............................................................................65
9.1.5 Algemeen.............................................................................................66
9.2 Criteriumvaliditeit bij dichotome beslissingen...................................................67
9.2.1 Samenhang gedichotomiseerde testscore X en gedichotomiseerde criterium Y
....................................................................................................................69
9.2.2 Effecten op succesratio..........................................................................70
9.2.3 Taylor-Russell tabellen...........................................................................71
9.3 Oefenvragen................................................................................................72
10 Hoorcollege 11, item-responstheorie.................................................................74
10.1 Item-karakteristieke functie.........................................................................76
10.1.1 Functies.............................................................................................77
10.2 Het Rasch model.......................................................................................78
10.2.1 Gebruik item-respons theorie model.......................................................80
10.2.2 Populatie-onafhankelijkheid van personen en items (Rasch Model)............81
10.2.3 Nadelen Rasch Model...........................................................................81
10.3 2-parameter logistische model.....................................................................82
10.3.1 Item informatie...................................................................................82
10.4 Overzicht..................................................................................................83
10.5 Oefenvragen..............................................................................................83
11 Hoorcollege 12, IRT in de prakijk......................................................................84
, 11.1 Testinformatie functie.................................................................................85
11.1.1 Nauwkeurigheid van de meting.............................................................85
11.2 Testconstructie op basis van een itembank....................................................85
11.3 Adaptief testen..........................................................................................88
11.3.1 Multi-stage testing...............................................................................89
11.4 Vergelijking KTT en IRT...............................................................................89
11.4.1 Betrouwbare score in IRT.....................................................................89
11.4.2 IRT voor polytome items......................................................................90
11.5 Oefenvragen..............................................................................................91
12 Hoorcollege 13, fairness and bias......................................................................92
12.1 Construct bias............................................................................................93
Hoe kom je er un achter of er construct bias is op een test?................................93
12.1.1 Uniforme item bias..............................................................................94
12.1.2 Niet uniforme item bias........................................................................94
12.1.3 Omgaan met item bias.........................................................................95
12.2 Vertekende predictie (= predictive bias)........................................................95
12.2.1 Intercept bias.....................................................................................95
12.2.2 Slope bias...........................................................................................96
12.2.3 Omgaan met predictieve bias................................................................97
12.3 Construct en predictive bias.........................................................................97
12.4 Oefenvragen..............................................................................................98
1 Hoorcollege 1: Inleiding en basiskennis
1.1 Inleiding
Psychologie is een empirische wetenschap waarbij onderzoek draait om
observaties. Empirische wetenschap heeft wel enkele problemen. Want alles wat we
interessant vinden is niet per direct te observeren. Dit geldt voor bijna alle
psychologische eigenschappen. We noemen ze daarvoor pschychologische constructen,
die kunnen we wel observeren. Met psychologische testen hopen we alsnog observaties
te kunnen doen. We gaan dan niet direct observeerbare eigenschappen onderzoeken. Met
,andere woorden is psychologie zonder testen nauwelijks een wetenschap en zonder
goede testen draagt psychologie nogal weinig bij aan de maatschappij.
Binnen de psychologie zijn testen dus nogal belangrijk, vandaar dat er zoiets
bestaat als Testtheorie. Deze testtheorie gaat over hoe we de kwaliteit van testen
kunnen onderzoeken en verbeteren, testtheorie staat ook verder bekend als
psychometrie. Maar onthoud wel goed dat we zelden een goede meting kunnen doen
van een psychologisch construct zoals bijvoorbeeld narcisme, je zal altijd een
verzameling van vragen moeten stellen.
Wanneer je individuen gaat meten gebruik je een test met genoeg items. Een item
geeft zeg maar de indicator weer voor een construct. Het is de bedoeling dat elk van die
items bijdragen aan het construct. Elke vraag moet dus betrekking hebben met het
construct die je meet. Elk item wordt gelinkt met een bepaalde score. Zo kan je
bijvoorbeeld zeggen dat bij ´nooit-soms-vaak´ de nooit staat voor 1, de soms voor 2 en
de vaak voor 3. Wanneer de hele test is ingevuld krijg je dan voor elk item een andere
score die je optelt tot een totaalscore of een testscore. (In deze cursus gaan we alles
optellen, let wel op dat ze soms contraindicatief kunnen zijn!) Wanneer je dan die
testscore hebt gevonden, DAN pas ga je die interpreteren. We geven dus vooral
conclusies met betrekking tot de testscore!
Toch moet je altijd kritisch blijven! Want je wilt weten of de testscores wel zinvol zijn en
of de test wel meet wat je denkt dat je meet. Verder is het ook belangrijk dat de vragen
van de verschillende items wel van goede kwaliteit zijn en of er wel genoeg vragen in de
test zijn. Dit zijn allemaal vragen die we gaan proberen te beantwoorden in de verdere
hoorcolleges. Want wanneer Petronella 12 scoort op dezelfde test waarbij Japie 15
scoort, wil je natuurlijk wel weten of dat verschil iets uitmaakt. Het is dus belangrijk dat
je een valide test gebruikt, wanneer je dat niet doet doe je aan sloppy science en dat is
niet de bedoeling. Er zijn helaas geen kant en klare regels om testen te maken maar wel
verschillende handvatten en die worden besproken tijdens dit vak.
1.2 Basiskennis statistiek
De basiskennis van de statistiek heb je als het goed is al besproken bij MTO-B, de
cursus statistiek. De begrippen die hierin worden uitgelegd zijn belangrijk om testtheorie
te kunnen begrijpen. Het is dan ook handig om te weten wat ze zijn en hoe je ze kan
berekenen! Het gaat vooral over het gemiddelde, de variantie, de standaarddeviatie, z-
scores, covariantie en een correlatie. Als je goed weet wat dit inhoudt kan je derest van
dit college skippen. Om deze begrippen nog eens duidelijk uit te leggen gaan we gebruik
maken van een datamatrix. Deze worden gebruikt bij de testtheorie en is een
, verzameling van datapunten. Zoals je ziet hebben we de scores van 5 respondenten
genomen op 3 verschillende testen. In een datamtarix staat dan welke waardes we
hebben gevonden voor de verschillende variabelen voor elke respondent. De x gaat in dit
geval over de tentamenscores van de verschillende studenten, we weten op die manier
dat de score kan lopen van 1 tot 10. De Y staat voor de itemscore over de eerste vraag
van hetzelfde tentamen. In dit geval is die binair weergegeven, degene die de eerste
vraag goed heeft heeft een 1 gekregen en degene die de eerste vraag fout hebben
hebben een 0 gekregen. Dan staat W weer voor een andere variabele, in dit voorbeeld
staat W voor de intelligentiescore. We gaan nu verder de verschillene begrippen
berekenen aan de hand van deze matrix.
1.2.1 Gemiddelde en deviatiescore
We gaan beginnen met het gemiddelde. Voor het gemiddelde gebruik je de
volgende formule:
-
Het somteken geeft aan dat we naar X i moeten gaan kijken. Hierbij is i een index en die
verwijst naar een persoon. We hebben het dan over de score van persoon i op X. Onder
het somteken staat waar je gaat beginnen met tellen en boven het somteken staat waar
je eindigt. In dit geval begin je bij persoon 1 en N boven het somteken geeft aan dat we
dit voor alle respondenten gaan doen. Met andere woorden gaan we dus de scores van
alle respondenten op X optellen, deze delen we dan door N. Voor het gemiddelde
gebruiken we altijd een streepje boven een letter. Wanneer er in dit geval dan X met een
streepje staat gaat het ook over het gemiddelde van alle scores op X. Voor het voorbeeld
vinden we een gemiddelde van 8 op X, van 0.2 op Y en 110 op W.
Verder willen we ook weten hoe ver mensen van elkaar verschillen. Sommige mensen
scoren hoger dan het gemiddelde en andere scoren weer lager dan het gemiddelde.
Hierheen gaan we kijken m.b.v. de deviatiescore. Deze score is eigenlijk voor iedere
persoon de score op een item en daar trekken we dan het gemiddelde vanaf.
Maaike Beckers
Inhoud
1 Hoorcollege 1: Inleiding en basiskennis..................................................................4
1.1 Inleiding.......................................................................................................4
1.2 Basiskennis statistiek.....................................................................................5
1.2.1 Gemiddelde en deviatiescore.....................................................................6
1.2.2 Variantie en standaarddeviatie...................................................................7
1.2.3 Standaardscores (z-scores).......................................................................8
1.2.4 Covariantie en correlatie...........................................................................8
2 Hoorcollege 2: Eigenschappen van tests en items....................................................9
2.1 Verschillende typen tests..............................................................................10
2.2 Benodigdheden psychologische test................................................................11
2.3 Spreiding....................................................................................................12
2.3.1 Multiple-choice items..............................................................................13
2.4 Objectiviteit van de test................................................................................15
2.4.1 Cohens kappa........................................................................................16
2.5 Meerkeuze oefenvragen................................................................................18
3 Hoorcollege 3: Bewerkte scores en normen...........................................................20
3.1 Vergelijking van normen gebaseerd op rangorde..............................................20
3.2 Vergelijking van normen gebaseerd op gemiddelde en spreiding........................22
3.3 Transformaties van standaardscores: niet-lineair.............................................23
3.4 Overzicht....................................................................................................23
3.5 Meerkeuze oefenvragen................................................................................23
4 Hoorcollege 4, Betrouwbaarheid..........................................................................24
4.1 Betrouwbaarheid..........................................................................................24
4.2 Klassieke testtheorie....................................................................................25
4.2.1 Eigenschappen voor 1 individu.................................................................26
4.2.2 Eigenschappen voor meerdere individuen maar met 1 testafname................27
4.2.3 Betrouwbaarheidsinterval........................................................................29
, 4.3 Oefenvragen................................................................................................30
5 Hoorcollege 5, betrouwbaarheid in de praktijk.......................................................31
5.1 Bepaling van betrouwbaarheid.......................................................................31
5.1.1 Test-hertest-methode.............................................................................32
5.1.2 Parallelvorm-methode.............................................................................32
5.1.3 Interne-consistentie-methoden................................................................33
5.1.4 IC methoden en dimensionaliteit van de test.............................................37
5.2 Oefenvragen................................................................................................38
6 Hoorcollege 6, invloeden op betrouwbaarheid........................................................39
6.1 5 Factoren die invloed hebben op de betrouwbaarheid......................................39
6.1.1 Kwaliteit van de items.............................................................................39
6.1.2 Dimensionaliteit.....................................................................................40
6.1.3 Aantal items in de test............................................................................42
6.1.4 Heterogeniteit in de populatie..................................................................44
6.1.5 Type score die onderzocht wordt..............................................................44
6.2 Oefenvragen................................................................................................45
7 Hoorcollege 7, betrouwbaarheid: verbeteren en gevolgen.......................................46
7.1 Item-selectie...............................................................................................47
7.1.1 Item-restscore correlatie.........................................................................47
7.1.2 Gedichotomiseerde item-restscore correlatie.............................................48
7.1.3 Item-discriminatie index D......................................................................50
7.1.4 Item-discriminatie paramtere in item-respons model..................................50
7.2 Gevolgen betrouwbaarheid............................................................................50
7.2.1 Correlaties testscore met andere constructen . ...........................................51
7.2.2 Effect size schattingen . ..........................................................................52
7.2.3 Power van statistische test . ....................................................................52
7.3 Oefenvragen................................................................................................52
8 Hoorcollege 9, begripsvaliditeit............................................................................54
8.1 Begripsvaliditeit...........................................................................................55
8.1.1 Inhoud van de test.................................................................................55
, 8.1.2 Samenhang van de testonderdelen...........................................................56
8.1.3 Responsprocessen..................................................................................56
8.1.4 Consequenties van testgebruik................................................................58
8.1.5 Samenhang met andere constructen.........................................................58
8.2 Oefenvragen................................................................................................61
9 Hoorcollege 10, criteriumvaliditeit.......................................................................62
9.1 Onderzoek criteriumvaliditeit.........................................................................62
9.1.1 Restriction of range bij testscore X..........................................................63
9.1.2 Restriction of range bij criterium Y...........................................................64
9.1.3 Niet-lineaire samenhang testscore en criterium.........................................65
9.1.4 Heteroscedasticiteit...............................................................................65
9.1.5 Algemeen.............................................................................................66
9.2 Criteriumvaliditeit bij dichotome beslissingen...................................................67
9.2.1 Samenhang gedichotomiseerde testscore X en gedichotomiseerde criterium Y
....................................................................................................................69
9.2.2 Effecten op succesratio..........................................................................70
9.2.3 Taylor-Russell tabellen...........................................................................71
9.3 Oefenvragen................................................................................................72
10 Hoorcollege 11, item-responstheorie.................................................................74
10.1 Item-karakteristieke functie.........................................................................76
10.1.1 Functies.............................................................................................77
10.2 Het Rasch model.......................................................................................78
10.2.1 Gebruik item-respons theorie model.......................................................80
10.2.2 Populatie-onafhankelijkheid van personen en items (Rasch Model)............81
10.2.3 Nadelen Rasch Model...........................................................................81
10.3 2-parameter logistische model.....................................................................82
10.3.1 Item informatie...................................................................................82
10.4 Overzicht..................................................................................................83
10.5 Oefenvragen..............................................................................................83
11 Hoorcollege 12, IRT in de prakijk......................................................................84
, 11.1 Testinformatie functie.................................................................................85
11.1.1 Nauwkeurigheid van de meting.............................................................85
11.2 Testconstructie op basis van een itembank....................................................85
11.3 Adaptief testen..........................................................................................88
11.3.1 Multi-stage testing...............................................................................89
11.4 Vergelijking KTT en IRT...............................................................................89
11.4.1 Betrouwbare score in IRT.....................................................................89
11.4.2 IRT voor polytome items......................................................................90
11.5 Oefenvragen..............................................................................................91
12 Hoorcollege 13, fairness and bias......................................................................92
12.1 Construct bias............................................................................................93
Hoe kom je er un achter of er construct bias is op een test?................................93
12.1.1 Uniforme item bias..............................................................................94
12.1.2 Niet uniforme item bias........................................................................94
12.1.3 Omgaan met item bias.........................................................................95
12.2 Vertekende predictie (= predictive bias)........................................................95
12.2.1 Intercept bias.....................................................................................95
12.2.2 Slope bias...........................................................................................96
12.2.3 Omgaan met predictieve bias................................................................97
12.3 Construct en predictive bias.........................................................................97
12.4 Oefenvragen..............................................................................................98
1 Hoorcollege 1: Inleiding en basiskennis
1.1 Inleiding
Psychologie is een empirische wetenschap waarbij onderzoek draait om
observaties. Empirische wetenschap heeft wel enkele problemen. Want alles wat we
interessant vinden is niet per direct te observeren. Dit geldt voor bijna alle
psychologische eigenschappen. We noemen ze daarvoor pschychologische constructen,
die kunnen we wel observeren. Met psychologische testen hopen we alsnog observaties
te kunnen doen. We gaan dan niet direct observeerbare eigenschappen onderzoeken. Met
,andere woorden is psychologie zonder testen nauwelijks een wetenschap en zonder
goede testen draagt psychologie nogal weinig bij aan de maatschappij.
Binnen de psychologie zijn testen dus nogal belangrijk, vandaar dat er zoiets
bestaat als Testtheorie. Deze testtheorie gaat over hoe we de kwaliteit van testen
kunnen onderzoeken en verbeteren, testtheorie staat ook verder bekend als
psychometrie. Maar onthoud wel goed dat we zelden een goede meting kunnen doen
van een psychologisch construct zoals bijvoorbeeld narcisme, je zal altijd een
verzameling van vragen moeten stellen.
Wanneer je individuen gaat meten gebruik je een test met genoeg items. Een item
geeft zeg maar de indicator weer voor een construct. Het is de bedoeling dat elk van die
items bijdragen aan het construct. Elke vraag moet dus betrekking hebben met het
construct die je meet. Elk item wordt gelinkt met een bepaalde score. Zo kan je
bijvoorbeeld zeggen dat bij ´nooit-soms-vaak´ de nooit staat voor 1, de soms voor 2 en
de vaak voor 3. Wanneer de hele test is ingevuld krijg je dan voor elk item een andere
score die je optelt tot een totaalscore of een testscore. (In deze cursus gaan we alles
optellen, let wel op dat ze soms contraindicatief kunnen zijn!) Wanneer je dan die
testscore hebt gevonden, DAN pas ga je die interpreteren. We geven dus vooral
conclusies met betrekking tot de testscore!
Toch moet je altijd kritisch blijven! Want je wilt weten of de testscores wel zinvol zijn en
of de test wel meet wat je denkt dat je meet. Verder is het ook belangrijk dat de vragen
van de verschillende items wel van goede kwaliteit zijn en of er wel genoeg vragen in de
test zijn. Dit zijn allemaal vragen die we gaan proberen te beantwoorden in de verdere
hoorcolleges. Want wanneer Petronella 12 scoort op dezelfde test waarbij Japie 15
scoort, wil je natuurlijk wel weten of dat verschil iets uitmaakt. Het is dus belangrijk dat
je een valide test gebruikt, wanneer je dat niet doet doe je aan sloppy science en dat is
niet de bedoeling. Er zijn helaas geen kant en klare regels om testen te maken maar wel
verschillende handvatten en die worden besproken tijdens dit vak.
1.2 Basiskennis statistiek
De basiskennis van de statistiek heb je als het goed is al besproken bij MTO-B, de
cursus statistiek. De begrippen die hierin worden uitgelegd zijn belangrijk om testtheorie
te kunnen begrijpen. Het is dan ook handig om te weten wat ze zijn en hoe je ze kan
berekenen! Het gaat vooral over het gemiddelde, de variantie, de standaarddeviatie, z-
scores, covariantie en een correlatie. Als je goed weet wat dit inhoudt kan je derest van
dit college skippen. Om deze begrippen nog eens duidelijk uit te leggen gaan we gebruik
maken van een datamatrix. Deze worden gebruikt bij de testtheorie en is een
, verzameling van datapunten. Zoals je ziet hebben we de scores van 5 respondenten
genomen op 3 verschillende testen. In een datamtarix staat dan welke waardes we
hebben gevonden voor de verschillende variabelen voor elke respondent. De x gaat in dit
geval over de tentamenscores van de verschillende studenten, we weten op die manier
dat de score kan lopen van 1 tot 10. De Y staat voor de itemscore over de eerste vraag
van hetzelfde tentamen. In dit geval is die binair weergegeven, degene die de eerste
vraag goed heeft heeft een 1 gekregen en degene die de eerste vraag fout hebben
hebben een 0 gekregen. Dan staat W weer voor een andere variabele, in dit voorbeeld
staat W voor de intelligentiescore. We gaan nu verder de verschillene begrippen
berekenen aan de hand van deze matrix.
1.2.1 Gemiddelde en deviatiescore
We gaan beginnen met het gemiddelde. Voor het gemiddelde gebruik je de
volgende formule:
-
Het somteken geeft aan dat we naar X i moeten gaan kijken. Hierbij is i een index en die
verwijst naar een persoon. We hebben het dan over de score van persoon i op X. Onder
het somteken staat waar je gaat beginnen met tellen en boven het somteken staat waar
je eindigt. In dit geval begin je bij persoon 1 en N boven het somteken geeft aan dat we
dit voor alle respondenten gaan doen. Met andere woorden gaan we dus de scores van
alle respondenten op X optellen, deze delen we dan door N. Voor het gemiddelde
gebruiken we altijd een streepje boven een letter. Wanneer er in dit geval dan X met een
streepje staat gaat het ook over het gemiddelde van alle scores op X. Voor het voorbeeld
vinden we een gemiddelde van 8 op X, van 0.2 op Y en 110 op W.
Verder willen we ook weten hoe ver mensen van elkaar verschillen. Sommige mensen
scoren hoger dan het gemiddelde en andere scoren weer lager dan het gemiddelde.
Hierheen gaan we kijken m.b.v. de deviatiescore. Deze score is eigenlijk voor iedere
persoon de score op een item en daar trekken we dan het gemiddelde vanaf.
