Samenvatting literatuur Testtheorie
Een samenvatting van alle literatuur voor het vak testtheorie (PABA2056) voor de
opleiding Pedagogische Wetenschappen aan de Rijksuniversiteit Groningen, 2023.
Bevat:
Boek Testtheorie (Drenth, Sijtsma, 4e druk)
o Hoofdstuk 2 t/m 9
Klapper inclusief artikelen
1
,Inhoudsopgave
Hoofdstuk 2: Definitie, kenmerken en toepassingen van de test..................................................7
2.1 Wat is een test?............................................................................................................................7
2.1.1 Onderdelen van een test...........................................................................................................7
2.1.2 Eerste omschrijving....................................................................................................................7
2.1.3 Kenmerken van een test............................................................................................................7
2.2 Meten van eigenschappen door middel van tests........................................................................8
2.2.1 Meetniveaus en toegestane operaties......................................................................................8
2.2.2 Opvattingen over meten............................................................................................................9
2.2.3 De gangbare procedure voor het meten van psychologische eigenschappen...........................9
2.3 Definitie van een test..................................................................................................................10
2.4 Toepassingsmogelijkheden.........................................................................................................10
Hoofdstuk 3: Indelingen, onderscheidingen en begrippen..........................................................11
3.1 Indeling naar testgedrag.............................................................................................................11
3.1.1 Tests voor prestatieniveau.......................................................................................................11
3.1.2 Tests voor gedragswijze...........................................................................................................13
3.1.4 Drie voorbeelden van tests......................................................................................................15
3.2 Indeling naar instructie en afneming..........................................................................................17
3.2.1 Individuele test en groepstest.................................................................................................17
3.2.2 Snelheidstest en niveautest.....................................................................................................17
3.3 Onderscheid op basis van testvragen.........................................................................................18
3.3.1 Cultuurvrije en niet-cultuurvrije tests......................................................................................18
3.3.2 Directe tests en indirecte tests................................................................................................18
3.3.3 Vrije-antwoordentests en keuze-antwoordentests.................................................................18
Hoofdstuk 4: Constructie van items en kwantificering van reacties.........................................18
4.1 Van de respondenten gevraagde activiteit.................................................................................19
4.2 Vorm waarin het antwoord wordt gegeven................................................................................19
4.3 Itemvormen: het speciale geval van geprecodeerde items........................................................20
4.3.1 Items voor prestatieniveautests..............................................................................................20
4.3.2 Items voor tests voor gedragswijze.........................................................................................21
4.4 Kwantificeren van antwoorden...................................................................................................21
4.4.1 Kwantificering, diverse informatiebronnen.............................................................................21
4.4.2 Itemscores...............................................................................................................................21
4.5 Beoordeling van de kwaliteit van items in vooronderzoek.........................................................22
4.5.1 Dichotome items.....................................................................................................................22
2
, 4.5.2 Polytome items........................................................................................................................23
Hoofdstuk 5: Afneming van tests en verwerking van testgegevens...........................................24
5.1 Tests afnemen............................................................................................................................24
5.2 Scoring van antwoorden.............................................................................................................25
5.2.1 Scoring van reacties op items met open-vraagvorm................................................................25
5.2.2 Scoring van reacties op geprecodeerde items.........................................................................25
5.2.3 Toevalscorrectie......................................................................................................................26
5.2.4 Weging van itemscores............................................................................................................27
5.3 Testen per computer..................................................................................................................27
5.3.1 Technologische bijdragen en veranderingen...........................................................................27
5.3.2 Wetenschappelijke bijdragen en veranderingen.....................................................................27
5.3.3 Adaptief testen........................................................................................................................28
5.4 Bewerkte scores en normen.......................................................................................................28
5.4.1 Vergelijking met een absolute standaard................................................................................29
5.4.2 Verhoudingsnormen................................................................................................................29
5.4.3 Vergelijking en normen gebaseerd op een rangorde...............................................................29
5.4.4 Vergelijking en normen gebaseerd op gemiddelde en spreiding.............................................30
Hoofdstuk 6: Betrouwbaarheid............................................................................................................. 32
6.1 Herhaalbaarheid van metingen..................................................................................................32
6.2 De klassieke testtheorie..............................................................................................................32
6.2.1 Betrouwbare score en meetfout..............................................................................................32
6.2.2 Betrouwbaarheid van testscores en de standaardmeetfout...................................................34
6.2.3 Belangrijke onderscheidingen..................................................................................................34
6.3 Bepaling van de betrouwbaarheid..............................................................................................35
6.3.1 Parallelvormmethode..............................................................................................................35
6.3.2 Test-hertestmethode...............................................................................................................35
6.3.3 Splitsingsmethode...................................................................................................................36
6.3.4 Interne-consistentiemethode..................................................................................................37
6.4 Speciale onderwerpen................................................................................................................38
6.4.1 Nauwkeurigheid van metingen................................................................................................38
6.4.2 Betrouwbaarheid en testlengte...............................................................................................39
6.4.3 Betrouwbaarheid en validiteit.................................................................................................39
6.4.4 Betrouwbaarheid van verschilscores.......................................................................................40
6.4.5 Betrouwbaarheid en spreiding van scores...............................................................................40
6.4.6 Betrouwbaarheid van heterogene tests..................................................................................41
6.4.7 Generaliseerbaarheid van metingen........................................................................................41
3
,Hoofdstuk 7: Nieuwe ontwikkelingen in testtheorie en testconstructie..................................41
7.1 Principes en begrippen van de item-responstheorie..................................................................42
7.2 Enkele modellen uit de item-responstheorie..............................................................................43
7.2.1 Het rasch-model......................................................................................................................43
7.2.2 Modellen met respectievelijk twee en drie itemparameters...................................................44
7.2.2.1 Het Birnbaum-model met twee itemparameters.................................................................45
7.2.2.2 Het drie-parameter logistische model..................................................................................45
7.2.3 De modellen volgens mokken..................................................................................................46
7.2.3.1 Het model van monotone homogeniteit..............................................................................46
7.2.3.2 Het model van dubbele monotonie......................................................................................46
7.2.4 De onderlinge relaties van de item-responsmodellen.............................................................47
7.3 Meten met item-responsmodellen.............................................................................................48
7.3.1 Betekenis en gebruik van metrische schalen...........................................................................48
7.3.2 Nauwkeurigheid van de meting...............................................................................................48
7.4 Praktisch gebruik van de item-responstheorie...........................................................................49
7.4.1 De itembank en equivalering van scores en kenmerken van items.........................................49
7.4.2 Testconstructie op basis van een itembank.............................................................................50
7.4.3 Adaptieve tests........................................................................................................................51
7.4.4 Vraagonzuiverheid...................................................................................................................51
7.4.5 Afwijkende patronen van itemscores......................................................................................52
7.5 Tot besluit en enkele speciale onderwerpen..............................................................................54
7.5.1 Item-responstheorie voor polytoom gescoorde items............................................................54
7.5.2 Vergelijking klassieke testtheorie en itemresponstheorie.......................................................55
Hoofdstuk 8: Validiteit en betekenis................................................................................................... 56
8.1 Het begrip validiteit....................................................................................................................56
8.2 Enkele andere onderscheidingen in validiteit.............................................................................56
8.2.2 Andere onderscheidingen in het begrip validiteit....................................................................57
8.3 Predictieve validiteit...................................................................................................................57
8.3.1 Nadere bepaling van het criteriumbegrip................................................................................58
8.3.2 Opzet van een test of testbatterij met predictieve validiteit...................................................58
8.3.3 Differentiatie in het criteriumonderzoek.................................................................................60
8.3.5 Beperkingen van predictieve validiteit....................................................................................61
8.4 Betekenis en begripsvaliditeit.....................................................................................................62
8.4.1 Begripsvalidering.....................................................................................................................62
8.5 Nogmaals betrouwbaarheid en validiteit....................................................................................62
Hoofdstuk 9: De bijdrage van de test in het beslissingsproces....................................................63
4
, 9.1 Taxonomie van beslissingen.......................................................................................................63
9.2 Enkelvoudige selectie- c.q. afwijzingsmodel...............................................................................64
9.2.1 Het gebruik van een enkele test..............................................................................................64
9.2.2 Het gelijktijdig gebruik van diverse tests.................................................................................65
9.2.3 Selectie in een of meer fasen...................................................................................................65
9.3 Plaatsingsbeslissingen.................................................................................................................65
9.3.1 Plaatsing en niveauverschillen.................................................................................................66
9.3.2 Plaatsing en kwalitatieve verschillen.......................................................................................66
9.5 Open vraag.................................................................................................................................66
9.6 Tot besluit...................................................................................................................................67
Klapper hoofdstuk 1: Het schrijven van items................................................................................. 68
1.1 Eisen voor toetsopgaven............................................................................................................68
1.2 Eisen voor vragenlijstitems.........................................................................................................68
Klapper hoofdstuk 2: Scoring en normering..................................................................................... 69
2.1 Itemscores..................................................................................................................................69
2.2 Ruwe testscores en normering...................................................................................................69
Klapper hoofdstuk 3: Itemanalyse....................................................................................................... 70
3.1 p- en a-waarden..........................................................................................................................70
3.2 Item- en testscoring....................................................................................................................71
3.3 Item-totaalcorrelaties.................................................................................................................71
Klapper hoofdstuk 4: Over misverstanden rond Chronbachs Alfa en de wenselijkheid van
alternatieven (Sijtsma, 2009)................................................................................................................ 71
Klapper hoofdstuk 5: Validiteit – COTAN beoordelingssysteem voor de kwaliteit van tests
......................................................................................................................................................................... 75
1 Uitgangspunten van de testconstructie.........................................................................................75
6 Begripsvaliditeit.............................................................................................................................76
7 Criteriumvaliditeit..........................................................................................................................78
5
Een samenvatting van alle literatuur voor het vak testtheorie (PABA2056) voor de
opleiding Pedagogische Wetenschappen aan de Rijksuniversiteit Groningen, 2023.
Bevat:
Boek Testtheorie (Drenth, Sijtsma, 4e druk)
o Hoofdstuk 2 t/m 9
Klapper inclusief artikelen
1
,Inhoudsopgave
Hoofdstuk 2: Definitie, kenmerken en toepassingen van de test..................................................7
2.1 Wat is een test?............................................................................................................................7
2.1.1 Onderdelen van een test...........................................................................................................7
2.1.2 Eerste omschrijving....................................................................................................................7
2.1.3 Kenmerken van een test............................................................................................................7
2.2 Meten van eigenschappen door middel van tests........................................................................8
2.2.1 Meetniveaus en toegestane operaties......................................................................................8
2.2.2 Opvattingen over meten............................................................................................................9
2.2.3 De gangbare procedure voor het meten van psychologische eigenschappen...........................9
2.3 Definitie van een test..................................................................................................................10
2.4 Toepassingsmogelijkheden.........................................................................................................10
Hoofdstuk 3: Indelingen, onderscheidingen en begrippen..........................................................11
3.1 Indeling naar testgedrag.............................................................................................................11
3.1.1 Tests voor prestatieniveau.......................................................................................................11
3.1.2 Tests voor gedragswijze...........................................................................................................13
3.1.4 Drie voorbeelden van tests......................................................................................................15
3.2 Indeling naar instructie en afneming..........................................................................................17
3.2.1 Individuele test en groepstest.................................................................................................17
3.2.2 Snelheidstest en niveautest.....................................................................................................17
3.3 Onderscheid op basis van testvragen.........................................................................................18
3.3.1 Cultuurvrije en niet-cultuurvrije tests......................................................................................18
3.3.2 Directe tests en indirecte tests................................................................................................18
3.3.3 Vrije-antwoordentests en keuze-antwoordentests.................................................................18
Hoofdstuk 4: Constructie van items en kwantificering van reacties.........................................18
4.1 Van de respondenten gevraagde activiteit.................................................................................19
4.2 Vorm waarin het antwoord wordt gegeven................................................................................19
4.3 Itemvormen: het speciale geval van geprecodeerde items........................................................20
4.3.1 Items voor prestatieniveautests..............................................................................................20
4.3.2 Items voor tests voor gedragswijze.........................................................................................21
4.4 Kwantificeren van antwoorden...................................................................................................21
4.4.1 Kwantificering, diverse informatiebronnen.............................................................................21
4.4.2 Itemscores...............................................................................................................................21
4.5 Beoordeling van de kwaliteit van items in vooronderzoek.........................................................22
4.5.1 Dichotome items.....................................................................................................................22
2
, 4.5.2 Polytome items........................................................................................................................23
Hoofdstuk 5: Afneming van tests en verwerking van testgegevens...........................................24
5.1 Tests afnemen............................................................................................................................24
5.2 Scoring van antwoorden.............................................................................................................25
5.2.1 Scoring van reacties op items met open-vraagvorm................................................................25
5.2.2 Scoring van reacties op geprecodeerde items.........................................................................25
5.2.3 Toevalscorrectie......................................................................................................................26
5.2.4 Weging van itemscores............................................................................................................27
5.3 Testen per computer..................................................................................................................27
5.3.1 Technologische bijdragen en veranderingen...........................................................................27
5.3.2 Wetenschappelijke bijdragen en veranderingen.....................................................................27
5.3.3 Adaptief testen........................................................................................................................28
5.4 Bewerkte scores en normen.......................................................................................................28
5.4.1 Vergelijking met een absolute standaard................................................................................29
5.4.2 Verhoudingsnormen................................................................................................................29
5.4.3 Vergelijking en normen gebaseerd op een rangorde...............................................................29
5.4.4 Vergelijking en normen gebaseerd op gemiddelde en spreiding.............................................30
Hoofdstuk 6: Betrouwbaarheid............................................................................................................. 32
6.1 Herhaalbaarheid van metingen..................................................................................................32
6.2 De klassieke testtheorie..............................................................................................................32
6.2.1 Betrouwbare score en meetfout..............................................................................................32
6.2.2 Betrouwbaarheid van testscores en de standaardmeetfout...................................................34
6.2.3 Belangrijke onderscheidingen..................................................................................................34
6.3 Bepaling van de betrouwbaarheid..............................................................................................35
6.3.1 Parallelvormmethode..............................................................................................................35
6.3.2 Test-hertestmethode...............................................................................................................35
6.3.3 Splitsingsmethode...................................................................................................................36
6.3.4 Interne-consistentiemethode..................................................................................................37
6.4 Speciale onderwerpen................................................................................................................38
6.4.1 Nauwkeurigheid van metingen................................................................................................38
6.4.2 Betrouwbaarheid en testlengte...............................................................................................39
6.4.3 Betrouwbaarheid en validiteit.................................................................................................39
6.4.4 Betrouwbaarheid van verschilscores.......................................................................................40
6.4.5 Betrouwbaarheid en spreiding van scores...............................................................................40
6.4.6 Betrouwbaarheid van heterogene tests..................................................................................41
6.4.7 Generaliseerbaarheid van metingen........................................................................................41
3
,Hoofdstuk 7: Nieuwe ontwikkelingen in testtheorie en testconstructie..................................41
7.1 Principes en begrippen van de item-responstheorie..................................................................42
7.2 Enkele modellen uit de item-responstheorie..............................................................................43
7.2.1 Het rasch-model......................................................................................................................43
7.2.2 Modellen met respectievelijk twee en drie itemparameters...................................................44
7.2.2.1 Het Birnbaum-model met twee itemparameters.................................................................45
7.2.2.2 Het drie-parameter logistische model..................................................................................45
7.2.3 De modellen volgens mokken..................................................................................................46
7.2.3.1 Het model van monotone homogeniteit..............................................................................46
7.2.3.2 Het model van dubbele monotonie......................................................................................46
7.2.4 De onderlinge relaties van de item-responsmodellen.............................................................47
7.3 Meten met item-responsmodellen.............................................................................................48
7.3.1 Betekenis en gebruik van metrische schalen...........................................................................48
7.3.2 Nauwkeurigheid van de meting...............................................................................................48
7.4 Praktisch gebruik van de item-responstheorie...........................................................................49
7.4.1 De itembank en equivalering van scores en kenmerken van items.........................................49
7.4.2 Testconstructie op basis van een itembank.............................................................................50
7.4.3 Adaptieve tests........................................................................................................................51
7.4.4 Vraagonzuiverheid...................................................................................................................51
7.4.5 Afwijkende patronen van itemscores......................................................................................52
7.5 Tot besluit en enkele speciale onderwerpen..............................................................................54
7.5.1 Item-responstheorie voor polytoom gescoorde items............................................................54
7.5.2 Vergelijking klassieke testtheorie en itemresponstheorie.......................................................55
Hoofdstuk 8: Validiteit en betekenis................................................................................................... 56
8.1 Het begrip validiteit....................................................................................................................56
8.2 Enkele andere onderscheidingen in validiteit.............................................................................56
8.2.2 Andere onderscheidingen in het begrip validiteit....................................................................57
8.3 Predictieve validiteit...................................................................................................................57
8.3.1 Nadere bepaling van het criteriumbegrip................................................................................58
8.3.2 Opzet van een test of testbatterij met predictieve validiteit...................................................58
8.3.3 Differentiatie in het criteriumonderzoek.................................................................................60
8.3.5 Beperkingen van predictieve validiteit....................................................................................61
8.4 Betekenis en begripsvaliditeit.....................................................................................................62
8.4.1 Begripsvalidering.....................................................................................................................62
8.5 Nogmaals betrouwbaarheid en validiteit....................................................................................62
Hoofdstuk 9: De bijdrage van de test in het beslissingsproces....................................................63
4
, 9.1 Taxonomie van beslissingen.......................................................................................................63
9.2 Enkelvoudige selectie- c.q. afwijzingsmodel...............................................................................64
9.2.1 Het gebruik van een enkele test..............................................................................................64
9.2.2 Het gelijktijdig gebruik van diverse tests.................................................................................65
9.2.3 Selectie in een of meer fasen...................................................................................................65
9.3 Plaatsingsbeslissingen.................................................................................................................65
9.3.1 Plaatsing en niveauverschillen.................................................................................................66
9.3.2 Plaatsing en kwalitatieve verschillen.......................................................................................66
9.5 Open vraag.................................................................................................................................66
9.6 Tot besluit...................................................................................................................................67
Klapper hoofdstuk 1: Het schrijven van items................................................................................. 68
1.1 Eisen voor toetsopgaven............................................................................................................68
1.2 Eisen voor vragenlijstitems.........................................................................................................68
Klapper hoofdstuk 2: Scoring en normering..................................................................................... 69
2.1 Itemscores..................................................................................................................................69
2.2 Ruwe testscores en normering...................................................................................................69
Klapper hoofdstuk 3: Itemanalyse....................................................................................................... 70
3.1 p- en a-waarden..........................................................................................................................70
3.2 Item- en testscoring....................................................................................................................71
3.3 Item-totaalcorrelaties.................................................................................................................71
Klapper hoofdstuk 4: Over misverstanden rond Chronbachs Alfa en de wenselijkheid van
alternatieven (Sijtsma, 2009)................................................................................................................ 71
Klapper hoofdstuk 5: Validiteit – COTAN beoordelingssysteem voor de kwaliteit van tests
......................................................................................................................................................................... 75
1 Uitgangspunten van de testconstructie.........................................................................................75
6 Begripsvaliditeit.............................................................................................................................76
7 Criteriumvaliditeit..........................................................................................................................78
5
