36
Hoofdstuk 7: Nieuwe ontwikkelingen in testtheorie en
testconstructie
Dit hoofdstuk moet u goed doorlezen. Het zal eenvoudig worden getentamineerd, in die zin dat
uitsluitend de hoofdgedachte gevraagd wordt. Er worden geen berekeningen gevraagd en u hoeft de
formules in het hoofdstuk niet te kunnen repliceren. De bespreking in deze introductie moet u wel
goed bestuderen. Het is belangrijk om voor een goed begrip van de kern van de boodschap eerst de
volgende verduidelijkende instructiefilm te bekijken.
Item-responstheorie Lord (1952), Rasch (1960), Birnbaum (1968)
- Niet direct observeerbare variabele = latente variabele
- Waarden kunnen oneindig klein alsook groot zijn
Eigenschappen IR-modellen:
1. Meeteigenschappen hebben die onderdeel zijn van die modellen (bijv. schaal)
a. Meten bij implicatie (implicit measurement) = een model geeft goede beschrijving,
volgt daaruit meeteigenschappen van dit model ook in concrete, praktische
toepassingen van de test gelden.
2. Populatie-onafhankelijk meten.
a. Gedachte achter adaptief testen = in principe voor de vergelijking van de
meetwaarden van de personen niet uitmaakt wat het niveau van de test was.
Vraag in de moderne testtheorie:
Hoe verhoudt zich de meetwaarde van de persoon tot de meetwaarde die nodig is voor het
beantwoorden van de testvraag?
- Wat is de kans dat iemand beter is dan de moeilijkheid van de testvraag (wiskundig
geformuleerd).
Lijnen verschillen o.b.v. latente variabelen - (itemresponsfuncties = kans groter als vaardigheid
verbeterd).
7.1 Principes en begrippen van item-responstheorie
Steiler is betere discriminatie; vaardigheid beetje beter te beheersen om meer kans te hebben op het
juiste antwoord.
θ Meetwaarde
δ Moeilijkheid (locatieparameter)
α Discriminerend vermogen
γ Pseudokansniveauparameter
Opmerkingen vorm van de functie (fig. 7.1)
1. Monotoon niet-dalend = functie stijgt of (hier en daar) constant.
2. Helling van de functie varieert over de θ -schaal.
3 kenmerken van items die de exacte vorm van de IR-functie in een bepaalde klasse van IR-moddelen
bepalen:
1. Lage θ -waarden hebben een succeskans > 0
a. Lage θ -waarden; geneigd kiezen voor attractieve, maar foute antwoord
1
succeskans <
A
, 37
b. kunnen ook hoger uitvallen: een/meer alternatieven erg onwaarschijnlijk zijn;
1
weggestreept voordat gissen succeskans >
A
Gis-kans afhankelijk van: #alternatieven en inhoudelijke kenmerken pseudokansniveau.
2. Curve heeft een specifieke locatie op de θ -schaal.
a+ γ g
a. Waar succeskans gelijk is aan kans die halverwege ligt tussen het
2
pseudokansniveau en maximale succeskans (1).
3. Steilheid van de IR-functie in kritische gebied.
a. Hoe steiler, hoe scherper de personen op de θ -schaal in tweeën worden gedeeld.
b. Discriminerend vermogen van een item: een functie van de richtingscoëfficiënt van de
raaklijn aan de IR-functie in het punt.
i. Helling steiler discrimineert item beter grotere waarde
discriminatieparameter.
Centraal 3 itemkarakteristieken IRT:
- Moeilijkheidsgraad,
- Pseudokansniveau
- Discriminatievermogen
Kans op juiste antwoord is de functie van vaardigheid én itemkarakteristieken.
- Als we karakteristieken kennen, kunnen we uit iemand antwoordpatroon (respons) de
vaardigheid afleiden.
Items als testscores op zelfde schaal afgebeeld kunnen worden.
7.2 Enkele modellen uit de itemresponstheorie
Van streng naar minder streng/zwak – refereren aan de mate waarin modellen restricties opleggen
aan antwoordgedrag. Wordt steeds algemener.
1. Rasch-model
2. Birnbaum-model
3. Drie-parameter logistische model
4. Model van monotone homogeniteit
5. Model van dubbele monotonie
7.2.1 Het Rasch-model
= een-parameter logistische model
Formulering en meetniveau
exp (θ−δ g)
P ( X g=1|θ ) = verschilschaal
1+ exp (θ−δ g )
Exp.(x) = e x
Redenen streng model:
1. γ g = komt niet voor in Rasch-model ! (pseudokansniveauparameter) antwoorden o.b.v.
gissen (of anders tot stand gekomen), kunnen niet door het model verklaard worden.
a. Tot uiting als γ g =0 voor alle items in de test.
b. Strengere modellen: meer beperkingen op aan gedrag, meer structuur aan
antwoorden en daarmee aan patronen van itemscores.
c. Zwakkere modellen: antwoordgedrag en daarmee corresponderende
gegevensstructuur meer vrijheid empirische testgegevens vaker beter in
overeenstemming.
Hoofdstuk 7: Nieuwe ontwikkelingen in testtheorie en
testconstructie
Dit hoofdstuk moet u goed doorlezen. Het zal eenvoudig worden getentamineerd, in die zin dat
uitsluitend de hoofdgedachte gevraagd wordt. Er worden geen berekeningen gevraagd en u hoeft de
formules in het hoofdstuk niet te kunnen repliceren. De bespreking in deze introductie moet u wel
goed bestuderen. Het is belangrijk om voor een goed begrip van de kern van de boodschap eerst de
volgende verduidelijkende instructiefilm te bekijken.
Item-responstheorie Lord (1952), Rasch (1960), Birnbaum (1968)
- Niet direct observeerbare variabele = latente variabele
- Waarden kunnen oneindig klein alsook groot zijn
Eigenschappen IR-modellen:
1. Meeteigenschappen hebben die onderdeel zijn van die modellen (bijv. schaal)
a. Meten bij implicatie (implicit measurement) = een model geeft goede beschrijving,
volgt daaruit meeteigenschappen van dit model ook in concrete, praktische
toepassingen van de test gelden.
2. Populatie-onafhankelijk meten.
a. Gedachte achter adaptief testen = in principe voor de vergelijking van de
meetwaarden van de personen niet uitmaakt wat het niveau van de test was.
Vraag in de moderne testtheorie:
Hoe verhoudt zich de meetwaarde van de persoon tot de meetwaarde die nodig is voor het
beantwoorden van de testvraag?
- Wat is de kans dat iemand beter is dan de moeilijkheid van de testvraag (wiskundig
geformuleerd).
Lijnen verschillen o.b.v. latente variabelen - (itemresponsfuncties = kans groter als vaardigheid
verbeterd).
7.1 Principes en begrippen van item-responstheorie
Steiler is betere discriminatie; vaardigheid beetje beter te beheersen om meer kans te hebben op het
juiste antwoord.
θ Meetwaarde
δ Moeilijkheid (locatieparameter)
α Discriminerend vermogen
γ Pseudokansniveauparameter
Opmerkingen vorm van de functie (fig. 7.1)
1. Monotoon niet-dalend = functie stijgt of (hier en daar) constant.
2. Helling van de functie varieert over de θ -schaal.
3 kenmerken van items die de exacte vorm van de IR-functie in een bepaalde klasse van IR-moddelen
bepalen:
1. Lage θ -waarden hebben een succeskans > 0
a. Lage θ -waarden; geneigd kiezen voor attractieve, maar foute antwoord
1
succeskans <
A
, 37
b. kunnen ook hoger uitvallen: een/meer alternatieven erg onwaarschijnlijk zijn;
1
weggestreept voordat gissen succeskans >
A
Gis-kans afhankelijk van: #alternatieven en inhoudelijke kenmerken pseudokansniveau.
2. Curve heeft een specifieke locatie op de θ -schaal.
a+ γ g
a. Waar succeskans gelijk is aan kans die halverwege ligt tussen het
2
pseudokansniveau en maximale succeskans (1).
3. Steilheid van de IR-functie in kritische gebied.
a. Hoe steiler, hoe scherper de personen op de θ -schaal in tweeën worden gedeeld.
b. Discriminerend vermogen van een item: een functie van de richtingscoëfficiënt van de
raaklijn aan de IR-functie in het punt.
i. Helling steiler discrimineert item beter grotere waarde
discriminatieparameter.
Centraal 3 itemkarakteristieken IRT:
- Moeilijkheidsgraad,
- Pseudokansniveau
- Discriminatievermogen
Kans op juiste antwoord is de functie van vaardigheid én itemkarakteristieken.
- Als we karakteristieken kennen, kunnen we uit iemand antwoordpatroon (respons) de
vaardigheid afleiden.
Items als testscores op zelfde schaal afgebeeld kunnen worden.
7.2 Enkele modellen uit de itemresponstheorie
Van streng naar minder streng/zwak – refereren aan de mate waarin modellen restricties opleggen
aan antwoordgedrag. Wordt steeds algemener.
1. Rasch-model
2. Birnbaum-model
3. Drie-parameter logistische model
4. Model van monotone homogeniteit
5. Model van dubbele monotonie
7.2.1 Het Rasch-model
= een-parameter logistische model
Formulering en meetniveau
exp (θ−δ g)
P ( X g=1|θ ) = verschilschaal
1+ exp (θ−δ g )
Exp.(x) = e x
Redenen streng model:
1. γ g = komt niet voor in Rasch-model ! (pseudokansniveauparameter) antwoorden o.b.v.
gissen (of anders tot stand gekomen), kunnen niet door het model verklaard worden.
a. Tot uiting als γ g =0 voor alle items in de test.
b. Strengere modellen: meer beperkingen op aan gedrag, meer structuur aan
antwoorden en daarmee aan patronen van itemscores.
c. Zwakkere modellen: antwoordgedrag en daarmee corresponderende
gegevensstructuur meer vrijheid empirische testgegevens vaker beter in
overeenstemming.
