Samenvatting testconstructie
College 1: het meetprobleem
Vergelijken van sociale wetenschap met natuurwetenschappen. Kwantitatieve schaal maken voor
kwalitatieve relaties. Voorbeeld van kleiballetjes op een balansschaal: twee gewichten combineren
(concatenatie). Standaardfrequentie is als ze steeds één van elkaar verschillen.
Je kan toegekende getallen in de psychologie niet zomaar transformeren.
Stevens, schaaltypes (met de bijbehorende toegestane transformaties):
- Nominaal: A=B (bv. Blond =1, bruin = 2)
o Alle transformaties die gelijkheid behouden
- Ordinaal: A is beter dan B (bv. Intelligenter)
o Alle transformaties die ordening behouden
- Interval: ordening en afstanden gerepresenteerd (bv. Temperatuur)
o Alle transformaties die afstanden behouden
- Ratio: ook verhouding, naast ordening en afstand, 0-punt.
Parametrische toetsen als t-toets en ANOVA zijn gevoelig voor afstanden tussen datapunten, dus
minstens interval schaal.
Je moet verstandig omgaan met je data, maar er is wel veel mogelijk (vb: “the numbers don’t know
they are nominal”, het zijn gewoon getallen).
1
, College 2: latente variabelen
Klassieke testtheorie: ware score + error
Nadelen klassieke testtheorie:
- Alle parameters (somscores, p-waarden, betrouwbaarheid) zijn steekproef en testafhankelijk,
test equation lastig.
- Geen model items, alleen voor test (item bias slecht te onderzoeken)
- Concept ware score problematisch
- Geen toets voor passing
Moderne testtheorie
Latente variabele: niet geobserveerde variabele afgeleid uit geobserveerde variabelen (onderliggende
oorzaak van gedrag).
Geen latente variabele is een manifeste variabele (observeerbaar), bv. sekse, inkomen, antwoord
item, gewicht, etc.
Lokale onafhankelijkheid: manifeste variabelen ongecorreleerd na controle voor (conditioneel op) de
latente variabele.
Nut:
- Theoretisch: meting onderliggende oorzaak gedrag
- Statistisch: samenhang manifeste indicatoren, reductie dimensionaliteit verbeterd toetsing
theorieën, meting individuele verschillen eerlijker, etc.
Discrete OV Continue OV
Continue LV Item respons model Factor modellen
Continue variabelen: latente variabelen zijn dan factoren. X = F1 + F2 +E
Hierarchies factor model, superfactor = g factor.
Discrete variabelen: item respons theorie
Bij item in plaats van bij test beginnen, gaat om de kans op een correct antwoord, drempelwaarde.
Logistische functie voor het model.
Parameter: moeilijkheid item (>). θ = vaardigheid persoon (latente trek). P(+) = kans op correct. Items
en personen op dezelfde dimensie.
Test equating: eerlijke test maken, bijvoorbeeld even moeilijk voor mannen en vrouwen (als ze een
zelfde θ hebben maar een andere > is de test niet eerlijk).
Computer adaptief testen: goed moeilijker item. Is een kortere test, je weet eerder waar iemand
op bepaalde trek zit.
Mutualisme: beïnvloeden elkaar positief
2
College 1: het meetprobleem
Vergelijken van sociale wetenschap met natuurwetenschappen. Kwantitatieve schaal maken voor
kwalitatieve relaties. Voorbeeld van kleiballetjes op een balansschaal: twee gewichten combineren
(concatenatie). Standaardfrequentie is als ze steeds één van elkaar verschillen.
Je kan toegekende getallen in de psychologie niet zomaar transformeren.
Stevens, schaaltypes (met de bijbehorende toegestane transformaties):
- Nominaal: A=B (bv. Blond =1, bruin = 2)
o Alle transformaties die gelijkheid behouden
- Ordinaal: A is beter dan B (bv. Intelligenter)
o Alle transformaties die ordening behouden
- Interval: ordening en afstanden gerepresenteerd (bv. Temperatuur)
o Alle transformaties die afstanden behouden
- Ratio: ook verhouding, naast ordening en afstand, 0-punt.
Parametrische toetsen als t-toets en ANOVA zijn gevoelig voor afstanden tussen datapunten, dus
minstens interval schaal.
Je moet verstandig omgaan met je data, maar er is wel veel mogelijk (vb: “the numbers don’t know
they are nominal”, het zijn gewoon getallen).
1
, College 2: latente variabelen
Klassieke testtheorie: ware score + error
Nadelen klassieke testtheorie:
- Alle parameters (somscores, p-waarden, betrouwbaarheid) zijn steekproef en testafhankelijk,
test equation lastig.
- Geen model items, alleen voor test (item bias slecht te onderzoeken)
- Concept ware score problematisch
- Geen toets voor passing
Moderne testtheorie
Latente variabele: niet geobserveerde variabele afgeleid uit geobserveerde variabelen (onderliggende
oorzaak van gedrag).
Geen latente variabele is een manifeste variabele (observeerbaar), bv. sekse, inkomen, antwoord
item, gewicht, etc.
Lokale onafhankelijkheid: manifeste variabelen ongecorreleerd na controle voor (conditioneel op) de
latente variabele.
Nut:
- Theoretisch: meting onderliggende oorzaak gedrag
- Statistisch: samenhang manifeste indicatoren, reductie dimensionaliteit verbeterd toetsing
theorieën, meting individuele verschillen eerlijker, etc.
Discrete OV Continue OV
Continue LV Item respons model Factor modellen
Continue variabelen: latente variabelen zijn dan factoren. X = F1 + F2 +E
Hierarchies factor model, superfactor = g factor.
Discrete variabelen: item respons theorie
Bij item in plaats van bij test beginnen, gaat om de kans op een correct antwoord, drempelwaarde.
Logistische functie voor het model.
Parameter: moeilijkheid item (>). θ = vaardigheid persoon (latente trek). P(+) = kans op correct. Items
en personen op dezelfde dimensie.
Test equating: eerlijke test maken, bijvoorbeeld even moeilijk voor mannen en vrouwen (als ze een
zelfde θ hebben maar een andere > is de test niet eerlijk).
Computer adaptief testen: goed moeilijker item. Is een kortere test, je weet eerder waar iemand
op bepaalde trek zit.
Mutualisme: beïnvloeden elkaar positief
2
