Validiteit – college 5
En… Mag dit zomaar???
Mag je de items van de PSSS wel bij elkaar optellen tot een totaalscore en er verder
mee rekenen
o Stond centraal in Online College 4: Betrouwbaarheid
Hangt de score op deze subschaal samen met de scores op de andere subschalen
en/of met scores op andere (on)gerelateerde vragenlijsten?
Definitie validiteit
- Meet de test wat het zou moeten meten?
o Ongenuanceerd en niet volledige definitie
- De mate waarin interpretaties van
- testscores (over testscores; een test op zichzelf kan niet/wel valide zijn)
- voor het bedoelde testgebruik (
- ondersteund kunnen worden door
- bewijs en theoretische achtergrond (waarom zit een test op deze manier in elkaar?).
Definitie uitgepakt
- Bedoelde testgebruik
o Meetpreventie: wat denken waar deze test gebruikt kan worden?
- Interpretaties van testscores
o Valide voor specifiek gebruik
- Ondersteund door bewijs en theoretische achtergrond
o Evidential basis of validity evidence
o Consequential basis of validity evidence
Het is een oude gedachte dat er verschillende soorten validiteit bestaan, maar dat is onjuist.
Bij statistici is deze gedachten nog erg aanwezig. In de testwereld is er maar 1 soort
validiteit, maar het bewijs van conclusie komt uit verschillende bronnen. De enige validiteit is
dus constructvaliditeit.
, Evidential Validiteitsbewijs
1. Inhoudsgerelateerd bewijs
a. Relatie inhoud van de test met het construct of domein waarvoor de test
ontworpen is. In hoeverre hangt dat echt samen? Dit is te toetsen tijdens de
testontwikkeling.
b. Opbouw uitleg:
i. Stappen in Testontwikkeling
1. Wat wil je meten?
a. Construct
b. Conceptuele definitie → Operationele definitie
2. Testmatrijs
a. Bijv. komen de symptomen allemaal (evenveel) terug?
b. Bijv. toetst het tentamen alle leerdoelen?
3. Itemontwikkeling
a. verzamelen, schrijven, pilot testen en selecteren
definitieve item; verwijderen niet voldoende items.
ii. Bedreigingen voor inhoudsvaliditeit
1. Construct onderrepresentatie:
a. Test is te nauw; slechts een subdeel testen:
i. Belangrijke aspecten van construct zijn niet
inbegrepen
ii. Bijv. rekentoets: items dekken alleen optellen en
aftrekken
2. Construct-irrelevante test variantie:
a. Factoren ongerelateerd aan construct veroorzaken
variabiliteit. Er wordt meer gemeten dan hetgeen dat je
wil weten.
i. Bijv. rekentoets: leerling moet veel lezen.
1. Verhaaltje zo moeilijk dat je alleen
begrijpend lezen meet.
iii. Inhouds- versus indruksvaliditeit
1. Indruksvaliditeit: in welke mate lijkt de test te meten waar het
voor is ontworpen
a. Niet echt validiteit, behalve dat het de bereidheid om de
test te gebruiken kan beïnvloeden.
i. Hoe graag iemand je test mogelijk wil gebruiken.
Maak een goede eerste impressie.
2. Criteriumgerelateerd bewijs
a. Relatie testscores met scores op andere testen
i. relatie met andere criterium-maten
b. Opbouw uitleg:
i. Drie vormen criteriumgerelateerd bewijs
1. Groepsverschillen:
a. verwachte verschil tussen groepen (ANOVA)
i. test om groepen te onderscheiden
b. Verschil in scores tussen groepen
i. Verwachting dat ze anders zijn, gebaseerd op
theorie
ii. Geen verschillen? Begrip wordt niet goed
gemeten? Of groep niet groot genoeg; of toch
andere populatie?
c. Bijvoorbeeld scores van:
i. BA-studenten versus Ex-gedetineerden op
agressie
En… Mag dit zomaar???
Mag je de items van de PSSS wel bij elkaar optellen tot een totaalscore en er verder
mee rekenen
o Stond centraal in Online College 4: Betrouwbaarheid
Hangt de score op deze subschaal samen met de scores op de andere subschalen
en/of met scores op andere (on)gerelateerde vragenlijsten?
Definitie validiteit
- Meet de test wat het zou moeten meten?
o Ongenuanceerd en niet volledige definitie
- De mate waarin interpretaties van
- testscores (over testscores; een test op zichzelf kan niet/wel valide zijn)
- voor het bedoelde testgebruik (
- ondersteund kunnen worden door
- bewijs en theoretische achtergrond (waarom zit een test op deze manier in elkaar?).
Definitie uitgepakt
- Bedoelde testgebruik
o Meetpreventie: wat denken waar deze test gebruikt kan worden?
- Interpretaties van testscores
o Valide voor specifiek gebruik
- Ondersteund door bewijs en theoretische achtergrond
o Evidential basis of validity evidence
o Consequential basis of validity evidence
Het is een oude gedachte dat er verschillende soorten validiteit bestaan, maar dat is onjuist.
Bij statistici is deze gedachten nog erg aanwezig. In de testwereld is er maar 1 soort
validiteit, maar het bewijs van conclusie komt uit verschillende bronnen. De enige validiteit is
dus constructvaliditeit.
, Evidential Validiteitsbewijs
1. Inhoudsgerelateerd bewijs
a. Relatie inhoud van de test met het construct of domein waarvoor de test
ontworpen is. In hoeverre hangt dat echt samen? Dit is te toetsen tijdens de
testontwikkeling.
b. Opbouw uitleg:
i. Stappen in Testontwikkeling
1. Wat wil je meten?
a. Construct
b. Conceptuele definitie → Operationele definitie
2. Testmatrijs
a. Bijv. komen de symptomen allemaal (evenveel) terug?
b. Bijv. toetst het tentamen alle leerdoelen?
3. Itemontwikkeling
a. verzamelen, schrijven, pilot testen en selecteren
definitieve item; verwijderen niet voldoende items.
ii. Bedreigingen voor inhoudsvaliditeit
1. Construct onderrepresentatie:
a. Test is te nauw; slechts een subdeel testen:
i. Belangrijke aspecten van construct zijn niet
inbegrepen
ii. Bijv. rekentoets: items dekken alleen optellen en
aftrekken
2. Construct-irrelevante test variantie:
a. Factoren ongerelateerd aan construct veroorzaken
variabiliteit. Er wordt meer gemeten dan hetgeen dat je
wil weten.
i. Bijv. rekentoets: leerling moet veel lezen.
1. Verhaaltje zo moeilijk dat je alleen
begrijpend lezen meet.
iii. Inhouds- versus indruksvaliditeit
1. Indruksvaliditeit: in welke mate lijkt de test te meten waar het
voor is ontworpen
a. Niet echt validiteit, behalve dat het de bereidheid om de
test te gebruiken kan beïnvloeden.
i. Hoe graag iemand je test mogelijk wil gebruiken.
Maak een goede eerste impressie.
2. Criteriumgerelateerd bewijs
a. Relatie testscores met scores op andere testen
i. relatie met andere criterium-maten
b. Opbouw uitleg:
i. Drie vormen criteriumgerelateerd bewijs
1. Groepsverschillen:
a. verwachte verschil tussen groepen (ANOVA)
i. test om groepen te onderscheiden
b. Verschil in scores tussen groepen
i. Verwachting dat ze anders zijn, gebaseerd op
theorie
ii. Geen verschillen? Begrip wordt niet goed
gemeten? Of groep niet groot genoeg; of toch
andere populatie?
c. Bijvoorbeeld scores van:
i. BA-studenten versus Ex-gedetineerden op
agressie
