Samenvatting Psychometrie & Besliskunde
Samenvatting Psychometrie & Besliskunde
,Thema 1: Testconstructie en testbeoordelingen
Psychologische kenmerken zijn vaak latent: ze zijn niet rechtstreeks waarneembaar. Daarom
worden meerdere manifeste indicatoren, zoals antwoorden op testitems, gebruikt om één
onderliggend construct te meten. Testconstructie verloopt als een cyclus. De globale volgorde is:
kwalitatief onderzoek → dimensies bepalen → items bedenken/formuleren → testafname →
factoranalyse/IRT → betrouwbaarheid → normeren.
Daarbij kunnen drie fasen worden onderscheiden:
• Initiële items: vanuit theorievorming en kwalitatief onderzoek worden de dimensies van het
construct bepaald en worden items geformuleerd.
• Interne structuur verbeteren: na testafname wordt met factoranalyse onderzocht of de
items bij elkaar passen. Vervolgens wordt de betrouwbaarheid onderzocht: zijn er voldoende
geschikte items om betrouwbaar te meten?
• Externe relaties vaststellen: de test wordt verder onderzocht op onder andere
constructvaliditeit, criteriumvaliditeit en test-hertestbetrouwbaarheid/stabiliteit. Hiervoor
worden testscores vergeleken met andere variabelen, methoden of een tweede afname.
Testconstructie is iteratief. Onderzoek naar de interne structuur, externe relaties en stabiliteit kan
aanleiding geven om items, dimensies of de theorie te verbeteren, waarna delen van de cyclus
opnieuw worden doorlopen.
Waarom iteratief?
Omdat uit onderzoek naar validiteit en betrouwbaarheid kan blijken dat de test onvoldoende is.
Dan moeten items worden aangepast of vervangen en moet de test opnieuw worden
onderzocht.
Waarom betrouwbaarheid ná unidimensionaliteit?
Bij het onderzoek naar unidimensionaliteit/validiteit wordt bekeken welke items geschikt zijn.
Daarbij kunnen items worden verwijderd. Betrouwbaarheid wordt vervolgens bepaald voor de
totaalscore van de overgebleven items. Je moet dus eerst weten welke items de nitief in de
test zitten.
Waarom normen als laatste?
Normen hebben alleen betekenis voor de de nitieve versie van de test. Daarom moeten eerst
validiteit en betrouwbaarheid zijn onderzocht en eventuele slechte items zijn verwijderd.
COTAN-beoordelingssysteem
Het Nederlands Instituut van Psychologen (NIP) is de Nederlandse beroepsvereniging van
psychologen en draagt bij aan de professionalisering van het beroep. Het NIP heeft de Algemene
Standaard Testgebruik (AST, 2017) opgesteld met regels voor verantwoord gebruik van
psychologische tests. Binnen het NIP beoordeelt de Commissie Testaangelegenheden
Nederland (COTAN) de kwaliteit van psychologische tests. Hiervoor gebruikt de COTAN een
eigen beoordelingssysteem. De belangrijkste onderwerpen zijn normen, betrouwbaarheid,
begripsvaliditeit en criteriumvaliditeit.
Betekenis van de COTAN-beoordelingen
Een ‘onvoldoende’ kan bij de COTAN twee dingen betekenen:
• Er zijn geen onderzoeksgegevens beschikbaar.
• Er is wel onderzoek gedaan, maar de kwaliteit of resultaten zijn onvoldoende.
De COTAN behandelt beide situaties als onvoldoende, omdat de bewijslast bij de testauteur
ligt. Bijvoorbeeld: als betrouwbaarheid niet is onderzocht, wordt de test als onvoldoende
betrouwbaar beschouwd tot het tegendeel is aangetoond. De toelichting bij de beoordeling
geeft aan waarom een onvoldoende is gegeven.
fi fi
,Een onvoldoende betekent echter niet automatisch dat een test onbruikbaar is. Een
onvoldoende voor normen kan bijvoorbeeld komen door een niet-representatieve normgroep,
terwijl de test met geschikte eigen normen toch bruikbaar kan zijn. Ook kunnen sommige
subschalen onvoldoende betrouwbaar zijn, terwijl andere schalen of de totaalscore wel bruikbaar
zijn. Bovendien kan een test op het ene criterium onvoldoende en op een ander criterium
voldoende of goed scoren.
De eisen hangen ook samen met het gebruiksdoel. Bij tests die worden gebruikt voor belangrijke
individuele beslissingen worden bijvoorbeeld hoge eisen aan betrouwbaarheid gesteld: een
betrouwbaarheid lager dan .80 wordt dan als onvoldoende beoordeeld. Toch kan zo'n test in
combinatie met andere informatie nog nuttig zijn.
Voor een zo objectief en uniform mogelijke beoordeling gebruikt de COTAN grenswaarden,
bijvoorbeeld voor steekproefgroottes en betrouwbaarheidscoë ciënten. Deze grenzen zijn niet
absoluut wetenschappelijk vast te stellen, maar zijn gebaseerd op algemeen geaccepteerde
richtlijnen van deskundigen. Vooral rond een grenswaarde is het verschil tussen bijvoorbeeld
‘onvoldoende’ en ‘voldoende’ daarom enigszins arbitrair. Een onvoldoende is voor een
deskundige testgebruiker vooral een waarschuwingssignaal. Als de test toch wordt gebruikt,
moet expliciet worden beargumenteerd waarom dit verantwoord is. Bij meerdere onvoldoendes is
het advies aan minder deskundige testgebruikers de test niet te gebruiken. Een test is niet
simpelweg ‘goed’ of ‘slecht’. De geschiktheid hangt af van waarvoor de test wordt gebruikt en
welke conclusie uit de testscore wordt getrokken. Een onvoldoende op een bepaald criterium
is vooral problematisch wanneer juist dat criterium noodzakelijk is voor het beoogde gebruik. Een
onvoldoende is daarom een waarschuwingssignaal en betekent niet automatisch dat de hele
test onbruikbaar is.
Beoordelingsprocedure
De COTAN voert een actief beoordelingsbeleid: niet alleen tests die worden aangemeld, maar in
principe alle tests die voldoen aan de criteria voor opname in de Documentatie van Tests en
Testresearch kunnen worden beoordeeld.
De procedure verloopt als volgt:
• Verzamelen van materiaal: de COTAN verzamelt testmateriaal en relevante publicaties, zoals
handleidingen, testboekjes, software en onderzoeksartikelen. Zonder beschikbaar
testmateriaal kan een test niet worden beoordeeld.
• Twee onafhankelijke beoordelaars: het materiaal wordt beoordeeld door twee
onafhankelijk werkende, anonieme deskundigen. Zij worden geselecteerd op expertise en
mogen geen belangencon ict hebben met de betre ende test.
• Consensus: verschillen de beoordelingen, dan proberen de beoordelaars consensus te
bereiken. In uitzonderlijke gevallen wordt een derde beoordelaar ingeschakeld. Principiële
kwesties kunnen binnen de COTAN worden besproken.
• Onderbouwing en feedback: beide beoordelaars onderbouwen hun oordeel. Een senior
editor verwerkt dit tot een geïntegreerde toelichting en eindoordeel.
• Reactie testauteur: de testauteur krijgt de mogelijkheid om op de beoordeling te reageren.
Naar aanleiding daarvan kunnen onderdelen eventueel opnieuw worden beoordeeld.
• Publicatie: na afronding wordt de beoordeling, inclusief toelichting, gepubliceerd in de
Documentatie van Tests en Testresearch.
Herbeoordeling: wanneer nieuwe relevante informatie verschijnt, zoals nieuw onderzoek, een
herziene handleiding of een complete testrevisie, kan een test opnieuw worden beoordeeld.
Daarbij wordt de gehele beoordelingsprocedure opnieuw doorlopen. Sinds de vorige
beoordeling moet minimaal één jaar zijn verstreken.
fl ff ffi
, Hoofdstuk 1: Uitgangspunten van de testconstructie
Een goede testconstructie begint met een grondige voorbereiding. Een test kan worden gebruikt
om verschillen binnen personen, tussen personen of tussen groepen/situaties vast te stellen.
De testauteur moet daarom voldoende informatie geven, zodat een gebruiker kan beoordelen of
de test geschikt is voor het beoogde doel. Bij dit eerste COTAN-criterium wordt alleen
beoordeeld of de uitgangspunten van de test duidelijk en expliciet zijn beschreven. De
kwaliteit van het daadwerkelijke psychometrische onderzoek wordt bij latere criteria beoordeeld.
1.1 Gebruiksdoel van de test
Het gebruiksdoel moet op drie onderdelen duidelijk zijn:
• Construct (meetpretentie): wat beoogt de test te meten? Bijvoorbeeld intelligentie,
leesvaardigheid, prestatiemotivatie, interesse of ADHD. Het construct moet zo duidelijk zijn
gede nieerd dat duidelijk is wat er wel en niet onder valt.
• Doelgroep: voor wie is de test bedoeld? Denk aan leeftijd, opleidingsniveau, beroep,
voorkennis of een normale versus klinische populatie. Hoe breder de test toepasbaar zou zijn,
hoe meer empirische onderbouwing daarvoor nodig is.
• Functie: waarvoor worden de testscores gebruikt? Bijvoorbeeld voorspelling van toekomstig
gedrag, voortgangscontrole, trainingsevaluatie, niveau bepaling of diagnostiek voor een
behandelplan.
Het gebruikersdoel = wat meet je + bij wie + waarvoor?
1.2 Herkomst en de nitie van het construct
De testauteur moet beschrijven waar het constructie-idee vandaan komt en het te meten
construct duidelijk de niëren. Een test kan bijvoorbeeld gebaseerd zijn op een bestaande theorie,
een nieuwe theorie, een traditionele manier van meten of een bewerking van een bestaande/
buitenlandse test. Ook bij bekende begrippen, zoals intelligentie moet duidelijk worden gemaakt
wat de auteur precies onder het construct verstaat. Bij een nieuwe variant van een bestaande test
moet bovendien duidelijk zijn wat de meerwaarde en eventuele verschillen ten opzichte van
bestaande instrumenten zijn.
1.3 Relevantie van de testinhoud
Vervolgens moet de stap worden gemaakt van construct → operationalisatie → items.
De testauteur moet aannemelijk maken dat de gekozen items daadwerkelijk het bedoelde
construct vertegenwoordigen. Het itemdomein moet zo duidelijk zijn omschreven dat kan worden
bepaald welke items wel en niet in de test thuishoren. Als items tijdens de testconstructie worden
verwijderd of gewijzigd, moet worden nagegaan of het oorspronkelijke construct nog steeds
volledig wordt gedekt of dat het inhoudsdomein daardoor is vernauwd of verschoven. Bij
adaptieve tests, waarbij verschillende personen afhankelijk van hun eerdere antwoorden
verschillende items krijgen, moet worden gewaarborgd dat iedere afname het bedoelde
inhoudsdomein voldoende blijft bestrijken.
Inhoudsvaliditeit binnen COTAN: inhoudsvaliditeit heeft geen afzonderlijk COTAN-criterium.
Gegevens en argumenten over de inhoudsvaliditeit worden gezien als onderdeel van het
testontwikkelingsproces en worden daarom beoordeeld bij criterium 1: ‘Uitgangspunten van de
testconstructie’ (COTAN-beoordelingssysteem, p. 38).
COTAN-beoordeling
Voor criterium 1 worden dus drie hoofdvragen gesteld:
1. Is het gebruiksdoel duidelijk? → construct + doelgroep + functie
2. Is het construct duidelijk gede nieerd en theoretisch onderbouwd?
3. Is aannemelijk dat de testinhoud/items het construct goed vertegenwoordigen?
Een belangrijk punt in de beoordeling is dat construct, doelgroep én functie essentieel zijn. Als
één van deze drie onderdelen van het gebruiksdoel onvoldoende is beschreven, krijgt het gehele
criterium ‘Uitgangspunten van de testconstructie’ een onvoldoende.
fi fifi fi
Samenvatting Psychometrie & Besliskunde
,Thema 1: Testconstructie en testbeoordelingen
Psychologische kenmerken zijn vaak latent: ze zijn niet rechtstreeks waarneembaar. Daarom
worden meerdere manifeste indicatoren, zoals antwoorden op testitems, gebruikt om één
onderliggend construct te meten. Testconstructie verloopt als een cyclus. De globale volgorde is:
kwalitatief onderzoek → dimensies bepalen → items bedenken/formuleren → testafname →
factoranalyse/IRT → betrouwbaarheid → normeren.
Daarbij kunnen drie fasen worden onderscheiden:
• Initiële items: vanuit theorievorming en kwalitatief onderzoek worden de dimensies van het
construct bepaald en worden items geformuleerd.
• Interne structuur verbeteren: na testafname wordt met factoranalyse onderzocht of de
items bij elkaar passen. Vervolgens wordt de betrouwbaarheid onderzocht: zijn er voldoende
geschikte items om betrouwbaar te meten?
• Externe relaties vaststellen: de test wordt verder onderzocht op onder andere
constructvaliditeit, criteriumvaliditeit en test-hertestbetrouwbaarheid/stabiliteit. Hiervoor
worden testscores vergeleken met andere variabelen, methoden of een tweede afname.
Testconstructie is iteratief. Onderzoek naar de interne structuur, externe relaties en stabiliteit kan
aanleiding geven om items, dimensies of de theorie te verbeteren, waarna delen van de cyclus
opnieuw worden doorlopen.
Waarom iteratief?
Omdat uit onderzoek naar validiteit en betrouwbaarheid kan blijken dat de test onvoldoende is.
Dan moeten items worden aangepast of vervangen en moet de test opnieuw worden
onderzocht.
Waarom betrouwbaarheid ná unidimensionaliteit?
Bij het onderzoek naar unidimensionaliteit/validiteit wordt bekeken welke items geschikt zijn.
Daarbij kunnen items worden verwijderd. Betrouwbaarheid wordt vervolgens bepaald voor de
totaalscore van de overgebleven items. Je moet dus eerst weten welke items de nitief in de
test zitten.
Waarom normen als laatste?
Normen hebben alleen betekenis voor de de nitieve versie van de test. Daarom moeten eerst
validiteit en betrouwbaarheid zijn onderzocht en eventuele slechte items zijn verwijderd.
COTAN-beoordelingssysteem
Het Nederlands Instituut van Psychologen (NIP) is de Nederlandse beroepsvereniging van
psychologen en draagt bij aan de professionalisering van het beroep. Het NIP heeft de Algemene
Standaard Testgebruik (AST, 2017) opgesteld met regels voor verantwoord gebruik van
psychologische tests. Binnen het NIP beoordeelt de Commissie Testaangelegenheden
Nederland (COTAN) de kwaliteit van psychologische tests. Hiervoor gebruikt de COTAN een
eigen beoordelingssysteem. De belangrijkste onderwerpen zijn normen, betrouwbaarheid,
begripsvaliditeit en criteriumvaliditeit.
Betekenis van de COTAN-beoordelingen
Een ‘onvoldoende’ kan bij de COTAN twee dingen betekenen:
• Er zijn geen onderzoeksgegevens beschikbaar.
• Er is wel onderzoek gedaan, maar de kwaliteit of resultaten zijn onvoldoende.
De COTAN behandelt beide situaties als onvoldoende, omdat de bewijslast bij de testauteur
ligt. Bijvoorbeeld: als betrouwbaarheid niet is onderzocht, wordt de test als onvoldoende
betrouwbaar beschouwd tot het tegendeel is aangetoond. De toelichting bij de beoordeling
geeft aan waarom een onvoldoende is gegeven.
fi fi
,Een onvoldoende betekent echter niet automatisch dat een test onbruikbaar is. Een
onvoldoende voor normen kan bijvoorbeeld komen door een niet-representatieve normgroep,
terwijl de test met geschikte eigen normen toch bruikbaar kan zijn. Ook kunnen sommige
subschalen onvoldoende betrouwbaar zijn, terwijl andere schalen of de totaalscore wel bruikbaar
zijn. Bovendien kan een test op het ene criterium onvoldoende en op een ander criterium
voldoende of goed scoren.
De eisen hangen ook samen met het gebruiksdoel. Bij tests die worden gebruikt voor belangrijke
individuele beslissingen worden bijvoorbeeld hoge eisen aan betrouwbaarheid gesteld: een
betrouwbaarheid lager dan .80 wordt dan als onvoldoende beoordeeld. Toch kan zo'n test in
combinatie met andere informatie nog nuttig zijn.
Voor een zo objectief en uniform mogelijke beoordeling gebruikt de COTAN grenswaarden,
bijvoorbeeld voor steekproefgroottes en betrouwbaarheidscoë ciënten. Deze grenzen zijn niet
absoluut wetenschappelijk vast te stellen, maar zijn gebaseerd op algemeen geaccepteerde
richtlijnen van deskundigen. Vooral rond een grenswaarde is het verschil tussen bijvoorbeeld
‘onvoldoende’ en ‘voldoende’ daarom enigszins arbitrair. Een onvoldoende is voor een
deskundige testgebruiker vooral een waarschuwingssignaal. Als de test toch wordt gebruikt,
moet expliciet worden beargumenteerd waarom dit verantwoord is. Bij meerdere onvoldoendes is
het advies aan minder deskundige testgebruikers de test niet te gebruiken. Een test is niet
simpelweg ‘goed’ of ‘slecht’. De geschiktheid hangt af van waarvoor de test wordt gebruikt en
welke conclusie uit de testscore wordt getrokken. Een onvoldoende op een bepaald criterium
is vooral problematisch wanneer juist dat criterium noodzakelijk is voor het beoogde gebruik. Een
onvoldoende is daarom een waarschuwingssignaal en betekent niet automatisch dat de hele
test onbruikbaar is.
Beoordelingsprocedure
De COTAN voert een actief beoordelingsbeleid: niet alleen tests die worden aangemeld, maar in
principe alle tests die voldoen aan de criteria voor opname in de Documentatie van Tests en
Testresearch kunnen worden beoordeeld.
De procedure verloopt als volgt:
• Verzamelen van materiaal: de COTAN verzamelt testmateriaal en relevante publicaties, zoals
handleidingen, testboekjes, software en onderzoeksartikelen. Zonder beschikbaar
testmateriaal kan een test niet worden beoordeeld.
• Twee onafhankelijke beoordelaars: het materiaal wordt beoordeeld door twee
onafhankelijk werkende, anonieme deskundigen. Zij worden geselecteerd op expertise en
mogen geen belangencon ict hebben met de betre ende test.
• Consensus: verschillen de beoordelingen, dan proberen de beoordelaars consensus te
bereiken. In uitzonderlijke gevallen wordt een derde beoordelaar ingeschakeld. Principiële
kwesties kunnen binnen de COTAN worden besproken.
• Onderbouwing en feedback: beide beoordelaars onderbouwen hun oordeel. Een senior
editor verwerkt dit tot een geïntegreerde toelichting en eindoordeel.
• Reactie testauteur: de testauteur krijgt de mogelijkheid om op de beoordeling te reageren.
Naar aanleiding daarvan kunnen onderdelen eventueel opnieuw worden beoordeeld.
• Publicatie: na afronding wordt de beoordeling, inclusief toelichting, gepubliceerd in de
Documentatie van Tests en Testresearch.
Herbeoordeling: wanneer nieuwe relevante informatie verschijnt, zoals nieuw onderzoek, een
herziene handleiding of een complete testrevisie, kan een test opnieuw worden beoordeeld.
Daarbij wordt de gehele beoordelingsprocedure opnieuw doorlopen. Sinds de vorige
beoordeling moet minimaal één jaar zijn verstreken.
fl ff ffi
, Hoofdstuk 1: Uitgangspunten van de testconstructie
Een goede testconstructie begint met een grondige voorbereiding. Een test kan worden gebruikt
om verschillen binnen personen, tussen personen of tussen groepen/situaties vast te stellen.
De testauteur moet daarom voldoende informatie geven, zodat een gebruiker kan beoordelen of
de test geschikt is voor het beoogde doel. Bij dit eerste COTAN-criterium wordt alleen
beoordeeld of de uitgangspunten van de test duidelijk en expliciet zijn beschreven. De
kwaliteit van het daadwerkelijke psychometrische onderzoek wordt bij latere criteria beoordeeld.
1.1 Gebruiksdoel van de test
Het gebruiksdoel moet op drie onderdelen duidelijk zijn:
• Construct (meetpretentie): wat beoogt de test te meten? Bijvoorbeeld intelligentie,
leesvaardigheid, prestatiemotivatie, interesse of ADHD. Het construct moet zo duidelijk zijn
gede nieerd dat duidelijk is wat er wel en niet onder valt.
• Doelgroep: voor wie is de test bedoeld? Denk aan leeftijd, opleidingsniveau, beroep,
voorkennis of een normale versus klinische populatie. Hoe breder de test toepasbaar zou zijn,
hoe meer empirische onderbouwing daarvoor nodig is.
• Functie: waarvoor worden de testscores gebruikt? Bijvoorbeeld voorspelling van toekomstig
gedrag, voortgangscontrole, trainingsevaluatie, niveau bepaling of diagnostiek voor een
behandelplan.
Het gebruikersdoel = wat meet je + bij wie + waarvoor?
1.2 Herkomst en de nitie van het construct
De testauteur moet beschrijven waar het constructie-idee vandaan komt en het te meten
construct duidelijk de niëren. Een test kan bijvoorbeeld gebaseerd zijn op een bestaande theorie,
een nieuwe theorie, een traditionele manier van meten of een bewerking van een bestaande/
buitenlandse test. Ook bij bekende begrippen, zoals intelligentie moet duidelijk worden gemaakt
wat de auteur precies onder het construct verstaat. Bij een nieuwe variant van een bestaande test
moet bovendien duidelijk zijn wat de meerwaarde en eventuele verschillen ten opzichte van
bestaande instrumenten zijn.
1.3 Relevantie van de testinhoud
Vervolgens moet de stap worden gemaakt van construct → operationalisatie → items.
De testauteur moet aannemelijk maken dat de gekozen items daadwerkelijk het bedoelde
construct vertegenwoordigen. Het itemdomein moet zo duidelijk zijn omschreven dat kan worden
bepaald welke items wel en niet in de test thuishoren. Als items tijdens de testconstructie worden
verwijderd of gewijzigd, moet worden nagegaan of het oorspronkelijke construct nog steeds
volledig wordt gedekt of dat het inhoudsdomein daardoor is vernauwd of verschoven. Bij
adaptieve tests, waarbij verschillende personen afhankelijk van hun eerdere antwoorden
verschillende items krijgen, moet worden gewaarborgd dat iedere afname het bedoelde
inhoudsdomein voldoende blijft bestrijken.
Inhoudsvaliditeit binnen COTAN: inhoudsvaliditeit heeft geen afzonderlijk COTAN-criterium.
Gegevens en argumenten over de inhoudsvaliditeit worden gezien als onderdeel van het
testontwikkelingsproces en worden daarom beoordeeld bij criterium 1: ‘Uitgangspunten van de
testconstructie’ (COTAN-beoordelingssysteem, p. 38).
COTAN-beoordeling
Voor criterium 1 worden dus drie hoofdvragen gesteld:
1. Is het gebruiksdoel duidelijk? → construct + doelgroep + functie
2. Is het construct duidelijk gede nieerd en theoretisch onderbouwd?
3. Is aannemelijk dat de testinhoud/items het construct goed vertegenwoordigen?
Een belangrijk punt in de beoordeling is dat construct, doelgroep én functie essentieel zijn. Als
één van deze drie onderdelen van het gebruiksdoel onvoldoende is beschreven, krijgt het gehele
criterium ‘Uitgangspunten van de testconstructie’ een onvoldoende.
fi fifi fi
