Psychometrie en besliskunde (PWB2300)
Validiteit (WG6 t/m 9)
Validiteit: wat meet ik? Meet ik het goede? validiteit betreft de geldigheid van uitspraken die op
basis van testresultaten worden gedaan.
Waarom is validiteit belangrijk? Functies van test:
1. Evaluatie (selectie)
2. Diagnose
3. Prognose (predictie)
Inhoudsvaliditeit
Inhoudsvaliditeit (face validity): weerspiegelen de vragen de inhoud. Hierbij gaat het niet om
statistiek, maar om logica. Bijvoorbeeld: de echtgenotentest, kon je met die vragen ook daadwerkelijk
testen of iemand een goede echtgenoot is?
Criteriumvaliditeit
Criteriumvaliditeit: testscores vergelijken met een externe criterium. Nagaan hoe dat wat je meet
zich verhoudt tot een ander extern criterium, dat hetzelfde meet. Bijvoorbeeld: rekenvaardigheid
meten door een rekentoets en door het oordeel van de leerkracht m.b.t. rekenvaardigheid. Of: een
toelatingstoets om schoolgeschiktheid te meten en het behalen van je diploma.
Begripsvaliditeit
Begripsvaliditeit: ruimere inhoud dan criterium validiteit. Je gaat kijken naar correlaties,
groepsverschillen, veranderingen en dimensionaliteitsonderzoek (PCA). Bijvoorbeeld door: correctie
voor attenuatie, multitrait-multimethod validiteit of convergerende vs. divergerende validiteit.
1
,Psychometrie en besliskunde (PWB2300)
Begripsvaliditeit
Begripsvaliditeit: je meet iets en je hoopt dat dat lijkt op iets anders (of zelfs hetzelfde is zoals bij
criterium validiteit). Bij begripsvaliditeit ga je samenhang berekenen.
Criterium- en begripsvaliditeit kunnen worden uitgedrukt door middel van de zogenaamde
validiteitscoëfficiënt ρXY: de correlatie tussen testscores (predictor X) en criteriumscores (Y) of scores
op een andere test (Y).
Convergerende validiteit: samenhang tussen metingen die hetzelfde beogen te meten je hoopt op
hoge correlatie.
Divergerende validiteit (of discriminante validiteit): geen samenhang tussen metingen die iets
anders beogen te meten je hoopt op lage correlatie.
Interpretatie van correlatie: bij de interpretatie van correlaties tussen de schaalscores moet je
rekening houden met de betrouwbaarheid van scores. Meetfouten in de scores correleren namelijk
niet met andere variabelen. De onbetrouwbaarheid van testscores legt beperkingen op aan de
correlatie met andere variabelen: correlaties vallen lager uit. Voor de divergente validiteit is dit gunst,
voor de convergerende validiteit is dit minder gunstig.
Correctie voor attenuatie
De correlatie tussen scores op twee tests (X en Y) wordt aangetast/verzwakt door
meetfouten/onbetrouwbaarheid. Alleen de ware scores (T) correleren met elkaar, hier is de meetfout
(E) er al uit.
De correlatie van ware scores (Ptxty) is gebaseerd op de correlatie tussen de geobserveerde scores (X
en Y), gecorrigeerd voor onbetrouwbaarheid van de meting Correctie voor attenuatie:
ρT T =
X Y
ρ XY
√ ρXX ' ρYY ' waarbij ρXX’ = betrouwbaarheid X en ρYY’ = betrouwbaarheid Y
Per meting kan de correlatie tussen geobserveerde scores en ware scores worden berekend:
ρ XT x = √ ρ XX '
De correlatie tussen de ware (T) en waargenomen (X) score van variabele X is dus gelijk aan de
betrouwbaarheid.
Testscores kunnen niet hoger met een andere variabele correleren dan met de eigen ware scores.
Deze correlatie geeft de bovengrens van de correlatie van de testscore X met een andere variabele Y.
Dus
ρ XY ≤ρ XT x , dus
ρ XY ≤√ ρ XX '
De maximale correlatie tussen twee variabelen is de wortel van de betrouwbaarheid. De bovengrens
is dus √ ρ XX '
Als de correlatie tussen twee scores X en Y wordt bepaald, waarvan alleen voor X de
betrouwbaarheid is bepaald, is de correlatie tussen de scores op Y en de ware scores op X:
ρXY
ρT X Y =
√ ρ XX '
Je kunt voor Y de meetfout niet berekenen, dus kun je links niet de ware score van Y hebben. Daarom
bereken je hiermee de correlatie tussen de ware scores op X (Tx) en de waargenomen scores op Y.
2
, Psychometrie en besliskunde (PWB2300)
Multitrait-multimethod validiteit
Begripsvaliditeit: multitrait-multimethod validiteit: meerdere constructen met meerdere
instrumenten een speciale correlatiematrix van geobserveerde scores van begrippen, verkregen via
diverse methoden (geordend naar trait of methode). Op de diagonaal staan de
betrouwbaarheidsschattingen van de metingen. In een multitrait-multimethod-matrix wordt zowel
gekeken naar de convergerende als divergerende validiteit.
De correlaties tussen metingen van hetzelfde begrippen via diverse methoden moeten voor
convergerende validiteit zo hoog mogelijk zijn!
De correlaties tussen metingen van verschillende begrippen via dezelfde en diverse methoden
moeten zo laag mogelijk zijn.
Zie dia’s voor een voorbeeld!
Gevaren bij interpretatie van testscores
Bias: foutieve interpretatie. Interpretaties van testscores hebben pas betekenis als ze valide zijn. bias
(=systematische vertekening van testscores) tast de validiteit van scores aan Bias door
groepssamenstelling.
Invloed van groepssamenstelling: restriction of range. Door restriction of range lijken correlaties
tussen begrippen lager dan ze bij een heterogene onderzoeksgroep zijn. mensen in homogene
groepen zitten in een vrij smalle spanbreedte, dan krijgt de correlatie geen kans, want voor
samenhang heb je spreiding nodig.
Invloed van groepssamenstelling: gecombineerde groepssamenstelling. Correlaties tussen twee
begrippen kunnen worden vertekend doordat twee groepen bij elkaar zijn gevoegd Voor
gecombineerde groepen is het lastiger om de correlatie te bepalen, hier krijg je snel een vertekend
beeld.
PCA: Principale Componenten Analyse
PCA is een vorm van factor analyse die valt onder begripsvaliditeit. Het doel van PCA is op zinvolle
wijze tot datareductie te komen.
Met één meetinstrument (test of toets) kunnen meerdere dimensies (begrippen) worden gemeten.
Het aantal dimensies in een instrument kan worden bepaald op grond van de correlaties tussen de
items. Andere woorden voor dimensie: factor, component, ongemeten variabele, latent construct of
latente variabele.
Component matrix: laat de item-component correlaties ofwel ladingen (r) zien. Een hoge lading
betekent dat een item goed bij het component past.
Proportie verklaarde variantie (r2): geeft inzicht op de gemeenschappelijkheid/samenhang tussen
twee dingen. In de PCA worden dit ook wel communaliteiten (h2) genoemd. Het zijn de
gekwadrateerde ladingen. Zij geven aan hoeveel van de variantie wordt verklaard door het aantal
componenten dat getrokken is. Interpretatie communlaiteiten is bijvoorbeeld: 57% van de variantie
van de scores op het item kan worden verklaard door de twee dimensies samen. Hiervan wordt 44%
verklaardd oor dimensie 1 en 13% door dimensie 2.
Eigenwaarde van een component: totaal door één component verklaarde hoeveelheid itemvariantie.
Elke dimensie heeft dus een eigenwaarde.
Proportie verklaarde variantie van een component: eigenwaarde van een component gedeeld door
het aantal items (variabelen).
3
Validiteit (WG6 t/m 9)
Validiteit: wat meet ik? Meet ik het goede? validiteit betreft de geldigheid van uitspraken die op
basis van testresultaten worden gedaan.
Waarom is validiteit belangrijk? Functies van test:
1. Evaluatie (selectie)
2. Diagnose
3. Prognose (predictie)
Inhoudsvaliditeit
Inhoudsvaliditeit (face validity): weerspiegelen de vragen de inhoud. Hierbij gaat het niet om
statistiek, maar om logica. Bijvoorbeeld: de echtgenotentest, kon je met die vragen ook daadwerkelijk
testen of iemand een goede echtgenoot is?
Criteriumvaliditeit
Criteriumvaliditeit: testscores vergelijken met een externe criterium. Nagaan hoe dat wat je meet
zich verhoudt tot een ander extern criterium, dat hetzelfde meet. Bijvoorbeeld: rekenvaardigheid
meten door een rekentoets en door het oordeel van de leerkracht m.b.t. rekenvaardigheid. Of: een
toelatingstoets om schoolgeschiktheid te meten en het behalen van je diploma.
Begripsvaliditeit
Begripsvaliditeit: ruimere inhoud dan criterium validiteit. Je gaat kijken naar correlaties,
groepsverschillen, veranderingen en dimensionaliteitsonderzoek (PCA). Bijvoorbeeld door: correctie
voor attenuatie, multitrait-multimethod validiteit of convergerende vs. divergerende validiteit.
1
,Psychometrie en besliskunde (PWB2300)
Begripsvaliditeit
Begripsvaliditeit: je meet iets en je hoopt dat dat lijkt op iets anders (of zelfs hetzelfde is zoals bij
criterium validiteit). Bij begripsvaliditeit ga je samenhang berekenen.
Criterium- en begripsvaliditeit kunnen worden uitgedrukt door middel van de zogenaamde
validiteitscoëfficiënt ρXY: de correlatie tussen testscores (predictor X) en criteriumscores (Y) of scores
op een andere test (Y).
Convergerende validiteit: samenhang tussen metingen die hetzelfde beogen te meten je hoopt op
hoge correlatie.
Divergerende validiteit (of discriminante validiteit): geen samenhang tussen metingen die iets
anders beogen te meten je hoopt op lage correlatie.
Interpretatie van correlatie: bij de interpretatie van correlaties tussen de schaalscores moet je
rekening houden met de betrouwbaarheid van scores. Meetfouten in de scores correleren namelijk
niet met andere variabelen. De onbetrouwbaarheid van testscores legt beperkingen op aan de
correlatie met andere variabelen: correlaties vallen lager uit. Voor de divergente validiteit is dit gunst,
voor de convergerende validiteit is dit minder gunstig.
Correctie voor attenuatie
De correlatie tussen scores op twee tests (X en Y) wordt aangetast/verzwakt door
meetfouten/onbetrouwbaarheid. Alleen de ware scores (T) correleren met elkaar, hier is de meetfout
(E) er al uit.
De correlatie van ware scores (Ptxty) is gebaseerd op de correlatie tussen de geobserveerde scores (X
en Y), gecorrigeerd voor onbetrouwbaarheid van de meting Correctie voor attenuatie:
ρT T =
X Y
ρ XY
√ ρXX ' ρYY ' waarbij ρXX’ = betrouwbaarheid X en ρYY’ = betrouwbaarheid Y
Per meting kan de correlatie tussen geobserveerde scores en ware scores worden berekend:
ρ XT x = √ ρ XX '
De correlatie tussen de ware (T) en waargenomen (X) score van variabele X is dus gelijk aan de
betrouwbaarheid.
Testscores kunnen niet hoger met een andere variabele correleren dan met de eigen ware scores.
Deze correlatie geeft de bovengrens van de correlatie van de testscore X met een andere variabele Y.
Dus
ρ XY ≤ρ XT x , dus
ρ XY ≤√ ρ XX '
De maximale correlatie tussen twee variabelen is de wortel van de betrouwbaarheid. De bovengrens
is dus √ ρ XX '
Als de correlatie tussen twee scores X en Y wordt bepaald, waarvan alleen voor X de
betrouwbaarheid is bepaald, is de correlatie tussen de scores op Y en de ware scores op X:
ρXY
ρT X Y =
√ ρ XX '
Je kunt voor Y de meetfout niet berekenen, dus kun je links niet de ware score van Y hebben. Daarom
bereken je hiermee de correlatie tussen de ware scores op X (Tx) en de waargenomen scores op Y.
2
, Psychometrie en besliskunde (PWB2300)
Multitrait-multimethod validiteit
Begripsvaliditeit: multitrait-multimethod validiteit: meerdere constructen met meerdere
instrumenten een speciale correlatiematrix van geobserveerde scores van begrippen, verkregen via
diverse methoden (geordend naar trait of methode). Op de diagonaal staan de
betrouwbaarheidsschattingen van de metingen. In een multitrait-multimethod-matrix wordt zowel
gekeken naar de convergerende als divergerende validiteit.
De correlaties tussen metingen van hetzelfde begrippen via diverse methoden moeten voor
convergerende validiteit zo hoog mogelijk zijn!
De correlaties tussen metingen van verschillende begrippen via dezelfde en diverse methoden
moeten zo laag mogelijk zijn.
Zie dia’s voor een voorbeeld!
Gevaren bij interpretatie van testscores
Bias: foutieve interpretatie. Interpretaties van testscores hebben pas betekenis als ze valide zijn. bias
(=systematische vertekening van testscores) tast de validiteit van scores aan Bias door
groepssamenstelling.
Invloed van groepssamenstelling: restriction of range. Door restriction of range lijken correlaties
tussen begrippen lager dan ze bij een heterogene onderzoeksgroep zijn. mensen in homogene
groepen zitten in een vrij smalle spanbreedte, dan krijgt de correlatie geen kans, want voor
samenhang heb je spreiding nodig.
Invloed van groepssamenstelling: gecombineerde groepssamenstelling. Correlaties tussen twee
begrippen kunnen worden vertekend doordat twee groepen bij elkaar zijn gevoegd Voor
gecombineerde groepen is het lastiger om de correlatie te bepalen, hier krijg je snel een vertekend
beeld.
PCA: Principale Componenten Analyse
PCA is een vorm van factor analyse die valt onder begripsvaliditeit. Het doel van PCA is op zinvolle
wijze tot datareductie te komen.
Met één meetinstrument (test of toets) kunnen meerdere dimensies (begrippen) worden gemeten.
Het aantal dimensies in een instrument kan worden bepaald op grond van de correlaties tussen de
items. Andere woorden voor dimensie: factor, component, ongemeten variabele, latent construct of
latente variabele.
Component matrix: laat de item-component correlaties ofwel ladingen (r) zien. Een hoge lading
betekent dat een item goed bij het component past.
Proportie verklaarde variantie (r2): geeft inzicht op de gemeenschappelijkheid/samenhang tussen
twee dingen. In de PCA worden dit ook wel communaliteiten (h2) genoemd. Het zijn de
gekwadrateerde ladingen. Zij geven aan hoeveel van de variantie wordt verklaard door het aantal
componenten dat getrokken is. Interpretatie communlaiteiten is bijvoorbeeld: 57% van de variantie
van de scores op het item kan worden verklaard door de twee dimensies samen. Hiervan wordt 44%
verklaardd oor dimensie 1 en 13% door dimensie 2.
Eigenwaarde van een component: totaal door één component verklaarde hoeveelheid itemvariantie.
Elke dimensie heeft dus een eigenwaarde.
Proportie verklaarde variantie van een component: eigenwaarde van een component gedeeld door
het aantal items (variabelen).
3
