48
Hoofdstuk 8: Validiteit en betekenis
De betrouwbaarheid van een test is een noodzakelijke maar niet een voldoende voorwaarde voor
validiteit.
- ‘noodzakelijk’ alleen een betrouwbare test kan valide zijn.
- ‘niet een voldoende voorwaarde’ een betrouwbare test is niet automatisch valide.
8.1 Het begrip validiteit
Validiteit = de mate waarin de test aan zijn doel beantwoordt.
- Afhankelijk van: doel van de test én context/onderzoeksgroep.
Het proces van het verzamelen van evidentie voor deze rechtvaardiging (die sprong van het
testgedrag naar iets anders verantwoord is) is het valideringsproces, en de mate waarin die
rechtvaardiging is gevonden wordt aangegeven met de term validiteit.
De vraag naar validiteit kan gesteld worden m.b.t. ieder proces van concluderen tot andere dan
waargenomen feiten of gebeurtenissen.
2 mogelijkheden waarbij validiteit wordt gekoppeld aan het doel van testen (doelstellingen):
1. Als voorspeller van ander gedrag
a. Voorspelling is niet beperkt tot toekomst; uitspraak over feiten waarover we geen
directe evidentie hebben; conclusie formuleren o.b.v. kennis van gegeven waarvan
we veronderstellen dat ze met die feiten samenhangen.
i. Predictie = toekomst
ii. Paradictie = heden
iii. Postdictie = verleden
b. Zinvolle operationalisering is nodig om voorspelling kans van slagen te geven.
2. Als operationalisering van een psychologisch begrip
a. Vraag naar capaciteit, ph-trek of attitude die verantwoordelijk geacht mag worden
voor de testscore of testresultaat (hypothetische begrippen)
b. Doel: meting van die begrippen.
c. Geeft informatie over voorspellend vermogen van de test.
Twee hoofdvormen:
1. Predictieve validiteit = criterium; gebeurtenis of gedrag in de toekomst, heden, verleden.
2. Begripsvaliditeit = doel; psychologisch begrip in kaart te brengen (operationaliseren).
8.2 Enkele andere onderscheidingen in validiteit
8.2.1 Vier belangrijke soorten validiteit
Predictive validity In welke mate de voorspellingen gedaan o.b.v. de testprestatie, worden
bevestigd door gegevens of observaties verzameld op een later tijdstip (bijv.
schoolkeuze)
- Temporeel voorspellend
- Alleen over succes waarmee toekomstige criteriumscores kunnen
worden voorspeld.
Concurrent validity Hoezeer testresultaten corresponderen met gelijktijdig beschikbare
criteriumgegevens.
- Verschil met predictive: moment van verzamelen criteriumgegevens.
- Informatief, maar betekenis beperkt wanneer gericht op toekomstig
criterium.
Content validity = inhoudsvaliditeit = een indicatie van de mate waarin test of toets het domein
van mogelijke items representeert (terrein onderwijskundig meten).
- ‘work sample test’: specifieke vaardigheid generaliseren naar algemene
vaardigheid
- Deskundigen representativiteit vd test te beoordelen.
- Lijkt op face validity; subjectieve beoordeling lokt het uit.
, 49
Construct validity Welke psychologische eigenschappen door de test worden gemeten;
hypothetische ‘constructs’; gereflecteerd in test.
3 onderdelen:
1. Uitvinden welke eigenschappen verklaring geven van testprestatie
a. Observatie en logische bestudering
2. Afleden van toetsbare hypothesen uit theorie die ‘construct’ verklaart.
a. Logische operatie
3. Uitvoeren empirisch onderzoek om hypothesen te toetsen.
a. Methodologisch proces
Komt in de buurt van betekenisanalyse; exploratief onderzoek (ander
hoofdstuk).
8.2.2 Andere onderscheidingen in het begrip validiteit
Synthetische validiteit en congruent validity (soortgenootvaliditeit) zijn specifieke varianten van
begripsvaliditeit.
Face validity (indrukvaliditeit) en incrementele (toegevoegde) validiteit zijn verwant aan
begripsvaliditeit.
Synthetische Identificeerbare en op zichzelf zinvolle onderdelen van criterium gedrag
validiteit i.p.v. globaal criterium. Vooral op functie-elementen die een component
kunnen zijn van verschillende functies (i.p.v. functie/taak als geheel).
- Praktische toepassingen van tests in de selectie- en
beroepskeuzepsychologie
- Richting begripsvaliditeit en betekenisanalyse; welk psycho-
fenomeen wordt gemeten.
Congruent validity De mate waarin een test correleert met een andere test waarvan wordt
aangenomen dat die dezelfde eigenschap meet.
- Onderdeel proces begripsvalidering
Face validity Gemeten naar de subjectieve indruk van leer/psycholoog zelf, de relatie
tussen test en criterium/betekenis van test zonder meer duidelijk lijkt.
- Geen empirische ondersteuning nodig.
- Ogenschijnlijke evidentie.
- Soms ‘faith validity’
Incremental validity De verbetering van de voorspelling m.b.v. een test t.o.v. voorspellingen die
kunnen worden gedaan o.b.v. veelal reeds aanwezige informatie.
- Vb: levensloopgeschiedenis en vooropleidingen.
- Aanbeland terrein van predictieve validiteit.
8.3 Predictieve validiteit
Bepaling van predictieve validiteit van een test wordt uitgegaan van een gegeven criterium: hoe goed
valt dit criterium te voorspellen?
- Toekomst, heden of verleden.
Basismodel:
o.b.v. het genoemde empirisch onderzoek in een representatieve steekproef wordt de relatie
onderzocht tussen de testprestaties en de later verzamelde criteriumprestaties.
Voorbeeld:
- Criterium: voorspelling van de prestatie in vervolgonderwijs (Y = AV)
- Predictor: m.b.v. score op de CITO eindtoets basisonderwijs (X = OV)
Bepalen lineaire benadering regressieanalyse (H6; 6.4.1).
Y =a+bX
- a = constante waarde; snijpunt met de Y-as.
- b = richtingscoëfficiënt van de rechte lijn.
Hoofdstuk 8: Validiteit en betekenis
De betrouwbaarheid van een test is een noodzakelijke maar niet een voldoende voorwaarde voor
validiteit.
- ‘noodzakelijk’ alleen een betrouwbare test kan valide zijn.
- ‘niet een voldoende voorwaarde’ een betrouwbare test is niet automatisch valide.
8.1 Het begrip validiteit
Validiteit = de mate waarin de test aan zijn doel beantwoordt.
- Afhankelijk van: doel van de test én context/onderzoeksgroep.
Het proces van het verzamelen van evidentie voor deze rechtvaardiging (die sprong van het
testgedrag naar iets anders verantwoord is) is het valideringsproces, en de mate waarin die
rechtvaardiging is gevonden wordt aangegeven met de term validiteit.
De vraag naar validiteit kan gesteld worden m.b.t. ieder proces van concluderen tot andere dan
waargenomen feiten of gebeurtenissen.
2 mogelijkheden waarbij validiteit wordt gekoppeld aan het doel van testen (doelstellingen):
1. Als voorspeller van ander gedrag
a. Voorspelling is niet beperkt tot toekomst; uitspraak over feiten waarover we geen
directe evidentie hebben; conclusie formuleren o.b.v. kennis van gegeven waarvan
we veronderstellen dat ze met die feiten samenhangen.
i. Predictie = toekomst
ii. Paradictie = heden
iii. Postdictie = verleden
b. Zinvolle operationalisering is nodig om voorspelling kans van slagen te geven.
2. Als operationalisering van een psychologisch begrip
a. Vraag naar capaciteit, ph-trek of attitude die verantwoordelijk geacht mag worden
voor de testscore of testresultaat (hypothetische begrippen)
b. Doel: meting van die begrippen.
c. Geeft informatie over voorspellend vermogen van de test.
Twee hoofdvormen:
1. Predictieve validiteit = criterium; gebeurtenis of gedrag in de toekomst, heden, verleden.
2. Begripsvaliditeit = doel; psychologisch begrip in kaart te brengen (operationaliseren).
8.2 Enkele andere onderscheidingen in validiteit
8.2.1 Vier belangrijke soorten validiteit
Predictive validity In welke mate de voorspellingen gedaan o.b.v. de testprestatie, worden
bevestigd door gegevens of observaties verzameld op een later tijdstip (bijv.
schoolkeuze)
- Temporeel voorspellend
- Alleen over succes waarmee toekomstige criteriumscores kunnen
worden voorspeld.
Concurrent validity Hoezeer testresultaten corresponderen met gelijktijdig beschikbare
criteriumgegevens.
- Verschil met predictive: moment van verzamelen criteriumgegevens.
- Informatief, maar betekenis beperkt wanneer gericht op toekomstig
criterium.
Content validity = inhoudsvaliditeit = een indicatie van de mate waarin test of toets het domein
van mogelijke items representeert (terrein onderwijskundig meten).
- ‘work sample test’: specifieke vaardigheid generaliseren naar algemene
vaardigheid
- Deskundigen representativiteit vd test te beoordelen.
- Lijkt op face validity; subjectieve beoordeling lokt het uit.
, 49
Construct validity Welke psychologische eigenschappen door de test worden gemeten;
hypothetische ‘constructs’; gereflecteerd in test.
3 onderdelen:
1. Uitvinden welke eigenschappen verklaring geven van testprestatie
a. Observatie en logische bestudering
2. Afleden van toetsbare hypothesen uit theorie die ‘construct’ verklaart.
a. Logische operatie
3. Uitvoeren empirisch onderzoek om hypothesen te toetsen.
a. Methodologisch proces
Komt in de buurt van betekenisanalyse; exploratief onderzoek (ander
hoofdstuk).
8.2.2 Andere onderscheidingen in het begrip validiteit
Synthetische validiteit en congruent validity (soortgenootvaliditeit) zijn specifieke varianten van
begripsvaliditeit.
Face validity (indrukvaliditeit) en incrementele (toegevoegde) validiteit zijn verwant aan
begripsvaliditeit.
Synthetische Identificeerbare en op zichzelf zinvolle onderdelen van criterium gedrag
validiteit i.p.v. globaal criterium. Vooral op functie-elementen die een component
kunnen zijn van verschillende functies (i.p.v. functie/taak als geheel).
- Praktische toepassingen van tests in de selectie- en
beroepskeuzepsychologie
- Richting begripsvaliditeit en betekenisanalyse; welk psycho-
fenomeen wordt gemeten.
Congruent validity De mate waarin een test correleert met een andere test waarvan wordt
aangenomen dat die dezelfde eigenschap meet.
- Onderdeel proces begripsvalidering
Face validity Gemeten naar de subjectieve indruk van leer/psycholoog zelf, de relatie
tussen test en criterium/betekenis van test zonder meer duidelijk lijkt.
- Geen empirische ondersteuning nodig.
- Ogenschijnlijke evidentie.
- Soms ‘faith validity’
Incremental validity De verbetering van de voorspelling m.b.v. een test t.o.v. voorspellingen die
kunnen worden gedaan o.b.v. veelal reeds aanwezige informatie.
- Vb: levensloopgeschiedenis en vooropleidingen.
- Aanbeland terrein van predictieve validiteit.
8.3 Predictieve validiteit
Bepaling van predictieve validiteit van een test wordt uitgegaan van een gegeven criterium: hoe goed
valt dit criterium te voorspellen?
- Toekomst, heden of verleden.
Basismodel:
o.b.v. het genoemde empirisch onderzoek in een representatieve steekproef wordt de relatie
onderzocht tussen de testprestaties en de later verzamelde criteriumprestaties.
Voorbeeld:
- Criterium: voorspelling van de prestatie in vervolgonderwijs (Y = AV)
- Predictor: m.b.v. score op de CITO eindtoets basisonderwijs (X = OV)
Bepalen lineaire benadering regressieanalyse (H6; 6.4.1).
Y =a+bX
- a = constante waarde; snijpunt met de Y-as.
- b = richtingscoëfficiënt van de rechte lijn.
