BLOK 4.3 Personnel Selection – Probleem/thema 1
APA. (2018). Principles for the Validation and Use of Personnel Selection Procedures. Society for
Industrial and Organizational Psychology, Inc. (Only pages 9-18; Sources of validity evidence).
Sources of validity evidence
Conclusies op basis van de resultaten van een selectieprocedure moeten op bewijs worden
gebaseerd. Er zijn vijf soorten bewijs die hiervoor gebruikt kunnen worden: (a) relationships between
predictor scores and other variables (e.g., test–criterion relationships), (b) test content, (c) internal
structure of the test, (d) response processes, en (e) consequences of testing. De eerste drie bewijzen
worden hier beschreven.
Evidence of validity based on relationships with measures of other variables
De Principes en Normen zien een construct als het attribuut of kenmerk dat een selectieprocedure
meet. Van relaties tussen variabelen wordt vaak aangenomen dat ze de relaties van hun
onderliggende constructen weerspiegelen. Een voorspeller kan bijvoorbeeld in het algemeen niet
correleren met een criterium tenzij er een conceptueel verband is tussen hun constructen.
Theoretisch niet-gerelateerde constructen kunnen echter empirisch met elkaar correleren als gevolg
van dat (a) de constructen zijn gemeten met dezelfde meetmethode en/of (b) de constructen en/of
meetmethoden die dezelfde vreemde fouten delen.
Criterion-Related Evidence of Validity
Bewijs voor criterium-gerelateerde validiteit bestaat meestal uit het aantonen van een relatie tussen
de scores op een selectieprocedure (voorspeller) en een of meer maten van werkrelevant gedrag of
werkresultaten (criteria). Voorspellers zijn doorgaans gestandaardiseerde procedures: ze zijn
consistent in toediening, scoring en interpretatie. Omdat ze error variance verminderen en de
betrouwbaarheid verhogen, wordt de voorkeur gegeven aan gestandaardiseerde predictor metingen
en criterion metingen.
Feasibility of a criterion-related validation study
De beschikbaarheid van geschikte criterion metingen, de beschikbaarheid en representativiteit van
de onderzoekssteekproef en de toereikendheid van statistische power zijn zeer belangrijk bij het
bepalen van de haalbaarheid van het uitvoeren van een criterium-gerelateerd onderzoek.
Tekortkomingen hierin kunnen een criteriumgebonden validatiestudie aanzienlijk verzwakken.
1. Een relevante, betrouwbare en uncontaminated criteriummaatregel is van cruciaal belang.
Van deze kenmerken is de belangrijkste relevantie.
2. Een competent criteriumgerelateerd validatieonderzoek moet gebaseerd zijn op een
steekproef die redelijk representatief is voor het werkveld en de kandidatenpool.
3. Voorafgaand aan het uitvoeren van het onderzoek moet worden bepaald of een voldoende
grote steekproefomvang kan worden verkregen om aan het gewenste niveau van statistische
power te voldoen.
Design and conduct of criterion-related studies
Als een criterium-gerelateerde strategie haalbaar (feasible) is, wordt vervolgens aandacht besteed
aan de opzet van het onderzoek. Verschillende ontwerpen kunnen worden geïdentificeerd. De
traditionele classificatie van predictive en concurrent criterion-related validity is gebaseerd op de
aan- of afwezigheid van een time lapse tussen het verzamelen van predictor en criterion data. De
arbeidsstatus van de steekproef (incumbents of sollicitanten) kan ook een onderscheid maken tussen
de ontwerpen. In predictive designs worden gegevens over de selectieprocedure doorgaans
verzameld op of rond het tijdstip waarop individuen worden geselecteerd. Na een bepaalde periode
of nadat de prestatieniveaus van werknemers zijn gestabiliseerd, worden criterion gegevens
verzameld. In concurrent designs, worden de voorspellende en criteriumgegevens doorgaans op
, ongeveer dezelfde tijd verzameld. Er zijn echter andere verschillen tussen predictive en concurrent
designs die de interpretatie van de resultaten kunnen beïnvloeden:
− Designs kunnen verschillen m.b.t. de basis voor de selectiebeslissing voor deelnemers in de
onderzoekssteekproef (e.g. random procedure).
− Designs kunnen ook verschillen m.b.t. de steekproefpopulatie.
Het effect van de predictive of concurrent aard van het design op de waargenomen validiteit kan
afhangen van het predictor construct. Voorbeeld: bij cognitieve vaardigheidstesten (die in de loop
van de tijd stabiel zullen zijn) kan verwacht worden dat schattingen van validiteit uit predictive en
concurrent designs vergelijkbaar zullen zijn. Bij non-cognitieve constructen (zoals persoonlijkheid),
kunnen verschillende factoren leiden tot verschillen in validatie-resultaten.
Criterion development
Criteria moeten worden gekozen op basis van werkrelevantie, freedom from contamination en
betrouwbaarheid. Dit houdt in dat de doeleinden van de validatiestudie (a) duidelijk worden
vermeld, (b) ondersteunend zijn voor de behoeften en doeleinden van de organisatie, en (c)
aanvaardbaar in de sociale en juridische context van de organisatie.
- Criterion relevance. Criteria moeten belangrijke organisatorische, team- of individuele
resultaten vertegenwoordigen, zoals werkgerelateerd gedrag, output, attitudes of prestaties in
training, zoals aangegeven door een beoordeling van informatie over het werk. Criteria hoeven
niet allesomvattend te zijn, maar er moet een duidelijke reden zijn om de criteria te koppelen
aan het voorgestelde gebruik van de selectieprocedure. Criteria kunnen metingen zijn van
algemene of taakspecifieke werkprestaties, werkgedrag of werkresultaten.
- Criterion contamination. Een criteriummaatregel is contiminated voor zover deze externe,
systematische variantie omvat. Voorbeelden van mogelijke contaminating factoren zijn onder
meer verschillen in de kwaliteit van machines, raters’ knowledge of predictor scores, job tenure,
enz. Er moeten inspanningen worden geleverd om de effecten ervan te minimaliseren.
- Criterion deficiency. Een criteriummaatregel is onvoldoende (deficient) in de mate waarin het
relevante, systematische variantie uitsluit. Een criterion meting die bedoeld is als meting voor
algehele werkprestatie zou onvoldoende zijn als het niet alle werkgedragingen- of uitkomsten
die belangrijk zijn voor werkprestatie, zou includeren.
- Criterion bias. Criterion bias is een systematische fout als gevolg van criterium contamination of
deficiency die de prestatie van het criterium van verschillende subgroepen op verschillende
manieren kan beïnvloeden.
- Criterion reliability. Criterium metingen moeten voldoende betrouwbaar zijn. Bij het plannen en
uitvoeren van een criterium-gerelateerde validatiestudie, moet men de meetomstandigheden
identificeren (bijv. beoordelaars, items of gelegenheden) waarover men de gewenste
criteriumscores wil generaliseren.
- Ratings as criteria. Een van de meest gebruikte en algemeen geschikte prestatiemetingen zijn
beoordelingen (ratings). Als van beoordelaars (supervisors, collega's, zelf, klanten of anderen)
wordt verwacht dat ze verschillende aspecten van de prestaties evalueren, wordt de
ontwikkeling van rating factoren geleid door een analyse van het werk. Verder moeten
beoordelaars voldoende bekend zijn met de relevante eisen van het werk, evenals met het
individu dat moet worden beoordeeld. Om de prestaties effectief te evalueren en moeten ze
worden getraind in het observeren en evalueren van de werkprestaties.
- Archival data as criteria. Archiveringscriteria kunnen een verscheidenheid aan variabelen
weerspiegelen, zoals omzet, disciplinaire incidenten, verzuim, verkoop, statistieken van
klantenservice of betrokkenheid. Voordat dergelijke archiefgegevens voor analyse worden
gebruikt, moeten extra voorzorgsmaatregelen worden genomen om ervoor te zorgen dat de
gegevens geschikt zijn voor het beoogde gebruik (bijvoorbeeld afgestemd op de werkanalyse,
vrij van contamination en betrouwbaar).
APA. (2018). Principles for the Validation and Use of Personnel Selection Procedures. Society for
Industrial and Organizational Psychology, Inc. (Only pages 9-18; Sources of validity evidence).
Sources of validity evidence
Conclusies op basis van de resultaten van een selectieprocedure moeten op bewijs worden
gebaseerd. Er zijn vijf soorten bewijs die hiervoor gebruikt kunnen worden: (a) relationships between
predictor scores and other variables (e.g., test–criterion relationships), (b) test content, (c) internal
structure of the test, (d) response processes, en (e) consequences of testing. De eerste drie bewijzen
worden hier beschreven.
Evidence of validity based on relationships with measures of other variables
De Principes en Normen zien een construct als het attribuut of kenmerk dat een selectieprocedure
meet. Van relaties tussen variabelen wordt vaak aangenomen dat ze de relaties van hun
onderliggende constructen weerspiegelen. Een voorspeller kan bijvoorbeeld in het algemeen niet
correleren met een criterium tenzij er een conceptueel verband is tussen hun constructen.
Theoretisch niet-gerelateerde constructen kunnen echter empirisch met elkaar correleren als gevolg
van dat (a) de constructen zijn gemeten met dezelfde meetmethode en/of (b) de constructen en/of
meetmethoden die dezelfde vreemde fouten delen.
Criterion-Related Evidence of Validity
Bewijs voor criterium-gerelateerde validiteit bestaat meestal uit het aantonen van een relatie tussen
de scores op een selectieprocedure (voorspeller) en een of meer maten van werkrelevant gedrag of
werkresultaten (criteria). Voorspellers zijn doorgaans gestandaardiseerde procedures: ze zijn
consistent in toediening, scoring en interpretatie. Omdat ze error variance verminderen en de
betrouwbaarheid verhogen, wordt de voorkeur gegeven aan gestandaardiseerde predictor metingen
en criterion metingen.
Feasibility of a criterion-related validation study
De beschikbaarheid van geschikte criterion metingen, de beschikbaarheid en representativiteit van
de onderzoekssteekproef en de toereikendheid van statistische power zijn zeer belangrijk bij het
bepalen van de haalbaarheid van het uitvoeren van een criterium-gerelateerd onderzoek.
Tekortkomingen hierin kunnen een criteriumgebonden validatiestudie aanzienlijk verzwakken.
1. Een relevante, betrouwbare en uncontaminated criteriummaatregel is van cruciaal belang.
Van deze kenmerken is de belangrijkste relevantie.
2. Een competent criteriumgerelateerd validatieonderzoek moet gebaseerd zijn op een
steekproef die redelijk representatief is voor het werkveld en de kandidatenpool.
3. Voorafgaand aan het uitvoeren van het onderzoek moet worden bepaald of een voldoende
grote steekproefomvang kan worden verkregen om aan het gewenste niveau van statistische
power te voldoen.
Design and conduct of criterion-related studies
Als een criterium-gerelateerde strategie haalbaar (feasible) is, wordt vervolgens aandacht besteed
aan de opzet van het onderzoek. Verschillende ontwerpen kunnen worden geïdentificeerd. De
traditionele classificatie van predictive en concurrent criterion-related validity is gebaseerd op de
aan- of afwezigheid van een time lapse tussen het verzamelen van predictor en criterion data. De
arbeidsstatus van de steekproef (incumbents of sollicitanten) kan ook een onderscheid maken tussen
de ontwerpen. In predictive designs worden gegevens over de selectieprocedure doorgaans
verzameld op of rond het tijdstip waarop individuen worden geselecteerd. Na een bepaalde periode
of nadat de prestatieniveaus van werknemers zijn gestabiliseerd, worden criterion gegevens
verzameld. In concurrent designs, worden de voorspellende en criteriumgegevens doorgaans op
, ongeveer dezelfde tijd verzameld. Er zijn echter andere verschillen tussen predictive en concurrent
designs die de interpretatie van de resultaten kunnen beïnvloeden:
− Designs kunnen verschillen m.b.t. de basis voor de selectiebeslissing voor deelnemers in de
onderzoekssteekproef (e.g. random procedure).
− Designs kunnen ook verschillen m.b.t. de steekproefpopulatie.
Het effect van de predictive of concurrent aard van het design op de waargenomen validiteit kan
afhangen van het predictor construct. Voorbeeld: bij cognitieve vaardigheidstesten (die in de loop
van de tijd stabiel zullen zijn) kan verwacht worden dat schattingen van validiteit uit predictive en
concurrent designs vergelijkbaar zullen zijn. Bij non-cognitieve constructen (zoals persoonlijkheid),
kunnen verschillende factoren leiden tot verschillen in validatie-resultaten.
Criterion development
Criteria moeten worden gekozen op basis van werkrelevantie, freedom from contamination en
betrouwbaarheid. Dit houdt in dat de doeleinden van de validatiestudie (a) duidelijk worden
vermeld, (b) ondersteunend zijn voor de behoeften en doeleinden van de organisatie, en (c)
aanvaardbaar in de sociale en juridische context van de organisatie.
- Criterion relevance. Criteria moeten belangrijke organisatorische, team- of individuele
resultaten vertegenwoordigen, zoals werkgerelateerd gedrag, output, attitudes of prestaties in
training, zoals aangegeven door een beoordeling van informatie over het werk. Criteria hoeven
niet allesomvattend te zijn, maar er moet een duidelijke reden zijn om de criteria te koppelen
aan het voorgestelde gebruik van de selectieprocedure. Criteria kunnen metingen zijn van
algemene of taakspecifieke werkprestaties, werkgedrag of werkresultaten.
- Criterion contamination. Een criteriummaatregel is contiminated voor zover deze externe,
systematische variantie omvat. Voorbeelden van mogelijke contaminating factoren zijn onder
meer verschillen in de kwaliteit van machines, raters’ knowledge of predictor scores, job tenure,
enz. Er moeten inspanningen worden geleverd om de effecten ervan te minimaliseren.
- Criterion deficiency. Een criteriummaatregel is onvoldoende (deficient) in de mate waarin het
relevante, systematische variantie uitsluit. Een criterion meting die bedoeld is als meting voor
algehele werkprestatie zou onvoldoende zijn als het niet alle werkgedragingen- of uitkomsten
die belangrijk zijn voor werkprestatie, zou includeren.
- Criterion bias. Criterion bias is een systematische fout als gevolg van criterium contamination of
deficiency die de prestatie van het criterium van verschillende subgroepen op verschillende
manieren kan beïnvloeden.
- Criterion reliability. Criterium metingen moeten voldoende betrouwbaar zijn. Bij het plannen en
uitvoeren van een criterium-gerelateerde validatiestudie, moet men de meetomstandigheden
identificeren (bijv. beoordelaars, items of gelegenheden) waarover men de gewenste
criteriumscores wil generaliseren.
- Ratings as criteria. Een van de meest gebruikte en algemeen geschikte prestatiemetingen zijn
beoordelingen (ratings). Als van beoordelaars (supervisors, collega's, zelf, klanten of anderen)
wordt verwacht dat ze verschillende aspecten van de prestaties evalueren, wordt de
ontwikkeling van rating factoren geleid door een analyse van het werk. Verder moeten
beoordelaars voldoende bekend zijn met de relevante eisen van het werk, evenals met het
individu dat moet worden beoordeeld. Om de prestaties effectief te evalueren en moeten ze
worden getraind in het observeren en evalueren van de werkprestaties.
- Archival data as criteria. Archiveringscriteria kunnen een verscheidenheid aan variabelen
weerspiegelen, zoals omzet, disciplinaire incidenten, verzuim, verkoop, statistieken van
klantenservice of betrokkenheid. Voordat dergelijke archiefgegevens voor analyse worden
gebruikt, moeten extra voorzorgsmaatregelen worden genomen om ervoor te zorgen dat de
gegevens geschikt zijn voor het beoogde gebruik (bijvoorbeeld afgestemd op de werkanalyse,
vrij van contamination en betrouwbaar).
