BLOK 4.3 Personnel Selection – Probleem/thema 2
APA. (2018). Principles for the Validation and Use of Personnel Selection Procedures. Society for
Industrial and Organizational Psychology, Inc. Blz 22-24
Fairness and bias
Fairness
Fairness is eerder een sociaal concept dan een psychometrisch concept. Het heeft geen specifieke
betekenis. De Standards noemen een aantal mogelijke betekenissen van fairness:
1. Fairness wordt gezien als gelijke groepsuitkomsten (e.g. gelijke passing rates voor
subgroepen. De Standards hebben deze definitie afgewezen en zeggen dat hoewel
groepsverschillen mogelijk bias triggeren, uitkomstverschillen geen bias indiceren.
2. Gelijkheid in de behandeling van alle examinees tijdens het selectieproces. Denk hierbij aan
gelijke behandeling in termen van testcondities, toegang tot materiaal, prestatiefeedback,
herkansingsmogelijkheden etc.
3. Examinees hebben vergelijkbare toegang tot de constructen die gemeten worden door de
selectieprocedure.
4. Fairness is gebrek aan bias.
Samengevat zijn er meerdere perspectieven over fairness. Men is het erover eens dat problemen
met gelijke behandeling, toegang, bias en kritisch kijken naar mogelijke bias bij subgroepverschillen,
belangrijke zaken zijn bij personeelsselectie. De meeste organisaties streven naar een divers en
inclusief werkveld en gelijke behandeling voor minderheidsgroepen. Er is echter geen
overeenstemming dat de term fairness in termen van een van deze issues kan worden gedefinieerd.
Bias
Bias verwijst naar systematische fouten in een test dat invloed heeft op de prestatie van
verschillende groepen. Soorten bias:
Measurement bias: Measurement bias verwijst naar bronnen van irrelevante variantie die
resulteren in systematisch hogere of lagere scores voor leden van bepaalde groepen.
Predictive bias: het effect van irrelevante variantiebronnen op predictor-criterion relaties,
zodat de slopes of intercepts van een regressielijn verschillen tussen groepen.
Predictive bias
Predictive bias wordt gevonden wanneer voor een bepaalde subgroep steeds systematic nonzero
errors or prediction worden gemaakt voor leden van de subgroep. Een andere term hiervoor is
differential prediction. Testen voor predictieve bias omvat het gebruik van moderated simple
regression, waarbij de criterion meting regressed is op de predictor score, subgroep membership en
een interactie tussen deze twee. Slope en/of intercept verschillen tussen subgroepen geven
predictieve bias aan. Predictieve bias is voornamelijk onderzocht in het cognitieve domein in de VS,
bij vergelijkingen tussen White-African Americans en White-Hispanics.
Er bestaan een aantal technische zorgen over de analyse van predictieve bias:
1. Wanneer selectie uitgevoerd wordt door het gebruiken van de composietscore van meerdere
tests, dat moeten analyses naar predictieve bias ook dit composiet gebruiken.
2. Predictive bias vereist een unbiased criterion. Vertrouwen in de criterion meting is een
voorwaarde.
3. Probleem met statistische power om verschillen in de slopes en intercepts te detecteren:
kleine steekproeven, ongelijke steekproeven, range restriction en onbetrouwbaarheid en de
predictor zijn factoren die kunnen bijdragen aan een lage power.
4. Assumptie van homogeniteit van de errorvarianties: alternatieve testen krijgen de voorkeur
als deze assumptie wordt geschonden.
, 5. Gebruiken van een unbiased schatting van het intercept verschil en operationele
validiteitsparameters i.p.v. geobserveerde parameters.
Subgroep verschillen en predictieve bias kunnen onafhankelijk van elkaar bestaan.
Measurement bias
Measurement bias verwijst naar bronnen van irrelevante variantie die resulteren in systematisch
hogere of lagere scores voor leden van bepaalde groepen. Dit is een zorg voor zowel predictors als
criteria. Bepalen of measurement bias aanwezig is is vaak lastig, omdat een geobserveerde score
vergeleken moet worden met een true score.
Om measurement bias in het domein van multi-item selectieprocedures te onderzoeken, kan een
differential item functioning (DIF) analyse uitgevoerd worden. DIF verwijst naar analyses die items
identificeren waarvoor leden van verschillende groepen met identieke totale testscores (of identieke
geschatte true scores) verschillende itemprestatie hebben.
Deze analyses vereisten steekproeven van voldoende grote om stabiele resultaten te
produceren.
Empirisch onderzoek in domeinen waar DIF analyses vaak gebruikt worden hebben zelden
grote en repliceerbare DIF effecten gevonden.
DIF bevindingen moeten voorzichtig worden bekeken.
DIF analyses zijn geen routine of verwacht onderdeel van de selectie producedure
ontwikkeling en validatieprocessen in werkomgevingen, maar professionals kunnen er wel
naar kijken wanneer de datasets geschikt zijn voor de analyse.
Chander, A. (2017). The racist algorithm? 115 Michigan Law Review,1023-1046.
Waar gaat het artikel over?
In het artikel wordt ingegaan op het probleem met algoritmen. Pasquale stelde in een boek dat
algoritmen discrimineren. Dit zou komen door de data die wij mensen in de computer (i.e. het
algoritme) stoppen. Algoritmen worden daarom vergeleken met een black box (i.e. waar alle data
van de wereld in wordt opgeslagen). Pasquale stelde hiermee dat de algoritmen discrimineren
omdat mensen het algoritme opbouwen en er dus discriminerende (historische) data in stoppen.
Echter, Chander zegt dat het probleem niet per se komt doordat we leven in een ‘black box
maatschappij’ (i.e. dus dat er niet gewezen moet worden naar de input van het algoritme), maar dat
het probleem zit in het algoritmische besluitvormingsproces.
“Thus, the problem is not the black box, which is often more neutral than the human decisionmaker it
replaces, but the real world on which it operates.” (blz. 1025; Chander, 2017)
Oftewel, hoe wij omgaan met de resultaten die het algoritme geeft moet anders. We moeten niet
denken dat alles wat een algoritme zegt de absolute waarheid is, omdat het gebaseerd is op een
wereld vol met vroegere en huidige discriminatie. Chander stelt: we moeten onze algoritmen
ontwerpen voor een wereld die doordrenkt is met de ‘erfenis van vroegere discriminatie en de
realiteit van huidige discriminatie’.
(Ik heb het idee dat het artikel zegt dat veel organisaties algoritmen toepassen welke
minderheidsgroepen discrimineren i.e. minorities worden op basis van de algoritmen negatief
benadeeld, omdat algoritmen steeds zoeken naar patronen (i.e. iets waarin de meeste mensen
overeenkomen bij het voorspellen van iets) (e.g. er worden zelfs algoritmen gebruikt om te kijken
welke ‘Hot people’ eerder geneigd zullen zijn om een misdaad te plegen)).
De auteur zegt dat het discriminatie probleem niet komt door wat we in het algoritme stoppen, maar
wat we met de resultaten van het algoritme doen (e.g. mensen die op facebook veel vrienden
hebben die schulden hebben, zullen minder snel een lening krijgen). Om het probleem om te lossen
moeten we dus wat doen met de besluitvorming op basis van de algoritmen (e.g. ervoor zorgen dat
APA. (2018). Principles for the Validation and Use of Personnel Selection Procedures. Society for
Industrial and Organizational Psychology, Inc. Blz 22-24
Fairness and bias
Fairness
Fairness is eerder een sociaal concept dan een psychometrisch concept. Het heeft geen specifieke
betekenis. De Standards noemen een aantal mogelijke betekenissen van fairness:
1. Fairness wordt gezien als gelijke groepsuitkomsten (e.g. gelijke passing rates voor
subgroepen. De Standards hebben deze definitie afgewezen en zeggen dat hoewel
groepsverschillen mogelijk bias triggeren, uitkomstverschillen geen bias indiceren.
2. Gelijkheid in de behandeling van alle examinees tijdens het selectieproces. Denk hierbij aan
gelijke behandeling in termen van testcondities, toegang tot materiaal, prestatiefeedback,
herkansingsmogelijkheden etc.
3. Examinees hebben vergelijkbare toegang tot de constructen die gemeten worden door de
selectieprocedure.
4. Fairness is gebrek aan bias.
Samengevat zijn er meerdere perspectieven over fairness. Men is het erover eens dat problemen
met gelijke behandeling, toegang, bias en kritisch kijken naar mogelijke bias bij subgroepverschillen,
belangrijke zaken zijn bij personeelsselectie. De meeste organisaties streven naar een divers en
inclusief werkveld en gelijke behandeling voor minderheidsgroepen. Er is echter geen
overeenstemming dat de term fairness in termen van een van deze issues kan worden gedefinieerd.
Bias
Bias verwijst naar systematische fouten in een test dat invloed heeft op de prestatie van
verschillende groepen. Soorten bias:
Measurement bias: Measurement bias verwijst naar bronnen van irrelevante variantie die
resulteren in systematisch hogere of lagere scores voor leden van bepaalde groepen.
Predictive bias: het effect van irrelevante variantiebronnen op predictor-criterion relaties,
zodat de slopes of intercepts van een regressielijn verschillen tussen groepen.
Predictive bias
Predictive bias wordt gevonden wanneer voor een bepaalde subgroep steeds systematic nonzero
errors or prediction worden gemaakt voor leden van de subgroep. Een andere term hiervoor is
differential prediction. Testen voor predictieve bias omvat het gebruik van moderated simple
regression, waarbij de criterion meting regressed is op de predictor score, subgroep membership en
een interactie tussen deze twee. Slope en/of intercept verschillen tussen subgroepen geven
predictieve bias aan. Predictieve bias is voornamelijk onderzocht in het cognitieve domein in de VS,
bij vergelijkingen tussen White-African Americans en White-Hispanics.
Er bestaan een aantal technische zorgen over de analyse van predictieve bias:
1. Wanneer selectie uitgevoerd wordt door het gebruiken van de composietscore van meerdere
tests, dat moeten analyses naar predictieve bias ook dit composiet gebruiken.
2. Predictive bias vereist een unbiased criterion. Vertrouwen in de criterion meting is een
voorwaarde.
3. Probleem met statistische power om verschillen in de slopes en intercepts te detecteren:
kleine steekproeven, ongelijke steekproeven, range restriction en onbetrouwbaarheid en de
predictor zijn factoren die kunnen bijdragen aan een lage power.
4. Assumptie van homogeniteit van de errorvarianties: alternatieve testen krijgen de voorkeur
als deze assumptie wordt geschonden.
, 5. Gebruiken van een unbiased schatting van het intercept verschil en operationele
validiteitsparameters i.p.v. geobserveerde parameters.
Subgroep verschillen en predictieve bias kunnen onafhankelijk van elkaar bestaan.
Measurement bias
Measurement bias verwijst naar bronnen van irrelevante variantie die resulteren in systematisch
hogere of lagere scores voor leden van bepaalde groepen. Dit is een zorg voor zowel predictors als
criteria. Bepalen of measurement bias aanwezig is is vaak lastig, omdat een geobserveerde score
vergeleken moet worden met een true score.
Om measurement bias in het domein van multi-item selectieprocedures te onderzoeken, kan een
differential item functioning (DIF) analyse uitgevoerd worden. DIF verwijst naar analyses die items
identificeren waarvoor leden van verschillende groepen met identieke totale testscores (of identieke
geschatte true scores) verschillende itemprestatie hebben.
Deze analyses vereisten steekproeven van voldoende grote om stabiele resultaten te
produceren.
Empirisch onderzoek in domeinen waar DIF analyses vaak gebruikt worden hebben zelden
grote en repliceerbare DIF effecten gevonden.
DIF bevindingen moeten voorzichtig worden bekeken.
DIF analyses zijn geen routine of verwacht onderdeel van de selectie producedure
ontwikkeling en validatieprocessen in werkomgevingen, maar professionals kunnen er wel
naar kijken wanneer de datasets geschikt zijn voor de analyse.
Chander, A. (2017). The racist algorithm? 115 Michigan Law Review,1023-1046.
Waar gaat het artikel over?
In het artikel wordt ingegaan op het probleem met algoritmen. Pasquale stelde in een boek dat
algoritmen discrimineren. Dit zou komen door de data die wij mensen in de computer (i.e. het
algoritme) stoppen. Algoritmen worden daarom vergeleken met een black box (i.e. waar alle data
van de wereld in wordt opgeslagen). Pasquale stelde hiermee dat de algoritmen discrimineren
omdat mensen het algoritme opbouwen en er dus discriminerende (historische) data in stoppen.
Echter, Chander zegt dat het probleem niet per se komt doordat we leven in een ‘black box
maatschappij’ (i.e. dus dat er niet gewezen moet worden naar de input van het algoritme), maar dat
het probleem zit in het algoritmische besluitvormingsproces.
“Thus, the problem is not the black box, which is often more neutral than the human decisionmaker it
replaces, but the real world on which it operates.” (blz. 1025; Chander, 2017)
Oftewel, hoe wij omgaan met de resultaten die het algoritme geeft moet anders. We moeten niet
denken dat alles wat een algoritme zegt de absolute waarheid is, omdat het gebaseerd is op een
wereld vol met vroegere en huidige discriminatie. Chander stelt: we moeten onze algoritmen
ontwerpen voor een wereld die doordrenkt is met de ‘erfenis van vroegere discriminatie en de
realiteit van huidige discriminatie’.
(Ik heb het idee dat het artikel zegt dat veel organisaties algoritmen toepassen welke
minderheidsgroepen discrimineren i.e. minorities worden op basis van de algoritmen negatief
benadeeld, omdat algoritmen steeds zoeken naar patronen (i.e. iets waarin de meeste mensen
overeenkomen bij het voorspellen van iets) (e.g. er worden zelfs algoritmen gebruikt om te kijken
welke ‘Hot people’ eerder geneigd zullen zijn om een misdaad te plegen)).
De auteur zegt dat het discriminatie probleem niet komt door wat we in het algoritme stoppen, maar
wat we met de resultaten van het algoritme doen (e.g. mensen die op facebook veel vrienden
hebben die schulden hebben, zullen minder snel een lening krijgen). Om het probleem om te lossen
moeten we dus wat doen met de besluitvorming op basis van de algoritmen (e.g. ervoor zorgen dat
