Een groot bedrijf wil de screening van de CVs van kandidaten die solliciteren op vacatures bij het
bedrijf efficiënter maken met behulp van artificiële intelligentie.
(a) Geef aan op welke manier ze hiervoor supervised learning kunnen inzetten. Je hoeft niet in
te gaan op specifieke algoritmes, maar geef wel aan voor welk classificatie
probleem een model getraind kan worden en met behulp van welke data.
Het bedrijf kan een model trainen op een classificatieprobleem: voorspellen of een kandidaat
"geschikt" is voor de functie (of: of de kandidaat moet worden uitgenodigd voor een interview,
ja/nee). Het model wordt getraind op historische, gelabelde data: CV's/sollicitatiedossiers van
vroegere kandidaten, telkens gelabeld met de uitkomst (bv. "aangenomen" vs. "niet aangenomen",
of een functioneringsscore van reeds aangenomen werknemers). Op basis van kenmerken uit het CV
(opleiding, ervaring, vaardigheden) leert het model het verband tussen input en label, en past dit
toe om nieuwe, ongeziene CV's te classificeren.
In welke risicocategorie van de Europese AI Act valt dit AI systeem?
Hoog Risico
(b) Wat zijn daarvan de gevolgen op het gebied van vereisten rond transparantie,
uitlegbaarheid en menselijk toezicht? Noem voor alle drie vereisten telkens één
concrete verplichting.
Transparantie: de aanbieder van het AI-systeem moet aan de gebruiksverantwoordelijke
(het bedrijf) technische documentatie en een gebruiksaanwijzing verstrekken, zodat
deze de werking, mogelijkheden en beperkingen van het systeem begrijpt en correct
kan gebruiken.
Uitlegbaarheid: de afgewezen kandidaat heeft recht op uitleg: hij/zij heeft recht op
"nuttige informatie over de onderliggende logica" van de geautomatiseerde beslissing.
Menselijk toezicht: de persoon belast met het toezicht (bv. de recruiter) moet de output
van het systeem kunnen overrulen of het systeem kunnen stopzetten, en moet zich
bewust blijven van de neiging om te veel te vertrouwen op de aanbeveling van het AI-
systeem (automation bias).
Op welke manier kan automation bias een probleem vormen bij het inzetten van dit AI systeem?
Indien een bedrijf blindelings vertrouwt dat de AI de juiste beslissing maakt, kan het zijn
dat bepaalde bias in model zit en niet opgemerkt wordt. Zo kan het bijvoorbeeld zijn
zoals tijdje geleden bij Amazon dat bepaalde groepen gediscrimineerd worden obv gender
en dat de operator er toch van overtuigt is dat AI-systeem wel juiste beslssing zal maken.
(c) Beschrijf 1 techniek waarmee we dit risico op automation bias kunnen beperken.
Een techniek om dit risico te beperken is calibrated transparency (informative friction): het
systeem toont niet enkel een score of aanbeveling, maar ook een betrouwbaarheidsindicatie,
en signaleert wanneer extra menselijke verificatie vereist is. Zo wordt de recruiter actief uit
het snelle, automatische denken (System 1) gehaald en aangezet tot kritische, reflectieve
evaluatie (System 2), in plaats van de aanbeveling zonder nadenken te volgen.
, Voorbeelden van mogelijke multiple choice vragen (op 14 punten; 0.5 punt per vraag). Het
juiste antwoord wordt met aangeduid.
1. Wat meet de zogenaamde “Turing test” in de context van kunstmatige
intelligentie?
Het vermogen van een machine om menselijke emoties te begrijpen.
Het vermogen van een machine om zelfstandig een motorvoertuig te besturen.
Het vermogen van een machine om een mens te misleiden door zich voor te doen als een ander
mens.
Het vermogen van een machine om objecten in de fysieke wereld te herkennen.
2. Welk van de volgende voorbeelden betreft supervised learning?
Het trainen van een model om muziek te genereren zonder voorafgaande voorbeelden.
Het trainen van een model om te voorspellen wat de volgende stap is in een spel zonder
terugkoppeling.
Het trainen van een model om e-mails te classificeren als spam of niet-spam op basis van
gelabelde voorbeelden.
Het trainen van een model om foto's te verbeteren zonder specifieke richtlijnen.
3. Wat is een “counterfactual explanation”?
Een verklaring voor een individuele AI beslissing in de vorm van: wat moet er
veranderen aan de data, opdat een andere beslissing wordt bekomen
Een voorspelling over wat er zal gebeuren bij nieuwe data Een
beschrijving van de nauwkeurigheid van het model
Een verklaring die de technische architectuur van het model beschrijft
4. Stel dat een bank een AI model gebruikt bij de beslissingen voor het toekennen van
leningen. Van alle 100 mannen die een lening aanvroegen, kregen 50 een lening,
terwijl van alle 50 vrouwen die een lening aangingen er 25 een lening bekwamen. Dit
is eerlijk volgens de volgende metriek:
Demographic parity (demografische gelijkheid)
bedrijf efficiënter maken met behulp van artificiële intelligentie.
(a) Geef aan op welke manier ze hiervoor supervised learning kunnen inzetten. Je hoeft niet in
te gaan op specifieke algoritmes, maar geef wel aan voor welk classificatie
probleem een model getraind kan worden en met behulp van welke data.
Het bedrijf kan een model trainen op een classificatieprobleem: voorspellen of een kandidaat
"geschikt" is voor de functie (of: of de kandidaat moet worden uitgenodigd voor een interview,
ja/nee). Het model wordt getraind op historische, gelabelde data: CV's/sollicitatiedossiers van
vroegere kandidaten, telkens gelabeld met de uitkomst (bv. "aangenomen" vs. "niet aangenomen",
of een functioneringsscore van reeds aangenomen werknemers). Op basis van kenmerken uit het CV
(opleiding, ervaring, vaardigheden) leert het model het verband tussen input en label, en past dit
toe om nieuwe, ongeziene CV's te classificeren.
In welke risicocategorie van de Europese AI Act valt dit AI systeem?
Hoog Risico
(b) Wat zijn daarvan de gevolgen op het gebied van vereisten rond transparantie,
uitlegbaarheid en menselijk toezicht? Noem voor alle drie vereisten telkens één
concrete verplichting.
Transparantie: de aanbieder van het AI-systeem moet aan de gebruiksverantwoordelijke
(het bedrijf) technische documentatie en een gebruiksaanwijzing verstrekken, zodat
deze de werking, mogelijkheden en beperkingen van het systeem begrijpt en correct
kan gebruiken.
Uitlegbaarheid: de afgewezen kandidaat heeft recht op uitleg: hij/zij heeft recht op
"nuttige informatie over de onderliggende logica" van de geautomatiseerde beslissing.
Menselijk toezicht: de persoon belast met het toezicht (bv. de recruiter) moet de output
van het systeem kunnen overrulen of het systeem kunnen stopzetten, en moet zich
bewust blijven van de neiging om te veel te vertrouwen op de aanbeveling van het AI-
systeem (automation bias).
Op welke manier kan automation bias een probleem vormen bij het inzetten van dit AI systeem?
Indien een bedrijf blindelings vertrouwt dat de AI de juiste beslissing maakt, kan het zijn
dat bepaalde bias in model zit en niet opgemerkt wordt. Zo kan het bijvoorbeeld zijn
zoals tijdje geleden bij Amazon dat bepaalde groepen gediscrimineerd worden obv gender
en dat de operator er toch van overtuigt is dat AI-systeem wel juiste beslssing zal maken.
(c) Beschrijf 1 techniek waarmee we dit risico op automation bias kunnen beperken.
Een techniek om dit risico te beperken is calibrated transparency (informative friction): het
systeem toont niet enkel een score of aanbeveling, maar ook een betrouwbaarheidsindicatie,
en signaleert wanneer extra menselijke verificatie vereist is. Zo wordt de recruiter actief uit
het snelle, automatische denken (System 1) gehaald en aangezet tot kritische, reflectieve
evaluatie (System 2), in plaats van de aanbeveling zonder nadenken te volgen.
, Voorbeelden van mogelijke multiple choice vragen (op 14 punten; 0.5 punt per vraag). Het
juiste antwoord wordt met aangeduid.
1. Wat meet de zogenaamde “Turing test” in de context van kunstmatige
intelligentie?
Het vermogen van een machine om menselijke emoties te begrijpen.
Het vermogen van een machine om zelfstandig een motorvoertuig te besturen.
Het vermogen van een machine om een mens te misleiden door zich voor te doen als een ander
mens.
Het vermogen van een machine om objecten in de fysieke wereld te herkennen.
2. Welk van de volgende voorbeelden betreft supervised learning?
Het trainen van een model om muziek te genereren zonder voorafgaande voorbeelden.
Het trainen van een model om te voorspellen wat de volgende stap is in een spel zonder
terugkoppeling.
Het trainen van een model om e-mails te classificeren als spam of niet-spam op basis van
gelabelde voorbeelden.
Het trainen van een model om foto's te verbeteren zonder specifieke richtlijnen.
3. Wat is een “counterfactual explanation”?
Een verklaring voor een individuele AI beslissing in de vorm van: wat moet er
veranderen aan de data, opdat een andere beslissing wordt bekomen
Een voorspelling over wat er zal gebeuren bij nieuwe data Een
beschrijving van de nauwkeurigheid van het model
Een verklaring die de technische architectuur van het model beschrijft
4. Stel dat een bank een AI model gebruikt bij de beslissingen voor het toekennen van
leningen. Van alle 100 mannen die een lening aanvroegen, kregen 50 een lening,
terwijl van alle 50 vrouwen die een lening aangingen er 25 een lening bekwamen. Dit
is eerlijk volgens de volgende metriek:
Demographic parity (demografische gelijkheid)
