vraeMedia en Digitale samenleving
Les 1: ARTIFICIELE INTELLIGENTIE
- Verschillende vormen AI:
- AI = als systeem geslaagd is voor Turing test -> kan niet
zien of beslissingen door mens of machine gemaakt zijn
- ML= technologie -> op basis v data – zelf aanleren
- DL = computationele kracht (op grote schaal) – door
nieuwe gaming chips mogelijk -> kan massief parallel
berekenen
-> bv. Herkenning v foto’s
- Gen AI: LLMs kunnen tekst genereren, maar gen AI ook
nieuwe content (video’s, foto’s)
- AI als wiskundige formule:
-> vb. berekenen prijsstijging brood: gekregen: prijs 2003 & 2023 -> wat is 2013? – wij rekenen
gemiddelde van 2 prijzen
-> werkelijkheid: model niet correct
-> maar mens kan met genoeg data de juiste functie bereiken
-> model van menselijk brein toegepast op AI models:
- Brein -> neuronen geconnecteerd met energiebanen -> krijgen impulsen via
zintuigen – eens aangekomen -> impulsen maken – terug uitsturen naar zintuigen
-> AI -> zelfde redenering met meer structuur (grid)
1. ingezoomd: elke neuroon = wiskundige formule – output evolueert snel
v laag naar hoog – hoge snelheid -> veel verschil in de vormen door chains
-> door som v individuele factors – krijg gewenste functie
2. vullen van parameters: output v elke neuron (apart) -> input = som v output vorige neuronen –
gewichten
-> vb foto herkennen: door zelf input (training) wordt gewicht op elke neuron
telkens wat verplaatst -> correcter en correcter
-> is nodig bv in verkeer – als situatie ziet – correcte herkenning & reactie
belangrijk
- dus je maakt een netwerk, je leert het hoe het moet aanpassen -> juiste functie
-> cool hieraan:
1. You can model very complex functions as we explained
2. The technology generates the shape of the functions itself
1. You don’t need to know what the world looks like => it will tell you
2. This new shape -> teach u correlations (shape - function) -> not aware
1. bc it is out of the box (e.g. Optimisation chemical recipes)
2. Because it is too complex to reason about (e.g. chess)
-> Vroeger ging men met assumpties problemen oplossen – nu kan computer
zelf met redenering oplossen
1
,- LLM’s (large language models): generating tekst – guesses the next word
-> geeft antwoord dat zo hard mogelijk lijkt op wat verwacht wordt
- woord per woord: bekijkt telkens de opties voor volgende woord – woord met meeste kans
op basis v context (=> andere context, andere percentages)
-> zin wordt opgesplitst in TOKENS: (bv. "Unbelievably fantastic!" -> 1. "Un" 2. "believ" 3.
"ably" 4. " fantastic" 5. "!")
- elk woord wordt geplaatst in multi dim. Space met 12’288 dimensies
- elke coordinaat in matrix geplaatst: encoding:
- We encode the words in a multi-dimentional space
- For this we need a lookup matrix V × D, where:
- V = size of vocabulary (e.g., lots of words or tokens)
- D = embedding dimensionality (e.g., 12,288 , for GPT-3)
- relaties tot andere woorden hebben altijd dezelfde afstand:
(vb. man-vrouw = king-queen/ walk-walking = swim-swimming)
-> feed encodings of sentence in matrix (neural net) -> predict next word
- context toevoegen: door Attention – elke token verplaatst -> ++ context
-> bv woord ‘queen’ – verschoven door context ‘drama’
-> zo elke combinatie v zin uniek
- samengevat: 3 stappen:
1. Encode -> tokens
2. Attention gebruiken -> context toevoegen
3. Resultaat gebruiken – volgende woord voorspellen
-> resultaat – ENORM groote matrices – telkens vermenigvuldigd
(vb. 1k woorden: 96×(12×1k×12.2882+10002×12.288) =175’125’823’488k
-> verbruikt heel veel energie – nu ook massief parallel – sneller
maar ook ++ energiegebuik
- Gen AI model:
- training (META): 3 maanden – 24k NVIDIA H100 GPU’s
-> total cost: +- 75 mil euro -> infra / +- 550 MWh / day energie -> +-75k mensen
- running or inference (OpenAI): 30k NVIDIA H100 GPU’s
-> total cost: +- 85 mil euro -> infra / +- 615 MWh / day energy -> +- 110k mensen
Technische challenges
1. accuracy vd algoritmes: herkenning niet altijd correct – kan leiden tot fouten -> kan gevaarlijk zijn
(automatische wagens, chatbot – overtuigde zelfmoord)
2. Energy: overwegen: energiecentrales bijbouwen OF werken met kleinere algoritmes mogelijk
-> systemen energiezuiniger maken zodat ai bv. Op batterij kan werken
3. Distributed intelligence: globaal gedrag gewenst over verschillende modellen – nog werk aan
4. In controle blijven: Nog veel blackbox: wanneer ai agent iets doet maar niet exact weten waarom/
weet niet wat gaat gebeuren als reactie
-> bv. Experiment v 2 modellen die mekaar moesten begeleiden – begonnen zelf taal te
verzinnen – wetenschappers wisten niet waarom bep dingen gebeuren
-> mens moet weten wat geoptimaliseerd wordt -> ai explainability moet beter
5. Irrationeel gedrag: ai wordt getrained op basis v rationeel gedrag v mens – maar mens niet altijd
rationeel -> hoe rationele v irrationele scheiden
2
,Pitfalls:
1. Change management: mens heeft moeilijk met verandering
-> vb auto -> “kan onmogelijk verantwoordelijkh v slim paard naar machine”
2. misgebruik:
- vb. zelfrijdende auto’s – camera’s kunnen gemanipuleerd worden door bep kleuren die
anders niet veel voorkomen -> mens weet niet wat auto zal doen in niet-gekende situatie
- AI foto’s/ video’s v mensen (deepfakes)
3. Vooroordelen vd modellen:
- Levels of bias:
1. Need a representative dataset (reflect population)
- Used data: Facial recognition trained w dataset -> more white males
- Captured data: Potholes in Boston (ai zei dat wegen in rijkere buurten
slechter was – kwam door slechtere gsm’s/ bereik in armere buurten)
2. Dataset accuratly reflects history (continue)
- oneerlijke geschiedenis: bv. Rechters algoritme kans – herval -> blanke
mannen minder kans -> racistische politie
3. Unethical (things that we should never do)
- Models that turn to unethical ends
- bv bank: kans bereken terugbetaling – racistisch -> vraagstuk
- fouten ontwijken door: 1. Divers team dat modellen maakt
2. 2de team voor evaluatie
- How to innovate and keep control: Action points
- Everybody in the team needs to understand a little about AI and have to understand how to
deploy in a way that it is ethical and compliant to law
- Bring someone in who really understands the technology and company USP’s
- Make sure the technology does not depricate the USP’s
- Modeling and Validation
- Use Different type of models
- Validate in a seperate team to completely remove modeler/supervisor bias
- Use validate tools for validation
- Make sure you have a diverse team
- AI knowledge vs domain specific knowledge
- Men vs women
- Mindset
- Background
- Don’t forget that grouping can be implicit (e.g. Large Families in Borgerhout)
- Test current Model and its evolution in time
- Bias
- Performance
- Datasource and population changes
- Use a validation proces
- When last validated
- Model drift dashboards
3
, 4. Angst:
- bv voor automatische wagens (maar maakt gem. minder fouten dan mens)
- conclusie:
- be aware of: imperfections, ethics, energy consumption, misuse, dangers
Les 1: Zelfstudie: AI
1) video: Transformers, the tech behind LLMs https://www.youtube.com/watch?v=wjZofJX0v4M
- GPT: Generative Pre-trained transformer
- transformer: take tekst as starting point -> produce prediction by probability
-> repeats process -> make longer tekst
- input – divided in tokens -> associated w vector (coordinates)
-> vectors then updated by ‘attention’ – supply context in sentece
-> then, vectors go into Multilayer perception (in parallel – each word
separate)
=> repeat
- Deep learning: use data to create new -> instead of using code – use tunable parameters to get output
(example parameters: graph with certain coordinates – what is linear regression -> 2 parameters: slope
& y-intercept)
-> dl uses backpropagation to learn -> uses spec format (pile of matrices – tensor)
-> parameters: ‘weights’ put into matrices -> ends in outputs
-> ex. GPT3: 175B weights -> organised into 27k matrices
-> weights = what is learned into the model
-> data= what is in input
- embedding matrix: predefined vectors per word/ token
2) Recommendation on the Ethics of Artificial Intelligence – UNESCO
II. AIMS AND OBJECTIVES (p. 13-16)
- objectives of recommendations for AI legislation:
1. Universal framework (values, principles and actions) -> guide for lesiglation, policies
or other instruments regarding AI
2. Ensure embedding of ethics in all stages -> AI lifecycle
3. Protect, promote and respect human rights & freedoms; preserve environment,
biodiversity and ecosystems
4. Have multi-stakeholder, multidisciplinary & pluralistic dialogue & consensus ->
ethical issues AI
5. Promote equitable acces -> developments & knowledge + sharing of benefits
4
Les 1: ARTIFICIELE INTELLIGENTIE
- Verschillende vormen AI:
- AI = als systeem geslaagd is voor Turing test -> kan niet
zien of beslissingen door mens of machine gemaakt zijn
- ML= technologie -> op basis v data – zelf aanleren
- DL = computationele kracht (op grote schaal) – door
nieuwe gaming chips mogelijk -> kan massief parallel
berekenen
-> bv. Herkenning v foto’s
- Gen AI: LLMs kunnen tekst genereren, maar gen AI ook
nieuwe content (video’s, foto’s)
- AI als wiskundige formule:
-> vb. berekenen prijsstijging brood: gekregen: prijs 2003 & 2023 -> wat is 2013? – wij rekenen
gemiddelde van 2 prijzen
-> werkelijkheid: model niet correct
-> maar mens kan met genoeg data de juiste functie bereiken
-> model van menselijk brein toegepast op AI models:
- Brein -> neuronen geconnecteerd met energiebanen -> krijgen impulsen via
zintuigen – eens aangekomen -> impulsen maken – terug uitsturen naar zintuigen
-> AI -> zelfde redenering met meer structuur (grid)
1. ingezoomd: elke neuroon = wiskundige formule – output evolueert snel
v laag naar hoog – hoge snelheid -> veel verschil in de vormen door chains
-> door som v individuele factors – krijg gewenste functie
2. vullen van parameters: output v elke neuron (apart) -> input = som v output vorige neuronen –
gewichten
-> vb foto herkennen: door zelf input (training) wordt gewicht op elke neuron
telkens wat verplaatst -> correcter en correcter
-> is nodig bv in verkeer – als situatie ziet – correcte herkenning & reactie
belangrijk
- dus je maakt een netwerk, je leert het hoe het moet aanpassen -> juiste functie
-> cool hieraan:
1. You can model very complex functions as we explained
2. The technology generates the shape of the functions itself
1. You don’t need to know what the world looks like => it will tell you
2. This new shape -> teach u correlations (shape - function) -> not aware
1. bc it is out of the box (e.g. Optimisation chemical recipes)
2. Because it is too complex to reason about (e.g. chess)
-> Vroeger ging men met assumpties problemen oplossen – nu kan computer
zelf met redenering oplossen
1
,- LLM’s (large language models): generating tekst – guesses the next word
-> geeft antwoord dat zo hard mogelijk lijkt op wat verwacht wordt
- woord per woord: bekijkt telkens de opties voor volgende woord – woord met meeste kans
op basis v context (=> andere context, andere percentages)
-> zin wordt opgesplitst in TOKENS: (bv. "Unbelievably fantastic!" -> 1. "Un" 2. "believ" 3.
"ably" 4. " fantastic" 5. "!")
- elk woord wordt geplaatst in multi dim. Space met 12’288 dimensies
- elke coordinaat in matrix geplaatst: encoding:
- We encode the words in a multi-dimentional space
- For this we need a lookup matrix V × D, where:
- V = size of vocabulary (e.g., lots of words or tokens)
- D = embedding dimensionality (e.g., 12,288 , for GPT-3)
- relaties tot andere woorden hebben altijd dezelfde afstand:
(vb. man-vrouw = king-queen/ walk-walking = swim-swimming)
-> feed encodings of sentence in matrix (neural net) -> predict next word
- context toevoegen: door Attention – elke token verplaatst -> ++ context
-> bv woord ‘queen’ – verschoven door context ‘drama’
-> zo elke combinatie v zin uniek
- samengevat: 3 stappen:
1. Encode -> tokens
2. Attention gebruiken -> context toevoegen
3. Resultaat gebruiken – volgende woord voorspellen
-> resultaat – ENORM groote matrices – telkens vermenigvuldigd
(vb. 1k woorden: 96×(12×1k×12.2882+10002×12.288) =175’125’823’488k
-> verbruikt heel veel energie – nu ook massief parallel – sneller
maar ook ++ energiegebuik
- Gen AI model:
- training (META): 3 maanden – 24k NVIDIA H100 GPU’s
-> total cost: +- 75 mil euro -> infra / +- 550 MWh / day energie -> +-75k mensen
- running or inference (OpenAI): 30k NVIDIA H100 GPU’s
-> total cost: +- 85 mil euro -> infra / +- 615 MWh / day energy -> +- 110k mensen
Technische challenges
1. accuracy vd algoritmes: herkenning niet altijd correct – kan leiden tot fouten -> kan gevaarlijk zijn
(automatische wagens, chatbot – overtuigde zelfmoord)
2. Energy: overwegen: energiecentrales bijbouwen OF werken met kleinere algoritmes mogelijk
-> systemen energiezuiniger maken zodat ai bv. Op batterij kan werken
3. Distributed intelligence: globaal gedrag gewenst over verschillende modellen – nog werk aan
4. In controle blijven: Nog veel blackbox: wanneer ai agent iets doet maar niet exact weten waarom/
weet niet wat gaat gebeuren als reactie
-> bv. Experiment v 2 modellen die mekaar moesten begeleiden – begonnen zelf taal te
verzinnen – wetenschappers wisten niet waarom bep dingen gebeuren
-> mens moet weten wat geoptimaliseerd wordt -> ai explainability moet beter
5. Irrationeel gedrag: ai wordt getrained op basis v rationeel gedrag v mens – maar mens niet altijd
rationeel -> hoe rationele v irrationele scheiden
2
,Pitfalls:
1. Change management: mens heeft moeilijk met verandering
-> vb auto -> “kan onmogelijk verantwoordelijkh v slim paard naar machine”
2. misgebruik:
- vb. zelfrijdende auto’s – camera’s kunnen gemanipuleerd worden door bep kleuren die
anders niet veel voorkomen -> mens weet niet wat auto zal doen in niet-gekende situatie
- AI foto’s/ video’s v mensen (deepfakes)
3. Vooroordelen vd modellen:
- Levels of bias:
1. Need a representative dataset (reflect population)
- Used data: Facial recognition trained w dataset -> more white males
- Captured data: Potholes in Boston (ai zei dat wegen in rijkere buurten
slechter was – kwam door slechtere gsm’s/ bereik in armere buurten)
2. Dataset accuratly reflects history (continue)
- oneerlijke geschiedenis: bv. Rechters algoritme kans – herval -> blanke
mannen minder kans -> racistische politie
3. Unethical (things that we should never do)
- Models that turn to unethical ends
- bv bank: kans bereken terugbetaling – racistisch -> vraagstuk
- fouten ontwijken door: 1. Divers team dat modellen maakt
2. 2de team voor evaluatie
- How to innovate and keep control: Action points
- Everybody in the team needs to understand a little about AI and have to understand how to
deploy in a way that it is ethical and compliant to law
- Bring someone in who really understands the technology and company USP’s
- Make sure the technology does not depricate the USP’s
- Modeling and Validation
- Use Different type of models
- Validate in a seperate team to completely remove modeler/supervisor bias
- Use validate tools for validation
- Make sure you have a diverse team
- AI knowledge vs domain specific knowledge
- Men vs women
- Mindset
- Background
- Don’t forget that grouping can be implicit (e.g. Large Families in Borgerhout)
- Test current Model and its evolution in time
- Bias
- Performance
- Datasource and population changes
- Use a validation proces
- When last validated
- Model drift dashboards
3
, 4. Angst:
- bv voor automatische wagens (maar maakt gem. minder fouten dan mens)
- conclusie:
- be aware of: imperfections, ethics, energy consumption, misuse, dangers
Les 1: Zelfstudie: AI
1) video: Transformers, the tech behind LLMs https://www.youtube.com/watch?v=wjZofJX0v4M
- GPT: Generative Pre-trained transformer
- transformer: take tekst as starting point -> produce prediction by probability
-> repeats process -> make longer tekst
- input – divided in tokens -> associated w vector (coordinates)
-> vectors then updated by ‘attention’ – supply context in sentece
-> then, vectors go into Multilayer perception (in parallel – each word
separate)
=> repeat
- Deep learning: use data to create new -> instead of using code – use tunable parameters to get output
(example parameters: graph with certain coordinates – what is linear regression -> 2 parameters: slope
& y-intercept)
-> dl uses backpropagation to learn -> uses spec format (pile of matrices – tensor)
-> parameters: ‘weights’ put into matrices -> ends in outputs
-> ex. GPT3: 175B weights -> organised into 27k matrices
-> weights = what is learned into the model
-> data= what is in input
- embedding matrix: predefined vectors per word/ token
2) Recommendation on the Ethics of Artificial Intelligence – UNESCO
II. AIMS AND OBJECTIVES (p. 13-16)
- objectives of recommendations for AI legislation:
1. Universal framework (values, principles and actions) -> guide for lesiglation, policies
or other instruments regarding AI
2. Ensure embedding of ethics in all stages -> AI lifecycle
3. Protect, promote and respect human rights & freedoms; preserve environment,
biodiversity and ecosystems
4. Have multi-stakeholder, multidisciplinary & pluralistic dialogue & consensus ->
ethical issues AI
5. Promote equitable acces -> developments & knowledge + sharing of benefits
4
