MEDIA EN DIGITALE SAMENLEVING, Q&A LES 1
LLM/TAALMODELLEN EN AI MODELLEN
1. Begrijpt een LLM wat die zegt?
Nee, het lijkt heel aannemelijk die redenering desondanks dat er geen begrip inzit.
2. Waar zitten de verschillen in de ai modellen, en waarom zijn er
verschillende? Bv chatGPT en gemine?
In de kern zijn ze allemaal zeer gelijkaardig omdat ze gebaseerd zijn op dezelfde
architectuur. De grootste doorbraak was een paper van google in 2018 “attention all
you need”.
Een belangrijk verschil in de evolutie is de grootte van het model, hoe groter het is
hoe meer parameters het heeft = hoe meer zaken het kan leren = meer rekenkracht
en data voor nodig voor het te trainen. Dus de op een volgende versie is dus meestal
tegenwoordig groter dan het vorige die te pas gaan met kleinere andere zaken in de
architectuur.
Een ander verschil in de basis architectuur is hoe het is opgebouwd en met welke
data.
3. Hoe verloopt het trainen van zo een modellen? Duurtijd, wat is de rol van
feedback, welke grenzen zijn er,..
Het trainen van zo een modellen gaat via deze stappen:
- Pretraining = de zwaarste stap, zoveel mogelijk tekst verzamelen en dan wordt
het model getraind om zo goed mogelijk tokens te voorspellen. = next token
prediction. Ze leren over de wereld.
- Dan heb je een model dat veel weet over de wereld en taal maar daar zijn we nog
niet veel mee.
- Post training = waarbij het model wordt geleerd om vragen te beantwoorden
enzovoort leert het model te antwoorden op vragen door deze training van vragen
te geven. En in deze fase wordt er ook aangegeven wat goed en fout gedrag is.
Het gewenste gedrag wordt zo aangeleerd voor het juiste gebruik wanneer heft
model op de markt komt.
4. Hoe komt dat een LLM soms hallucineert en weet een LLM dat of denkt
die dat die met kennis antwoord?
Hallucineren is een fout wordt want voor een LLM maakt het niet uit want die
genereerd gewoon het volgende woord dat past in de context (dus is niet altijd
feitelijk correct) en als die LLM veel goede voorbeelden heeft gezien (in zijn training)
gaat die niet hallucineren. Maar als er voorbeelden zijn die die nog niet veel heeft
getraind dan kan het hallucineren wel voorvallen (= de volgende woorden houden
geen steek).
Is er een manier voor dat tegen te gaan? Ja, meer trainen en correcties doorvoeren.
En als het feiten zijn kan je de feiten nagaan of dat wel zo is.
Eigenlijk worden ze getraind om tekst te geven die aannemelijk lijkt en dat is dan ook
de moeilijkheid als ze hallucineren is het correct, daarom kritisch ermee omgaan.
, 5. (vb Historical) BIAS ontstaan door de data die aan de LLM’s wordt
gevoed ook niet het meest representatief/eerlijke is. Hoe moeten we
ermee omgaan, …
Context: LLM is getraind op meer data dan wij kunnen verwerken in ons mensen
leven.
Daarom is het moeilijk voor die BIAS eruit te halen voor ons, we mogen niet vergeten
dat het commerciële bedrijven zijn die dit ontwikkelen die in een race verwikkeld zijn
voor alle sneller en beter te doen dan de concurrentie... dus dat wil zeggen dat ze
geen zin hebben om heel kritisch om te gaan met de input data. Dus LLM wordt dus
getraind met data waar BIAS inzit.
Theoretisch gezien kunnen we de BIAS eruit halen maar hoe bereid en hoeveel tijd
willen we erin steken voor dat eruit te halen? Dus de hoeveelheid input van data zou
het niet volledig weg kunne halen dus kritisch blijven.
Autometion bias = als het van een computer komt willen wij als mens het sneller
aannemen dat het echt zo is. En dat is natuurlijk gevaarlijk stel er zit in BIAS in.
Selectie bias = hangt af van hoe data verzameld wordt dan ontstaat er ook bias in.
Meestal krijgen ze engelse input waardoor ze dan ook bv meer van de Amerikaanse
cultuur gaan aannemen. Kleine culturen kunnen hierdoor niet vertegenwoordigd zijn.
Bias vanuit de ai ontwikkelaars = in vs California daar gebeurt het meeste van ai
modellen ontwikkelen (witte mannen) dus het gedrag wordt hierdoor ook bepaald en
sluipt er dus bias in.
6. Stel er lopen dingen mis wie is er dan verantwoordelijk?
De persoon die beslist dat dat ai systeem toegang geeft tot die acties. Vb tesla wil
autonome auto’s zo snel mogelijk ontwikkelen en stel ze gaan nu sneller over de fase
van veiligheidsmaatregelen voor snellere feedback van de mensen voor zo te
evalueren en er gaan dan dingen mis is het door tesla zelf.
De persoon die ai aan een actie kan linken = de verantwoordelijke
7. Wat kunnen we toelaten en wat niet van ai modellen? En wanneer
betrekken we er iemand bij stel het gaat de verkeerde kant uit?
Er moet altijd wel iemand verantwoordelijk moet zijn. Maar is moeilijk te zeggen wat
we toelaten en wat niet want hangt van case tot case af.
Bij een zelfrijdende auto moet bijvoorbeeld de leverancier een goede
verzekeringspolis erbij hebben stel er gaat iets mis. De wetgeving is hier vrij simpel
rond bv tesla zegt het is een zelfrijdende auto maar als bestuurder met je binnen de 3
seconde kunnen ingrijpen en je doet dat dan is dat een vrij clear cut case.
(Documentaire VRT max tesla unveiled is een aanrader hier rond.)
Vooral bij oorlogs context (ai drones bv) moet er een mens tussen zitten want ai is
zodanig snel in doelwitten te identificeren en dan is het als mens overweldigend voor
snel dood en levend beslissingen te nemen. En die persoon moet nog genoeg ruimte
LLM/TAALMODELLEN EN AI MODELLEN
1. Begrijpt een LLM wat die zegt?
Nee, het lijkt heel aannemelijk die redenering desondanks dat er geen begrip inzit.
2. Waar zitten de verschillen in de ai modellen, en waarom zijn er
verschillende? Bv chatGPT en gemine?
In de kern zijn ze allemaal zeer gelijkaardig omdat ze gebaseerd zijn op dezelfde
architectuur. De grootste doorbraak was een paper van google in 2018 “attention all
you need”.
Een belangrijk verschil in de evolutie is de grootte van het model, hoe groter het is
hoe meer parameters het heeft = hoe meer zaken het kan leren = meer rekenkracht
en data voor nodig voor het te trainen. Dus de op een volgende versie is dus meestal
tegenwoordig groter dan het vorige die te pas gaan met kleinere andere zaken in de
architectuur.
Een ander verschil in de basis architectuur is hoe het is opgebouwd en met welke
data.
3. Hoe verloopt het trainen van zo een modellen? Duurtijd, wat is de rol van
feedback, welke grenzen zijn er,..
Het trainen van zo een modellen gaat via deze stappen:
- Pretraining = de zwaarste stap, zoveel mogelijk tekst verzamelen en dan wordt
het model getraind om zo goed mogelijk tokens te voorspellen. = next token
prediction. Ze leren over de wereld.
- Dan heb je een model dat veel weet over de wereld en taal maar daar zijn we nog
niet veel mee.
- Post training = waarbij het model wordt geleerd om vragen te beantwoorden
enzovoort leert het model te antwoorden op vragen door deze training van vragen
te geven. En in deze fase wordt er ook aangegeven wat goed en fout gedrag is.
Het gewenste gedrag wordt zo aangeleerd voor het juiste gebruik wanneer heft
model op de markt komt.
4. Hoe komt dat een LLM soms hallucineert en weet een LLM dat of denkt
die dat die met kennis antwoord?
Hallucineren is een fout wordt want voor een LLM maakt het niet uit want die
genereerd gewoon het volgende woord dat past in de context (dus is niet altijd
feitelijk correct) en als die LLM veel goede voorbeelden heeft gezien (in zijn training)
gaat die niet hallucineren. Maar als er voorbeelden zijn die die nog niet veel heeft
getraind dan kan het hallucineren wel voorvallen (= de volgende woorden houden
geen steek).
Is er een manier voor dat tegen te gaan? Ja, meer trainen en correcties doorvoeren.
En als het feiten zijn kan je de feiten nagaan of dat wel zo is.
Eigenlijk worden ze getraind om tekst te geven die aannemelijk lijkt en dat is dan ook
de moeilijkheid als ze hallucineren is het correct, daarom kritisch ermee omgaan.
, 5. (vb Historical) BIAS ontstaan door de data die aan de LLM’s wordt
gevoed ook niet het meest representatief/eerlijke is. Hoe moeten we
ermee omgaan, …
Context: LLM is getraind op meer data dan wij kunnen verwerken in ons mensen
leven.
Daarom is het moeilijk voor die BIAS eruit te halen voor ons, we mogen niet vergeten
dat het commerciële bedrijven zijn die dit ontwikkelen die in een race verwikkeld zijn
voor alle sneller en beter te doen dan de concurrentie... dus dat wil zeggen dat ze
geen zin hebben om heel kritisch om te gaan met de input data. Dus LLM wordt dus
getraind met data waar BIAS inzit.
Theoretisch gezien kunnen we de BIAS eruit halen maar hoe bereid en hoeveel tijd
willen we erin steken voor dat eruit te halen? Dus de hoeveelheid input van data zou
het niet volledig weg kunne halen dus kritisch blijven.
Autometion bias = als het van een computer komt willen wij als mens het sneller
aannemen dat het echt zo is. En dat is natuurlijk gevaarlijk stel er zit in BIAS in.
Selectie bias = hangt af van hoe data verzameld wordt dan ontstaat er ook bias in.
Meestal krijgen ze engelse input waardoor ze dan ook bv meer van de Amerikaanse
cultuur gaan aannemen. Kleine culturen kunnen hierdoor niet vertegenwoordigd zijn.
Bias vanuit de ai ontwikkelaars = in vs California daar gebeurt het meeste van ai
modellen ontwikkelen (witte mannen) dus het gedrag wordt hierdoor ook bepaald en
sluipt er dus bias in.
6. Stel er lopen dingen mis wie is er dan verantwoordelijk?
De persoon die beslist dat dat ai systeem toegang geeft tot die acties. Vb tesla wil
autonome auto’s zo snel mogelijk ontwikkelen en stel ze gaan nu sneller over de fase
van veiligheidsmaatregelen voor snellere feedback van de mensen voor zo te
evalueren en er gaan dan dingen mis is het door tesla zelf.
De persoon die ai aan een actie kan linken = de verantwoordelijke
7. Wat kunnen we toelaten en wat niet van ai modellen? En wanneer
betrekken we er iemand bij stel het gaat de verkeerde kant uit?
Er moet altijd wel iemand verantwoordelijk moet zijn. Maar is moeilijk te zeggen wat
we toelaten en wat niet want hangt van case tot case af.
Bij een zelfrijdende auto moet bijvoorbeeld de leverancier een goede
verzekeringspolis erbij hebben stel er gaat iets mis. De wetgeving is hier vrij simpel
rond bv tesla zegt het is een zelfrijdende auto maar als bestuurder met je binnen de 3
seconde kunnen ingrijpen en je doet dat dan is dat een vrij clear cut case.
(Documentaire VRT max tesla unveiled is een aanrader hier rond.)
Vooral bij oorlogs context (ai drones bv) moet er een mens tussen zitten want ai is
zodanig snel in doelwitten te identificeren en dan is het als mens overweldigend voor
snel dood en levend beslissingen te nemen. En die persoon moet nog genoeg ruimte
