MEDIA EN DIGITALE SAMENLEVING - ZELFSTUDIE LES 1
1) VERDERE VERDIEPING IN LARGE LANGUAGE MODELS (LLM’S)
1.1 INLEIDING
GPT = generative pre-trained transformer
• Generative: bots die tekst maken
• Pre- trained: dat het door een proces van leren is gegaan (data input voor leerproces) en fine
tuning kan op bepaalde taken bv.
• Transformer (=key piece): is een specifiek neuraal netwerk: een model voor machine learning; het
is de kernuitvinding die ten grondslag ligt aan de huidige opkomst van AI.
Verschillende modellen van transformers: voice to text, text to voice, text to image
De originele transformer uitgevonden door google in 2017 = vertalen van teksten
1.2 INLEIDING: LLM – LIVE LANGUAGE MODELS
(API)In de video gaan ze deze transformer bespreken die tekst zal voorspellen aan de hand van een
snippit. Zo kan je hele teksten laten maken door LLM, maar uiteindelijk gaan ze niet op veel trekken want
ze pakken ook gewoon maar het woord met de meeste kans volgens hun voorspelling.
Maar als je zou werken met GPT3 (= een groter model van API) in plaats van met API GPT3 zal een beter
verhaal creëren ook op basis van kansberekeningen rond woorden. En chatGPT en andere LLM doet
eigenlijk hetzelfde.
1.3 INLEIDING: HOE WERKT HET?
Als het over tekst gaat dan worden de woorden opgesplitst in tokens en als het over een afbeelding gaat
dan wordt de afbeelding ook verdeeld/opgesplitst in kleinere stukken en wat voor afbeeldingen telt telt
ook voor geluidsopnames, die worden ook in kleinere delen opgesplitst.
Elk token wordt aan een getal gelinkt en dat getal bevat de betekenis weergeven van dat token. = vector.
Als je deze vector coördinaten geeft en in een multidimensionale space zet kunnen woorden met een
gelijkaardige betekenis staan dan dichter bij elkaar (de vectoren).
Deze reeks van vectoren zal passeren door/ verwerkt worden door een operatie “ the attention block”, dit
zal ervoor zorgen dat ze in verbinding met elkaar staan en dus kunnen praten en informatie back and forth
kunnen geven zo werken ze hun waarden bij. Vb min 4 - https://www.youtube.com/watch?v=wjZofJX0v4M
Na “the attention block” gaan ze nog door een andere operatie en afhankelijk van welke bron je leest
hiernaar zal worden verwezen als een “multilayer perception/feed-forward layer”. Hier zullen de vectoren
niet met elkaar praten, ze gaan door dezelfde operatie parallel. Kort gezegd al: wat doet deze laag? = dat
het veel vragen zal stellen aan elke vector en dan zo update gebaseerd op de antwoorden.
Alle operaties lijken op grote matrixen, die nog later in de video zullen aangehaald worden.
Maar eigenlijk na “the attention block” en “multilayer perception” is er terug een “the attention block” en
“multilayer perception” zo heel de tijd back and forward. En op het einde zal er op het einde van de matrix
de laatse vector in die reeks daar zal nog een operatie op komen en dat zal een kansberekening zijn van de
paar laatste tokens die het meeste kans maken.
, 1.4 INLEIDING: HOE VERANDER JE EEN LLM NAAR EEN CHATBOT?
Je hebt een beetje tekst als context dit zal de gebruikers interactie met een robot starten = system
prompt. Dan vervolgens zou je de gebruiker zijn vraag gebruiken als het eerste startpunt van een gesprek
wat met als gevolg zal dit een start geven voor de chatbot voor een tekst/antwoord te creëren.
1.5 VOOR WE VERDER GAAN OVER DE TRANSFORMER GAAN WE ALS CONTEXT HET
HEBBEN OVER DEEP LEARNING (- MACHINE LEARNING - DATA)
Alles met input dat gekoppeld is aan intuitie of patronen zal een bepaalde output geven. We gaan het niet
doen met coderingen de output bepalen dat is al een te oude manier vandaag doen we het met instelbare
parameters en die kan je dan telkens verfijnen voor een juister antwoord.
Maar eigenlijk is de simpelste versie van machine learning een lineaire regressie tussen u in en output
vb vierkante meter van een huis en de prijs die eraan vasthangt. Maar deep learning models zoals GPT3
zijn meer gecompiceerd en heeft ongeveer 175 biljoen parameters.
Deep learning heeft meerdere modellen ( multilayer perception, convolutional neural networks and
transformers) die met de jaren in Schaal vergroten. Wat ze gemeenschappelijk, hebben is hun
trainingsmodel en dat noemt terugpropagatie (rebackpropagation). En de modellen moet dus een
bepaald formaat volgen (= de matrixen).
Waar het begint als je een model wilt maken: u input zal naar het formaat van getallen overgeschakeld
moeten worden kan 1 dimensioneel zijn of 2 of multidimensionaal = tensor. En de laatste “rij” van
nummers zal de output zijn = een lijst met een kansberekening van welk het volgende woord is.
De model parameters worden ook wel weights genoepmd, want hoe deze parameters interageren met de
input is via weighted sums/ bedragen = een non-lineaire functie. Maar die weighted sums/ bedragen zal je
ook weer terugvinden in een soort matrix in plaats van 1 grote formule. En voor alle parameters telt dat
ook die allemaal in matrixen zullen terug gevonden worden. Vb 175biljoen weights 28 000 matrixen.
1.6 GPT3 175BILJOEN WEIGHTS 28 000 MATRIXEN.HOE WERKT DAT?
Weights komen in kleur voor in de matrixen (blauw/rood) en zijn dus ook het brein die leren tijdens de
training en de data/input komt gewoon wit voor (niet in een kleur).
1) Zin omzetten in tokens en tokens omzetten in vectoren (getallen).
2) Het model heeft alle vocabulair al een beetje opgedeeld in lijsten. En de eerste matrix/lijst die we
tegenkomen is “inbedding matrix/WE” elk woord heeft een eigen kolom en elke eigen kolom
bevatten meerdere getallen. Elk kolom beslist in welke vector elk woord wordt dat is stap 1. We
noemen dit WE, we zien ook dat elke waarde random begint maar ze gaan leren door data input.
Woord inbeddingen hebben coördinaten (de vectoren) maar dat is geen 3D ruimte maar een 12
000 dimensie. Dus hoe verder een model staat door de kleinere aanpassingen met de tijd
(=gewichten) = hoe exact woorden zijn ingebed als vectoren bij hun training dan komt her erop
neer dat de ruimte bepaling tijdens de training een soort woordsemantiek hebben. Tokens krijgen
ook een juistere plaats in de ruimte door de context van andere woorden, maar er is wel een max
grote van context size per martrix.
3) De laatste stap zal bepalen welk woord de grootste kansberekening heeft. En deze stap vind
plaats in de “unembedding matrix/WU”. En de vectoren worden telkens door de training en
aanpassing van gewichten verbeterd en dus ook correcter.
1) VERDERE VERDIEPING IN LARGE LANGUAGE MODELS (LLM’S)
1.1 INLEIDING
GPT = generative pre-trained transformer
• Generative: bots die tekst maken
• Pre- trained: dat het door een proces van leren is gegaan (data input voor leerproces) en fine
tuning kan op bepaalde taken bv.
• Transformer (=key piece): is een specifiek neuraal netwerk: een model voor machine learning; het
is de kernuitvinding die ten grondslag ligt aan de huidige opkomst van AI.
Verschillende modellen van transformers: voice to text, text to voice, text to image
De originele transformer uitgevonden door google in 2017 = vertalen van teksten
1.2 INLEIDING: LLM – LIVE LANGUAGE MODELS
(API)In de video gaan ze deze transformer bespreken die tekst zal voorspellen aan de hand van een
snippit. Zo kan je hele teksten laten maken door LLM, maar uiteindelijk gaan ze niet op veel trekken want
ze pakken ook gewoon maar het woord met de meeste kans volgens hun voorspelling.
Maar als je zou werken met GPT3 (= een groter model van API) in plaats van met API GPT3 zal een beter
verhaal creëren ook op basis van kansberekeningen rond woorden. En chatGPT en andere LLM doet
eigenlijk hetzelfde.
1.3 INLEIDING: HOE WERKT HET?
Als het over tekst gaat dan worden de woorden opgesplitst in tokens en als het over een afbeelding gaat
dan wordt de afbeelding ook verdeeld/opgesplitst in kleinere stukken en wat voor afbeeldingen telt telt
ook voor geluidsopnames, die worden ook in kleinere delen opgesplitst.
Elk token wordt aan een getal gelinkt en dat getal bevat de betekenis weergeven van dat token. = vector.
Als je deze vector coördinaten geeft en in een multidimensionale space zet kunnen woorden met een
gelijkaardige betekenis staan dan dichter bij elkaar (de vectoren).
Deze reeks van vectoren zal passeren door/ verwerkt worden door een operatie “ the attention block”, dit
zal ervoor zorgen dat ze in verbinding met elkaar staan en dus kunnen praten en informatie back and forth
kunnen geven zo werken ze hun waarden bij. Vb min 4 - https://www.youtube.com/watch?v=wjZofJX0v4M
Na “the attention block” gaan ze nog door een andere operatie en afhankelijk van welke bron je leest
hiernaar zal worden verwezen als een “multilayer perception/feed-forward layer”. Hier zullen de vectoren
niet met elkaar praten, ze gaan door dezelfde operatie parallel. Kort gezegd al: wat doet deze laag? = dat
het veel vragen zal stellen aan elke vector en dan zo update gebaseerd op de antwoorden.
Alle operaties lijken op grote matrixen, die nog later in de video zullen aangehaald worden.
Maar eigenlijk na “the attention block” en “multilayer perception” is er terug een “the attention block” en
“multilayer perception” zo heel de tijd back and forward. En op het einde zal er op het einde van de matrix
de laatse vector in die reeks daar zal nog een operatie op komen en dat zal een kansberekening zijn van de
paar laatste tokens die het meeste kans maken.
, 1.4 INLEIDING: HOE VERANDER JE EEN LLM NAAR EEN CHATBOT?
Je hebt een beetje tekst als context dit zal de gebruikers interactie met een robot starten = system
prompt. Dan vervolgens zou je de gebruiker zijn vraag gebruiken als het eerste startpunt van een gesprek
wat met als gevolg zal dit een start geven voor de chatbot voor een tekst/antwoord te creëren.
1.5 VOOR WE VERDER GAAN OVER DE TRANSFORMER GAAN WE ALS CONTEXT HET
HEBBEN OVER DEEP LEARNING (- MACHINE LEARNING - DATA)
Alles met input dat gekoppeld is aan intuitie of patronen zal een bepaalde output geven. We gaan het niet
doen met coderingen de output bepalen dat is al een te oude manier vandaag doen we het met instelbare
parameters en die kan je dan telkens verfijnen voor een juister antwoord.
Maar eigenlijk is de simpelste versie van machine learning een lineaire regressie tussen u in en output
vb vierkante meter van een huis en de prijs die eraan vasthangt. Maar deep learning models zoals GPT3
zijn meer gecompiceerd en heeft ongeveer 175 biljoen parameters.
Deep learning heeft meerdere modellen ( multilayer perception, convolutional neural networks and
transformers) die met de jaren in Schaal vergroten. Wat ze gemeenschappelijk, hebben is hun
trainingsmodel en dat noemt terugpropagatie (rebackpropagation). En de modellen moet dus een
bepaald formaat volgen (= de matrixen).
Waar het begint als je een model wilt maken: u input zal naar het formaat van getallen overgeschakeld
moeten worden kan 1 dimensioneel zijn of 2 of multidimensionaal = tensor. En de laatste “rij” van
nummers zal de output zijn = een lijst met een kansberekening van welk het volgende woord is.
De model parameters worden ook wel weights genoepmd, want hoe deze parameters interageren met de
input is via weighted sums/ bedragen = een non-lineaire functie. Maar die weighted sums/ bedragen zal je
ook weer terugvinden in een soort matrix in plaats van 1 grote formule. En voor alle parameters telt dat
ook die allemaal in matrixen zullen terug gevonden worden. Vb 175biljoen weights 28 000 matrixen.
1.6 GPT3 175BILJOEN WEIGHTS 28 000 MATRIXEN.HOE WERKT DAT?
Weights komen in kleur voor in de matrixen (blauw/rood) en zijn dus ook het brein die leren tijdens de
training en de data/input komt gewoon wit voor (niet in een kleur).
1) Zin omzetten in tokens en tokens omzetten in vectoren (getallen).
2) Het model heeft alle vocabulair al een beetje opgedeeld in lijsten. En de eerste matrix/lijst die we
tegenkomen is “inbedding matrix/WE” elk woord heeft een eigen kolom en elke eigen kolom
bevatten meerdere getallen. Elk kolom beslist in welke vector elk woord wordt dat is stap 1. We
noemen dit WE, we zien ook dat elke waarde random begint maar ze gaan leren door data input.
Woord inbeddingen hebben coördinaten (de vectoren) maar dat is geen 3D ruimte maar een 12
000 dimensie. Dus hoe verder een model staat door de kleinere aanpassingen met de tijd
(=gewichten) = hoe exact woorden zijn ingebed als vectoren bij hun training dan komt her erop
neer dat de ruimte bepaling tijdens de training een soort woordsemantiek hebben. Tokens krijgen
ook een juistere plaats in de ruimte door de context van andere woorden, maar er is wel een max
grote van context size per martrix.
3) De laatste stap zal bepalen welk woord de grootste kansberekening heeft. En deze stap vind
plaats in de “unembedding matrix/WU”. En de vectoren worden telkens door de training en
aanpassing van gewichten verbeterd en dus ook correcter.
