TAALTECH 4
4. VOORGETRAINDE MODELLEN
A. INLEIDING
WAT? diepe neurale netwerken zorgen voor de beste resultaten in de taaltechnologie
Ze werken end-to-end
Geen modulariteit maar alles in één geen feature engineering
Een statistische methode om representaties en patronen te leren uit heel veel data
Problemen?
Voor het oplossen van ambiguiteit is context en achtergrondkennis nodig
Vb: “balletje” splitsen MAAR is het een kleine bal of een dansvoorstellinkje?
Neurale netwerken willen getallen of data als invoer <-> GEEN symbolen
B. WOORDINBEDDING; WORD EMBEDDINGS
!! bij een kennisgebaseerde aanpak kunnen we werken met symbolische representaties vd betekenis van woorden
vb: we kunnen aangeven dat “bank” 4 toepassingen heeft maar de dekkingsgraad is zo relatief klein
Oplossing: distributionele hypothese
Er is een verband tss woorden die voorkomen in tekst (hun distributie) en hun betekenis
Woorden die in gelijkaardige contexten voorkomen hebben gelijkaardige betekenissen
Firth: “you should know a word by the company it keeps”
o.b.v. die hypothese kunnen we matrix opstellen van tellingen hoe vaak een woord voorkomt in de context van
een ander woord
De verschillende rijtjes kunnen we nu beschouwen als numerieke
representatie vd betekenis vh woord
Numerieke representatie = een vectorisatie
Distributionele semantiek (structuralisme)
De betekenis v/e woord is afleidbaar (uit context)
Gelijkenis tussen vectoren berekenen?
Intern product v paren v woorden berekenen en kijken
welke semantisch het meest op elkaar lijken
Vb: kat (< 6,0,1,2,1,1,1>) en hond (<4,2,1,0,0,0,1>) = 26
De gelijkenis tss kat en hond is veel groter dan tussen kat en man
= DOT PRODUCT
De resulterende vectoren per woord zijn een voorgetraind lexicon
Hoe groter het corpus, hoe groter de vectoren, hoe fijnmaziger de betekenissen
“sparse vectors” = vectoren met veel nullen omdat veel woorden niet in elkaars context voorkomen
= een probleem want zo krijg je heel grote getallen
EEN NOG BETERE OPLOSSING: WORD EMBEDDINGS
Verzamel een reusachtig corpus
“Dense vectors” methodes gingen ervoor zorgen dat de vectoren ‘dicht werden’ (van 50-500 componenten)
Train een neuraal netwerk – HOE?
Geef een stukje tekst waarin het middelste woord is weggelaten
Het netwerk moet dat ontbrekende woord leren voorspellen op basis vd context
De output is dan het weggelaten woord
4. VOORGETRAINDE MODELLEN
A. INLEIDING
WAT? diepe neurale netwerken zorgen voor de beste resultaten in de taaltechnologie
Ze werken end-to-end
Geen modulariteit maar alles in één geen feature engineering
Een statistische methode om representaties en patronen te leren uit heel veel data
Problemen?
Voor het oplossen van ambiguiteit is context en achtergrondkennis nodig
Vb: “balletje” splitsen MAAR is het een kleine bal of een dansvoorstellinkje?
Neurale netwerken willen getallen of data als invoer <-> GEEN symbolen
B. WOORDINBEDDING; WORD EMBEDDINGS
!! bij een kennisgebaseerde aanpak kunnen we werken met symbolische representaties vd betekenis van woorden
vb: we kunnen aangeven dat “bank” 4 toepassingen heeft maar de dekkingsgraad is zo relatief klein
Oplossing: distributionele hypothese
Er is een verband tss woorden die voorkomen in tekst (hun distributie) en hun betekenis
Woorden die in gelijkaardige contexten voorkomen hebben gelijkaardige betekenissen
Firth: “you should know a word by the company it keeps”
o.b.v. die hypothese kunnen we matrix opstellen van tellingen hoe vaak een woord voorkomt in de context van
een ander woord
De verschillende rijtjes kunnen we nu beschouwen als numerieke
representatie vd betekenis vh woord
Numerieke representatie = een vectorisatie
Distributionele semantiek (structuralisme)
De betekenis v/e woord is afleidbaar (uit context)
Gelijkenis tussen vectoren berekenen?
Intern product v paren v woorden berekenen en kijken
welke semantisch het meest op elkaar lijken
Vb: kat (< 6,0,1,2,1,1,1>) en hond (<4,2,1,0,0,0,1>) = 26
De gelijkenis tss kat en hond is veel groter dan tussen kat en man
= DOT PRODUCT
De resulterende vectoren per woord zijn een voorgetraind lexicon
Hoe groter het corpus, hoe groter de vectoren, hoe fijnmaziger de betekenissen
“sparse vectors” = vectoren met veel nullen omdat veel woorden niet in elkaars context voorkomen
= een probleem want zo krijg je heel grote getallen
EEN NOG BETERE OPLOSSING: WORD EMBEDDINGS
Verzamel een reusachtig corpus
“Dense vectors” methodes gingen ervoor zorgen dat de vectoren ‘dicht werden’ (van 50-500 componenten)
Train een neuraal netwerk – HOE?
Geef een stukje tekst waarin het middelste woord is weggelaten
Het netwerk moet dat ontbrekende woord leren voorspellen op basis vd context
De output is dan het weggelaten woord
