Taaltechnologie
Les 1: 15/11 (Taaltechnologie en generatieve AI)................................................................4
Hoofdstuk 1: Inleiding.........................................................................................................4
Ontwikkeling van computermodellen heeft 2 doelstellingen:........................................4
Waarom computertaalkunde in de taal- en letterkunde?..............................................4
Taal is het belangrijkste medium voor:......................................................................... 4
Taal- en spraaktechnologie (TST) laat mensen toe:.....................................................4
Terminologie:................................................................................................................ 4
Hallucinaties:................................................................................................................ 4
Generatieve AI:............................................................................................................ 5
Tekst naar spraaksystemen..........................................................................................5
Spraak naar tekstsystemen.......................................................................................... 5
Spraakherkenning + vertaling.......................................................................................5
Afbeelding en video generatiesystemen...................................................................... 5
Programmacode generatie en begripsystemen........................................................... 6
Tekst naar muzieksystemen......................................................................................... 6
Sociaal en economisch belang van computertaalkunde.............................................. 6
Spraak + taal + vertaling:............................................................................................. 7
Companions................................................................................................................. 7
Uncanny Valley.............................................................................................................7
Facade......................................................................................................................... 8
AMiCA.......................................................................................................................... 8
Samenvatting belang van taaltechnologie....................................................................8
Les 2: 22/11 (Taaltechnologie als onderdeel van de AI)..................................................... 9
Hoofdstuk 2: Artificiële Intelligentie.................................................................................... 9
Artificiële Intelligentie:...................................................................................................9
Definitie Artificiële Intelligentie......................................................................................9
Robots........................................................................................................................ 10
AI-successen.............................................................................................................. 10
Ontwerp en implementatie van Intelligente Agents.................................................... 10
Voorgeschiedenis van Informatica en AI.................................................................... 11
Ook hardware speelde een grote rol.......................................................................... 12
Het belang van de exponentiële groei van computerkracht en data in
computertaalkunde..................................................................................................... 12
Intelligente “Agents”................................................................................................... 13
PSSH: Physical Symbol Systems Hypothesis............................................................13
Alan Turing................................................................................................................. 13
ELIZA-effect (antropomorfisering).............................................................................. 14
John Searle................................................................................................................ 14
Chinese Room............................................................................................................15
Na LLMs (Large Language Models) kunnen computers:........................................... 15
Kunnen computers denken?...................................................................................... 15
LLMs als ChatGPT leren uit tekst...............................................................................15
Is AI gevaarlijk? (interpretatie van de prof).................................................................16
1
, Impact werkgelegenheid............................................................................................ 16
AI ethiek?................................................................................................................... 16
Moral Machine............................................................................................................ 17
Conclusies van de Moral Machine studie...................................................................17
Privacy?......................................................................................................................17
Regulering: European Artificial Intelligence Act......................................................... 17
Les 3: 29/11 (De weg naar ChatGPT: kennisgebaseerde en zelflerende methodes).....18
Ontwerp en implementatie van Intelligente Agents (Artificiële Intelligentie).....................18
PSSH................................................................................................................................18
Intelligentie en zelfbewustzijn...........................................................................................18
Hoofdstuk 3: methodes: de weg naar ChatGPT...............................................................18
Van tekst naar betekenis en terug.............................................................................. 18
Maar wat is “betekenis” eigenlijk?.............................................................................. 19
Transformaties tussen representaties........................................................................ 19
Waarom is (en blijft) taal ambigu?.............................................................................. 19
Soorten ambiguïteit.................................................................................................... 19
Vacature.com campagne............................................................................................20
Quiz: Lexicaal (synoniemen van hetzelfde woord) of syntactisch (te maken met de
zinsstructuur)?............................................................................................................ 20
Hoe ambiguïteit oplossen?.........................................................................................20
Drie methodes om een model te maken.................................................................... 21
Wat veroorzaakte deze “Paradigm Shift”?..................................................................21
De kennisgebaseerde methode................................................................................. 21
De Machine Learning gebaseerde methode.............................................................. 22
Neurale netwerken..................................................................................................... 23
Les 4: 06/12 (ChatGPT: communicatie met aliens)........................................................... 23
Het verhaal tot nu............................................................................................................. 23
Hoofdstuk 4: Voorgetrainde taalmodellen (Word Embeddings)....................................... 24
Pretrained?................................................................................................................. 24
Woordvectoren........................................................................................................... 24
Woordvectoren uit de context.....................................................................................24
Vectoriseren............................................................................................................... 25
Woordinbeddingen (word embeddings)......................................................................25
Seksistische neurale netwerken.................................................................................25
Hoofdstuk 4: Voorgetrainde taalmodellen (Large Language Models).............................. 26
Taal en waarschijnlijkheid........................................................................................... 26
Hoe kan dit werken?...................................................................................................26
Is ChatGPT een “filosofische zombie”?...................................................................... 28
Emergentie................................................................................................................. 28
Het positieve scenario: adaptatie en integratie van deze nieuwe technologie........... 29
Het negatieve scenario: we worden (nog) lui(er)........................................................29
Hoe zorgen we voor het positieve scenario?............................................................. 29
Aangepaste onderwijsmethodes................................................................................ 29
Gebruik van grote taalmodellen in het onderwijs....................................................... 30
2
, Hoofdstuk 4: Prompt Engineering.................................................................................... 30
Hoe communiceer je best met LLMs.......................................................................... 30
Typologie teksttaken met LLMs..................................................................................31
Prompt specifiek maken............................................................................................. 31
Geef voorbeelden.......................................................................................................31
Geef het model tijd om na te denken......................................................................... 31
Bijkomende tips.......................................................................................................... 32
Iteratieve ontwikkeling (niet opgeven)........................................................................ 32
Conclusies ChatGPT en LLMs................................................................................... 32
Les 5: 13/12 (Toepassingen van taaltechnologie)............................................................ 32
Les 6: 20/12 (gastcollege: Automatische detectie van sentiment en emoties).............. 32
Achtergrond......................................................................................................................32
Affective computing.................................................................................................... 33
Sentimentanalyse....................................................................................................... 33
Sentiment vs. emotie........................................................................................................33
Terminologie en definities.................................................................................................34
Sentiment................................................................................................................... 34
Emotie........................................................................................................................ 34
Perspectief................................................................................................................. 34
Fijnmazige sentimentanalyse........................................................................................... 35
ABSA.......................................................................................................................... 35
Emotiedetectie: categorieën.............................................................................................35
Emotiedetectie: dimensies............................................................................................... 36
Aanpak............................................................................................................................. 37
Classificatie................................................................................................................ 37
Regressie................................................................................................................... 37
Voor je beslist over methode...................................................................................... 37
Lexicongebaseerde aanpak............................................................................................. 37
Klassieke machine learning..............................................................................................38
Emoties annoteren........................................................................................................... 38
Classificatie met diepe neurale netwerken.......................................................................39
Generatieve aanpak met diepe neurale netwerken..........................................................39
Evaluatie...........................................................................................................................40
Takeaways........................................................................................................................40
3
, Les 1: 15/11 (Taaltechnologie en generatieve AI)
vragen aan einde van elk hoofdstuk zijn de vragen die op het examen zullen worden gesteld
Hoofdstuk 1: Inleiding
Ontwikkeling van computermodellen heeft 2 doelstellingen:
- meer inzicht krijgen in de mogelijke representaties en processen die een rol spelen in
natuurlijke taal als systeem, in taalevolutie, in taalvariatie en in taalverwerving en
-verwerking
- ontwikkelen van software die talige taken kan oplossen
Waarom computertaalkunde in de taal- en letterkunde?
- moeilijk wetenschapsgebied, want om het goed te doen moet je de technische en
toepassingskant kennen
- groot maatschappelijk en economisch belang
- sterke groei als methode in de geesteswetenschappen
Taal is het belangrijkste medium voor:
- opslag van menselijke kennis
- communicatie
Taal- en spraaktechnologie (TST) laat mensen toe:
- gemakkelijker te communiceren met computers
- wereldwijd te communiceren in hun eigen taal
- kennis te halen uit spraak en tekst
- foutloos te schrijven
Terminologie:
- computertaalkunde/computerlinguïstiek
- bestudeert taalverwerking met computermodellen
- testen taalkundige theorieën met computermodellen
- computationele psycholinguïstiek
- modelleren van menselijke taalverwerving en -verwerking met
computermodellen
- taal- en spraaktechnologie (TST)
- meestal gewoon taaltechnologie, language engineering
- toepassingen van computertaalkunde
- staat nu ook in de eindtermen van secundair onderwijs (moderne talen)
- natuurlijke taalverwerking
- natural language processing (NLP)
- computertaalkunde als onderdeel van de Artificiële Intelligentie
Hallucinaties:
- ChatGPT maakt ook fouten
- ChatGPT gaat mee in wat de gebruiker wil
4
Les 1: 15/11 (Taaltechnologie en generatieve AI)................................................................4
Hoofdstuk 1: Inleiding.........................................................................................................4
Ontwikkeling van computermodellen heeft 2 doelstellingen:........................................4
Waarom computertaalkunde in de taal- en letterkunde?..............................................4
Taal is het belangrijkste medium voor:......................................................................... 4
Taal- en spraaktechnologie (TST) laat mensen toe:.....................................................4
Terminologie:................................................................................................................ 4
Hallucinaties:................................................................................................................ 4
Generatieve AI:............................................................................................................ 5
Tekst naar spraaksystemen..........................................................................................5
Spraak naar tekstsystemen.......................................................................................... 5
Spraakherkenning + vertaling.......................................................................................5
Afbeelding en video generatiesystemen...................................................................... 5
Programmacode generatie en begripsystemen........................................................... 6
Tekst naar muzieksystemen......................................................................................... 6
Sociaal en economisch belang van computertaalkunde.............................................. 6
Spraak + taal + vertaling:............................................................................................. 7
Companions................................................................................................................. 7
Uncanny Valley.............................................................................................................7
Facade......................................................................................................................... 8
AMiCA.......................................................................................................................... 8
Samenvatting belang van taaltechnologie....................................................................8
Les 2: 22/11 (Taaltechnologie als onderdeel van de AI)..................................................... 9
Hoofdstuk 2: Artificiële Intelligentie.................................................................................... 9
Artificiële Intelligentie:...................................................................................................9
Definitie Artificiële Intelligentie......................................................................................9
Robots........................................................................................................................ 10
AI-successen.............................................................................................................. 10
Ontwerp en implementatie van Intelligente Agents.................................................... 10
Voorgeschiedenis van Informatica en AI.................................................................... 11
Ook hardware speelde een grote rol.......................................................................... 12
Het belang van de exponentiële groei van computerkracht en data in
computertaalkunde..................................................................................................... 12
Intelligente “Agents”................................................................................................... 13
PSSH: Physical Symbol Systems Hypothesis............................................................13
Alan Turing................................................................................................................. 13
ELIZA-effect (antropomorfisering).............................................................................. 14
John Searle................................................................................................................ 14
Chinese Room............................................................................................................15
Na LLMs (Large Language Models) kunnen computers:........................................... 15
Kunnen computers denken?...................................................................................... 15
LLMs als ChatGPT leren uit tekst...............................................................................15
Is AI gevaarlijk? (interpretatie van de prof).................................................................16
1
, Impact werkgelegenheid............................................................................................ 16
AI ethiek?................................................................................................................... 16
Moral Machine............................................................................................................ 17
Conclusies van de Moral Machine studie...................................................................17
Privacy?......................................................................................................................17
Regulering: European Artificial Intelligence Act......................................................... 17
Les 3: 29/11 (De weg naar ChatGPT: kennisgebaseerde en zelflerende methodes).....18
Ontwerp en implementatie van Intelligente Agents (Artificiële Intelligentie).....................18
PSSH................................................................................................................................18
Intelligentie en zelfbewustzijn...........................................................................................18
Hoofdstuk 3: methodes: de weg naar ChatGPT...............................................................18
Van tekst naar betekenis en terug.............................................................................. 18
Maar wat is “betekenis” eigenlijk?.............................................................................. 19
Transformaties tussen representaties........................................................................ 19
Waarom is (en blijft) taal ambigu?.............................................................................. 19
Soorten ambiguïteit.................................................................................................... 19
Vacature.com campagne............................................................................................20
Quiz: Lexicaal (synoniemen van hetzelfde woord) of syntactisch (te maken met de
zinsstructuur)?............................................................................................................ 20
Hoe ambiguïteit oplossen?.........................................................................................20
Drie methodes om een model te maken.................................................................... 21
Wat veroorzaakte deze “Paradigm Shift”?..................................................................21
De kennisgebaseerde methode................................................................................. 21
De Machine Learning gebaseerde methode.............................................................. 22
Neurale netwerken..................................................................................................... 23
Les 4: 06/12 (ChatGPT: communicatie met aliens)........................................................... 23
Het verhaal tot nu............................................................................................................. 23
Hoofdstuk 4: Voorgetrainde taalmodellen (Word Embeddings)....................................... 24
Pretrained?................................................................................................................. 24
Woordvectoren........................................................................................................... 24
Woordvectoren uit de context.....................................................................................24
Vectoriseren............................................................................................................... 25
Woordinbeddingen (word embeddings)......................................................................25
Seksistische neurale netwerken.................................................................................25
Hoofdstuk 4: Voorgetrainde taalmodellen (Large Language Models).............................. 26
Taal en waarschijnlijkheid........................................................................................... 26
Hoe kan dit werken?...................................................................................................26
Is ChatGPT een “filosofische zombie”?...................................................................... 28
Emergentie................................................................................................................. 28
Het positieve scenario: adaptatie en integratie van deze nieuwe technologie........... 29
Het negatieve scenario: we worden (nog) lui(er)........................................................29
Hoe zorgen we voor het positieve scenario?............................................................. 29
Aangepaste onderwijsmethodes................................................................................ 29
Gebruik van grote taalmodellen in het onderwijs....................................................... 30
2
, Hoofdstuk 4: Prompt Engineering.................................................................................... 30
Hoe communiceer je best met LLMs.......................................................................... 30
Typologie teksttaken met LLMs..................................................................................31
Prompt specifiek maken............................................................................................. 31
Geef voorbeelden.......................................................................................................31
Geef het model tijd om na te denken......................................................................... 31
Bijkomende tips.......................................................................................................... 32
Iteratieve ontwikkeling (niet opgeven)........................................................................ 32
Conclusies ChatGPT en LLMs................................................................................... 32
Les 5: 13/12 (Toepassingen van taaltechnologie)............................................................ 32
Les 6: 20/12 (gastcollege: Automatische detectie van sentiment en emoties).............. 32
Achtergrond......................................................................................................................32
Affective computing.................................................................................................... 33
Sentimentanalyse....................................................................................................... 33
Sentiment vs. emotie........................................................................................................33
Terminologie en definities.................................................................................................34
Sentiment................................................................................................................... 34
Emotie........................................................................................................................ 34
Perspectief................................................................................................................. 34
Fijnmazige sentimentanalyse........................................................................................... 35
ABSA.......................................................................................................................... 35
Emotiedetectie: categorieën.............................................................................................35
Emotiedetectie: dimensies............................................................................................... 36
Aanpak............................................................................................................................. 37
Classificatie................................................................................................................ 37
Regressie................................................................................................................... 37
Voor je beslist over methode...................................................................................... 37
Lexicongebaseerde aanpak............................................................................................. 37
Klassieke machine learning..............................................................................................38
Emoties annoteren........................................................................................................... 38
Classificatie met diepe neurale netwerken.......................................................................39
Generatieve aanpak met diepe neurale netwerken..........................................................39
Evaluatie...........................................................................................................................40
Takeaways........................................................................................................................40
3
, Les 1: 15/11 (Taaltechnologie en generatieve AI)
vragen aan einde van elk hoofdstuk zijn de vragen die op het examen zullen worden gesteld
Hoofdstuk 1: Inleiding
Ontwikkeling van computermodellen heeft 2 doelstellingen:
- meer inzicht krijgen in de mogelijke representaties en processen die een rol spelen in
natuurlijke taal als systeem, in taalevolutie, in taalvariatie en in taalverwerving en
-verwerking
- ontwikkelen van software die talige taken kan oplossen
Waarom computertaalkunde in de taal- en letterkunde?
- moeilijk wetenschapsgebied, want om het goed te doen moet je de technische en
toepassingskant kennen
- groot maatschappelijk en economisch belang
- sterke groei als methode in de geesteswetenschappen
Taal is het belangrijkste medium voor:
- opslag van menselijke kennis
- communicatie
Taal- en spraaktechnologie (TST) laat mensen toe:
- gemakkelijker te communiceren met computers
- wereldwijd te communiceren in hun eigen taal
- kennis te halen uit spraak en tekst
- foutloos te schrijven
Terminologie:
- computertaalkunde/computerlinguïstiek
- bestudeert taalverwerking met computermodellen
- testen taalkundige theorieën met computermodellen
- computationele psycholinguïstiek
- modelleren van menselijke taalverwerving en -verwerking met
computermodellen
- taal- en spraaktechnologie (TST)
- meestal gewoon taaltechnologie, language engineering
- toepassingen van computertaalkunde
- staat nu ook in de eindtermen van secundair onderwijs (moderne talen)
- natuurlijke taalverwerking
- natural language processing (NLP)
- computertaalkunde als onderdeel van de Artificiële Intelligentie
Hallucinaties:
- ChatGPT maakt ook fouten
- ChatGPT gaat mee in wat de gebruiker wil
4
