samenvatting - taaltechnologie hoofdstuk 1

VERTAALTECH

1. TAALTECHNOLOGIE & GENERATIEVE AI

A. WAT IS TAALTECHNOLOGIE?

Definitie: de ontwikkeling van computermodellen met als doel:
- meer inzicht in mogelijke representaties en processen die rol spelen in natuurlijke taal als systeem,
nnnnnnnnnnnnnnnin taalevolutie, taalrelevatie en taalverwerving en -verwerking
- ontwikkeling v software die talige taken kan oplossen (automatische vertaling/samenvatten/…)

+ doelstellingen
 (1) systemen ontwikkelen die ons toelaten om kennis, uitgedrukt in taal, te ontsluiten
 Moeten in staat zijn om taal te begrijpen, produceren en vertalen
 (2) in onze eigen taal communiceren met computers& informatiesystemen& mensen die andere taal spreken
 (3) brug kunnen slaan tss versch. modaliteiten v taalgebruik (tekst, beeld, muziek, …)

COMPUTERTAALKUNDE IN TAAL- EN LETTERKUNDE
 = moeilijk wetenschapsgebied
 WANT inzicht nodig in taal (toepassing), gecombineerd met technisch kennis
 Groot maatschappelijk en economisch belang
 Wetenschappelijk belang
 Inzicht geven in hoe mensen taal leren en hoe we taalkennis opslaan en gebruiken in het brein
 Sterke groei als methode in geesteswetenschappen (digital humanities)
 Sinds 2020, UAntwerpen: internationale MA digital text analysis

TERMINOLOGIE
Computertaalkunde/ -linguïstiek
 Bestudeert taalverwerking met computermodellen
 Taalkundige theorieën testen met computermodellen
 Computationele psycholinguïstiek
 = modelleren v menselijke taalverwerving en -verwerking met computermodellen
Taal- en spraaktechnologie (TST)
 = meestal gewoon taaltechnologie, language engineering
 Toepassingen van computertaalkunde
 NU: ook in de eindtermen v secundair onderwijs (moderne talen)
Natuurlijke taalverwerking (natural language processing, NLP)
 Computertaalkunde als onderdeel vd artificiële intelligentie

B. (WRM) IS HET BELANGRIJK?

 Taal is het belangrijkste medium voor: opslag van menselijke kennis EN communicatie (uitwisseling)
 Taal- en spraaktechnologie (TST) laat mensen toe:
 Gemakkelijker te communiceren met computers (je hoeft bv. niet meer te leren programmeren)
 Wereldwijd te communiceren in eigen taal
 Kennis te halen uit spraak en tekst  bv. automatische samenvatting
 Groei van papers is enorm groot geworden DUS tools zijn nodig voor samen te vatten
 Foutloos te schrijven

, C. CHATGPT

 2022 van het Amerikaanse bedrijf OpenAI
 = een Large Language Model, LLM (een groot taalmodel)
 Andere voorbeelden: Claude, Llama, NVLM, …
 Werkt met een prompt (= de vraag) EN met een tekst waar de vraag over gaat

D. MULTIMODALE TAALTECHNOLOGIE

= een technologie die verschillende modaliteiten, zoals tekst, spraak, beeld en muziek, combineert
voorbeeld: een beschrijving in taal omzetten naar beeld en andersom/ muziek produceren vanuit beschrijving

Zero-shot learning
 Taalmodellen = geleerd om vooral tekst te voorspellen <-> MAAR ook andere dingen geleerd, hoe? geen idee
 CONLUSIE: het kan niet alleen de tekstfuncties, maar ook andere dingen

SPRAAK NAAR TEKST
 Het zijn 2 verschillende verschijningsvormen v dezelfde talige informatie
 !! het gaat hier om transformaties en NIET om het begrijpen of produceren v inhoud of betekenis vd tekst
 DUS soort ‘voorverwerking’ of ‘naverwerking’ van wat we doen met tekst
 GEVAAR: realistische “deep fakes”
 = geavanceerde stemvervalsingen, gemaakt met AI en synthetische media

Spraaksynthese = het automatisch omzetten van tekst naar spraak
 Geproduceerd met accent en natuurlijke intonatie
Spraakherkenning = automatisch omzetten van spraak naar tekst
 Transcriptie van spraak
 Onopgelost problemen:
 Verschillende mensen die tegelijk praten
 Te veel achtergrondlawaai
 Low resource languages: beperkte digitale hulpmiddelen
 Taal/dialect waarvoor de beschikbaarheid van data voor training vd systemen beperkt is

SPRAAKHERKENNING + VERTALING

= een voorbeeld van de enorme vooruitgang in de taaltechnologie
zoals op YT: w automatisch ondertiteld (spraakherkenning) en vertaald in “real time” (machinevertaling)

VOICE CLONING + (LIP)BEWEGINGEN + VERTALING + SPRAAKSYNTHESE
= op basis van 2 minuten spraak en beeld

BEELD NAAR TEKST
 Vb: een foto waar je dan bv. een caption voor kan laten genereren
 INPUT? De afbeeldingen
 Beelverwerking (via objectherkenning)
 OUTPUT? Woorden van de herkende objecten
 Tekstverwerkingen (woorden combineren tot zinnen)
 OUTPUT 2.0? beschrijving in tekst of “outpainting” (het schilderij groter maken en dus extra bij verzinnen)

Image captioning = een model genereert automatisch een beschrijvende tekst voor een afbeelding, gebaseerd op
wat er te zien is  combinatie van objectherkenning en natuurlijke taalverwerking voor tekstgeneratie