samenvatting - taaltechnologie hoofdstuk 3

TAALTECH 3

3. METHODES: DE WEG NAAR CHATGPT

A. INLEIDING

 In de taaltechnologie proberen we methodes te ontwikkelen om taal automatisch om te zetten naar betekenis
 = om taal te begrijpen
 andersom willen we ook taal produceren vanuit ‘betekenis’
 Het gaat hier om symbolische representaties voor zowel taal als betekenis (PSSH)
 = transformaties tussen representaties

HET BEGRIP ‘BETEKENIS’
Betekenis = abstract begrip
 We kunnen betekenissen niet rechtstreeks waarnemen
 Vanuit taalfilosofie en taalkunde: varianten van twee types representatie
 (1) semantische netwerken (= conceptual graphs, John Sowa)
 (2) en logica
 DUS : symbolische manier om concepten, relaties tss concepten en gebeurtenissen te representeren
 MAAR we hebben nog steeds iemand nodig die de symbolen en relaties interpreteert
 WRM? om er betekenis aan toe te kennen

B. VAN TEKST NAAR BETEKENIS EN TERUG

 Taaltechnologie probeert de relatie tss tekst en betekenis te leggen
 Dit wordt gedaan volgens twee werkwijzen:

DE MODULAIRE AANPAK
 WAT? in een aantal stappen: transformaties tss representaties van woorden – zinnen – teksten
 De stappen lopen ongeveer gelijk met deeldisciplines in taalkunde

Het proces
1. Morfologische analyse: van woord naar woordstructuur
 Betekenis van woord w deels afgeleid uit structuur (vervoegde vormen)
2. Woordbetekenistoekenning: van woord naar betekenis
 Betekenissen vinden we in woordenboek/lexicon
3. Woordsoortanalyse of part of speech tagging
 Om de structuur vd zin te vinden (een grammaticale categorie)
4. Parsing: van zin naar zinsstructuur
 Analyseren hoe verschillende onderdelen samenhangen
5. Semantische analyse: van zinstructuur naar betekenisstructuur
 Letterlijke betekenis = door de betekenis en structuur
 Bedoelde betekenis = als we de context mee betrekken
6. discourse analyse: analyse van teksten
 om teksten in te delen in versch. onderdelen (stelling, argument, voorbeeld, …)
7. Analyserende modules (tekst – betekenis) <-> genererende modules (betekenis – tekst)
8. Tekst genereren uit semantische representatie
 Logische formule/ semantisch netwerk  tekst- en zinsstructuur construeren + juiste woorden selecteren

Voorverwerking = relevante eenheden vinden in de tekst: woorden, zinnen, paragrafen en grotere structuren

Een token = woordvoorkomen

,  WAT? een reeks letters, gescheiden door interpunctie, spaties of speciale codes
 !! elke keer een woord voorkomt is een NIEUW token
 !! leestekens tellen mee als aparte tokens want ze betekenen iets
 DUS een token verwijst naar elk afzonderlijk voorkomen van een woord/leesteken
 <-> types = het aantal unieke woorden of leestekens in de tekst
 PROBLEMEN?
 Afkortingen bevatten leestekens die verkeerd geïnterpreteerd kunnen w
 Woorden met hoofdletter kunnen verkeerd begrepen w als begin vd zin

DE END-TO-END AANPAK
 WAT? In één stap: van invoer naar uitvoer (end-to-end)
 Bv. via vertaalsysteem: tekst in ene taal gaat erin en gaat er in andere taal uit

TWEE SOORTEN PROBLEMEN
1. Segmentatie
 WAT? het opsplitsen v/e representatie die geanalyseerd moet w in segmenten
 Voorbeeld: “taaltechnoloog” willen we segmenteren in taal+technoloog
 De nominale constituenten etc. proberen vinden
 OF complex woord in suffixen en affixen scheiden en stam eruit halen
2. Identificatie
 WAT? het toekennen v/e categorie of label aan de gevonden segmenten
 Voorbeeld: we willen de betekenis vh geheel construeren en technoloog die over “taal” werk doet
 Kunnen zeggen welke functie het woord heeft bv. als het zowel een ww als substantief kan zijn

 in beide processen is ambiguiteit het belangrijkste probleem om op te lossen
 typisch voor PSSH: representaties op woord-, zins- en semantisch niveau en dan uitwerking


C. AMBIGUITEIT EN CONTEXT

 ambiguiteit maakt taalverwerking ingewikkelder voor mens en machine (maar de mens heeft er geen last van)
 Voor mensen: de context bepaalt de juiste interpretatie vd zin
 = inferentie: een vorm van redeneren
 Onbewust redeneren we over de context en gebruiken onze wereldkennis voor de ontbrekende info
 Ambiguiteit valt pas op wnr interpretaties een humoristisch effect hebben
 Voor machines: het taalsignaal zelf bevat te weinig info om de juiste beslissing te nemen
 Vb: een pizza met ananas eten MAAR je kan ook pizza met een vork eten, snap je?
 Ambiguiteit = aanwezig bij elk taalkundig niveau bv. bij synoniemen




SOORTEN AMBIGUÏTEIT