Leesstof Taal en Technologie
Taaltechnologie ontrafeld
1.1 Wat is taaltechnologie
Taaltechnologie = de toepassing van computertechnologie en artificiële
intelligentie om menselijke taal automatisch te verwerken, analyseren en
genereren. Een andere benaming hiervoor is Natural Language Processing
(NLP) of natuurlijktaalverwerking: technologie aanwenden om taal te
analyseren of genereren. Er zijn vier belangrijke deelprocessen van
natuurlijketaalverwerking:
1. Spraakherkenning (een stem herkennen en de klanken vervolgens
omzetten in woorden).
2. Tekstinterpretatie (een vraag op een correcte manier begrijpen. Met
andere woorden: achterhalen wat de intentie van de spreker is).
3. Tekstgeneratie (het correcte antwoord op een vraag vinden en dat
antwoord vervolgens omzetten in de juiste woorden).
4. Spraaksynthese (een woordcombinatie omzetten in klanken).
Natuurlijketaalverwerking is een onderdeel van kunstmatige intelligentie
en richt zich op het begrijpen en verwerken van menselijke taal. NLP wordt
gebruikt in onder andere chats, zoekmachines en spraakassistenten en
werkt vaak samen met andere AI-domeinen, zoals robotica en
beeldherkenning. Machine learning speelt hierbij een belangrijke rol,
omdat systemen daarmee leren op basis van data.
1.2 Waarom is taal zo moeilijk?
Ondanks dat er veel technologische vooruitgang is, hebben intelligente
systemen ook beperkingen. Het voornaamste probleem is
dubbelzinnigheid (ambiguïteit): woorden met verschillende betekenissen.
Bij tekstinterpretatie op verschillende niveaus:
1. Morfologisch niveau: massagebed kan op 2 manieren worden
opgesplitst.
2. Syntactisch niveau: ‘de politie verwondde de man met het pistool’,
wie had het pistool?
3. Semantisch niveau: een woord zoals ‘muis’ heeft verschillende
betekenissen.
4. Discourseniveau: ‘Marie nodigde Suzanne uit. Ze had een witte
broek aan’. Wie is ze?
Watervalmodel:
,Bij taaltechnologie wordt taal stap voor stap verwerkt. Eerst zijn er enkele
voorbereidende stappen nodig. Een belangrijke stap is zinssplitsing,
waarbij tekst wordt verdeeld in afzonderlijke zinnen. Daarna volgt
tokenisering: het opdelen van een zin in kleinere onderdelen, zoals
woorden, cijfers en leestekens. Deze losse onderdelen worden tokens
genoemd.
Morfologische analyse
Hierbij wordt gekeken naar de interne structuur van woorden en naar de
manier waarop woorden zijn opgebouwd. Woorden kunnen bijvoorbeeld
bestaan uit een stam, een voorvoegsel of een achtervoegsel. De betekenis
van een woord hangt vaak samen met die opbouw. Zo kan een woord op
verschillende manieren geïnterpreteerd worden afhankelijk van hoe het
wordt opgesplitst.
Binnen de morfologische analyse speelt ook morfosyntaxis een rol. Dit is
de combinatie van morfologie en syntaxis: er wordt dus niet alleen
gekeken naar de opbouw van woorden, maar ook naar hun functie binnen
een zin. Het bestudeert de manier waarop woordstructuur (morfologie) en
zinsstructuur (syntaxis) met elkaar interageren. Hierbij wordt vaak
gebruikgemaakt van part-of-speech tagging (PoS-tagging). Dat
betekent dat woorden automatisch een woordsoort krijgen, zoals
zelfstandig naamwoord, werkwoord, voorzetsel of bijvoeglijk naamwoord.
Omdat woorden soms meerdere functies kunnen hebben, kijkt een
computer hierbij naar de context van de zin.
Wanneer de woordsoorten bekend zijn, kan een computer woorden
terugbrengen naar hun basisvorm. Dit proces heet lemmatisering.
Woorden zoals “volgestouwd” en “fietsen” worden dan bijvoorbeeld
herleid tot “volstouwen” en “fiets”. Hierdoor wordt het makkelijker om
woorden te herkennen, ook als ze in een andere vorm voorkomen.
Syntactische analyse
Hierbij wordt onderzocht hoe woorden samen een zin vormen en welke
relaties er bestaan tussen de verschillende onderdelen van een zin. Dit
gebeurt met behulp van parsing. Bij parsing wordt een syntactische boom
gemaakt waarin zichtbaar wordt wat het onderwerp, gezegde, lijdend
voorwerp en eventuele bepalingen zijn. Zo kan een computer achterhalen
welke woorden bij elkaar horen en hoe een zin precies moet worden
geïnterpreteerd.
Semantische analyse
Hierbij staat de betekenis van woorden en zinnen centraal. Veel woorden
hebben meerdere betekenissen, waardoor er ambiguïteit ontstaat. Een
woord als “pad” kan bijvoorbeeld verwijzen naar een weg, maar ook naar
een dier. Om te bepalen welke betekenis bedoeld wordt, gebruikt een
,computer Word Sense Disambiguation (WSD). Daarbij kijkt het
systeem naar de context van het woord in de zin.
Een andere belangrijke taak binnen de semantische analyse is Named
Entity Recognition (NER). Hierbij herkent een computer automatisch
eigennamen in een tekst, zoals namen van personen, organisaties,
locaties of producten. Zo kan een systeem bijvoorbeeld onderscheid
maken tussen een plaatsnaam, een bedrijfsnaam of een persoonsnaam.
Toch blijft dit moeilijk, omdat sommige namen meerdere betekenissen
kunnen hebben of gebruikt worden als metoniem.
Discourseanalyse
Boven het niveau van losse woorden en zinnen ligt de discourseanalyse.
Hierbij wordt gekeken naar verbanden tussen meerdere zinnen in een
tekst. Een belangrijk onderdeel daarvan is coreferentieresolutie. Dit
betekent dat een computer probeert te bepalen naar wie of wat
verwijswoorden zoals “hij”, “zij”, “haar” of “het” verwijzen. Dit is vaak
lastig, omdat meerdere personen of objecten in aanmerking kunnen
komen.
Tot slot zijn ook pragmatiek en wereldkennis belangrijk voor taalbegrip.
Pragmatiek gaat over de relatie tussen taal en de situatie waarin iets
wordt gezegd. De betekenis van een zin hangt dus niet alleen af van de
woorden zelf, maar ook van de context. Wereldkennis bestaat uit alle
kennis die mensen hebben over de wereld, zoals sociale regels, cultuur en
dagelijkse situaties. Zonder pragmatiek en wereldkennis is het moeilijk om
taal volledig goed te begrijpen, omdat veel betekenissen impliciet zijn en
afhangen van achtergrondkennis. De combinatie van al deze niveaus
maakt duidelijk waarom taaltechnologie zo complex is.
1.3 Hoe leert een computer taal?
Er zijn twee belangrijke benaderingen:
Regelgebaseerd (expliciet): het computersysteem leert taal aan
de hand van vooraf opgestelde regels.
Datagebaseerd (impliciet): het systeem leert op basis van grote
hoeveelheden voorbeelden en data.
Een regel gebaseerde aanpak werkt met expliciete instructies die door
mensen zijn geprogrammeerd. Hierbij wordt stap voor stap bepaald wat
een computer moet doen. Omdat het systeem vanuit algemene regels
naar specifieke toepassingen gaat, spreekt men van een top-down of
deductieve aanpak.
Bij een regel gebaseerd systeem kan een tekst bijvoorbeeld worden
verwerkt via vaste stappen:
, 1. Zinssplitsing: de tekst wordt opgesplitst in afzonderlijke zinnen.
2. Spaties toevoegen voor leestekens: leestekens worden apart
geplaatst zodat ze los van woorden kunnen worden verwerkt.
3. Tokenisering op basis van spaties: de zin wordt opgesplitst in
losse woorden of tokens.
Regel gebaseerde systemen zijn handig wanneer taal relatief voorspelbaar
is. Toch hebben ze ook nadelen. In de praktijk bestaan er veel
uitzonderingen, waardoor systemen vaak lange lijsten met regels nodig
hebben.
Soms spreken regels elkaar zelfs tegen. Daardoor zijn regel gebaseerde
systemen moeilijk uit te breiden en minder geschikt voor complexe taal.
Een voorbeeld van een regel gebaseerd systeem is een eenvoudige
chatbot die vooraf geprogrammeerde zinnen herkent en daar een
standaardantwoord op geeft.
Een data gebaseerde aanpak werkt anders. Hierbij krijgt een
computersysteem geen vaste regels, maar grote hoeveelheden
voorbeelden. Op basis daarvan leert het systeem zelf patronen herkennen.
Omdat het systeem vertrekt van concrete voorbeelden en daaruit
algemene regels afleidt, spreekt men van een bottom-up of inductieve
aanpak.
Bij machine learning staan vier grote componenten centraal:
1. Data: welke gegevens zijn beschikbaar en hoe worden ze
verzameld?
2. Taak: wat moet het systeem precies leren?
3. Leerproces: hoe leert het systeem patronen herkennen?
4. Evaluatie: hoe wordt gecontroleerd of het systeem goed werkt?
Bij taaltechnologie is een grote verzameling teksten nodig. Zo’n
verzameling heet een corpus. Een corpus bevat veel voorbeelden van
echte taal en vormt de basis voor het leerproces van een systeem. Een
corpus kan bestaan uit boeken, websites, sociale media, nieuwsartikelen
of gesproken taal.
Belangrijke eigenschappen van een goed corpus zijn:
Het corpus moet voldoende groot zijn.
Het corpus moet representatief zijn voor de taal die het systeem
moet leren.
De teksten moeten relevant zijn voor de taak.
Het corpus moet voldoende variatie bevatten.
Een te klein of slecht samengesteld corpus kan leiden tot bias of
vooringenomenheid. Wanneer bepaalde groepen, woorden of situaties te
Taaltechnologie ontrafeld
1.1 Wat is taaltechnologie
Taaltechnologie = de toepassing van computertechnologie en artificiële
intelligentie om menselijke taal automatisch te verwerken, analyseren en
genereren. Een andere benaming hiervoor is Natural Language Processing
(NLP) of natuurlijktaalverwerking: technologie aanwenden om taal te
analyseren of genereren. Er zijn vier belangrijke deelprocessen van
natuurlijketaalverwerking:
1. Spraakherkenning (een stem herkennen en de klanken vervolgens
omzetten in woorden).
2. Tekstinterpretatie (een vraag op een correcte manier begrijpen. Met
andere woorden: achterhalen wat de intentie van de spreker is).
3. Tekstgeneratie (het correcte antwoord op een vraag vinden en dat
antwoord vervolgens omzetten in de juiste woorden).
4. Spraaksynthese (een woordcombinatie omzetten in klanken).
Natuurlijketaalverwerking is een onderdeel van kunstmatige intelligentie
en richt zich op het begrijpen en verwerken van menselijke taal. NLP wordt
gebruikt in onder andere chats, zoekmachines en spraakassistenten en
werkt vaak samen met andere AI-domeinen, zoals robotica en
beeldherkenning. Machine learning speelt hierbij een belangrijke rol,
omdat systemen daarmee leren op basis van data.
1.2 Waarom is taal zo moeilijk?
Ondanks dat er veel technologische vooruitgang is, hebben intelligente
systemen ook beperkingen. Het voornaamste probleem is
dubbelzinnigheid (ambiguïteit): woorden met verschillende betekenissen.
Bij tekstinterpretatie op verschillende niveaus:
1. Morfologisch niveau: massagebed kan op 2 manieren worden
opgesplitst.
2. Syntactisch niveau: ‘de politie verwondde de man met het pistool’,
wie had het pistool?
3. Semantisch niveau: een woord zoals ‘muis’ heeft verschillende
betekenissen.
4. Discourseniveau: ‘Marie nodigde Suzanne uit. Ze had een witte
broek aan’. Wie is ze?
Watervalmodel:
,Bij taaltechnologie wordt taal stap voor stap verwerkt. Eerst zijn er enkele
voorbereidende stappen nodig. Een belangrijke stap is zinssplitsing,
waarbij tekst wordt verdeeld in afzonderlijke zinnen. Daarna volgt
tokenisering: het opdelen van een zin in kleinere onderdelen, zoals
woorden, cijfers en leestekens. Deze losse onderdelen worden tokens
genoemd.
Morfologische analyse
Hierbij wordt gekeken naar de interne structuur van woorden en naar de
manier waarop woorden zijn opgebouwd. Woorden kunnen bijvoorbeeld
bestaan uit een stam, een voorvoegsel of een achtervoegsel. De betekenis
van een woord hangt vaak samen met die opbouw. Zo kan een woord op
verschillende manieren geïnterpreteerd worden afhankelijk van hoe het
wordt opgesplitst.
Binnen de morfologische analyse speelt ook morfosyntaxis een rol. Dit is
de combinatie van morfologie en syntaxis: er wordt dus niet alleen
gekeken naar de opbouw van woorden, maar ook naar hun functie binnen
een zin. Het bestudeert de manier waarop woordstructuur (morfologie) en
zinsstructuur (syntaxis) met elkaar interageren. Hierbij wordt vaak
gebruikgemaakt van part-of-speech tagging (PoS-tagging). Dat
betekent dat woorden automatisch een woordsoort krijgen, zoals
zelfstandig naamwoord, werkwoord, voorzetsel of bijvoeglijk naamwoord.
Omdat woorden soms meerdere functies kunnen hebben, kijkt een
computer hierbij naar de context van de zin.
Wanneer de woordsoorten bekend zijn, kan een computer woorden
terugbrengen naar hun basisvorm. Dit proces heet lemmatisering.
Woorden zoals “volgestouwd” en “fietsen” worden dan bijvoorbeeld
herleid tot “volstouwen” en “fiets”. Hierdoor wordt het makkelijker om
woorden te herkennen, ook als ze in een andere vorm voorkomen.
Syntactische analyse
Hierbij wordt onderzocht hoe woorden samen een zin vormen en welke
relaties er bestaan tussen de verschillende onderdelen van een zin. Dit
gebeurt met behulp van parsing. Bij parsing wordt een syntactische boom
gemaakt waarin zichtbaar wordt wat het onderwerp, gezegde, lijdend
voorwerp en eventuele bepalingen zijn. Zo kan een computer achterhalen
welke woorden bij elkaar horen en hoe een zin precies moet worden
geïnterpreteerd.
Semantische analyse
Hierbij staat de betekenis van woorden en zinnen centraal. Veel woorden
hebben meerdere betekenissen, waardoor er ambiguïteit ontstaat. Een
woord als “pad” kan bijvoorbeeld verwijzen naar een weg, maar ook naar
een dier. Om te bepalen welke betekenis bedoeld wordt, gebruikt een
,computer Word Sense Disambiguation (WSD). Daarbij kijkt het
systeem naar de context van het woord in de zin.
Een andere belangrijke taak binnen de semantische analyse is Named
Entity Recognition (NER). Hierbij herkent een computer automatisch
eigennamen in een tekst, zoals namen van personen, organisaties,
locaties of producten. Zo kan een systeem bijvoorbeeld onderscheid
maken tussen een plaatsnaam, een bedrijfsnaam of een persoonsnaam.
Toch blijft dit moeilijk, omdat sommige namen meerdere betekenissen
kunnen hebben of gebruikt worden als metoniem.
Discourseanalyse
Boven het niveau van losse woorden en zinnen ligt de discourseanalyse.
Hierbij wordt gekeken naar verbanden tussen meerdere zinnen in een
tekst. Een belangrijk onderdeel daarvan is coreferentieresolutie. Dit
betekent dat een computer probeert te bepalen naar wie of wat
verwijswoorden zoals “hij”, “zij”, “haar” of “het” verwijzen. Dit is vaak
lastig, omdat meerdere personen of objecten in aanmerking kunnen
komen.
Tot slot zijn ook pragmatiek en wereldkennis belangrijk voor taalbegrip.
Pragmatiek gaat over de relatie tussen taal en de situatie waarin iets
wordt gezegd. De betekenis van een zin hangt dus niet alleen af van de
woorden zelf, maar ook van de context. Wereldkennis bestaat uit alle
kennis die mensen hebben over de wereld, zoals sociale regels, cultuur en
dagelijkse situaties. Zonder pragmatiek en wereldkennis is het moeilijk om
taal volledig goed te begrijpen, omdat veel betekenissen impliciet zijn en
afhangen van achtergrondkennis. De combinatie van al deze niveaus
maakt duidelijk waarom taaltechnologie zo complex is.
1.3 Hoe leert een computer taal?
Er zijn twee belangrijke benaderingen:
Regelgebaseerd (expliciet): het computersysteem leert taal aan
de hand van vooraf opgestelde regels.
Datagebaseerd (impliciet): het systeem leert op basis van grote
hoeveelheden voorbeelden en data.
Een regel gebaseerde aanpak werkt met expliciete instructies die door
mensen zijn geprogrammeerd. Hierbij wordt stap voor stap bepaald wat
een computer moet doen. Omdat het systeem vanuit algemene regels
naar specifieke toepassingen gaat, spreekt men van een top-down of
deductieve aanpak.
Bij een regel gebaseerd systeem kan een tekst bijvoorbeeld worden
verwerkt via vaste stappen:
, 1. Zinssplitsing: de tekst wordt opgesplitst in afzonderlijke zinnen.
2. Spaties toevoegen voor leestekens: leestekens worden apart
geplaatst zodat ze los van woorden kunnen worden verwerkt.
3. Tokenisering op basis van spaties: de zin wordt opgesplitst in
losse woorden of tokens.
Regel gebaseerde systemen zijn handig wanneer taal relatief voorspelbaar
is. Toch hebben ze ook nadelen. In de praktijk bestaan er veel
uitzonderingen, waardoor systemen vaak lange lijsten met regels nodig
hebben.
Soms spreken regels elkaar zelfs tegen. Daardoor zijn regel gebaseerde
systemen moeilijk uit te breiden en minder geschikt voor complexe taal.
Een voorbeeld van een regel gebaseerd systeem is een eenvoudige
chatbot die vooraf geprogrammeerde zinnen herkent en daar een
standaardantwoord op geeft.
Een data gebaseerde aanpak werkt anders. Hierbij krijgt een
computersysteem geen vaste regels, maar grote hoeveelheden
voorbeelden. Op basis daarvan leert het systeem zelf patronen herkennen.
Omdat het systeem vertrekt van concrete voorbeelden en daaruit
algemene regels afleidt, spreekt men van een bottom-up of inductieve
aanpak.
Bij machine learning staan vier grote componenten centraal:
1. Data: welke gegevens zijn beschikbaar en hoe worden ze
verzameld?
2. Taak: wat moet het systeem precies leren?
3. Leerproces: hoe leert het systeem patronen herkennen?
4. Evaluatie: hoe wordt gecontroleerd of het systeem goed werkt?
Bij taaltechnologie is een grote verzameling teksten nodig. Zo’n
verzameling heet een corpus. Een corpus bevat veel voorbeelden van
echte taal en vormt de basis voor het leerproces van een systeem. Een
corpus kan bestaan uit boeken, websites, sociale media, nieuwsartikelen
of gesproken taal.
Belangrijke eigenschappen van een goed corpus zijn:
Het corpus moet voldoende groot zijn.
Het corpus moet representatief zijn voor de taal die het systeem
moet leren.
De teksten moeten relevant zijn voor de taak.
Het corpus moet voldoende variatie bevatten.
Een te klein of slecht samengesteld corpus kan leiden tot bias of
vooringenomenheid. Wanneer bepaalde groepen, woorden of situaties te
