Practica 3
BUSINESS
INTELLIGENCE
, Practica sessie 3
Sentimentanalyse
Dit is een supervised learning methode. De bedoeling is om na te gaan of de auteur positief,
negatief ofwel neutraal is tov een bepaald onderwerp of product in de tekst.
Voorbeelden:
- Twitter berichten naar aanloop van presidentsverkiezingen en zo nagaan of ze pos of
neg gestemd hebben voor een bepaalde verkozen president.
- Een ander voorbeeld kan zijn; een bepaalde review over bv de laatste Iphone. Staat
men daar pos of neg tegenover.
Classificatie uitvoeren
We hebben een set van gelabelde instances nodig om te trainen of te testen. Ook voor elke
instancie hebben we features en de bijhorende klasse.
Herhaling termen:
- Document: elke tekst die geclassifcieerd zal worden, bv review, tweet, comment…
- Corpus: verzameling van documenten
We hebben dus instancies nodig met labels, mr hoe kunnen we die aan teksten koppelen?
Dit kan op 2 manieren:
- Manueel; dit kan tijdsrovend zijn. Stel dat het gaat om twitter berichten kan dit om
duizenden tweets gaan. Dit is een groot werk
- Automatisch; eenvoudiger, maar we hebbene en referentie nodig om die labels te
kunnen raten.
Wanneer we een classificatie doen hebben we ook attributen nodig. We vertrekken hier van
volledige teksten en we moeten dit omvormen nr attributen. Dit kunnen we adhv bag of
words of ook word vector. We kunnen 3 verschillende dingen doen.
- Kijken of woord aanwezig is in een tekst. (0 = niet aanwezig, 1 = aanwezig)
- Tellen hoeveel een bepaald woord voorkomt in een tekst.
- TFIDF berekenen en zeldzame woorden een hogere waarde geven.
Case – movie review data
Gegevens: zie ufora
We zien 2 mappen: neg en pos met 1000 teksten die we zullen moeten labellen als neg of
pos.
1
BUSINESS
INTELLIGENCE
, Practica sessie 3
Sentimentanalyse
Dit is een supervised learning methode. De bedoeling is om na te gaan of de auteur positief,
negatief ofwel neutraal is tov een bepaald onderwerp of product in de tekst.
Voorbeelden:
- Twitter berichten naar aanloop van presidentsverkiezingen en zo nagaan of ze pos of
neg gestemd hebben voor een bepaalde verkozen president.
- Een ander voorbeeld kan zijn; een bepaalde review over bv de laatste Iphone. Staat
men daar pos of neg tegenover.
Classificatie uitvoeren
We hebben een set van gelabelde instances nodig om te trainen of te testen. Ook voor elke
instancie hebben we features en de bijhorende klasse.
Herhaling termen:
- Document: elke tekst die geclassifcieerd zal worden, bv review, tweet, comment…
- Corpus: verzameling van documenten
We hebben dus instancies nodig met labels, mr hoe kunnen we die aan teksten koppelen?
Dit kan op 2 manieren:
- Manueel; dit kan tijdsrovend zijn. Stel dat het gaat om twitter berichten kan dit om
duizenden tweets gaan. Dit is een groot werk
- Automatisch; eenvoudiger, maar we hebbene en referentie nodig om die labels te
kunnen raten.
Wanneer we een classificatie doen hebben we ook attributen nodig. We vertrekken hier van
volledige teksten en we moeten dit omvormen nr attributen. Dit kunnen we adhv bag of
words of ook word vector. We kunnen 3 verschillende dingen doen.
- Kijken of woord aanwezig is in een tekst. (0 = niet aanwezig, 1 = aanwezig)
- Tellen hoeveel een bepaald woord voorkomt in een tekst.
- TFIDF berekenen en zeldzame woorden een hogere waarde geven.
Case – movie review data
Gegevens: zie ufora
We zien 2 mappen: neg en pos met 1000 teksten die we zullen moeten labellen als neg of
pos.
1
