Samenvatting - Data Science ()

Samenvatting tentamen Data Science
DM & DEP



Inhoudsopgave
Topic Data Mining...........................................................................................2
Overzicht belangrijkste punten voor het tentamen.......................................................16

Topic DEP..................................................................................................... 23
Overzicht belangrijkste punten voor het tentamen.......................................................29

,Topic Data Mining
De basis van datamining:
 Datamining is fundamenteel in Data Science
 Wat: patronen, correlaties, afwijkingen, inzichten, trends ontdekken
uit (grote) datasets
 Doel: inzicht krijgen in de gegevens voor besluitvorming,
voorspelling en kennisontdekking
 Gerelateerd aan:
o Machine learning: het ontwikkelen van algoritmen waarmee
computers kunnen leren van gegevens en voorspellingen of
beslissingen kunnen maken
o Statistisch leren: een kader bieden voor het begrijpen en
analyseren van gegevens door relaties te modelleren en
voorspellingen te doen op basis van statistische principes en
technieken
o Kunstmatige intelligentie: intelligente systemen creëren die
autonoom taken kunnen uitvoeren
 Het heeft/geeft veel gegevens
 Ontdek patronen en modellen die:
o Geldig: met enige zekerheid gelden voor nieuwe gegevens
o Nuttig: het moet mogelijk zijn om er iets mee te doen
o Onverwacht: niet voor de hand liggend voor het systeem
o Begrijpelijk: mensen moeten het patroon kunnen interpreteren

Let op: als je er afval ingooit krijg je er ook afval uit (slechte data in,
slechte data uit)

Er zijn 2 types of Data Mining methodes: Supervised en unsupervised
learning
 Bij supervised learning wordt een model getraind voor het
voorspellen of te schatten (een output gebaseerd op een of meer
inputs)
- Trainingsgegevens bevatten de gewenste output / labels
 Bij unsupervised learning is het doel om te leren over relaties en
structuur van de gegevens.
- Trainingsgegevens bevatten geen gewenste output/ ongelabeld
(hier zijn er dus nog geen labels)

Voorbeelden:
Supervised  Je wilt een e-mailsysteem bouwen dat automatisch kan
bepalen of een e-mail spam is of niet. Je hebt een dataset met duizenden
e-mails die gelabeld zijn als "spam" of "geen spam". Het model leert de
kenmerken van spam e-mails (bijv. bepaalde woorden of patronen) en
gebruikt die informatie om nieuwe e-mails te classificeren als spam of niet.
Het model leert van gelabelde data en probeert vervolgens nieuwe data
probeert te voorspellen.

,Unsupervised  Je wilt klanten groeperen op basis van hun koopgedrag
om gepersonaliseerde aanbiedingen te kunnen sturen, maar je hebt geen
vooraf gedefinieerde labels. Je hebt een dataset van klanten met
informatie over hun aankoopgeschiedenis (zoals frequentie, soort
producten, uitgaven), maar geen label zegt hoe klanten gegroepeerd
moeten worden. Het model analyseert de gegevens en groepeert klanten
op basis van overeenkomende patronen. Bijvoorbeeld, het ontdekt
groepen zoals "klanten die vaak dure elektronica kopen" en "klanten die
regelmatig goedkope huishoudelijke producten kopen." Het model ontdekt
een structuur in ongestructureerde, ongekende data.

Bij supervised learning kan er sprake zijn van verschillende soorten
problemen:
 Regressieprobleem
- De uitvoer is continu
 Classificatieprobleem
- Binaire classificatie: twee klassen
- Classificatie in meerdere klassen
- De output is een binaire of categorische waarde (gebaseerd op
een waarschijnlijkheid)

Voorbeelden:
Supervised
- Voorspellen van creditcardfraude (= classificatie)
- Spam uitfilteren (= classificatie)
- Handgeschreven afbeeldingen omzetten in tekst (= classificatie)
- Voorspellen van huizen-/vastgoed- en aandelenmarktprijzen (=
regressie)

Unsupervised
- Groepen klanten identificeren met een bepaald gedrag (= clusteren)
- Patronen identificeren zoals: als een klant X koopt, is er een neiging
om ook Y te kopen (= associatie)

Een aantal termen:
 Input: kenmerk, eigenschap, variabele, covariaat
 Output: afhankelijke variabele, responsvariabele, label
 Feature selection: variabelenselectie
 Feature engineering: variabele transformatie, dummy codering
 Method: algoritme, benadering of techniek die wordt gebruikt om
een model op gegevens (de schatter)
 Model: het getrainde resultaat van het toepassen van een methode
op een dataset (de schatter)
 Training: een model leren voorspellingen te doen of beslissingen te
beslissingen te nemen door het gegevens te geven
 Learning: het resultaat van het trainingsproces

Het trainen van een model:
 Er zijn veel modellen

,  Hoe complexer je model, hoe beter?
 Hoe weten we hoe goed uw model is?
 Hoe presteert je model op nieuwe gegevens?
 Validatie van je model met ongeziene testgegevens
(Train  Test  Use)

De makkelijkste methode is de Lineare Regressie met 2 parameters [Fev =
β0+β1age]. Maar er is ook een lineare regressie met 3 parameters [Fev =
β0+β1age+β2age2].

Het aantal parameters in een model weerspiegelt de complexiteit en
flexibiliteit. Met meer parameters kan het model fijnere details en nuances
in de gegevens vastleggen.
 Hoe complexer het model, hoe beter?
- Niet-lineaire termen (bijv. polynomen van hogere orde)
- Meer lagen in je netwerk
 Hoe meer functies in je model, hoe beter?
NEE!

Pas op voor OVERFITTING!

Zorg ervoor dat je een goede balans zoekt tussen bias en variance (Loess
model)

Overfitting & underfitting
Overfitting = een te complex model (groot aantal parameters) om
willekeurige fluctuaties in de trainingsgegevens op te vangen gegevens 
slechte prestaties op ongeziene gegevens

Underfitting = een te eenvoudig model om de onderliggende patronen in
de gegevens vast te leggen  slechte prestaties op zowel de training en
ongeziene gegevens

Hoe complexer het model, hoe lager de bias (betere aanpassing aan de
trainingsgegevens) maar hoger de variantie (d.w.z. gevoeligheid voor
variaties in de trainingsgegevens)

Een eenvoudiger model heeft een hogere bias maar een lagere variantie

!! Bias en variance in evenwicht brengen