1.2 - BUSINESS PROBLEMS & DATA SCIENCE
SOLUTIONS
Belangrijke begrippen met betrekking tot data-mining begrijpen
Classificatie: voorspellen tot welke klasse je behoort -> churn OF niet churn -> GEEN kans
-> wat gebeurt er?
Class probability estimation: voorspellen tot welke klasse je behoort -> via een kans
Regression: voorspellen een 'numerieke waarde'
-> hoeveel gebeurt er?
Similarity matching: zoeken naar vergelijkbare individuen in DATA
Clustering: groeperen van data in natuurlijke segmenten zonder een vooraf doel (target)
-> gebaseerd op: gelijkenis van kenmerken
Co-occurence grouping: zoeken naar items die vaak voorkomen in transacties
-> gebaseerd op: gezamenlijk voorkomen in transacties
Profiling: beschrijving van typisch gedrag van 'individuen, groepen, populaties'
Link prediction: voorspellen van verbanden tussen entiteiten die nog NIET bestaan maar
waarschijnlijk WEL zouden moeten bestaan
Data reduction: reduceren of verminderen van de grootte van dataset terwijl belangrijke info
behouden blijft
-> verlies info MAAR betere bruikbaarheid
Causal modeling: wat veroorzaakt wat -> correlatie & oorzaak-gevolg relatie
Classificatie & class probability estimation
• Classificatie -> geen kans - ja/nee beslissing - bineaire voorspelling
• Class probability estimation -> kanswaarde
,Predictie & descriptie
Prediction = voorspelling
-> gebruik data om onbekende/toekomstige waarden te voorspellen
Discription = beschrijving
-> zoeken naar beschrijvende & interpreteerbare patronen in data
Prediction Description
Voorspelt wat er zal gebeuren Beschrijft wat er is gebeurt
Gericht op: accuracy Gericht op: interpretatie
Automatisch Analytisch
Supervised & unsupervised
Supervised learning
= gelabelde data & duidelijk doel
o WEL target (doel)
o WEL historische data met labels beschikbaar
o DOEL: voorspellen of verklaren
=> bruikbare output
Unsupervised learning
= verborgen patronen zonder target (doel)
o GEEN target (doel)
o GEEN historische data
o DOEL: model zoekt zelf structuren in de data
=> exploratieve output
,Classificatie & regressie
• Classificatie -> categorische voorspelling - welke klasse?
• Regressie -> numerieke voorspelling - hoeveel?
Verschil tussen gebruik van model & opbouwen van model
Inductie: leren uit data
• Lening terugbetalen?
Eerst LEREN van gelabelde data
-> dan GEBRUIKEN model op ongelabelde data
Deductie: toepassen van model
• Nieuwe lening-aanvraag beoordelen?
1. MODEL BOUWEN -> training fase HISTORISCHE DATA
INDUCTIE -> vetrekt vanuit DATA
o Data bevat de target (doelvariabele of label) -> hieruit eerst leren
o Patronen vinden & model trainen
2. MODEL GEBRUIKEN -> predictie fase NIEUWE DATA
DEDUCTIE -> vertrekt vanuit REGELS
o Model toegepast op nieuwe data
o Geen target (doelvariabele of label)
o Model voorspelt
• Classificatie (klasse)
• Class probability estimation (kans op klasse)
Gebruik + betekenis van CRISP-DM
Wat is CRISP-DM?
• Iteratief (geen lineair proces)
• Doorlopen proces meermaals
• Elke iteratie verbetert resultaat
CRISP-DM proces?
1. Business understanding
o Business probleem begrijpen
o Zonder business probleem -> data mining ZINLOOS
, 2. Data understanding
o Data (=grondstof van oplossing) verstaan
• Welke beschikbaar?
• Welke beperkingen?
3. Data preparation
o Data geschikt maken voor modellering
• Ontbrekende waarden behandelen
• Data transformeren
• Categorie -> Numeriek
• Normalisatie
o DATA LEAKAGE -> risico
4. Modeling
= kern van data-mining
o Model bouwen die patronen leert in DATA
o Algoritmes, trainingen, patronen & relaties
5. Evaluation
o Model echt bruikbaar & betrouwbaar??
o PAS OP VOOR:
• Toevallige patronen
• Hoge accuracy -> NIET direct goed model
TIP: evaluatie gaat NIET over accuracy -> WEL over impact van fouten
6. Deployment
o Model effectief gebruiken -> in praktijk
• Integratie in systemen
• Operationeel gebruik
• Real-world toepassing
Model gebouwd door ENGINEERS - niet data scientists
SOLUTIONS
Belangrijke begrippen met betrekking tot data-mining begrijpen
Classificatie: voorspellen tot welke klasse je behoort -> churn OF niet churn -> GEEN kans
-> wat gebeurt er?
Class probability estimation: voorspellen tot welke klasse je behoort -> via een kans
Regression: voorspellen een 'numerieke waarde'
-> hoeveel gebeurt er?
Similarity matching: zoeken naar vergelijkbare individuen in DATA
Clustering: groeperen van data in natuurlijke segmenten zonder een vooraf doel (target)
-> gebaseerd op: gelijkenis van kenmerken
Co-occurence grouping: zoeken naar items die vaak voorkomen in transacties
-> gebaseerd op: gezamenlijk voorkomen in transacties
Profiling: beschrijving van typisch gedrag van 'individuen, groepen, populaties'
Link prediction: voorspellen van verbanden tussen entiteiten die nog NIET bestaan maar
waarschijnlijk WEL zouden moeten bestaan
Data reduction: reduceren of verminderen van de grootte van dataset terwijl belangrijke info
behouden blijft
-> verlies info MAAR betere bruikbaarheid
Causal modeling: wat veroorzaakt wat -> correlatie & oorzaak-gevolg relatie
Classificatie & class probability estimation
• Classificatie -> geen kans - ja/nee beslissing - bineaire voorspelling
• Class probability estimation -> kanswaarde
,Predictie & descriptie
Prediction = voorspelling
-> gebruik data om onbekende/toekomstige waarden te voorspellen
Discription = beschrijving
-> zoeken naar beschrijvende & interpreteerbare patronen in data
Prediction Description
Voorspelt wat er zal gebeuren Beschrijft wat er is gebeurt
Gericht op: accuracy Gericht op: interpretatie
Automatisch Analytisch
Supervised & unsupervised
Supervised learning
= gelabelde data & duidelijk doel
o WEL target (doel)
o WEL historische data met labels beschikbaar
o DOEL: voorspellen of verklaren
=> bruikbare output
Unsupervised learning
= verborgen patronen zonder target (doel)
o GEEN target (doel)
o GEEN historische data
o DOEL: model zoekt zelf structuren in de data
=> exploratieve output
,Classificatie & regressie
• Classificatie -> categorische voorspelling - welke klasse?
• Regressie -> numerieke voorspelling - hoeveel?
Verschil tussen gebruik van model & opbouwen van model
Inductie: leren uit data
• Lening terugbetalen?
Eerst LEREN van gelabelde data
-> dan GEBRUIKEN model op ongelabelde data
Deductie: toepassen van model
• Nieuwe lening-aanvraag beoordelen?
1. MODEL BOUWEN -> training fase HISTORISCHE DATA
INDUCTIE -> vetrekt vanuit DATA
o Data bevat de target (doelvariabele of label) -> hieruit eerst leren
o Patronen vinden & model trainen
2. MODEL GEBRUIKEN -> predictie fase NIEUWE DATA
DEDUCTIE -> vertrekt vanuit REGELS
o Model toegepast op nieuwe data
o Geen target (doelvariabele of label)
o Model voorspelt
• Classificatie (klasse)
• Class probability estimation (kans op klasse)
Gebruik + betekenis van CRISP-DM
Wat is CRISP-DM?
• Iteratief (geen lineair proces)
• Doorlopen proces meermaals
• Elke iteratie verbetert resultaat
CRISP-DM proces?
1. Business understanding
o Business probleem begrijpen
o Zonder business probleem -> data mining ZINLOOS
, 2. Data understanding
o Data (=grondstof van oplossing) verstaan
• Welke beschikbaar?
• Welke beperkingen?
3. Data preparation
o Data geschikt maken voor modellering
• Ontbrekende waarden behandelen
• Data transformeren
• Categorie -> Numeriek
• Normalisatie
o DATA LEAKAGE -> risico
4. Modeling
= kern van data-mining
o Model bouwen die patronen leert in DATA
o Algoritmes, trainingen, patronen & relaties
5. Evaluation
o Model echt bruikbaar & betrouwbaar??
o PAS OP VOOR:
• Toevallige patronen
• Hoge accuracy -> NIET direct goed model
TIP: evaluatie gaat NIET over accuracy -> WEL over impact van fouten
6. Deployment
o Model effectief gebruiken -> in praktijk
• Integratie in systemen
• Operationeel gebruik
• Real-world toepassing
Model gebouwd door ENGINEERS - niet data scientists
