Business intelligence
samenvatting
2021-2022
,Inhoud
1.0 INTRODUCTIE BUSINESSINTELLIGENCE.................................................................................................................4
WAAROM IS DATA SCIENCE BELANGRIJK VOOR BEDRIJVEN?..............................................................4
1.1 DATA-ANALYTICALTHINKING..............................................................................................................................7
INTRODUCTIE.......................................................................................................................................7
WAAROM DATA-ANALYTICAL THINKING EN DATA SCIENCE?..............................................................7
VOORBEELDEN...................................................................................................................................10
WAT IS DATA-ANALYTICAL THINKING?..............................................................................................11
WAT IS DATA SCIENCE OF DATAWETENSCHAP?................................................................................13
SAMENVATTING.................................................................................................................................15
1.2 BUSINESS PROBLEMS ANDDATASCIENCE SOLUTIONS............................................................................................13
VERSCHILLENDE DATAMINING TAKEN...............................................................................................13
SUPERVISED VERSUS UNSUPERVISED METHODS...............................................................................15
HET DATAMINING PROCES.................................................................................................................16
ANDERE ANALYSETECHNIEKEN EN -TECHNOLOGIEËN.......................................................................18
2.1 INTRODUCTION TO PREDICTIVEMODELING.........................................................................................................21
INLEIDING..........................................................................................................................................21
TERMINOLOGIE..................................................................................................................................21
SUPERVISED SEGMENTATIE...............................................................................................................22
HET SELECTEREN VAN INFORMATIEVE ATTRIBUTEN.........................................................................23
SUPERVISED SEGMENTATIE MET BOOMSTRUCTUURMODELLEN......................................................26
ANDERE VOORSTELLINGEN................................................................................................................29
PROBABILITY ESTIMATION OF WAARSCHIJNLIJKHEIDSSCHATTING....................................................30
2.2 FITTING A MODEL TO DATA..............................................................................................................................32
INLEIDING..........................................................................................................................................32
LINEAR DISCRIMINANT FUNCTIONS...................................................................................................32
SUPPORT VECTOR MACHINES (SVM).................................................................................................35
REGRESSION VIA MATHEMATICAL FUNCTIONS.................................................................................36
CLASSIFICATION: SCORING AND RANKING.........................................................................................36
WHAT IF THE DATA IS NON-LINEAR?.................................................................................................40
1
,3.1 OVERFITTING AND ITSAVOIDANCE....................................................................................................................41
OVERFITTING.....................................................................................................................................41
VOORSPELLINGSTECHNIEKEN VOOR OVERFITTING...........................................................................42
WAAROM IS OVERFITTEN SLECHT?....................................................................................................46
CROSS VALIDATION............................................................................................................................47
LEARNING CURVES.............................................................................................................................48
HET VERMIJDEN VAN OVERFITTING EN COMPLEXITEITSCONTROLE..................................................49
3.2 SIMILARITY, NEIGHBORSANDCLUSTERS..............................................................................................................53
GEBRUIK VAN SIMILARITY..................................................................................................................53
AFSTAND............................................................................................................................................53
NEAREST-NEIGHBOUR REASONING (NN)...........................................................................................54
CLUSTERING AS SIMILARITY-BASED SEGMENTATION........................................................................62
4.1 DECISIONANALYTICALTHINKING: WHAT IS A GOOD MODEL...................................................................................66
INTRODUCTIE.....................................................................................................................................66
EVALUEREN VAN CLASSIFIERS............................................................................................................66
GENERALIZING BEYOND CLASSIFIERS.................................................................................................69
EXPECTED VALUE FRAMEWORK.........................................................................................................70
BASELINE PERFORMANCE EN IMPLICATIES VOOR INVESTERINGEN IN GEGEVENS............................74
4.2 VISUALISING MODELPERFORMANCE.................................................................................................................76
RANKING IN PLAATS VAN CLASSIFICEREN..........................................................................................76
WINSTCURVES....................................................................................................................................77
ROC EN AUC.......................................................................................................................................78
CUMULATIEVE RESPONS- EN LIFTCURVES.........................................................................................81
VOORBEELD CHURNPREDICTION.......................................................................................................82
5.1 EVIDENCE ANDPROBABILITIES..........................................................................................................................86
VOORBEELD.......................................................................................................................................86
COMBINING EVICENCE PROBABILISTICALLY.......................................................................................86
JOINT PROBABILITY AND INDEPENDENCE..........................................................................................86
BAYES' RULE.......................................................................................................................................87
EEN MODEL VAN BEWIJSVOERING "LIFT"..........................................................................................90
2
, SAMENVATTING.................................................................................................................................91
5.2 REPRESENTING AND MININGTEXT.....................................................................................................................92
DATA PREPARATION..........................................................................................................................92
WAAROM IS TEKST BELANGRIJK?.......................................................................................................92
WAAROM IS TEKST MOEILIJK?...........................................................................................................92
REPRESENTATION - WEERGAVE.........................................................................................................92
BEYOND BAG OF WORDS...................................................................................................................96
VOORBEELD: DATAMINING OM DE KOERSBEWEGING TE VOORSPELLEN..........................................98
6.1 DECISIONANALYTICALTHINKING: TOWARDANALYTICALENGINEERING...................................................................101
CHARITY MAILING............................................................................................................................101
SELECTION BIAS...............................................................................................................................103
CHURNPROBLEEM...........................................................................................................................103
6.2 OTHER DATASCIENCE TASKS ANDTECHNIQUES...................................................................................................106
CO-OCCURRENCE GROUPING (ASSOCIATIONS DISCOVERY)............................................................106
PROFILING........................................................................................................................................108
LINK PREDICTION.............................................................................................................................109
DATA REDUCTION............................................................................................................................109
BIAS, VARIANCE EN ENSEMBLE METHODS.......................................................................................110
CAUSAL MODELING..........................................................................................................................111
6.3 DATASCIENCE AND BUSINESSSTRATEGY............................................................................................................112
HET MAXIMALE HALEN UIT DE RIJKDOM VAN DATA.......................................................................112
HET BEREIKEN VAN CONCURRENTIEVOORDEEL MET DATA SCIENCE..............................................112
BEHOUD VAN HET CONCURRENTIEVOORDEEL MET DATA SCIENCE................................................112
SUPERIOR DATA SCIENCE MANAGEMENT.......................................................................................113
EVALUEREN VAN DATA SCIENCE PROJECT VOORSTELLEN...............................................................114
6.4 CONCLUSION...............................................................................................................................................116
DE FUNDAMENTELE CONCEPTEN VAN DATAWETENSCHAP............................................................116
MINING MOBILE DEVICE DATA........................................................................................................116
WAT DATA NIET KAN DOEN.............................................................................................................117
PRIVACY EN ETHIEK..........................................................................................................................117
3
,C. 0,43 ik had dit ( 3/7) ik ook, ik ook ik ook ik ook => FOUT..........................................................................................118
D. Allemaal aanspreken (had ik ook, 375*5,14 - 0,1*1125 = 1815 cost-benefit matrix........................................................118
0 0 het is A! Zie voorbeeldexamen Wrm zou het nog eens A zijn als het vb examen?? Ik heb alle mogelijke antwoorden apart
opgelost en bij deze oefening was D de juiste normaal Als Je de werkmethode van het vb examen had toegepast tenminste. . .118
B. als instellingen in weka niet aangepast worden, zelfde accuracy deze? Ik ook, ik ook dit is fout -> neen dit is juist, heb het net
getest in weka, weka neemt altijd dezelfde seed tenzij je dit manueel aanpast................................................................119
D. Minder werkers gebruiken (had ik ook, idem) ( ik ook) (ik ook) ik ook, ook..................................................................119
A. K-mean iteratie centroïde cluster (ik had deze) (ik ook) (ik ook) ik ook.........................................................................119
D. JUISTE ANTWOORD IS META (ik ook)..................................................................................................................120
A. Model 1: C, model 2: A, model 3: B.....................................................................................................................120
D. Slechts 1 van alle waardes van het attribuut wordt gebruikt in de dataset (waarde altijd hetzelfde) logisch want als de waarde
van het attr overal hetzelfde is, is het totaal nutteloos xd.............................................................................................121
A. om rekening te houden met lengte van documenten.............................................................................................121
A. 0,75.............................................................................................................................................................121
B. 2, 4, 5, 7, 8, 10 zijn bad......................................................................................................................................122
A. Taak 1: description unsupervised + Taak 2: prediction supervised (is toch deze?) je hebt een target value bij taak 2 dus
supervised........................................................................................................................................................122
D. 5/6 ik heb deze 5 van de 6 positieven juist door die treshold dus ⅚. ik ook! ik ook! nono, ik ook, TP-Rate = TP/(TP+FN) -> 5/6. 122
B. 4,22.............................................................................................................................................................122
1.0 INTRODUCTIE BUSINESSINTELLIGENCE
WAAROM IS DATA SCIENCE BELANGRIJK VOOR BEDRIJVEN?
Wet van de massale digitale opslag
De hoeveelheid gegevens verdubbelt op jaarbasis. Het aantal data dat we in 2020 gaan opslaan is
gelijk aan al de data die we zijn beginnen opslaan sinds 1960 tot 2019. De kosten voor het opslaan
van gegevens zijn elk jaar exponentieel goedkoper.
Big data
Big data is een brede verzameling van gegevens uit verschillende bronnen. Je hebt veel heterogene
bronnen die data uitzenden. Bedrijven moeten die data verzamelen en er iets mee doen.
Voorbeelden zijn machines met hun eigen ERP-systeem, telefoongesprekken van klanten, internet
ofthings…
Maslows hiërarchie van big data
Gegevens, informatie en kennis worden beschouwd als het gebied van wetenschap en
bewijsvoering. Wijsheid wordt beschouwd als het gebied van de beslissingen. Maslow zegt dus dat
data de basis is en dat die data aangewend kan worden om er zo informatie uit te halen. Die
informatie is omzetbaar in kennis en die kennis zal leiden tot wijsheid.
4
, Data warehouses en data marts
Een bedrijf bestaat uit interne en externe data. Al die data wordt in een warehouse gestructureerd
en opgeslagen. Als er dan een bepaald probleem opgelost moet worden, dan kunnen ze uit de data
ware- house informatie halen. Die data is zelden in die vorm beschikbaar om direct een
bedrijfsprobleem op te lossen. Je zal de data moeten manipuleren.
5
samenvatting
2021-2022
,Inhoud
1.0 INTRODUCTIE BUSINESSINTELLIGENCE.................................................................................................................4
WAAROM IS DATA SCIENCE BELANGRIJK VOOR BEDRIJVEN?..............................................................4
1.1 DATA-ANALYTICALTHINKING..............................................................................................................................7
INTRODUCTIE.......................................................................................................................................7
WAAROM DATA-ANALYTICAL THINKING EN DATA SCIENCE?..............................................................7
VOORBEELDEN...................................................................................................................................10
WAT IS DATA-ANALYTICAL THINKING?..............................................................................................11
WAT IS DATA SCIENCE OF DATAWETENSCHAP?................................................................................13
SAMENVATTING.................................................................................................................................15
1.2 BUSINESS PROBLEMS ANDDATASCIENCE SOLUTIONS............................................................................................13
VERSCHILLENDE DATAMINING TAKEN...............................................................................................13
SUPERVISED VERSUS UNSUPERVISED METHODS...............................................................................15
HET DATAMINING PROCES.................................................................................................................16
ANDERE ANALYSETECHNIEKEN EN -TECHNOLOGIEËN.......................................................................18
2.1 INTRODUCTION TO PREDICTIVEMODELING.........................................................................................................21
INLEIDING..........................................................................................................................................21
TERMINOLOGIE..................................................................................................................................21
SUPERVISED SEGMENTATIE...............................................................................................................22
HET SELECTEREN VAN INFORMATIEVE ATTRIBUTEN.........................................................................23
SUPERVISED SEGMENTATIE MET BOOMSTRUCTUURMODELLEN......................................................26
ANDERE VOORSTELLINGEN................................................................................................................29
PROBABILITY ESTIMATION OF WAARSCHIJNLIJKHEIDSSCHATTING....................................................30
2.2 FITTING A MODEL TO DATA..............................................................................................................................32
INLEIDING..........................................................................................................................................32
LINEAR DISCRIMINANT FUNCTIONS...................................................................................................32
SUPPORT VECTOR MACHINES (SVM).................................................................................................35
REGRESSION VIA MATHEMATICAL FUNCTIONS.................................................................................36
CLASSIFICATION: SCORING AND RANKING.........................................................................................36
WHAT IF THE DATA IS NON-LINEAR?.................................................................................................40
1
,3.1 OVERFITTING AND ITSAVOIDANCE....................................................................................................................41
OVERFITTING.....................................................................................................................................41
VOORSPELLINGSTECHNIEKEN VOOR OVERFITTING...........................................................................42
WAAROM IS OVERFITTEN SLECHT?....................................................................................................46
CROSS VALIDATION............................................................................................................................47
LEARNING CURVES.............................................................................................................................48
HET VERMIJDEN VAN OVERFITTING EN COMPLEXITEITSCONTROLE..................................................49
3.2 SIMILARITY, NEIGHBORSANDCLUSTERS..............................................................................................................53
GEBRUIK VAN SIMILARITY..................................................................................................................53
AFSTAND............................................................................................................................................53
NEAREST-NEIGHBOUR REASONING (NN)...........................................................................................54
CLUSTERING AS SIMILARITY-BASED SEGMENTATION........................................................................62
4.1 DECISIONANALYTICALTHINKING: WHAT IS A GOOD MODEL...................................................................................66
INTRODUCTIE.....................................................................................................................................66
EVALUEREN VAN CLASSIFIERS............................................................................................................66
GENERALIZING BEYOND CLASSIFIERS.................................................................................................69
EXPECTED VALUE FRAMEWORK.........................................................................................................70
BASELINE PERFORMANCE EN IMPLICATIES VOOR INVESTERINGEN IN GEGEVENS............................74
4.2 VISUALISING MODELPERFORMANCE.................................................................................................................76
RANKING IN PLAATS VAN CLASSIFICEREN..........................................................................................76
WINSTCURVES....................................................................................................................................77
ROC EN AUC.......................................................................................................................................78
CUMULATIEVE RESPONS- EN LIFTCURVES.........................................................................................81
VOORBEELD CHURNPREDICTION.......................................................................................................82
5.1 EVIDENCE ANDPROBABILITIES..........................................................................................................................86
VOORBEELD.......................................................................................................................................86
COMBINING EVICENCE PROBABILISTICALLY.......................................................................................86
JOINT PROBABILITY AND INDEPENDENCE..........................................................................................86
BAYES' RULE.......................................................................................................................................87
EEN MODEL VAN BEWIJSVOERING "LIFT"..........................................................................................90
2
, SAMENVATTING.................................................................................................................................91
5.2 REPRESENTING AND MININGTEXT.....................................................................................................................92
DATA PREPARATION..........................................................................................................................92
WAAROM IS TEKST BELANGRIJK?.......................................................................................................92
WAAROM IS TEKST MOEILIJK?...........................................................................................................92
REPRESENTATION - WEERGAVE.........................................................................................................92
BEYOND BAG OF WORDS...................................................................................................................96
VOORBEELD: DATAMINING OM DE KOERSBEWEGING TE VOORSPELLEN..........................................98
6.1 DECISIONANALYTICALTHINKING: TOWARDANALYTICALENGINEERING...................................................................101
CHARITY MAILING............................................................................................................................101
SELECTION BIAS...............................................................................................................................103
CHURNPROBLEEM...........................................................................................................................103
6.2 OTHER DATASCIENCE TASKS ANDTECHNIQUES...................................................................................................106
CO-OCCURRENCE GROUPING (ASSOCIATIONS DISCOVERY)............................................................106
PROFILING........................................................................................................................................108
LINK PREDICTION.............................................................................................................................109
DATA REDUCTION............................................................................................................................109
BIAS, VARIANCE EN ENSEMBLE METHODS.......................................................................................110
CAUSAL MODELING..........................................................................................................................111
6.3 DATASCIENCE AND BUSINESSSTRATEGY............................................................................................................112
HET MAXIMALE HALEN UIT DE RIJKDOM VAN DATA.......................................................................112
HET BEREIKEN VAN CONCURRENTIEVOORDEEL MET DATA SCIENCE..............................................112
BEHOUD VAN HET CONCURRENTIEVOORDEEL MET DATA SCIENCE................................................112
SUPERIOR DATA SCIENCE MANAGEMENT.......................................................................................113
EVALUEREN VAN DATA SCIENCE PROJECT VOORSTELLEN...............................................................114
6.4 CONCLUSION...............................................................................................................................................116
DE FUNDAMENTELE CONCEPTEN VAN DATAWETENSCHAP............................................................116
MINING MOBILE DEVICE DATA........................................................................................................116
WAT DATA NIET KAN DOEN.............................................................................................................117
PRIVACY EN ETHIEK..........................................................................................................................117
3
,C. 0,43 ik had dit ( 3/7) ik ook, ik ook ik ook ik ook => FOUT..........................................................................................118
D. Allemaal aanspreken (had ik ook, 375*5,14 - 0,1*1125 = 1815 cost-benefit matrix........................................................118
0 0 het is A! Zie voorbeeldexamen Wrm zou het nog eens A zijn als het vb examen?? Ik heb alle mogelijke antwoorden apart
opgelost en bij deze oefening was D de juiste normaal Als Je de werkmethode van het vb examen had toegepast tenminste. . .118
B. als instellingen in weka niet aangepast worden, zelfde accuracy deze? Ik ook, ik ook dit is fout -> neen dit is juist, heb het net
getest in weka, weka neemt altijd dezelfde seed tenzij je dit manueel aanpast................................................................119
D. Minder werkers gebruiken (had ik ook, idem) ( ik ook) (ik ook) ik ook, ook..................................................................119
A. K-mean iteratie centroïde cluster (ik had deze) (ik ook) (ik ook) ik ook.........................................................................119
D. JUISTE ANTWOORD IS META (ik ook)..................................................................................................................120
A. Model 1: C, model 2: A, model 3: B.....................................................................................................................120
D. Slechts 1 van alle waardes van het attribuut wordt gebruikt in de dataset (waarde altijd hetzelfde) logisch want als de waarde
van het attr overal hetzelfde is, is het totaal nutteloos xd.............................................................................................121
A. om rekening te houden met lengte van documenten.............................................................................................121
A. 0,75.............................................................................................................................................................121
B. 2, 4, 5, 7, 8, 10 zijn bad......................................................................................................................................122
A. Taak 1: description unsupervised + Taak 2: prediction supervised (is toch deze?) je hebt een target value bij taak 2 dus
supervised........................................................................................................................................................122
D. 5/6 ik heb deze 5 van de 6 positieven juist door die treshold dus ⅚. ik ook! ik ook! nono, ik ook, TP-Rate = TP/(TP+FN) -> 5/6. 122
B. 4,22.............................................................................................................................................................122
1.0 INTRODUCTIE BUSINESSINTELLIGENCE
WAAROM IS DATA SCIENCE BELANGRIJK VOOR BEDRIJVEN?
Wet van de massale digitale opslag
De hoeveelheid gegevens verdubbelt op jaarbasis. Het aantal data dat we in 2020 gaan opslaan is
gelijk aan al de data die we zijn beginnen opslaan sinds 1960 tot 2019. De kosten voor het opslaan
van gegevens zijn elk jaar exponentieel goedkoper.
Big data
Big data is een brede verzameling van gegevens uit verschillende bronnen. Je hebt veel heterogene
bronnen die data uitzenden. Bedrijven moeten die data verzamelen en er iets mee doen.
Voorbeelden zijn machines met hun eigen ERP-systeem, telefoongesprekken van klanten, internet
ofthings…
Maslows hiërarchie van big data
Gegevens, informatie en kennis worden beschouwd als het gebied van wetenschap en
bewijsvoering. Wijsheid wordt beschouwd als het gebied van de beslissingen. Maslow zegt dus dat
data de basis is en dat die data aangewend kan worden om er zo informatie uit te halen. Die
informatie is omzetbaar in kennis en die kennis zal leiden tot wijsheid.
4
, Data warehouses en data marts
Een bedrijf bestaat uit interne en externe data. Al die data wordt in een warehouse gestructureerd
en opgeslagen. Als er dan een bepaald probleem opgelost moet worden, dan kunnen ze uit de data
ware- house informatie halen. Die data is zelden in die vorm beschikbaar om direct een
bedrijfsprobleem op te lossen. Je zal de data moeten manipuleren.
5
