Samenvatting Data Sience (python + statistiek)

THEORI DATA SIENCE
E



Deel 1




INLEIDING
 Data Sience draait rond het werken met en het analyseren van “data” = gegevens

Waarom?
 Data scientist als carrière
 Als IT-er ondersteun je de business
o Veel data zit in databanken
o Meer en meer real-time data
o Noodzaak om trends, verbanden, .. te zoeken in data om aan de beslissingsnemers business
relevante informatie op te leveren
 Als IT-er heb je zelf behoefte aan informatie
 Als IT-er bied je services aan, aan je interne en externe klanten of gebruikers
 Als IT-er dien je de IT services geleverd door jou IT-leveranciers op te volgen



SITUERING

WAT IS DATA?
 Data type
o Transactionele data
 veranderd voortdurend en betreft dagdagelijkse businessactiviteiten
 beschrijft gebeurtenissen
o Master data
 data die niet vaak verandert en wordt door de business steeds op dezelfde manier
gebruikt
o Analytische data
 date over de performantie van de business




[NAAM VAN AUTEUR] 1

, Soort data
o Structured data
 Georganiseerd
 vooraf gedefinieerd data model
 Informatie in rijen en kolommen
 makkelijke tocumegang en gebruik
 Efficiënt om te analyseren
 naam of adres van een klant

o Unstructured data
 ongeorganiseerd – onsamenhangend en verspreid
 niet vooraf gedefinieerd data model
 moeilijke toegang en gebruik
 preprocessing vooraleer het kan gebruikt worden in de analyse

 Nieuwe opdelingen van data
o ‘schema-then-capture’-data
 hierbij wordt eerst bepaald welke data men nodig heeft voor een analyse om
vervolgens deze data te gaan verzamelen

o ‘capture-first-ask-question-later’-date
 hierbij wordt data verzameld om achteraf te kijken welke vragen/analyses men met
deze data zou kunnen beantwoorden

o streaming data
o static data

o attitudinal data
 weerspiegelen het belang dat een klant hecht aan bepaalde eigenschappen van
aangeboden producten en diensten
 Hoe voelt een klant zich?

o behavioural data
 omvat onder andere het koopgedrag en merkvoorkeur van consumenten en wordt
gebruikt om promotiecampagne uit te werken
 Wat doet een klant?

o demographic data
 data die sociaaleconomisch van aard is, zoals de populatie, ras, inkomen onderwijs
en werkgelegenheid, die specifieke geografische locaties vertegenwoordigen en vaak
geassocieerd is met de tijd
 Wie is de klant?




[NAAM VAN AUTEUR] 2

,  Big data
o datasets met een omvang ie buiten het vermogen vallen
o 3V-model
 het dient aan 2 van de 3 eigenschappen te voldoen
 een hoge data velocity
o de snelheid waaraan data gegenereerd, gecapteerd en/of afgeleverd
wordt
 een groot volume
 een grote variëteit
o diversiteit, data komt van vele verschillende bronnen en zit in
meerdere databanken in niet uniforme vormen
o De essentie van wat ‘big data’ is, komt neer op het feit dat
gewone of gebruikelijke dataverwerking er niet op
toegepast kan worden

 Smart data
o niet altijd valide
o kan onvolledig zijn
o kan inconsistenties bevatten
o data enrichment/management
 de selectie (capteren, verzamelen), opkuisen / zuiveren (verifiëren, valideren
corrigeren), verwerking (classificeren, transformeren) en voorbereiding (in juiste
formaat zetten) van data om te komen tot smart data is arbeids- en tijdsintensief
o de selectie zorgt voor relevante data
o opkuisen / zuiveren zorgt voor correcte data
o het verwerken en voorbereiden zorgt voor computer verwerkbare data


WAT ZIJN MEETSCHALEN? / WAT ZIJN MEETNIVEAUS?
 Verschillende soorten ruwe data
 De soort bepaald wat je al dan niet wiskundig met de data kan doen
 Deze soorten zijn meetniveaus, maar worden ook wel meetschalen genoemd

 Meetniveaus
o kwalitatieve
 kan niet worden uitgedrukt in getallen
 bepaald meestal een categorie
o kwantitatieve
 wordt voorgesteld door getallen

 Kwalitatieve gegevens
o nominaal
 iedere waarde is een omschrijving (String)
 onderscheidingsvermogen
 man-vrouw




[NAAM VAN AUTEUR] 3

,  afstudeerrichting
 groenten


o ordinaal
 iedere waarde is een omschrijving (String)
 onderscheidingsvermogen
 er bestaat een grootte orde
 natuurlijke ordening
o rangen in het leger
o tevredenheidsscores

 Kwantitatieve gegevens
o interval
 iedere waarde is een getal
 onderscheidingsvermogen
 er bestaat een grootte orde
 er is een meeteenheid
 je kan enkel over verschillen spreken
 negatieve getallen zijn ook mogelijk
 ofwel bestaat er een meetinstrument (thermometer) ofwel is er een “fysieke” eenheid
dat geteld kan worden (euro’s)
o ratio
 iedere waarde is een getal
 onderscheidingsvermogen
 er bestaat een grootte orde
 er is een meeteenheid
 er is een absoluut nulpunt
 je kan ook over verhoudingen spreken
 negatieve getallen zijn niet mogelijk
 temperatuur in Kelvin
 aantal liter geproduceerde wijn

 Verschillende meetschalen
o een eigenschap kan op vier verschillende meetniveaus, ook wel meetschalen genoemd,
gemeten worden
o een meetniveau of meetschaal wordt gedefinieerd aan de hand van de aanwezigheid of
afwezigheid van vier karakteristieken
 onderscheidingsvermogen
 indien het verschillende getallen aan verschillende waarden van de
eigenschap toekent
 grootteorde
 indien grotere getallen een grotere aanwezigheid van de eigenschap
weergeven
 meeteenheid
 aanwezig indien gelijke verschillen tussen getallen eenzelfde verschil in de
eigenschap weergeven
 absoluut nulpunt
 wanneer het getal 0 de afwezigheid van de eigenschap weergeeft




[NAAM VAN AUTEUR] 4