TB242ia – Intelligente Data-analyse
Week 1: Introductie................................................................................................................................................ 2
College 1 ................................................................................................................................................................................... 2
Data en variabelen ................................................................................................................................................................. 2
Basisstatistieken ..................................................................................................................................................................... 2
Werkcollege ............................................................................................................................................................................. 3
Week 2: Sampling en bias .................................................................................................................................... 3
College 2 ................................................................................................................................................................................... 3
Week 3: Sampling en betrouwbaarheidsintervallen ........................................................................................ 4
College 3 ................................................................................................................................................................................... 4
Hypothesis testing ................................................................................................................................................................. 5
Data processing leftovers .................................................................................................................................................... 5
Week 4: Statistische modellen en lineaire regressie ....................................................................................... 5
College 4 ................................................................................................................................................................................... 5
Lineaire regressie ................................................................................................................................................................... 6
Multiple lineaire regressie................................................................................................................................................... 7
Week 5: Biasvariantie trade-off en classificatie ................................................................................................ 7
College 5 ................................................................................................................................................................................... 7
Logistische regressie ............................................................................................................................................................. 9
Decision tree .......................................................................................................................................................................... 10
Week 7: Bias in voorspellende modellen ........................................................................................................ 11
College 7 ................................................................................................................................................................................. 11
1
, Week 1: Introductie
College 1
• Intelligente data-analyse is het gebruiken van data om kwantitatieve inzichten te geven
in maatschappelijke, wetenschappelijke en organisatorische vraagstukken.
o Hiermee kun je problemen in kaart brengen, maar ook nieuwe inzichten,
patronen en kennis opdoen: data-mining.
o Data is ooit gemeten, in een bepaalde tijd en context.
o Met data-analyse gebruik je niet alleen data, maar je genereert ook nieuwe data.
• Operationaliseren.
o Begin met een doel.
o Verfijn het doel door vragen te
stellen.
o Bepaal specifieke meetbare
variabelen.
• Geoperationaliseerde vragen zijn specifiek
en te beantwoorden met de beschikbare data.
o Niet alle vragen kunnen worden beantwoord met data!
Data en variabelen
• Een data-attribuut is een ‘instance’ van een data-object. Soorten data-
attributen/variabelen:
o Nominale of categorische variabelen: eindige set categorieën, niet geordend op
een bepaalde schaal.
▪ Bv.: boolean
o Ordinale variabelen: zijn wel geordend maar niet numeriek.
▪ Bv.: de waarden MBO, HBO, WO
o Numerieke variabelen geschaald op een interval, met een arbitrair nulpunt.
Hierbij kan men geen ratio’s berekenen.
▪ Bv.: temperatuur, positie
o Numerieke variabelen geschaald op een ratio, met een echt nulpunt. Hierbij kan
men wel ratio’s berekenen.
▪ Bv.: snelheid, afstand, aantal objecten
• Variabelen kunnen ook worden onderverdeeld in discrete en continue waarden.
o Discrete variabelen nemen een eindig aantal waarden aan. Deze kunnen
categorisch, ordinaal of numeriek zijn.
o Continue variabelen kunnen elke waarde aannemen. Deze zijn altijd numeriek
(zowel interval- als ratio-geschaald). Omdat meetinstrumenten een beperkte
nauwkeurigheid hebben, worden continue waarden vaak gediscretiseerd.
Basisstatistieken
• Het steekproefgemiddelde is de centrale tendens: np.mean().
• De sample/empirische standaarddeviatie is een maat van de verspreiding van de data,
en is gevoelig voor uitschieters: np.std().
2
Week 1: Introductie................................................................................................................................................ 2
College 1 ................................................................................................................................................................................... 2
Data en variabelen ................................................................................................................................................................. 2
Basisstatistieken ..................................................................................................................................................................... 2
Werkcollege ............................................................................................................................................................................. 3
Week 2: Sampling en bias .................................................................................................................................... 3
College 2 ................................................................................................................................................................................... 3
Week 3: Sampling en betrouwbaarheidsintervallen ........................................................................................ 4
College 3 ................................................................................................................................................................................... 4
Hypothesis testing ................................................................................................................................................................. 5
Data processing leftovers .................................................................................................................................................... 5
Week 4: Statistische modellen en lineaire regressie ....................................................................................... 5
College 4 ................................................................................................................................................................................... 5
Lineaire regressie ................................................................................................................................................................... 6
Multiple lineaire regressie................................................................................................................................................... 7
Week 5: Biasvariantie trade-off en classificatie ................................................................................................ 7
College 5 ................................................................................................................................................................................... 7
Logistische regressie ............................................................................................................................................................. 9
Decision tree .......................................................................................................................................................................... 10
Week 7: Bias in voorspellende modellen ........................................................................................................ 11
College 7 ................................................................................................................................................................................. 11
1
, Week 1: Introductie
College 1
• Intelligente data-analyse is het gebruiken van data om kwantitatieve inzichten te geven
in maatschappelijke, wetenschappelijke en organisatorische vraagstukken.
o Hiermee kun je problemen in kaart brengen, maar ook nieuwe inzichten,
patronen en kennis opdoen: data-mining.
o Data is ooit gemeten, in een bepaalde tijd en context.
o Met data-analyse gebruik je niet alleen data, maar je genereert ook nieuwe data.
• Operationaliseren.
o Begin met een doel.
o Verfijn het doel door vragen te
stellen.
o Bepaal specifieke meetbare
variabelen.
• Geoperationaliseerde vragen zijn specifiek
en te beantwoorden met de beschikbare data.
o Niet alle vragen kunnen worden beantwoord met data!
Data en variabelen
• Een data-attribuut is een ‘instance’ van een data-object. Soorten data-
attributen/variabelen:
o Nominale of categorische variabelen: eindige set categorieën, niet geordend op
een bepaalde schaal.
▪ Bv.: boolean
o Ordinale variabelen: zijn wel geordend maar niet numeriek.
▪ Bv.: de waarden MBO, HBO, WO
o Numerieke variabelen geschaald op een interval, met een arbitrair nulpunt.
Hierbij kan men geen ratio’s berekenen.
▪ Bv.: temperatuur, positie
o Numerieke variabelen geschaald op een ratio, met een echt nulpunt. Hierbij kan
men wel ratio’s berekenen.
▪ Bv.: snelheid, afstand, aantal objecten
• Variabelen kunnen ook worden onderverdeeld in discrete en continue waarden.
o Discrete variabelen nemen een eindig aantal waarden aan. Deze kunnen
categorisch, ordinaal of numeriek zijn.
o Continue variabelen kunnen elke waarde aannemen. Deze zijn altijd numeriek
(zowel interval- als ratio-geschaald). Omdat meetinstrumenten een beperkte
nauwkeurigheid hebben, worden continue waarden vaak gediscretiseerd.
Basisstatistieken
• Het steekproefgemiddelde is de centrale tendens: np.mean().
• De sample/empirische standaarddeviatie is een maat van de verspreiding van de data,
en is gevoelig voor uitschieters: np.std().
2
