Begrippen & modellen Statistiek
1. Naive Bayes Methode: berekenen van classificatievoorspellingen (gevoeligheid &
specificiteit)
2. Bernoulli-experiment: experiment met binomiale verdeling (kan je meermaals
uitvoeren), met kans op succes of kans op falen met terugleggen: wordt iets
getrokken & wordt daarna teruggelegd zonder vervanging = Hypergeometrische
Distributie resultaat van binair experiment
in software: Distributions Area under binomial density
3. Uniforme verdeling: gebruiken wanneer alle mogelijkheden even waarschijnlijk zijn
dichtheidsfunctie: zodanig opgesteld dat als je oppervlakte ertussen inkleurt, de
opp. 1 is per definitie uniforme verdeling wordt gebruikt bij pseudo random
getallen in computer (digitale computers, getallen zijn altijd uniform, dan uniforme
verdeling gebruiken) 3 mogelijke uitkomsten; X = A, X= B of X= C (computer kan
geen letters genereren, wel getallen dus vervangen door 0)
meestal gebruikt in situaties waarin de waarschijnlijkheid dat een gebeurtenis binnen
een bepaald tijdsbestek plaatsvindt wordt onderzocht terwijl er geen systematische
oorzaak te vinden is
De Uniforme Verdeling U(a,b) beschrijft de waarschijnlijkheid van pseudo
willekeurige getallen die
gegenereerd door een digitale computer (d.w.z. willekeurige getallen tussen a en b).
Door middel van wiskundige relaties is het mogelijk om elke andere verdeling te
genereren op basis van uniforme willekeurige getallen. De Uniforme Verdeling is ook
belangrijk wanneer we eenvoudige willekeurige steekproeven uit een populatie
moeten trekken.
Er zijn verschillende willekeurige processen waarvan kan worden aangenomen dat ze
een Normale Distributie hebben. Dit is met name van belang in het kader van
Hypothesetests, die in hoofdstuk 5 uitvoerig worden besproken. De
Normaalverdeling kan ook worden gebruikt om het Multinomiale Naive Bayes-model
uit paragraaf 2.4 uit te breiden, zodat er naast binaire en op tellingen gebaseerde
functies ook continue functies kunnen worden gebruikt.
4. Kernel Density = parameter om waarschijnlijkheid te berekenen
5. Numerieke variabelen: worden meestal verondersteld een normale verdeling te
hebben die volledig wordt bepaald door
de parameters locatie (= gemiddelde) en schaal (= standaardafwijking)
6. Normaalverdeling N(μ,2) met locatieparameter μ en schaalparameter 2 beschrijft
phe- nomena die van nature voorkomen en onafhankelijk van elkaar zijn. Het speelt
ook een belangrijke rol in verschillende soorten statistische analyses (zie verderop).
- De locatieparameter μ kan worden geschat met het rekenkundig gemiddelde x ̄
en de schaalparameter 2 met de variantie. Maximum Likelyihood Fitting wordt
, gebruikt om beide parameters zo te schatten dat de Normal Density-functie het
histogram van de gegevens zo goed mogelijk beschrijft.
- N(0,1) = standaardnormaalverdeling
7. Frequentieplot = hetzelfde als een frequentietabel X-as staan categorische
gegevens (kwalitatieve data) als het kwantitatieve gegevens zijn, moet men
histogram gebruiken
Software: Descriptive Histogram & frequency table
kan worden gebruikt om grafisch te onderzoeken hoe vaak elke categorie voorkomt
in de univariate dataset. De absolute frequenties worden gerangschikt van hoog naar
laag, omdat de gebruiker zo snel de rangorde van elke categorie kan beoordelen
8. Contingentietabel: = een tweedimensionale frequentietabel die wordt gebruikt bij
het bestuderen van twee kwalitatieve variabelen. Deze wordt bijna altijd gebruikt in
het kader van Chi-Squared Tests voor Telgegevens
9. Frequentietabel: geeft aan hoe vaak elke categorie voorkomt in de (kwalitatieve)
univariate dataset. De absolute frequenties zijn gerangschikt van hoog naar laag,
omdat de gebruiker zo snel de rangschikking van elke categorie kan beoordelen.
10. Binomiale classificatie statistiek: samenvattende statistieken die worden gebruikt om
de voorspellende kwaliteit van binaire classificatiemodellen te meten op basis van
één of meerdere regels. Het doel van deze modellen is om te voorspellen of een
element van de dataset al dan niet tot een groep (A) of een andere (B) behoort. Elke
voorspelling die wordt gedaan, kan waar (correct) of onwaar (fout) zijn.
Confusion matrix: een contingentietabel met voorspelde en werkelijke uitkomsten.
Tabel 4.4 toont het geval van de binaire (2 bij 2) Verwarringmatrix voor de
uitkomsten die zijn weergegeven in Tabel 4.3. Bovendien is de Verwarringmatrix
nauw verwant aan de begrippen Gevoeligheid & Specificiteit en Bayes-stelling
tabel die weergeeft hoe goed doen wij het met onze voorspelling? Zowel correcte
voorspelling als oncorrecte, voor zowel fraudegevallen als niet fraudegevallen
11. Stem-and-leaf-plot: beschrijft verdeling v/e univariate gegevensverzameling met
behoud van (ten minste) 2 significante cijfers van oorspronkelijke waarnemingen. Het
perceel wordt gegenereerd door het zogenaamde "leaf" (meestal het laatste cijfer)
en "stem" (meestal de resterende eerste cijfers) van elke waarneming uit te trekken.
Indien de gegevens veel cijfers bevatten, kan het nodig zijn de gegevens af te ronden
naar een bepaalde plaatswaarde. De waarden van de waarneming worden (in
oplopende volgorde) afgedrukt in het formaat "stam - blad1 blad2 blad3..." waarbij
alle waarnemingen met dezelfde stam in dezelfde rij staan (de gemeenschappelijke
stam wordt slechts één keer afgedrukt)
Software: Descriptive Stem and leaf
Met de Stem-and-Leaf Plot kan de verspreiding van de gegevens grafisch worden
onderzocht. De volgende eigenschappen van de verdeling kunnen worden
gevisualiseerd door deze plot: centrale tendens, variabiliteit, scheefheid, modaliteit
en de aanwezigheid van uitschieters.
1. Naive Bayes Methode: berekenen van classificatievoorspellingen (gevoeligheid &
specificiteit)
2. Bernoulli-experiment: experiment met binomiale verdeling (kan je meermaals
uitvoeren), met kans op succes of kans op falen met terugleggen: wordt iets
getrokken & wordt daarna teruggelegd zonder vervanging = Hypergeometrische
Distributie resultaat van binair experiment
in software: Distributions Area under binomial density
3. Uniforme verdeling: gebruiken wanneer alle mogelijkheden even waarschijnlijk zijn
dichtheidsfunctie: zodanig opgesteld dat als je oppervlakte ertussen inkleurt, de
opp. 1 is per definitie uniforme verdeling wordt gebruikt bij pseudo random
getallen in computer (digitale computers, getallen zijn altijd uniform, dan uniforme
verdeling gebruiken) 3 mogelijke uitkomsten; X = A, X= B of X= C (computer kan
geen letters genereren, wel getallen dus vervangen door 0)
meestal gebruikt in situaties waarin de waarschijnlijkheid dat een gebeurtenis binnen
een bepaald tijdsbestek plaatsvindt wordt onderzocht terwijl er geen systematische
oorzaak te vinden is
De Uniforme Verdeling U(a,b) beschrijft de waarschijnlijkheid van pseudo
willekeurige getallen die
gegenereerd door een digitale computer (d.w.z. willekeurige getallen tussen a en b).
Door middel van wiskundige relaties is het mogelijk om elke andere verdeling te
genereren op basis van uniforme willekeurige getallen. De Uniforme Verdeling is ook
belangrijk wanneer we eenvoudige willekeurige steekproeven uit een populatie
moeten trekken.
Er zijn verschillende willekeurige processen waarvan kan worden aangenomen dat ze
een Normale Distributie hebben. Dit is met name van belang in het kader van
Hypothesetests, die in hoofdstuk 5 uitvoerig worden besproken. De
Normaalverdeling kan ook worden gebruikt om het Multinomiale Naive Bayes-model
uit paragraaf 2.4 uit te breiden, zodat er naast binaire en op tellingen gebaseerde
functies ook continue functies kunnen worden gebruikt.
4. Kernel Density = parameter om waarschijnlijkheid te berekenen
5. Numerieke variabelen: worden meestal verondersteld een normale verdeling te
hebben die volledig wordt bepaald door
de parameters locatie (= gemiddelde) en schaal (= standaardafwijking)
6. Normaalverdeling N(μ,2) met locatieparameter μ en schaalparameter 2 beschrijft
phe- nomena die van nature voorkomen en onafhankelijk van elkaar zijn. Het speelt
ook een belangrijke rol in verschillende soorten statistische analyses (zie verderop).
- De locatieparameter μ kan worden geschat met het rekenkundig gemiddelde x ̄
en de schaalparameter 2 met de variantie. Maximum Likelyihood Fitting wordt
, gebruikt om beide parameters zo te schatten dat de Normal Density-functie het
histogram van de gegevens zo goed mogelijk beschrijft.
- N(0,1) = standaardnormaalverdeling
7. Frequentieplot = hetzelfde als een frequentietabel X-as staan categorische
gegevens (kwalitatieve data) als het kwantitatieve gegevens zijn, moet men
histogram gebruiken
Software: Descriptive Histogram & frequency table
kan worden gebruikt om grafisch te onderzoeken hoe vaak elke categorie voorkomt
in de univariate dataset. De absolute frequenties worden gerangschikt van hoog naar
laag, omdat de gebruiker zo snel de rangorde van elke categorie kan beoordelen
8. Contingentietabel: = een tweedimensionale frequentietabel die wordt gebruikt bij
het bestuderen van twee kwalitatieve variabelen. Deze wordt bijna altijd gebruikt in
het kader van Chi-Squared Tests voor Telgegevens
9. Frequentietabel: geeft aan hoe vaak elke categorie voorkomt in de (kwalitatieve)
univariate dataset. De absolute frequenties zijn gerangschikt van hoog naar laag,
omdat de gebruiker zo snel de rangschikking van elke categorie kan beoordelen.
10. Binomiale classificatie statistiek: samenvattende statistieken die worden gebruikt om
de voorspellende kwaliteit van binaire classificatiemodellen te meten op basis van
één of meerdere regels. Het doel van deze modellen is om te voorspellen of een
element van de dataset al dan niet tot een groep (A) of een andere (B) behoort. Elke
voorspelling die wordt gedaan, kan waar (correct) of onwaar (fout) zijn.
Confusion matrix: een contingentietabel met voorspelde en werkelijke uitkomsten.
Tabel 4.4 toont het geval van de binaire (2 bij 2) Verwarringmatrix voor de
uitkomsten die zijn weergegeven in Tabel 4.3. Bovendien is de Verwarringmatrix
nauw verwant aan de begrippen Gevoeligheid & Specificiteit en Bayes-stelling
tabel die weergeeft hoe goed doen wij het met onze voorspelling? Zowel correcte
voorspelling als oncorrecte, voor zowel fraudegevallen als niet fraudegevallen
11. Stem-and-leaf-plot: beschrijft verdeling v/e univariate gegevensverzameling met
behoud van (ten minste) 2 significante cijfers van oorspronkelijke waarnemingen. Het
perceel wordt gegenereerd door het zogenaamde "leaf" (meestal het laatste cijfer)
en "stem" (meestal de resterende eerste cijfers) van elke waarneming uit te trekken.
Indien de gegevens veel cijfers bevatten, kan het nodig zijn de gegevens af te ronden
naar een bepaalde plaatswaarde. De waarden van de waarneming worden (in
oplopende volgorde) afgedrukt in het formaat "stam - blad1 blad2 blad3..." waarbij
alle waarnemingen met dezelfde stam in dezelfde rij staan (de gemeenschappelijke
stam wordt slechts één keer afgedrukt)
Software: Descriptive Stem and leaf
Met de Stem-and-Leaf Plot kan de verspreiding van de gegevens grafisch worden
onderzocht. De volgende eigenschappen van de verdeling kunnen worden
gevisualiseerd door deze plot: centrale tendens, variabiliteit, scheefheid, modaliteit
en de aanwezigheid van uitschieters.
