Data & AI (pt2)
REGRESSION
1. Simple linear regression (1 X)
a. With least squares method estimating beta0 & beta1
i. Using training data
b. R2
c. SE (std error) confidence interval (95%)
d. Nulhypothesis/alternative hypothesis
i. Small p: reject nulhypothesis
ii. p = probability that a value >= |t| (big t = small p)
2. Multiple linear regression (meerdere X’en, meerdere beta’s)
a. Alles in matrix/vector vorm
b. F-statistic: vergelijkt model met parameters met het nulmodel
hoog = model is beter met parameters (minstens 1)
c. RSE: std error van foutenterm (eps)
i. Residual = y - ^y op trainingsdata
ii. Residuals zijn benadering van epsylon
d. RMSE: hoe groot de error voor prediction gemiddeld gezien is
i. Prediction error: y - ^y op nieuwe data (prediction)
ii. Bij veel data, weinig parameters: residuals worden goede
benadering voor echte errors RSE ~ RMSE
3. Met qualitative x’en
a. k categories k-1 dummy’s
i. All dummy’s = 0: baseline group
ii. Beta’s: how much one group deviates from baseline group
4. Linear regression with interaction
a. Hierarchy!!!
5. Nonlinear relations
a. X², X³, log(X), polynomial
b. Look at residuals
i. When all residuals are around 0 & no pattern = good
ii. When residual plot shows a pattern/curve = bad
linearization with log or adding polynomial terms
!!!:
1
,- Heteroscedasticity: wanneer variantie van foutenterm niet costant
is, er is een patroon (bv als residuals toenemen/afnemen als Y
vergroot/verkleint) oplossing: transformeer (met log fso) Y
variabele
- Multicollineariteit: je kan de ene X schrijven als een LC van de
andere X’en, dus ze geven bijna dezelfde informatie ze zijn
uitwisselbaar
o Meten met VIF (variance of inflation factor)
Dichter bij 1 = bijna geen
Hoe groter = hoe meer
o Doet zich ook voor wanneer p > n
o Je kan ook dit bijna hebben wanneer ze dus ongeveer
kunnen geschreven worden als een LC en dan geeft de (XTX)-1
een onstabiel resultaat (std errors groot)
o OPLOSSINGEN:
Zo weinig mogelijk parameters kiezen (enkel de nodige):
p < n MAAR kans op confounding
Regularization: penalty toevoegen bij SSE voor wanneer
beta’s groot zijn
Grote beta’s gaan zich proberen aan te passen aan
alle datapunten = onstabiel = overfitting
Dit houdt ze kleiner
Dimensiereductie: door bv PCA
Zo ga je variabelen herschrijven in een kleiner
aantal LC’s (zoals bij PCA dat je aantal features
gaat verminderen door ze samen te voegen)
maakt ze orthogonaal ook nog (ongecorreleerd)
2
, CLASSIFICATION
1. Logistic regression
Links = logistic regression model voor 1 X MAAR dit is dus non-linear en
we kunnen dit transformeren naar een lineair model door log te nemen
van die breuk
Door logit ga je model/probability omzetten in linear model
o Dan kan je beta’s gaan voorspellen
o En die waarden ga je dan invullen in oorspronkelijke breuk
voor probability te berekenen = tussen 0 & 1
o MAAR beta’s worden nu geschat met maximum likelihood
en niet met least squares
Omdat foutenterm niet meer normaal verdeeld is & Y
enkel 0/1 is
Gebruikt ook z-statistic (ipv t) omdat nu schattingen voor
beta’s asymptotisch normaal verdeeld zijn = als
#datapunten -> oneindig = normale verdeling
2. Logistic regression met meerdere klassen (multinomial)
Wanneer je niet meer 0/1 als klassen hebt, maar meerdere (en
zonder orde)
!!!:
- Ondanks dat beta’s heel klein kunnen zijn door exponentiële
functie kan het effect op probability nog altijd heel groot zijn
- Confounding: effect van een variabele op de uitkomst is vertekend
doordat een derde variabele (die we niet hebben meegenomen in
model) met beide samenhangt geen interactie!!!
o Oplossing: derde variabele in model steken
- LOGISTIC REGRESSION IS EIG AL EEN CLASSFICIATIEMETHODE maar
met een lineaire decision boundary (= scheiding tussen klassen is
lijn/vlak)
3. kNN
Voor elk nieuw punt (niet uit trainingset) bereken je afstand tot elk
punt & dan kijken naar k nearest neighbors en kijken hoeveel van
die in welke klasse zitten meerderheid zit vaak in 1 klasse dus dan
behoort je nieuwe punt ook tot die klasse
!!!:
3
REGRESSION
1. Simple linear regression (1 X)
a. With least squares method estimating beta0 & beta1
i. Using training data
b. R2
c. SE (std error) confidence interval (95%)
d. Nulhypothesis/alternative hypothesis
i. Small p: reject nulhypothesis
ii. p = probability that a value >= |t| (big t = small p)
2. Multiple linear regression (meerdere X’en, meerdere beta’s)
a. Alles in matrix/vector vorm
b. F-statistic: vergelijkt model met parameters met het nulmodel
hoog = model is beter met parameters (minstens 1)
c. RSE: std error van foutenterm (eps)
i. Residual = y - ^y op trainingsdata
ii. Residuals zijn benadering van epsylon
d. RMSE: hoe groot de error voor prediction gemiddeld gezien is
i. Prediction error: y - ^y op nieuwe data (prediction)
ii. Bij veel data, weinig parameters: residuals worden goede
benadering voor echte errors RSE ~ RMSE
3. Met qualitative x’en
a. k categories k-1 dummy’s
i. All dummy’s = 0: baseline group
ii. Beta’s: how much one group deviates from baseline group
4. Linear regression with interaction
a. Hierarchy!!!
5. Nonlinear relations
a. X², X³, log(X), polynomial
b. Look at residuals
i. When all residuals are around 0 & no pattern = good
ii. When residual plot shows a pattern/curve = bad
linearization with log or adding polynomial terms
!!!:
1
,- Heteroscedasticity: wanneer variantie van foutenterm niet costant
is, er is een patroon (bv als residuals toenemen/afnemen als Y
vergroot/verkleint) oplossing: transformeer (met log fso) Y
variabele
- Multicollineariteit: je kan de ene X schrijven als een LC van de
andere X’en, dus ze geven bijna dezelfde informatie ze zijn
uitwisselbaar
o Meten met VIF (variance of inflation factor)
Dichter bij 1 = bijna geen
Hoe groter = hoe meer
o Doet zich ook voor wanneer p > n
o Je kan ook dit bijna hebben wanneer ze dus ongeveer
kunnen geschreven worden als een LC en dan geeft de (XTX)-1
een onstabiel resultaat (std errors groot)
o OPLOSSINGEN:
Zo weinig mogelijk parameters kiezen (enkel de nodige):
p < n MAAR kans op confounding
Regularization: penalty toevoegen bij SSE voor wanneer
beta’s groot zijn
Grote beta’s gaan zich proberen aan te passen aan
alle datapunten = onstabiel = overfitting
Dit houdt ze kleiner
Dimensiereductie: door bv PCA
Zo ga je variabelen herschrijven in een kleiner
aantal LC’s (zoals bij PCA dat je aantal features
gaat verminderen door ze samen te voegen)
maakt ze orthogonaal ook nog (ongecorreleerd)
2
, CLASSIFICATION
1. Logistic regression
Links = logistic regression model voor 1 X MAAR dit is dus non-linear en
we kunnen dit transformeren naar een lineair model door log te nemen
van die breuk
Door logit ga je model/probability omzetten in linear model
o Dan kan je beta’s gaan voorspellen
o En die waarden ga je dan invullen in oorspronkelijke breuk
voor probability te berekenen = tussen 0 & 1
o MAAR beta’s worden nu geschat met maximum likelihood
en niet met least squares
Omdat foutenterm niet meer normaal verdeeld is & Y
enkel 0/1 is
Gebruikt ook z-statistic (ipv t) omdat nu schattingen voor
beta’s asymptotisch normaal verdeeld zijn = als
#datapunten -> oneindig = normale verdeling
2. Logistic regression met meerdere klassen (multinomial)
Wanneer je niet meer 0/1 als klassen hebt, maar meerdere (en
zonder orde)
!!!:
- Ondanks dat beta’s heel klein kunnen zijn door exponentiële
functie kan het effect op probability nog altijd heel groot zijn
- Confounding: effect van een variabele op de uitkomst is vertekend
doordat een derde variabele (die we niet hebben meegenomen in
model) met beide samenhangt geen interactie!!!
o Oplossing: derde variabele in model steken
- LOGISTIC REGRESSION IS EIG AL EEN CLASSFICIATIEMETHODE maar
met een lineaire decision boundary (= scheiding tussen klassen is
lijn/vlak)
3. kNN
Voor elk nieuw punt (niet uit trainingset) bereken je afstand tot elk
punt & dan kijken naar k nearest neighbors en kijken hoeveel van
die in welke klasse zitten meerderheid zit vaak in 1 klasse dus dan
behoort je nieuwe punt ook tot die klasse
!!!:
3
