Samenvatting Statistische Dataverwerking | KU Leuven | 2023/24

HOOFDSTUK 1

Enkelvoudige regressie:

- y = f(x)

Meervoudige regressie:

- y = f(x1, x2, …, xk)

Met:

- y = respons
o afhankelijke variabele = output
- x’en = verklarende variabelen
o onafhankelijke variabele = input
o Impact van x’en (welke en hoe groot)  beschreven door b

Opmerking: fouten kunnen altijd gebeuren  foutenterm (error term U)

- Enkelvoudig:
 Y = f (x)+U
- Meervoudig:
 Y = f (x1 , x2 ,..., xk )+U

!!!: Y = schatter

o Met:
 f(x,..) = systematische component
 beschrijft de verwachte waarde van de respons (y)
 U = random component
 Vangt willekeurige fluctuaties op van de respons bij verwachte
waarde  E(U) = 0



LINEAIRE REGRESSIEMODELLEN

- Lineair in parameters b0, b1, …, bp  respons: lineaire combinatie van parameters b’s
Opmerking: verklarende variabelen (x’en) hoeven niet persé lineair te zijn
Als b’s niet lineair zijn  transformatie van responsvariabele

- Voorbeelden:
o Enkelvoudig: Meervoudig:




1
2023-2024

, - Betekenis b0, b1:
o Enkelvoudig:
 b0: intercept = gemiddelde respons indien x = 0 (snijpunt y-as)
 b1: helling = verandering in gemiddelde respons indien x stijgt met 1 (=rico)
o Meervoudig:
 b0: intercept = gemiddelde respons indien x 1 = 0 en x2 = 0 (snijpunt y-as)
 b1: hoofdeffect van x1 = verandering in gemiddelde respons indien x1 stijgt
met 1
 b2: hoofdeffect van x2 = verandering in gemiddelde respons indien x2 stijgt
met 1
 Enkel hoofdeffecten: wanneer een x toeneemt  toe-/afname van y
cte
 b12: interactie-effect van x1 en x2
 Wanneer een x toeneemt  wijziging van x afhankelijk van waarde
van een andere variabele
 b11: kwadratisch effect van x1
 b22: kwadratisch effect van x2
 Wanneer een x toeneemt  verandering van x niet cte


NIET-LINEAIRE REGRESSIEMODELLEN

- Niet lineair in parameters b0, b1, …, bp  respons: geen lineaire combinatie van parameters b’s
Voorbeelden:




Opmerking: linealiseren van niet-lineaire regressiemodellen  transformatie van Y

Voorbeelden:



 Golfje op b = ln(b)




2
2023-2024

,HOOFDSTUK 2

Grafische voorstelling van enkelvoudige regressie:

Eigenschappen goede regressierechte:

- Gaat door het merendeel van de
gegevenspunten
- Gaat door het gemiddelde gegevenspunt

--> regressierechte = schatting (van intercept en helling),
we schatten dus Y = ^y

Verticale afwijkingen (residuals): soms wijken er gegevenspunten af van de geschatte rechte, verticale
afwijking = hoeveel eenheden dit punt verticaal afwijkt van de rechte

Met yi = y van afgeweken punt:

Regressierechte schatten:

b0 en b1 = schatters voor snijpunt y-as en rico  schattingen zijn dan b0 en b1

 b0 en b1 vinden zoeken zodat:




(rechte waarvan de som van alle absolute afwijkingen zo klein mogelijk is OF rechte waarvan de som
van alle kwadraten van de afwijkingen zo klein mogelijk is)



KLEINSTE KWADRATENMETHODE

 som van gekwadrateerde afwijkingen minimaliseren (SSE = sum of squared
errors)
 resultaat: kleinste kwadratenschattingen (OLS = least squares estimates)
 gevoelig voor uitschieters

Stap 1: geschatte regressierechte wordt beschreven door vgl: ^y = b 0 + b1x

We moeten nu waardes voor b0 en b1 zoeken zodat SSE minimaal is: (met n = #observaties)

Stap 2: door partiële afgeleiden te berekenen naar
b0 en dan b1 en die gelijkstellen aan nul:




= NORMAALVERGELIJKINGEN


3
2023-2024

, Stap 3: normaalvergelijkingen oplossen:

(in formularium)

Opmerking: voor b1 kan je een variant van deze
formule vinden als je het zelf uitrekent




SCHATTING VAN DE HELLING

Stap 1: als je teller en noemer deelt door n-1

 in teller: formule van steekproefcovariantie
 in noemer: formule van steekproefvariantie
 goed voor de lineaire samenhang van variabelen

Stap 2: in formule van b1 kan ÿ weggelaten worden (berekening zie boek p. 33)

= gewogen som van alle y-waardes (LC van alle y-waardes) met
tussen haakjes de coëfficiënten van LC



DUS b1 = LC van de responsen



Stap 3: met SSXX som van gekwadrateerde afwijkingen




SCHATTING VAN HET INTERCEPT

Alternatieve formule voor b0:




KLEINSTE KWADRATENRECHTE

 dwars door gemiddelde datapunt
 verband tussen covariantie <-> correlatie + covariantie <-> enkelvoudige lineaire
regressie
 b0 en b1 (schatting van b’s) zijn LC’s van y-waardes




EIGENSCHAPPEN VAN AFWIJKIGEN (bij kleinste kwadraten methode)

4
2023-2024