Toegepaste Biostatistiek
Hoofdstuk 11 – Regresssie en Correlatie methoden
We willen graag het oorzakelijk verband van het ene variabele (X) op het andere (Y) bestuderen:
- Eenvoudige regressie: 1 op 1 variabele
- Meervoudige regressie: meerdere variabelen op 1 variabele
- Lineaire regressie (verband)
VB.: Verloskundigen vragen soms testen aan om de oestriolspiegel te meten in 24-uurs
urinemonsters van zwangere vrouwen die bijna bevallen zijn, omdat er een verband is gevonden
tussen de oestriolspiegel en het geboortegewicht van de baby. De test kan indirect bewijs
leveren voor een abnormaal kleine foetus. De relatie tussen de oestriolspiegel en het
geboortegewicht kan worden gekwantificeerd door een regressielijn te trekken die de twee
variabelen met elkaar verbindt => is er een lineaire verband tussen beide?
=> x is dus de concentratie oestriool (is onafhankelijk van het gewicht) en y is het gewicht (hangt
af van de concentratie oestriool) => het verband is dus E (y I x) = + x + e (regressielijn)
- a = intercept (de verwachte waarde van y als x = 0) (als de lijn niet op y-as begint)
- b = de richtingscoëfficiënt (hoeveel y gemiddeld verandert als x met 1 toeneemt) = hoe
groot is het effect van x op y (hoe groter, hoe steiler)
- x = de afhankelijke variabele
- y = de onafhankelijke variabele
- E (y | x) = verwachte niveau van y voor een gegeven waarde van x
- e = error term (afstand tussen het echte datapunt en de voorspelling)
(uitgaande van de aanname dat e normaal verdeeld is met gemiddelde
0 en variantie 2 = mate waarin punten op de rechte vallen:
o 2 = 0 = perfect fit
o 2 > 0 = imperfecte fit
Kansverdeling = beschrijft hoe de kansen verdeeld zijn over alle mogelijke
uitkomsten van een willekeurige gebeurtenis (hoeveel keer kan je bijvoorbeeld 1 gooien met een
dobbelsteen) -> als je hiervan een histogram maakt, plot je een balk/interval (stel dat je 3x gooit,
is de balk 3 hoog) -> door daarna een trendline door alle balken te tekenen heb je een grafische
voorstelling van de kansverdeling,
-> Normale verdeling = “normale” kansverdeling: veelvoorkomende continue, symmetrische
verdeling die beschrijft hoe waarden van een bepaalde variabele zich meestal rond een
gemiddeld punt groeperen = waarschijnlijkheid aangeeft dat een getal in een bepaalde context
tussen twee reële getallen valt
Fitting regression lines – the method of least squares
De vraag blijft hoe een regressielijn moet worden toegepast -> we zouden de gegevens kunnen
bekijken en een lijn trekken die niet te ver van een van de punten ligt, maar in de praktijk is deze
aanpak moeilijk en kan deze vrij onnauwkeurig zijn, met een groot aantal punten of veel spreiding
=> betere methode is om een specifiek criterium op te stellen dat de nabijheid van een lijn tot
een set punten definieert en de lijn te vinden die het dichtst bij de steekproefgegevens ligt
volgens dit criterium
=> Manier om de beste rechte lijn te vinden die de relatie tussen x en y variabelen beschrijft ->
de geschatte regressielijn (least squares line) is de lijn waarbij de som van de gekwadrateerde
afstanden tussen gemeten waarde en de regressielijn het laagst is
Waarom van de kwadraten? Op een grafiek wordt een datapunt aangegeven door (xi, yi) en
een voorspellende waarde van diezelfde x als (xi, yî) -> de afstand tussen beide is de error =>
aangezien sommige datapunten onder en boven de voorspellende lijn voorkomen zouden we
positieve en negatieve getallen met elkaar moeten optellen -> gaat niet => absolute waarden
gebruiken -> is niet altijd evident => kwadraten met elkaar optellen aangezien deze positief
worden als het een negatieve afstand is
1
, We gaan niet de raw sum of squares gebruiken, maar de corrected sum of squares = Lxx en
Lyy: van het datapunt wordt het gemiddelde van alle datapunten afgetrokken -> van het
overgebleven getal het kwadraat nemen
Vervolgens gaan we de corrected sum of cross products gebruiken = Lxy: vermenigvuldigen
van corrected sum van x met de corrected sum y
Hoe kunnen we een waarde plakken aan b? Hoe kunnen we deze berekenen? b = Lxy / Lyy
Als we b kennen, kunnen we a berekenen: a = ý – b x́
y = a + bx = ý - b x́ + bx -> we vullen bij x de x́ => y = ý - b x́ + b x́ => y = ý
VB.: Leid de geschatte regressielijn af voor de gegevens in tabel 11.1.
Eerst moet he volgende
worden verkregen om de gecorrigeerde som van de kwadraten (Lxx) en de kruisproducten (Lxy)
te berekenen:
Bereken vervolgens Lxy en Lxx:
Ten slotte moet de helling van de regressielijn berekend worden:
Het snijpunt van de regressielijn kan ook worden berekend
De regressielijn wordt dus gegeven door y = 21,52 + 0,608x
VB.: Wat is het geschatte gemiddelde geboortegewicht als een zwangere vrouw een estriool level
van 15 mg/24u heeft? Oplossing: ŷ = 21.52 + 0.608(15) = 30.65 * 100g = 3065g
VB.: Een laag geboortegewicht wordt hier gedefinieerd als 2500 g. Voor welke oestriolspiegel zou
het voorspelde gewicht = 2500 g zijn?
Oplossing: ŷ = 21.52 + 0.608x -> ŷ = 2500/100 = 25 -> 25 = 21.52 + 0.608x => x = (25-
21.52)/0.608 = 3.48/0.608 = 5.72
Inferences about parameters from regression lines
Er moeten criteria worden vastgesteld om een regressielijnen die goed bij de data past te
onderscheiden van een regressielijnen die dat niet doen
- Res
tco
mp
one
nt
=
verschil tussen het datapunt (xi, yi) en de
voorspellende waarde (xi, ŷi) => waarde laat zien
hoe goed onze schatting is bij de werkelijkheid =
yi – ŷi -> Rest Sum of Squares (Res SS) = som
van alle (yi – ŷi)2
2
, - Regressie component = verschil tussen de
voorspellende waarde yî en de gemiddelde
waarde y => geeft een beeld over de helling van
de regressielijn = ŷi – ý -> Regression Sum of
Squares (Reg SS) = som van alle (ŷi – ý )2
=> De beste situatie zou dus een model zijn waar de Res SS zo klein mogelijk is en de Reg SS zo
groot mogelijk
Als er meervoudige regressie is, betekent dit dat er meerdere afhankelijke variabelen zijn =>
dan moet de sum of squares aangepast worden:
- Bij Res SS wordt het Rest Mean Square = Res MS = Res SS/(n – k - 1)
o Vrijheidsgraad k = aantal voorspellende/afhankelijke variabelen
o N = grootte van de steekproef = aantal observaties/datapunten
- Bij Reg SS wordt het Regressie Mean Square = Reg MS = Reg SS/k
o Vrijheidsgraad k = aantal voorspellende/ afhankelijke variabelen
Vooraleer we verder gaan is het ook wel eens nuttig om te
controleren of het wel enig nut heeft om aan regressie te doen
met het model dat we hebben. Als we een model hebben dat de
slope (β) = 0, dan heeft het niet echt zin om verder te gaan met
dit model want we kunnen er niets mee voorspellen = bepalen
met een F-test
F Test for Simple Linear Regression: F = Reg MS/ Res MS
Een F-test is een enkelzijdige test: we hebben altijd een
positieve waarde aangezien we de berekeningen doen met
gekwadrateerde gegevens => F verdeling is geen volledige gaus
curve maar een halve
p-waarde = waarschijnlijkheid om een toetsstatistiek te verkrijgen die even extreem of extremer
is dan de werkelijk verkregen toetsstatistiek, gegeven dat de nulhypothese waar is
VB.: Test de significantie van de regressielijn afgeleid voor de geboortegewicht-estriolgegevens:
we weten dat
Waardoor we dit kunnen berekenen
Daarom wordt p < .001 en H0 verworpen en wordt de alternatieve hypothese, namelijk dat de
helling van de regressielijn significant verschilt van 0, geaccepteerd, wat een significant lineair
verband impliceert tussen geboortegewicht en oestriolgehalte
R2 wordt gedefinieerd als Reg SS/Totale SS -> het kan worden beschouwd als het deel van de
variantie van y dat wordt verklaard door x => samenvattende maatstaf voor de goodness of fit =
3
Hoofdstuk 11 – Regresssie en Correlatie methoden
We willen graag het oorzakelijk verband van het ene variabele (X) op het andere (Y) bestuderen:
- Eenvoudige regressie: 1 op 1 variabele
- Meervoudige regressie: meerdere variabelen op 1 variabele
- Lineaire regressie (verband)
VB.: Verloskundigen vragen soms testen aan om de oestriolspiegel te meten in 24-uurs
urinemonsters van zwangere vrouwen die bijna bevallen zijn, omdat er een verband is gevonden
tussen de oestriolspiegel en het geboortegewicht van de baby. De test kan indirect bewijs
leveren voor een abnormaal kleine foetus. De relatie tussen de oestriolspiegel en het
geboortegewicht kan worden gekwantificeerd door een regressielijn te trekken die de twee
variabelen met elkaar verbindt => is er een lineaire verband tussen beide?
=> x is dus de concentratie oestriool (is onafhankelijk van het gewicht) en y is het gewicht (hangt
af van de concentratie oestriool) => het verband is dus E (y I x) = + x + e (regressielijn)
- a = intercept (de verwachte waarde van y als x = 0) (als de lijn niet op y-as begint)
- b = de richtingscoëfficiënt (hoeveel y gemiddeld verandert als x met 1 toeneemt) = hoe
groot is het effect van x op y (hoe groter, hoe steiler)
- x = de afhankelijke variabele
- y = de onafhankelijke variabele
- E (y | x) = verwachte niveau van y voor een gegeven waarde van x
- e = error term (afstand tussen het echte datapunt en de voorspelling)
(uitgaande van de aanname dat e normaal verdeeld is met gemiddelde
0 en variantie 2 = mate waarin punten op de rechte vallen:
o 2 = 0 = perfect fit
o 2 > 0 = imperfecte fit
Kansverdeling = beschrijft hoe de kansen verdeeld zijn over alle mogelijke
uitkomsten van een willekeurige gebeurtenis (hoeveel keer kan je bijvoorbeeld 1 gooien met een
dobbelsteen) -> als je hiervan een histogram maakt, plot je een balk/interval (stel dat je 3x gooit,
is de balk 3 hoog) -> door daarna een trendline door alle balken te tekenen heb je een grafische
voorstelling van de kansverdeling,
-> Normale verdeling = “normale” kansverdeling: veelvoorkomende continue, symmetrische
verdeling die beschrijft hoe waarden van een bepaalde variabele zich meestal rond een
gemiddeld punt groeperen = waarschijnlijkheid aangeeft dat een getal in een bepaalde context
tussen twee reële getallen valt
Fitting regression lines – the method of least squares
De vraag blijft hoe een regressielijn moet worden toegepast -> we zouden de gegevens kunnen
bekijken en een lijn trekken die niet te ver van een van de punten ligt, maar in de praktijk is deze
aanpak moeilijk en kan deze vrij onnauwkeurig zijn, met een groot aantal punten of veel spreiding
=> betere methode is om een specifiek criterium op te stellen dat de nabijheid van een lijn tot
een set punten definieert en de lijn te vinden die het dichtst bij de steekproefgegevens ligt
volgens dit criterium
=> Manier om de beste rechte lijn te vinden die de relatie tussen x en y variabelen beschrijft ->
de geschatte regressielijn (least squares line) is de lijn waarbij de som van de gekwadrateerde
afstanden tussen gemeten waarde en de regressielijn het laagst is
Waarom van de kwadraten? Op een grafiek wordt een datapunt aangegeven door (xi, yi) en
een voorspellende waarde van diezelfde x als (xi, yî) -> de afstand tussen beide is de error =>
aangezien sommige datapunten onder en boven de voorspellende lijn voorkomen zouden we
positieve en negatieve getallen met elkaar moeten optellen -> gaat niet => absolute waarden
gebruiken -> is niet altijd evident => kwadraten met elkaar optellen aangezien deze positief
worden als het een negatieve afstand is
1
, We gaan niet de raw sum of squares gebruiken, maar de corrected sum of squares = Lxx en
Lyy: van het datapunt wordt het gemiddelde van alle datapunten afgetrokken -> van het
overgebleven getal het kwadraat nemen
Vervolgens gaan we de corrected sum of cross products gebruiken = Lxy: vermenigvuldigen
van corrected sum van x met de corrected sum y
Hoe kunnen we een waarde plakken aan b? Hoe kunnen we deze berekenen? b = Lxy / Lyy
Als we b kennen, kunnen we a berekenen: a = ý – b x́
y = a + bx = ý - b x́ + bx -> we vullen bij x de x́ => y = ý - b x́ + b x́ => y = ý
VB.: Leid de geschatte regressielijn af voor de gegevens in tabel 11.1.
Eerst moet he volgende
worden verkregen om de gecorrigeerde som van de kwadraten (Lxx) en de kruisproducten (Lxy)
te berekenen:
Bereken vervolgens Lxy en Lxx:
Ten slotte moet de helling van de regressielijn berekend worden:
Het snijpunt van de regressielijn kan ook worden berekend
De regressielijn wordt dus gegeven door y = 21,52 + 0,608x
VB.: Wat is het geschatte gemiddelde geboortegewicht als een zwangere vrouw een estriool level
van 15 mg/24u heeft? Oplossing: ŷ = 21.52 + 0.608(15) = 30.65 * 100g = 3065g
VB.: Een laag geboortegewicht wordt hier gedefinieerd als 2500 g. Voor welke oestriolspiegel zou
het voorspelde gewicht = 2500 g zijn?
Oplossing: ŷ = 21.52 + 0.608x -> ŷ = 2500/100 = 25 -> 25 = 21.52 + 0.608x => x = (25-
21.52)/0.608 = 3.48/0.608 = 5.72
Inferences about parameters from regression lines
Er moeten criteria worden vastgesteld om een regressielijnen die goed bij de data past te
onderscheiden van een regressielijnen die dat niet doen
- Res
tco
mp
one
nt
=
verschil tussen het datapunt (xi, yi) en de
voorspellende waarde (xi, ŷi) => waarde laat zien
hoe goed onze schatting is bij de werkelijkheid =
yi – ŷi -> Rest Sum of Squares (Res SS) = som
van alle (yi – ŷi)2
2
, - Regressie component = verschil tussen de
voorspellende waarde yî en de gemiddelde
waarde y => geeft een beeld over de helling van
de regressielijn = ŷi – ý -> Regression Sum of
Squares (Reg SS) = som van alle (ŷi – ý )2
=> De beste situatie zou dus een model zijn waar de Res SS zo klein mogelijk is en de Reg SS zo
groot mogelijk
Als er meervoudige regressie is, betekent dit dat er meerdere afhankelijke variabelen zijn =>
dan moet de sum of squares aangepast worden:
- Bij Res SS wordt het Rest Mean Square = Res MS = Res SS/(n – k - 1)
o Vrijheidsgraad k = aantal voorspellende/afhankelijke variabelen
o N = grootte van de steekproef = aantal observaties/datapunten
- Bij Reg SS wordt het Regressie Mean Square = Reg MS = Reg SS/k
o Vrijheidsgraad k = aantal voorspellende/ afhankelijke variabelen
Vooraleer we verder gaan is het ook wel eens nuttig om te
controleren of het wel enig nut heeft om aan regressie te doen
met het model dat we hebben. Als we een model hebben dat de
slope (β) = 0, dan heeft het niet echt zin om verder te gaan met
dit model want we kunnen er niets mee voorspellen = bepalen
met een F-test
F Test for Simple Linear Regression: F = Reg MS/ Res MS
Een F-test is een enkelzijdige test: we hebben altijd een
positieve waarde aangezien we de berekeningen doen met
gekwadrateerde gegevens => F verdeling is geen volledige gaus
curve maar een halve
p-waarde = waarschijnlijkheid om een toetsstatistiek te verkrijgen die even extreem of extremer
is dan de werkelijk verkregen toetsstatistiek, gegeven dat de nulhypothese waar is
VB.: Test de significantie van de regressielijn afgeleid voor de geboortegewicht-estriolgegevens:
we weten dat
Waardoor we dit kunnen berekenen
Daarom wordt p < .001 en H0 verworpen en wordt de alternatieve hypothese, namelijk dat de
helling van de regressielijn significant verschilt van 0, geaccepteerd, wat een significant lineair
verband impliceert tussen geboortegewicht en oestriolgehalte
R2 wordt gedefinieerd als Reg SS/Totale SS -> het kan worden beschouwd als het deel van de
variantie van y dat wordt verklaard door x => samenvattende maatstaf voor de goodness of fit =
3
