CHAPTER 6: THE BEAST OF BIAS
6.2 What is bias?
Bias betekent dat de samenvattende informatie van de persoon in strijd is met de objectieve waarheid.
Evenzo kunnen in statistieken de samenvattende statistieken die we schatten op gespannen voet staan
met de werkelijke waarden. Een ‘unbiased estimator’ is een schatter die een verwachte waarde
oplevert die hetzelfde is als wat hij probeert te schatten.
Er zijn drie manieren waarop er bias kan intreden in het statistische proces:
1. Dingen die de parameter estimates vertekenen.
2. Dingen die de standaard error en betrouwbaarheidsintervallen vertekenen.
3. Dingen die de test statistiek en p-waarden vertekenen.
Hiervoor zijn er twee ‘algemene’ boosdoeners: outliers en schending van aannames (violation of
assumptions).
6.3 Outliers
Een outlier is een score die heel anders is dan de rest van de data. Zo’n score kan een groot effect
hebben op parameters zoals het gemiddelde. Daarnaast hebben ze een groot effect op de error, vooral
op de sum of squared errors, omdat we dit berekenen door de error te kwadrateren. Hierdoor wordt een
bias die gecreëerd is door een outlier dus ook gekwadrateerd. Als de sum of squared errors biased is
door een outlier, dan zal de standaard error, het betrouwbaarheidsinterval en de test statistiek ook
biased zijn door deze outlier.
6.4 Overview of assumptions
Een assumptie is een voorwaarde die ervoor zorgt dat wat je probeert te doen werkt. Als een
assumptie dus niet waar blijkt te zijn, dan zijn de test statistiek en p-waarde niet accuraat en dan
trekken we dus de verkeerde conclusies.
De meeste procedures in de statistiek zijn gebaseerd op een lineair model en hebben daarom dezelfde
basis assumpties. Deze assumpties hebben te maken met de kwaliteit van het model zelf en de test
statistiek waarmee je het model gaat bekijken. De voornaamste assumpties zijn:
- Additiviteit en lineariteit (additivity and linearity)
- Normaliteit van het een of ander (normality)
- Homoscedasticiteit/homogeniteit van variantie (Homoscedasticity/homogeneity)
- Onafhankelijkheid (independence)
6.5 Additivity and linearity
Deze assumptie betekent dat de relatie tussen de uitkomstvariabele en voorspellers nauwkeurig wordt
beschreven door de vergelijking hiernaast. Het betekent dat scores op de uitkomstvariabele in
werkelijkheid lineair gerelateerd zijn aan alle voorspellers, en dat als je meerdere voorspellers hebt,
hun gecombineerde effect het best kan worden beschreven door hun effecten bij elkaar op te tellen.
Deze assumptie is het meest belangrijk want als dit niet waar is,
zelfs als aan alle andere assumpties wordt voldaan, is uw model
ongeldig omdat de beschrijving van het proces dat je wilt modelleren onjuist is. Je kan niet een lineair
, model passen aan data die niet lineair is. Alles wat daaruit voortkomt is dan fout, de parameter
schattingen, de significantie testen, het heeft geen zin want het model past niet.
6.6 Normally distributed something or other
Veel mensen denken dat deze assumptie betekent dat de data normaal verdeeld -moet- zijn. De
assumptie van normaliteit verwijst naar de residuen van het model die normaal verdeeld zijn, of naar
de steekproevenverdeling van de parameter, niet naar de gegevens zelf.' In feite, verhoudt het zich op
verschillende manieren tot dingen die we willen doen bij het passen van modellen en het beoordelen
ervan.
- Parameter estimates; deze worden beïnvloedt door data die niet normaal verdeeld is. De mediaan
wordt minder beïnvloedt dan de mean. Om ervoor te zorgen dat de schattingen van de parameters
die een model definiëren optimaal zijn (om zo min mogelijk fouten te hebben gegeven de data),
moeten de residuen (de error) in de populatie normaal zijn verdeeld. Dit geldt vooral als we de
method of least squares gebruiken.
- Confidence intervals; we gebruiken waarden van de standaard normaal verdeling om
betrouwbaarheidsintervallen te berekenen. Het gebruik van waarden van de standaard normale
verdeling heeft alleen zin als de parameterschattingen uit een normaal verdeling komen.
o Willen betrouwbaarheidsintervallen rond een parameterschatting (bijvoorbeeld het
gemiddelde of een b in vergelijking (2.4)) juist zijn, dan moet die schatting een
normale steekproefverdeling hebben.
- NHST; als we een hypothese willen testen over een model met het raamwerk dat eerder is
beschreven, dan gaan we ervan uit dat de parameter estimates een normaal verdeling hebben. Deze
assumptie komt voort uit het feit dat de test statistieken die we gebruiken (zoals t, F en chi)
distributies hebben die gerelateerd zijn aan een normaal verdeling.
o Om significantietests van modellen (en de parameterschattingen die ze definiëren)
nauwkeurig te laten zijn, moet de steekproefverdeling van wat wordt getest normaal
zijn. Als bijvoorbeeld wordt getest of twee gemiddelden verschillend zijn, hoeven de
gegevens niet normaal verdeeld te zijn, maar de steekproefverdeling van gemiddelden
(of verschillen tussen gemiddelden) wel. Evenzo, als we kijken naar relaties tussen
variabelen, zullen de significantietests van de parameterschattingen die die relaties
definiëren alleen nauwkeurig zijn als de steekproefverdeling van de schatting normaal
is.
6.6.1 The central limit theorem revisited
Naarmate de steekproeven groter worden, worden de
steekproevenverdelingen normaler, tot het punt waarop de
steekproef groot genoeg is om de steekproevenverdeling
normaal te maken - ook al is de populatie van scores erg
abnormaal. Dit is de central limit theorem: ongeacht de vorm
van de populatie zullen parameterschattingen van die
populatie een normale verdeling hebben, vooropgesteld dat de
steekproeven ‘groot genoeg’ zijn.
6.2 What is bias?
Bias betekent dat de samenvattende informatie van de persoon in strijd is met de objectieve waarheid.
Evenzo kunnen in statistieken de samenvattende statistieken die we schatten op gespannen voet staan
met de werkelijke waarden. Een ‘unbiased estimator’ is een schatter die een verwachte waarde
oplevert die hetzelfde is als wat hij probeert te schatten.
Er zijn drie manieren waarop er bias kan intreden in het statistische proces:
1. Dingen die de parameter estimates vertekenen.
2. Dingen die de standaard error en betrouwbaarheidsintervallen vertekenen.
3. Dingen die de test statistiek en p-waarden vertekenen.
Hiervoor zijn er twee ‘algemene’ boosdoeners: outliers en schending van aannames (violation of
assumptions).
6.3 Outliers
Een outlier is een score die heel anders is dan de rest van de data. Zo’n score kan een groot effect
hebben op parameters zoals het gemiddelde. Daarnaast hebben ze een groot effect op de error, vooral
op de sum of squared errors, omdat we dit berekenen door de error te kwadrateren. Hierdoor wordt een
bias die gecreëerd is door een outlier dus ook gekwadrateerd. Als de sum of squared errors biased is
door een outlier, dan zal de standaard error, het betrouwbaarheidsinterval en de test statistiek ook
biased zijn door deze outlier.
6.4 Overview of assumptions
Een assumptie is een voorwaarde die ervoor zorgt dat wat je probeert te doen werkt. Als een
assumptie dus niet waar blijkt te zijn, dan zijn de test statistiek en p-waarde niet accuraat en dan
trekken we dus de verkeerde conclusies.
De meeste procedures in de statistiek zijn gebaseerd op een lineair model en hebben daarom dezelfde
basis assumpties. Deze assumpties hebben te maken met de kwaliteit van het model zelf en de test
statistiek waarmee je het model gaat bekijken. De voornaamste assumpties zijn:
- Additiviteit en lineariteit (additivity and linearity)
- Normaliteit van het een of ander (normality)
- Homoscedasticiteit/homogeniteit van variantie (Homoscedasticity/homogeneity)
- Onafhankelijkheid (independence)
6.5 Additivity and linearity
Deze assumptie betekent dat de relatie tussen de uitkomstvariabele en voorspellers nauwkeurig wordt
beschreven door de vergelijking hiernaast. Het betekent dat scores op de uitkomstvariabele in
werkelijkheid lineair gerelateerd zijn aan alle voorspellers, en dat als je meerdere voorspellers hebt,
hun gecombineerde effect het best kan worden beschreven door hun effecten bij elkaar op te tellen.
Deze assumptie is het meest belangrijk want als dit niet waar is,
zelfs als aan alle andere assumpties wordt voldaan, is uw model
ongeldig omdat de beschrijving van het proces dat je wilt modelleren onjuist is. Je kan niet een lineair
, model passen aan data die niet lineair is. Alles wat daaruit voortkomt is dan fout, de parameter
schattingen, de significantie testen, het heeft geen zin want het model past niet.
6.6 Normally distributed something or other
Veel mensen denken dat deze assumptie betekent dat de data normaal verdeeld -moet- zijn. De
assumptie van normaliteit verwijst naar de residuen van het model die normaal verdeeld zijn, of naar
de steekproevenverdeling van de parameter, niet naar de gegevens zelf.' In feite, verhoudt het zich op
verschillende manieren tot dingen die we willen doen bij het passen van modellen en het beoordelen
ervan.
- Parameter estimates; deze worden beïnvloedt door data die niet normaal verdeeld is. De mediaan
wordt minder beïnvloedt dan de mean. Om ervoor te zorgen dat de schattingen van de parameters
die een model definiëren optimaal zijn (om zo min mogelijk fouten te hebben gegeven de data),
moeten de residuen (de error) in de populatie normaal zijn verdeeld. Dit geldt vooral als we de
method of least squares gebruiken.
- Confidence intervals; we gebruiken waarden van de standaard normaal verdeling om
betrouwbaarheidsintervallen te berekenen. Het gebruik van waarden van de standaard normale
verdeling heeft alleen zin als de parameterschattingen uit een normaal verdeling komen.
o Willen betrouwbaarheidsintervallen rond een parameterschatting (bijvoorbeeld het
gemiddelde of een b in vergelijking (2.4)) juist zijn, dan moet die schatting een
normale steekproefverdeling hebben.
- NHST; als we een hypothese willen testen over een model met het raamwerk dat eerder is
beschreven, dan gaan we ervan uit dat de parameter estimates een normaal verdeling hebben. Deze
assumptie komt voort uit het feit dat de test statistieken die we gebruiken (zoals t, F en chi)
distributies hebben die gerelateerd zijn aan een normaal verdeling.
o Om significantietests van modellen (en de parameterschattingen die ze definiëren)
nauwkeurig te laten zijn, moet de steekproefverdeling van wat wordt getest normaal
zijn. Als bijvoorbeeld wordt getest of twee gemiddelden verschillend zijn, hoeven de
gegevens niet normaal verdeeld te zijn, maar de steekproefverdeling van gemiddelden
(of verschillen tussen gemiddelden) wel. Evenzo, als we kijken naar relaties tussen
variabelen, zullen de significantietests van de parameterschattingen die die relaties
definiëren alleen nauwkeurig zijn als de steekproefverdeling van de schatting normaal
is.
6.6.1 The central limit theorem revisited
Naarmate de steekproeven groter worden, worden de
steekproevenverdelingen normaler, tot het punt waarop de
steekproef groot genoeg is om de steekproevenverdeling
normaal te maken - ook al is de populatie van scores erg
abnormaal. Dit is de central limit theorem: ongeacht de vorm
van de populatie zullen parameterschattingen van die
populatie een normale verdeling hebben, vooropgesteld dat de
steekproeven ‘groot genoeg’ zijn.
