Bouter- Leerboek Epidemiologie H5: Validiteit en betrouwbaarheid.
Bij het schatten van frequentie en associatiematen kunnen, net als bij het meten van
variabelen, twee typen fouten worden gemaakt:
- Random error: toevallige fouten; zijn te herleiden tot het feit dat de verschijnselen
zoals het verband tussen ziekte en blootstelling variëren rondom de werkelijke
waarde en het feit dat ieder onderzoek berust op waarnemingen bij steekproeven.
Leiden tot niet-betrouwbare effectschattingen.
- Systematic error: systematische fouten; verkeerde beslissingen tijdens de opzet,
uitvoering of data-analyse van het onderzoek, leiden tot onjuiste effectschattingen.
Deze fouten staan aan de basis van betrouwbaarheidsproblemen, respectievelijk
validiteitsproblemen in epidemiologisch onderzoek.
Betrouwbaarheid: een onderzoeksopzet die bij herhaling hetzelfde resultaat oplevert, heeft
een grote betrouwbaarheid. Het onderzoek moet reproduceerbaar zijn; als men het
onderzoek herhaald, krijgen ze hetzelfde resultaat.
De uitkomst van de steekproeftrekking berust louter op toeval. Sampling error speelt dus
een prominente rol bij de betrouwbaarheid van epidemiologisch onderzoek.
Sampling error drukt men in de statistiek uit met behulp van de standaardfout (SE), die
geïnterpreteerd kan worden als de SD van de gemeten parameter als het onderzoek in
andere steekproeven uit dezelfde bronpopulatie heel vaak herhaald zou worden.
Uit iedere formule valt af te leiden dat naarmate de omvang van de steekproef groter wordt,
de standaardfout logischerwijs kleiner wordt. Niet alleen frequentie-en associatiematen,
1
,maar elke populatieparameter die geschat wordt op basis van een steekproef heeft een
standaardfout.
In het algemeen kan gezegd worden dat de standaardfout wordt bepaald door drie
elementen:
- de meetfout van de afzonderlijke waarnemingen bij de individuen in de steekproef.
- de spreiding van het kenmerk in de populatie waaruit de steekproef is getrokken.
- de omvang van de steekproef.
Standaardfout: geeft de variatie weer van een populatieparameter die is geschat op basis
van een steekproef.
Standaarddeviatie: geeft de variatie van de individuele meetwaarde.
Betrouwbaarheidsinterval: als de betreffende studie heel vaak herhaald zou worden, zou het
betreffende interval in 95% van de gevallen de werkelijke waarde omvatten. Men kan
zeggen dat het 95% betrouwbaarheidsinterval met 95% aannemelijkheid de werkelijke
waarde van de associatiemaat bevat. Hoe kleiner dit interval, hoe preciezer de schatting.
Men kan ook betrouwbaarheidsintervallen berekenen met een grotere of een kleinere
betrouwbaarheid. Hoe hoger de vereiste betrouwbaarheid, hoe breder het interval.
Een betrouwbaarheidsinterval geeft alleen informatie over de betrouwbaarheid en niet over
de validiteit. Het is immers heel goed mogelijk dat de werkelijke waarde van de geschatte
parameter buiten het betrouwbaarheidsinterval ligt.
Voor het berekenen van het betrouwbaarheidsinterval heeft men een schatting nodig van de
standaardfout van de geschatte parameter en een vertaling van de gekozen
betrouwbaarheid in een z-score op de standaard normale verdeling (95% betrouwbaarheid
komt overeen met een z-score van 1.96).
Het betrouwbaarheidsinterval van een epidemiologische parameter P waarvoor een normale
verdeling geldt, is dan = 95%-BI = P +/- 1.96 SEp.
Voor parameters als RR en OR geldt geen normale verdeling, maar een ln-normaal
verdeling. Het betrouwbaarheidsinterval is dan = 95%-BI = ln(P) +/- 1.96 SEln(p).
Het resultaat van deze berekeningen laat zich als volgt interpreteren: een schatting van een
cumulatief incidentiecijfer (CI) in een populatie levert bijvoorbeeld het volgende resultaat: CI
= 5 op 10.000 = 5/10.000 = 0.0005. Bij een bepaalde omvang van de onderzoekspopulatie is
het bijbehorende 95% betrouwbaarheidsinterval = 95%-BI = 0.0005 +/- 0.0001 (0.0004 -
0.0006).
Dit betekent dat men met 95% aannemelijkheid ervan mag uitgaan dat de werkelijke CI in de
populatie waaruit de steekproef is geselecteerd, tussen de 4-6 per 10.000 personen ligt.
2
, Een schatting van het RR in een bepaald onderzoek levert bijvoorbeeld het volgende
resultaat: RR = 1.52 (95%-BI 1.27-1.81). Dit betekent dat men redelijk zeker is dat er sprake
is van een reëel, zwak verhoogd risico.
Soms geeft men geen betrouwbaarheidsinterval bij een puntschatting, maar drukt men de
betrouwbaarheid uit met het resultaat van een statistische toets, bijvoorbeeld een p-waarde.
P-waarde: een p-waarde van bijvoorbeeld 0.03 drukt uit dat, indien de nulhypothese (die
stelt dat er geen effect is van een determinant op een ziekte) juist is, er slechts 3% kans is
om bij toeval de gevonden waarde of nog extremere waarde van de effectmaat aan te
treffen.
Afgezet tegen het criterium dat aangeeft welke foutenkans men nog acceptabel acht (5%)
acht men deze kans voldoende klein om te mogen spreken van een significant effect van de
determinant op de ziekte.
Aan de praktijk van statistische toetsen ligt het idee ten
grondslag dat men uiteindelijk alleen onderscheid wil
maken tussen effectparameters die, met zekere
aannemelijkheid, wel of niet te verklaren zijn door
toevalsvariatie.
Een p-waarde van 0.03 zegt dan dat de kans dat dit
resultaat louter op grond van het toeval verkregen is
(sampling error) zo klein is, dat dat idee (hypothese)
verworpen moet worden.
Het is gebruikelijk een p-waarde groter dan 0.05 zo te
interpreteren dat het verkregen onderzoeksresultaat ook
door het toeval veroorzaakt zou kunnen zijn.
Statistische toetsen beantwoorden de vraag of er een effect is, niet hoe groot dit is of zou
kunnen zijn. Voor de schatting van de grootte van een effect kan beter een BI gebruikt
worden.
Voor het berekenen van het aantal onderzoekspersonen dat nodig is om een bepaalde
betrouwbaarheid van het onderzoeksresultaat te verkrijgen, staat een groot arsenaal aan
steekproefgrootte formules ter beschikking. Om de steekproefgrootte formules te kunnen
toepassen heeft men, in het geval van dichotome uitkomsten en determinanten, informatie
nodig over de volgende grootheden:
- de ziektefrequentie in de referentiegroep, eventueel geschat aan de hand van de
frequentie in de bronpopulatie.
- de minimale grootte van het effect dat men nog de moeite waard vindt om aan te
tonen.
- de kans dat men nog niet acceptabel acht om een effect te vinden dat in
werkelijkheid afwezig is (type 1 fout).
3
Bij het schatten van frequentie en associatiematen kunnen, net als bij het meten van
variabelen, twee typen fouten worden gemaakt:
- Random error: toevallige fouten; zijn te herleiden tot het feit dat de verschijnselen
zoals het verband tussen ziekte en blootstelling variëren rondom de werkelijke
waarde en het feit dat ieder onderzoek berust op waarnemingen bij steekproeven.
Leiden tot niet-betrouwbare effectschattingen.
- Systematic error: systematische fouten; verkeerde beslissingen tijdens de opzet,
uitvoering of data-analyse van het onderzoek, leiden tot onjuiste effectschattingen.
Deze fouten staan aan de basis van betrouwbaarheidsproblemen, respectievelijk
validiteitsproblemen in epidemiologisch onderzoek.
Betrouwbaarheid: een onderzoeksopzet die bij herhaling hetzelfde resultaat oplevert, heeft
een grote betrouwbaarheid. Het onderzoek moet reproduceerbaar zijn; als men het
onderzoek herhaald, krijgen ze hetzelfde resultaat.
De uitkomst van de steekproeftrekking berust louter op toeval. Sampling error speelt dus
een prominente rol bij de betrouwbaarheid van epidemiologisch onderzoek.
Sampling error drukt men in de statistiek uit met behulp van de standaardfout (SE), die
geïnterpreteerd kan worden als de SD van de gemeten parameter als het onderzoek in
andere steekproeven uit dezelfde bronpopulatie heel vaak herhaald zou worden.
Uit iedere formule valt af te leiden dat naarmate de omvang van de steekproef groter wordt,
de standaardfout logischerwijs kleiner wordt. Niet alleen frequentie-en associatiematen,
1
,maar elke populatieparameter die geschat wordt op basis van een steekproef heeft een
standaardfout.
In het algemeen kan gezegd worden dat de standaardfout wordt bepaald door drie
elementen:
- de meetfout van de afzonderlijke waarnemingen bij de individuen in de steekproef.
- de spreiding van het kenmerk in de populatie waaruit de steekproef is getrokken.
- de omvang van de steekproef.
Standaardfout: geeft de variatie weer van een populatieparameter die is geschat op basis
van een steekproef.
Standaarddeviatie: geeft de variatie van de individuele meetwaarde.
Betrouwbaarheidsinterval: als de betreffende studie heel vaak herhaald zou worden, zou het
betreffende interval in 95% van de gevallen de werkelijke waarde omvatten. Men kan
zeggen dat het 95% betrouwbaarheidsinterval met 95% aannemelijkheid de werkelijke
waarde van de associatiemaat bevat. Hoe kleiner dit interval, hoe preciezer de schatting.
Men kan ook betrouwbaarheidsintervallen berekenen met een grotere of een kleinere
betrouwbaarheid. Hoe hoger de vereiste betrouwbaarheid, hoe breder het interval.
Een betrouwbaarheidsinterval geeft alleen informatie over de betrouwbaarheid en niet over
de validiteit. Het is immers heel goed mogelijk dat de werkelijke waarde van de geschatte
parameter buiten het betrouwbaarheidsinterval ligt.
Voor het berekenen van het betrouwbaarheidsinterval heeft men een schatting nodig van de
standaardfout van de geschatte parameter en een vertaling van de gekozen
betrouwbaarheid in een z-score op de standaard normale verdeling (95% betrouwbaarheid
komt overeen met een z-score van 1.96).
Het betrouwbaarheidsinterval van een epidemiologische parameter P waarvoor een normale
verdeling geldt, is dan = 95%-BI = P +/- 1.96 SEp.
Voor parameters als RR en OR geldt geen normale verdeling, maar een ln-normaal
verdeling. Het betrouwbaarheidsinterval is dan = 95%-BI = ln(P) +/- 1.96 SEln(p).
Het resultaat van deze berekeningen laat zich als volgt interpreteren: een schatting van een
cumulatief incidentiecijfer (CI) in een populatie levert bijvoorbeeld het volgende resultaat: CI
= 5 op 10.000 = 5/10.000 = 0.0005. Bij een bepaalde omvang van de onderzoekspopulatie is
het bijbehorende 95% betrouwbaarheidsinterval = 95%-BI = 0.0005 +/- 0.0001 (0.0004 -
0.0006).
Dit betekent dat men met 95% aannemelijkheid ervan mag uitgaan dat de werkelijke CI in de
populatie waaruit de steekproef is geselecteerd, tussen de 4-6 per 10.000 personen ligt.
2
, Een schatting van het RR in een bepaald onderzoek levert bijvoorbeeld het volgende
resultaat: RR = 1.52 (95%-BI 1.27-1.81). Dit betekent dat men redelijk zeker is dat er sprake
is van een reëel, zwak verhoogd risico.
Soms geeft men geen betrouwbaarheidsinterval bij een puntschatting, maar drukt men de
betrouwbaarheid uit met het resultaat van een statistische toets, bijvoorbeeld een p-waarde.
P-waarde: een p-waarde van bijvoorbeeld 0.03 drukt uit dat, indien de nulhypothese (die
stelt dat er geen effect is van een determinant op een ziekte) juist is, er slechts 3% kans is
om bij toeval de gevonden waarde of nog extremere waarde van de effectmaat aan te
treffen.
Afgezet tegen het criterium dat aangeeft welke foutenkans men nog acceptabel acht (5%)
acht men deze kans voldoende klein om te mogen spreken van een significant effect van de
determinant op de ziekte.
Aan de praktijk van statistische toetsen ligt het idee ten
grondslag dat men uiteindelijk alleen onderscheid wil
maken tussen effectparameters die, met zekere
aannemelijkheid, wel of niet te verklaren zijn door
toevalsvariatie.
Een p-waarde van 0.03 zegt dan dat de kans dat dit
resultaat louter op grond van het toeval verkregen is
(sampling error) zo klein is, dat dat idee (hypothese)
verworpen moet worden.
Het is gebruikelijk een p-waarde groter dan 0.05 zo te
interpreteren dat het verkregen onderzoeksresultaat ook
door het toeval veroorzaakt zou kunnen zijn.
Statistische toetsen beantwoorden de vraag of er een effect is, niet hoe groot dit is of zou
kunnen zijn. Voor de schatting van de grootte van een effect kan beter een BI gebruikt
worden.
Voor het berekenen van het aantal onderzoekspersonen dat nodig is om een bepaalde
betrouwbaarheid van het onderzoeksresultaat te verkrijgen, staat een groot arsenaal aan
steekproefgrootte formules ter beschikking. Om de steekproefgrootte formules te kunnen
toepassen heeft men, in het geval van dichotome uitkomsten en determinanten, informatie
nodig over de volgende grootheden:
- de ziektefrequentie in de referentiegroep, eventueel geschat aan de hand van de
frequentie in de bronpopulatie.
- de minimale grootte van het effect dat men nog de moeite waard vindt om aan te
tonen.
- de kans dat men nog niet acceptabel acht om een effect te vinden dat in
werkelijkheid afwezig is (type 1 fout).
3
