MTB1 samenvatting blok 3 validiteit en betrouwbaarheid - premaster gezondheidswetenschappen VU

BLOK3: validiteit en betrouwbaarheid
Methodologie & toegepaste biostatistiek 1

Validiteit: in hoeverre zijn onderzoeksresultaten geldig (meten wat we willen meten)? 
bias/vertekening is bedreiging voor de validiteit
Betrouwbaarheid: in hoeverre zijn onderzoeksresultaten reproduceerbaar/herhaalbaar?

1. Validiteit van onderzoek
a. Oorzaken
b. Inferentie
2. Betrouwbaarheid van onderzoek
3. Validiteit en betrouwbaarheid van metingen en meetinstrumenten
4. Evalueren van meetinstrumenten

In hoeverre zijn onderzoeksresultaten geldig
- Vertekening door selectie – selectiebias
- Vertekening door metingen – informatiebias
- Verstoring door derde variabelen – confounding blok 4


1. Validiteit van onderzoek
Taak academicus;
- Onderzoeken mogelijke bronnen vertekening
- Beredeneren effect vertekening
- Her evaluatie inzichten
- Begrip van samenhang en oorzakelijkheid (causaal, oorzaak, andere redenen waarom er een
associatie tussen determinant en uitkomst is)

Oorzakelijkheid/causaliteit
Inzicht in causaliteit is belangrijk omdat het ons inzicht geeft in wat zijn nu de oorzaken van ziekte
bijvoorbeeld:
- Begrijpen gezondheidsrelaties
- Vertaalslag onderzoek naar praktijk (als je weet roken veroorzaakt longkanker, weet je in de
praktijk dat er iets gedaan moet worden aan roken als causale factor)
- Effectieve ingrepen (interventies) (het aanpakken van causale factoren)

Onderzoek naar oorzakelijkheid/determinanten etc.  gebruik van causaal diagram. Waarschijnlijk
spelen namelijk verschillende factoren een rol in het ontstaan van ziekte. De causale
keten/verbanden wil je in kaart brengen dat kan hiermee.
- Geeft een overzicht wat een rol speelt in het ontstaan van de ziekte
- Naar mate meer onderzoek wordt gedaan
wordt het diagram
beter/gedetailleerder/groter

Wat zijn indicaties om te bepalen of er echt een
causale associatie is?
- Criteria van Hill (blok 4)

Causaal diagram 

,Oorzakelijkheid en onderzoek
Oorzakelijkheid kan worden onderzocht met een goed design (RCT beste oorzaak gevolg)
- Wat ook belangrijk is is dat je in je design rekening moet houden met andere factoren die ook
invloed op de ziekte kunnen hebben, dus op het onderzochte verband.
- Andere factoren wil je ook meten in je onderzoek om rekening mee te houden zeker als je je
analyses gaat doen. Dan kan je met meer zekerheid zeggen of jouw determinant causaal
gerelateerd is aan jouw ziekte.
 Hoe kom je aan die factoren?
 Wetenschappelijke literatuur (bekende determinanten, anderen hebben wat gevonden)
 Expert-discussie (mensen die veel weten over de ziekte kan hierbij helpen om alle factoren in
kaart te krijgen)

Een goed design garandeert nog niet dat je onderzoeksresultaten valide zullen zijn
- Selectieproblemen, meetfouten, praktische tekortkomingen et cetera


Werkwijze empirisch onderzoek
Doel: uitspraak doen over de hele populatie
Nodig: informatie over de populatie
Probleem: volledige informatie onhaalbaar
- Populatie is te groot (evt. oneindig)
- Je kunt niet alles bijhouden
- Tijd is beperkt
Oplossing: gebruik een of meerdere steekproeven
- Vertaal wat je steekproeven vindt terug naar populatie (inferentie)
- Maar dan moeten de metingen nog wel van de juiste kwaliteit zijn


Inferentie: het trekken van conclusies uit aannames
- Aanname: de steekproef lijkt op de populatie
- Op basis van de steekproef (sample) ga je de metingen doen, de analyse, en op basis daarvan
willen we iets zeggen over de hele populatie  inferentie
- Je generaliseert de resultaten van je steekproef naar de hele populatie




Proefdieronderzoek – inferentie
Vreemde vorm van selectie, ratten zijn per definitie niet representatief voor de mens, of toch wel?
Er wordt veel proefdieronderzoek gedaan om inzicht te krijgen in de werking van het menselijk
lichaam.
Bijvoorbeeld: aspartaam vervanging voor suiker heeft dit invloed op obesitas en metabool syndroom?
- Proefdieronderzoek op muizen
- Afbraakproducten aspartaam effect op enzymen in spijsverteringskanaal bij muizen. Het had
een negatief effect op de spijsvertering

, - Betekenis voor gezondheidswetenschappen? Het zou van betekenis kunnen zijn op de mens


Werkingsmechanisme
Bij de mens heeft het enzym IAP dezelfde functie als bij muizen.
Stel je maakt twee causale diagrammen bij muizen en mensen  je ziet dat er gelijkenissen zijn maar
ook hele grote verschillen als je bijvoorbeeld kijkt naar het dieet van muizen. Of de tijd dat voedsel
door de darmen beweegt.
 Je kan dus niet direct zeggen dat de resultaten compleet gelden voor de mens, MAAR het geeft
aanknopingspunten voor vervolgonderzoeken bij de mens.




2. Betrouwbaarheid van onderzoek
Naast mogelijke vertekening van resultaten is ook de betrouwbaarheid van het onderzocht effect van
groot belang.
Je resultaten kunnen naast niet valide, ook niet betrouwbaar zijn.
De vraag die je jezelf moet stellen:

‘Hoeveel verschil zit er mogelijk tussen mijn steekproefeffect en het populatie effect?
Of
Als ik mijn onderzoek herhaal, in hoeverre krijg ik dan hetzelfde resultaat?

Om het te beoordelen:
- Gebruik van statistiek
- Toevallige fouten beïnvloeden betrouwbaarheid van onderzoek
- Voor het beoordelen van betrouwbaarheid gebruiken we dus statistiek


Weergave figuur verschil validiteit en betrouwbaarheid

- Midden van de roos is het werkelijke effect in de
populatie
- Elke zwarte stip is het resultaat van een steekproef
- Links boven dicht bij elkaar en precies in de roos,
dat laat zien dat het valide als betrouwbaar is, het
onderzoek.
o Valide want het ligt dicht bij de
werkelijkheid
o Betrouwbaar omdat er heel weinig verschil
zit tussen de zwarte puntjes dus de steekproeven