onderzoeksmethodologie en statistiek 2
Mira Meeus
Hfdst 3 van Health Literacy (16/02)
Analytisch onderzoek
- Relatie tussen twee factoren kwantificeren:
• Effect van een interventie (I) of blootstelling (E) op een uitkomst (O)
o Experimenteel: onderzoeker actief een factor verandert of een interventie
oplegt
o Observationeel: passieve betrokkenheid van de onderzoeker
Experimenteel onderzoek
Waarom RCT’s “gold standard”?
- TRIAL: Impliceert dat je “intervenieert”!
Door manipulatie: causale relaties bestuderen: grootste zekerheid dat impact veroorzaakt
werd door interventie zelf, eerder dan door externe factoren! Causale relaties
bestuderen/bewerkstelligen als enigste mogelijk!
- Gecontroleerd: je kan effecten vergelijken en dus uitspraak doen over de impact van
verschillende interventies
Bv. potjes met bloemzaatjes: met en zonder water -> nadien beoordelen hoe het met de
bloemen is -> vergelijken tussen wie wel en geen water heeft gekregen (zonder water geen
bloemen…)
- Gerandomiseerd: geeft beste garantie op vergelijkbare groepen vooraf (ad random ->
meeste garantie dat de groepen vergelijkbaar zijn)
- Gestandaardiseerd: reduceert de invloed van externe factoren (bv. altijd dezelfde
hoeveelheid water, donker of lichte kamer…)
Voordelen RCT nadelen RCT
1
, - Je probeert zoveel mogelijk uit te sluiten MAAR er zijn altijd wel externe variabelen (interne
vs externe validiteit) -> zie foto
RCT (al) gepast??
- Ethisch verantwoord?
• Ethisch verantwoord om mensen te onderwerpen aan schadelijke interventies?
• Asbestos exposure AND lung cancer?
• Ethisch verantwoord om mensen (goede) therapie te ontzeggen in controlegroep? –
• Nieuwe protocollen / therapieën? ◦ Haalbaarheid ◦ Veiligheid ◦ Uitvoering
• Je kan mensen niet aan schadelijke interventies blootstellen
• Praktische haalbaarheid (tijd, geld)
• Is het correct en goed uitgevoerd of niet
• Is het ad random bepaald -> MOET (bv. anders dokter beoordeeld obv factoren ->
alle sterke mensen bij elkaar)
RCT’s: beperkte externe validiteit?
- Beperkt nut voor clinici, consumenten en andere besluitvormers over de effectiviteit van
klinische zorg in realiteit?
• Beperkte generaliseerbaarheid: artificieel / gestandaardiseerd / strenge
inclusiecriteria
• Vaak harde eindpunten (mortaliteit of morbiditeit), maar minder naar bvb. kwaliteit
en ervaringen
• Aanpassen aan de patiënt, lokale context of in de loop van de tijd is moeilijk → RCT's
= interventie in verschillende settings en in de tijd
PCH
Strenge selectie/artificieel
Tussenvormen
- Pragmatische/praktische klinische trail (PCT)
2
, - RCT’s vaak ergens binnen een continuum tussen Explanatory (=ideal RCT) and Pragmatic
- Quasi-experimenteel: ontbreekt randomisatie (door bv zelfselectie) of controlegroep of
allebei
Nog steeds waardevol, want antwoord op praktische of ethische barrières in natuurlijke
setting! Maar minder interne validiteit!
Soorten: reversal design, time-series design, one-group pretest-posttest design…
- perfecte RCT is niet altijd mogelijk!
- RCT is niet altijd meest gepaste study design voor elke vraag!
- Ook RCT’s kunnen methodologische tekortkomingen vertonen, waardoor:
• Er een hoge risk of bias kan zijn
• En dus de resultaten niet valide of betrouwbaar zijn
Bias
- = Ontbreken van validiteit
- = Systematische fout in resultaten, door methodologische tekortkomingen
- = Bij bias: resultaat van de studie komt niet overeen met het ´werkelijke´resultaat
- → Leidt tot over/onderschatting van werkelijke situatie
Statistische conclusie validiteit
3
, - Statistische power:
o Type II fout (ten onrechte behouden foute H0): lage power
➔ Verschillen niet gevonden
o Type I fout (ten onrechte verwerpen ware H0): zeer hoge power
➔ Gevonden verschillen niet relevant
o Assumpties statistische tests niet gerespecteerd
o Betrouwbaarheid en variantie in data
➔ Grote variabiliteit in data door onbetrouwbare metingen of externe factoren,
heterogeniteit, gebrek aan standaardisatie
o Ontbreken van ITT
Interne validiteit
Focus op de oorzaak-gevolg relatie! Voorwaarden:
- Temporele opvolging
- Covariatie van oorzaak en gevolg: verandering enkel wanneer interventie (of in proportie)
- Geen alternatieve verklaringen voor de veranderingen: confounders kunnen soms
alternatieve verklaringen geven!
Interne validiteit: Intrinsieke confounders
- Maturatie-effect (uitsluiten door controlegroep te integreren)
- History-tijdseffect: Vonden er gebeurtenissen (uitwendige omstandigheden) plaats (anders
dan de interventie) tijdens de studie die de resultaten kunnen beïnvloeden:
Seizoenswisselingen, Epidemieën, Sociale ontwikkelingen, Andere behandelingen (uitsluiten
door controlegroep te integreren)
- Attrition-uitvallerseffect: !!! Vgl karakteristieken van: drop-out en non-drop-out, exp en con
groep post-test
- Selectie-effect
• Niet representatieve sampling
• Bij niet-randomisatie?
o Groepen niet vergelijkbaar?
o Mix met andere effecten: ◦ Selectie-maturatie ◦ Selectie-tijd
- Test-effect en reactief effect: meermaals testen zorgt voor een gedragsveranderingen /
leereffecten-> bv als mensen weten dat ze elke week gewogen worden -> minder beginnen
eten -> niet representatief
- Instrumentation – meetfouteffect: betrouwbaarheid van metingen en inter- vs
intrabeoordelaars
4
Mira Meeus
Hfdst 3 van Health Literacy (16/02)
Analytisch onderzoek
- Relatie tussen twee factoren kwantificeren:
• Effect van een interventie (I) of blootstelling (E) op een uitkomst (O)
o Experimenteel: onderzoeker actief een factor verandert of een interventie
oplegt
o Observationeel: passieve betrokkenheid van de onderzoeker
Experimenteel onderzoek
Waarom RCT’s “gold standard”?
- TRIAL: Impliceert dat je “intervenieert”!
Door manipulatie: causale relaties bestuderen: grootste zekerheid dat impact veroorzaakt
werd door interventie zelf, eerder dan door externe factoren! Causale relaties
bestuderen/bewerkstelligen als enigste mogelijk!
- Gecontroleerd: je kan effecten vergelijken en dus uitspraak doen over de impact van
verschillende interventies
Bv. potjes met bloemzaatjes: met en zonder water -> nadien beoordelen hoe het met de
bloemen is -> vergelijken tussen wie wel en geen water heeft gekregen (zonder water geen
bloemen…)
- Gerandomiseerd: geeft beste garantie op vergelijkbare groepen vooraf (ad random ->
meeste garantie dat de groepen vergelijkbaar zijn)
- Gestandaardiseerd: reduceert de invloed van externe factoren (bv. altijd dezelfde
hoeveelheid water, donker of lichte kamer…)
Voordelen RCT nadelen RCT
1
, - Je probeert zoveel mogelijk uit te sluiten MAAR er zijn altijd wel externe variabelen (interne
vs externe validiteit) -> zie foto
RCT (al) gepast??
- Ethisch verantwoord?
• Ethisch verantwoord om mensen te onderwerpen aan schadelijke interventies?
• Asbestos exposure AND lung cancer?
• Ethisch verantwoord om mensen (goede) therapie te ontzeggen in controlegroep? –
• Nieuwe protocollen / therapieën? ◦ Haalbaarheid ◦ Veiligheid ◦ Uitvoering
• Je kan mensen niet aan schadelijke interventies blootstellen
• Praktische haalbaarheid (tijd, geld)
• Is het correct en goed uitgevoerd of niet
• Is het ad random bepaald -> MOET (bv. anders dokter beoordeeld obv factoren ->
alle sterke mensen bij elkaar)
RCT’s: beperkte externe validiteit?
- Beperkt nut voor clinici, consumenten en andere besluitvormers over de effectiviteit van
klinische zorg in realiteit?
• Beperkte generaliseerbaarheid: artificieel / gestandaardiseerd / strenge
inclusiecriteria
• Vaak harde eindpunten (mortaliteit of morbiditeit), maar minder naar bvb. kwaliteit
en ervaringen
• Aanpassen aan de patiënt, lokale context of in de loop van de tijd is moeilijk → RCT's
= interventie in verschillende settings en in de tijd
PCH
Strenge selectie/artificieel
Tussenvormen
- Pragmatische/praktische klinische trail (PCT)
2
, - RCT’s vaak ergens binnen een continuum tussen Explanatory (=ideal RCT) and Pragmatic
- Quasi-experimenteel: ontbreekt randomisatie (door bv zelfselectie) of controlegroep of
allebei
Nog steeds waardevol, want antwoord op praktische of ethische barrières in natuurlijke
setting! Maar minder interne validiteit!
Soorten: reversal design, time-series design, one-group pretest-posttest design…
- perfecte RCT is niet altijd mogelijk!
- RCT is niet altijd meest gepaste study design voor elke vraag!
- Ook RCT’s kunnen methodologische tekortkomingen vertonen, waardoor:
• Er een hoge risk of bias kan zijn
• En dus de resultaten niet valide of betrouwbaar zijn
Bias
- = Ontbreken van validiteit
- = Systematische fout in resultaten, door methodologische tekortkomingen
- = Bij bias: resultaat van de studie komt niet overeen met het ´werkelijke´resultaat
- → Leidt tot over/onderschatting van werkelijke situatie
Statistische conclusie validiteit
3
, - Statistische power:
o Type II fout (ten onrechte behouden foute H0): lage power
➔ Verschillen niet gevonden
o Type I fout (ten onrechte verwerpen ware H0): zeer hoge power
➔ Gevonden verschillen niet relevant
o Assumpties statistische tests niet gerespecteerd
o Betrouwbaarheid en variantie in data
➔ Grote variabiliteit in data door onbetrouwbare metingen of externe factoren,
heterogeniteit, gebrek aan standaardisatie
o Ontbreken van ITT
Interne validiteit
Focus op de oorzaak-gevolg relatie! Voorwaarden:
- Temporele opvolging
- Covariatie van oorzaak en gevolg: verandering enkel wanneer interventie (of in proportie)
- Geen alternatieve verklaringen voor de veranderingen: confounders kunnen soms
alternatieve verklaringen geven!
Interne validiteit: Intrinsieke confounders
- Maturatie-effect (uitsluiten door controlegroep te integreren)
- History-tijdseffect: Vonden er gebeurtenissen (uitwendige omstandigheden) plaats (anders
dan de interventie) tijdens de studie die de resultaten kunnen beïnvloeden:
Seizoenswisselingen, Epidemieën, Sociale ontwikkelingen, Andere behandelingen (uitsluiten
door controlegroep te integreren)
- Attrition-uitvallerseffect: !!! Vgl karakteristieken van: drop-out en non-drop-out, exp en con
groep post-test
- Selectie-effect
• Niet representatieve sampling
• Bij niet-randomisatie?
o Groepen niet vergelijkbaar?
o Mix met andere effecten: ◦ Selectie-maturatie ◦ Selectie-tijd
- Test-effect en reactief effect: meermaals testen zorgt voor een gedragsveranderingen /
leereffecten-> bv als mensen weten dat ze elke week gewogen worden -> minder beginnen
eten -> niet representatief
- Instrumentation – meetfouteffect: betrouwbaarheid van metingen en inter- vs
intrabeoordelaars
4
