OM3 – De Deyn Loranne den Otter
H1: Niveau’s van evidentie en bias
1. Evidence pyramid
2. Study designs
2.1 Conclusions
Quasi-
experiments
2.2. Experimenteel onderzoek
2.2.1. Randomised control trial
Waarom “gold standard”?
▪ TRIAL: Impliceert dat je “intervenieert”!
– Door manipulatie: causale relaties bestuderen: grootste zekerheid dat impact
veroorzaakt werd door interventie zelf, eerder dan door externe factoren!
▪ Gecontroleerd: je kan effecten vergelijken en dus uitspraak doen over de impact van
verschillende interventies
▪ Gerandomiseerd: geeft beste garantie op vergelijkbare groepen vooraf
– Random: 50 mensen in beide groepen die gemiddeld gelijke waarden hebben omdat
je ze “toevallig” toewijst
o Als groepen groot genoeg zijn
▪ Gestandaardiseerd: reduceert de invloed van externe factoren
– Bv in een serre
– Enigste verschil: enen potje krijgt water en andere niet
– Interne validiteit ligt hoog
– Externe validiteit ligt laag
– Ethisch niet altijd geschikt
→ Toch niet altijd RCT, er zijn ook nadelen
,OM3 – De Deyn Loranne den Otter
Voordelen Nadelen
- oorzakelijke relaties of therapie effecten - ecologische validiteit kan laag zijn
kunnen bestudeerd worden - tijdrovend, kan duur zijn
- controle van externe variabelen zijn - er zijn vaak praktische of ethische barrières
gemaximaliseerd
- interne validiteit is gemaximaliseerd
Interne vs externe validiteit
▪ Controle externe variabelen!
▪ Dus causale effecten
Interne validiteit
▪ Wat we vinden, is dit nu de waarheid binnen de studie?
▪ Is de studie goed uitgevoerd?
Externe validiteit
▪ Mate waarin je de studie kan vertalen naar de werkelijkheid, grotere settings…
▪ Als interne validiteit stijgt, daalt de externe meestal
▪ Vb serre
– Hoge interne validiteit, want veel controle qua water geven…
– Kunnen we niet/moeilijk vertalen naar realiteit omdat in werkelijkheid vochtigheid
enz varieert
,OM3 – De Deyn Loranne den Otter
RCT (al) gepast?
▪ Ethisch verantwoord?
– Ethisch verantwoord om mensen therapie te ontzeggen in controle groep?
– Abestos exposure AND lung cancer?
– Niet in geval van placebos geven aan ene groep en echte aan andere
– Nieuwe protocollen/therapieën?
o Haalbaarheid
o Veiligheid
o Uitvoering
▪ Praktische haalbaarheid (tijd, geld, opzet)?
▪ Externe validiteit?
– Beperkt nut voor clinici, consumenten en andere besluitvormers over de effectiviteit
van klinische zorg in realiteit?
o Beperkte generaliseerbaarheid: artificieel / gestandaardiseerd / strenge
inclusiecriteria
o Vaak harde eindpunten (mortaliteit of morbiditeit), maar minder naar bvb.
kwaliteit en ervaringen.
o Aanpassen aan de patiënt, lokale context of in de loop van de tijd is moeilijk
→ RCT's = interventie in verschillende settings en in de tijd.
Tussenvormen
▪ Pragmatische clinical trials (PCT)
– Diversere populatie, minimale exclusiecriteria
– Controles vaak usual care (een actieve behandeling)
– Behandeling gebeurt zoals dat in kliniek zou zijn
– Belangrijke klinische outcomes, incl. tevredenheid, QOL, functionaliteit, etc.
– Nog steeds opzet RCT
o Random allocation
o Controlegroep
– Maar met minder controle van storende variabelen
– Minder gestandaardiseerd
▪ Quasi-experimenteel onderzoek
▪ Neigen eerder naar tussenvormen
PRECIS
▪ Pragmatic
Explanatory
Continuum
Indicator
Summary
▪ RCT’s vaak ergens binnen een continuum tussen Explanatory (=ideal RCT) and Pragmatic
Risk of bias
▪ Rood = hoog
▪ Groen = laag
▪ Geel = onduidelijk
, OM3 – De Deyn Loranne den Otter
2.2.2. Quasi-experimenteel onderzoek
▪ Ontbreken minstens 1 vereiste voor experimenteel onderzoek:
– Randomisatie
– Controlegroep
– Beide
▪ Nog steeds waardevol, want antwoord op praktische of ethische barrières in natuurlijke
setting!
▪ Maar minder interne validiteit!
2.2.3. Quasi-designs
Study design alone appears to be insufficient on its own as a surrogate for risk of bias.
▪ De perfecte RCT is niet altijd mogelijk!
▪ RCT is niet altijd meest gepaste study design voor elke vraag!
▪ Ook RCT’s kunnen methodologische tekortkomingen vertonen, waardoor:
– Er een hoge risk of bias kan zijn
o En dus de resultaten niet valide of betrouwbaar zijn.
2.3. Bias
= Ontbreken van validiteit
= Systematische fout in resultaten, door methodologische tekortkomingen
= Bij bias: resultaat van de studie komt niet overeen met het w
́ erkelijke ́ resultaat
→ leidt tot over/ onderschatting van werkelijke situatie
2.4. Design validiteit
Belangrijk om de mate validiteit van studies te controleren/ mate van bias evalueren!
Bedreigingen voor design validiteit
H1: Niveau’s van evidentie en bias
1. Evidence pyramid
2. Study designs
2.1 Conclusions
Quasi-
experiments
2.2. Experimenteel onderzoek
2.2.1. Randomised control trial
Waarom “gold standard”?
▪ TRIAL: Impliceert dat je “intervenieert”!
– Door manipulatie: causale relaties bestuderen: grootste zekerheid dat impact
veroorzaakt werd door interventie zelf, eerder dan door externe factoren!
▪ Gecontroleerd: je kan effecten vergelijken en dus uitspraak doen over de impact van
verschillende interventies
▪ Gerandomiseerd: geeft beste garantie op vergelijkbare groepen vooraf
– Random: 50 mensen in beide groepen die gemiddeld gelijke waarden hebben omdat
je ze “toevallig” toewijst
o Als groepen groot genoeg zijn
▪ Gestandaardiseerd: reduceert de invloed van externe factoren
– Bv in een serre
– Enigste verschil: enen potje krijgt water en andere niet
– Interne validiteit ligt hoog
– Externe validiteit ligt laag
– Ethisch niet altijd geschikt
→ Toch niet altijd RCT, er zijn ook nadelen
,OM3 – De Deyn Loranne den Otter
Voordelen Nadelen
- oorzakelijke relaties of therapie effecten - ecologische validiteit kan laag zijn
kunnen bestudeerd worden - tijdrovend, kan duur zijn
- controle van externe variabelen zijn - er zijn vaak praktische of ethische barrières
gemaximaliseerd
- interne validiteit is gemaximaliseerd
Interne vs externe validiteit
▪ Controle externe variabelen!
▪ Dus causale effecten
Interne validiteit
▪ Wat we vinden, is dit nu de waarheid binnen de studie?
▪ Is de studie goed uitgevoerd?
Externe validiteit
▪ Mate waarin je de studie kan vertalen naar de werkelijkheid, grotere settings…
▪ Als interne validiteit stijgt, daalt de externe meestal
▪ Vb serre
– Hoge interne validiteit, want veel controle qua water geven…
– Kunnen we niet/moeilijk vertalen naar realiteit omdat in werkelijkheid vochtigheid
enz varieert
,OM3 – De Deyn Loranne den Otter
RCT (al) gepast?
▪ Ethisch verantwoord?
– Ethisch verantwoord om mensen therapie te ontzeggen in controle groep?
– Abestos exposure AND lung cancer?
– Niet in geval van placebos geven aan ene groep en echte aan andere
– Nieuwe protocollen/therapieën?
o Haalbaarheid
o Veiligheid
o Uitvoering
▪ Praktische haalbaarheid (tijd, geld, opzet)?
▪ Externe validiteit?
– Beperkt nut voor clinici, consumenten en andere besluitvormers over de effectiviteit
van klinische zorg in realiteit?
o Beperkte generaliseerbaarheid: artificieel / gestandaardiseerd / strenge
inclusiecriteria
o Vaak harde eindpunten (mortaliteit of morbiditeit), maar minder naar bvb.
kwaliteit en ervaringen.
o Aanpassen aan de patiënt, lokale context of in de loop van de tijd is moeilijk
→ RCT's = interventie in verschillende settings en in de tijd.
Tussenvormen
▪ Pragmatische clinical trials (PCT)
– Diversere populatie, minimale exclusiecriteria
– Controles vaak usual care (een actieve behandeling)
– Behandeling gebeurt zoals dat in kliniek zou zijn
– Belangrijke klinische outcomes, incl. tevredenheid, QOL, functionaliteit, etc.
– Nog steeds opzet RCT
o Random allocation
o Controlegroep
– Maar met minder controle van storende variabelen
– Minder gestandaardiseerd
▪ Quasi-experimenteel onderzoek
▪ Neigen eerder naar tussenvormen
PRECIS
▪ Pragmatic
Explanatory
Continuum
Indicator
Summary
▪ RCT’s vaak ergens binnen een continuum tussen Explanatory (=ideal RCT) and Pragmatic
Risk of bias
▪ Rood = hoog
▪ Groen = laag
▪ Geel = onduidelijk
, OM3 – De Deyn Loranne den Otter
2.2.2. Quasi-experimenteel onderzoek
▪ Ontbreken minstens 1 vereiste voor experimenteel onderzoek:
– Randomisatie
– Controlegroep
– Beide
▪ Nog steeds waardevol, want antwoord op praktische of ethische barrières in natuurlijke
setting!
▪ Maar minder interne validiteit!
2.2.3. Quasi-designs
Study design alone appears to be insufficient on its own as a surrogate for risk of bias.
▪ De perfecte RCT is niet altijd mogelijk!
▪ RCT is niet altijd meest gepaste study design voor elke vraag!
▪ Ook RCT’s kunnen methodologische tekortkomingen vertonen, waardoor:
– Er een hoge risk of bias kan zijn
o En dus de resultaten niet valide of betrouwbaar zijn.
2.3. Bias
= Ontbreken van validiteit
= Systematische fout in resultaten, door methodologische tekortkomingen
= Bij bias: resultaat van de studie komt niet overeen met het w
́ erkelijke ́ resultaat
→ leidt tot over/ onderschatting van werkelijke situatie
2.4. Design validiteit
Belangrijk om de mate validiteit van studies te controleren/ mate van bias evalueren!
Bedreigingen voor design validiteit
