STATISTIEK 3
HC1: Meta-analyse
Meta-analyse
- Overload aan gelijkaardige wetenschappelijke artikels
o Bv effect bepaalde therapie (experimentele groep) tov standaard therapie (controle)
- Systematische review: overzicht krijgen van de literatuur in 1 vakgebied, geen statistiek
o Hierin tegenstrijdige resultaten
o In België uitvoeren kan andere resultaten geven dan wnr in China uitvoeren
- Meta-analyse om globaal resultaat te vinden obv beschikbare artikels, wel statistiek
o Harde data nodig
o Meta: op hoger niveau
Meta-analyse: statistische combinatie vd resultaten van 2 of meer onderzoeken/studies
Belangrijkste doeleinden van meta-analyse
- Sterkte van verbanden voor reeks studies bepalen
o En indien mogelijk: combineren tot 1 enkele algemene indicator voor verband
- Invloed bepalen versch kenmerken van desbetreffende studies op de sterkte vd gevonden verbanden in
die studies
o Type steekproef, soort methode, …
Alle resultaten teruggebracht naar eenzelfde statistische eenheid: ES (effect size)
- Pijn: VAS, cm of druk in N, N/m² (Pa) verschillende mogelijkheden om te meten
- Grootheden met elkaar vergelijken: effect size berekenen
- Grootheid: 20 mm / 1 mm = 20 ES
ES drukt de in de studie gevonden verschillen tss groepen uit in standaardscores, met de spreiding vd
controlegroep als eenheid
- 1 resultaat uit meerdere studies
- 1 vergelijkbare maat: RR of als het gestandaardiseerde schaal is hoeft het niet
Resultaten vd verschillende studies kunnen onder die vorm bewerkt worden naar gemiddelde effecten toe, in
soortgelijke studies,
- of naar verschillen in ES tss studies met onderling contrasterende groepen
- en daartoe zelfs ingebracht in statistische toetsen
‘Oude’ data worden dus na weging samengebracht en samen gebruikt in nieuwe bewerkingen
- Weging belangrijk: studies met grote steekproef wegen zwaarder door in analyse
Meta-analyse
Voordelen Nadelen
Om ‘power’ te verhogen (# participanten stijgt) Geen appelen met peren vergelijk
Grotere kans op significantie van echte effecten
Nauwkeurigheid verhogen (versmallen CI) Misleidende resultaten door bias
Antwoorden vinden op vragen die niet gesteld zijn bij de
individuele studies
Om tegenstrijdigheden tss studies te bestuderen
- Meer power: soms geven kleine steekproeven telkens een niet-significant effect maar kan door MA wel
significant effect aangetoond worden
- Publicatie bias: niet-significante effecten zijn minder “aantrekkelijk” voor publicatie
- Betrouwbaarheidsinterval: gemiddelde waarde v verschil +/- T- waarde * standaard dev / Vn
(vierkantswortel n)
o Hoe hoger N, hoe kleiner betrouwbaarheidsinterval
- Veel studies niet gepubliceerd: verschil van resultaten is niet significant (P = 0.06)
,Resultaten kwantificeren, samenbrengen en vergelijken
- Effect sizes = standaardscore
o Nieuwe globale resultaten over meer elementen (N)
o Binnen alle studies met 1 standaardscore: resultaat voorleggen
o ES = verschil / std dev geen eenheid
- Complete meta-analyse bestaat uit
o Probleemstelling
o Literatuurverzameling
o Screening aan de hand van welomschreven in- en exclusieregels (methodologie!!!)
o Inhoudelijke studie van de weerhouden studies
o Berekening van de effectgroottes (ES)
o Statistische verwerking
o Rapportering
- Systemische review gevolgd door meta-analyse
Voorbeeld 1
Effect oefentherapie op pijnklachten bij artrose
- Vierkant: gemiddelde
- Lijn: 95% betrouwbaarheidsinterval
o Overschrijdt de grens niet significant
(p > 0,05)
o Niet grens overschrijden significant verschil tss oefentherapie en conventionele therapie
(p ≤ 0,05)
- RCT: kijken of betrouwbaarheidsinterval (CI) overlapt met de te testen waarde
o Verticale lijn
o 1 voor OR/RR of 0 voor Z-score
- MA: meta-analyse: breedte weergegeven door ruit, mag niet overlappen met de te testen waarde
o Stel overlapt: p > 0,05 GEEN significant effect
o Overlapt niet: p ≤ 0,05 WEL significant effect
Voorbeeld 2
Systematische review en meta-analyse
- Wat is verschil tss SR en MA?
o Bij MA: geen SR includeren
o SR: woordelijk, beschrijvend samenvatten
o MA: gezamenlijke parameter, statistiek uitvoeren op alle artikels samen
Alle steekproeven samen: om van gehele populatie steekproef te bespreken
- RCT: hoogste level van experimenteel onderzoek
- Dia 10 ??
,Forest plot uit MA van lichaamsbeweging op val % met schattingen van effect lichaamsbeweging op vallen met
95% betrouwbaarheidsintervallen en relatief gewicht voor elk onderzoek
- RR werd berekend als ES
- Overlap van CI met waarde 1: geen significant effect
- Geen overlap van CI met waarde 1: wel significant effect
- MA: significant effect (geen overlap met 1, P < 5%): RR < 1
- 1 studie waarbij significant effect met RR > 1
Verschillen in studies
- Toevallig = homogeen
- Verschillen groot = heterogene resultaten
Heterogeniteit
2 types meta-analyse
- Fixed-effect method
- Random-effect method
Welke vd 2 is afhankelijk vd verschillen in effect tss de geïncludeerde studies
- Homogeniteit: alle studies hebben een gelijkaardig effect en het verschil in variantie is te verklaren door
toeval/meetfouten fixed-effect method
o Streven naar homogene studies: studies met zelfde effect en zelfde std dev
o Studies gewogen obv aantal participanten
- Heterogeniteit: studies hebben verschillend effect en het verschil in variantie is niet te verklaren door
toeval/meetfouten random-effect method
o Houdt rekening dat ware effect individuele studies kan verschillen breder CI minder snel
significant resultaat
I2 geeft % variatie tss effectschatters vd verschillende onderzoeken weer dat niet door toeval kan worden
verklaard
- I2 van 60% geeft aan dat 60% vd verschillen tussen de onderzoeken niet door het toeval is te verklaren
- Nadeel deze statistische toetsen: bij beperkt aantal ingesloten onderzoeken (tot 10) niet goed statistische
heterogeniteit kunnen uitsluiten
Random-effects model: gaan niet uit van aanname dat alle onderzoeken in werkelijkheid hetzelfde effect schatten
- Statistische model houdt rekening met feit dat ware effect individuele onderzoeken kan verschillen
- Betrouwbaarheidsinterval (CI) vh gemiddelde effect in random-effects model: iets breder is dan fixed
effects
In de les: p ≤ 0,05 heterogeniteit; p > 0,05 homogeniteit
In praktijk echter zeer afhankelijk van een aantal factoren zoals aantal geïncludeerde studies
H0 hypothese: alle studies hebben hetzelfde effect
Moeilijk te bepalen of studies homogeniteit of heterogeniteit vertonen
Bij uitvoeren MA: 2 manieren om indicatie mate heterogeniteit te testen
- Cochran‘s Q (een toetsingsgrootheid gebaseerd op een Chi-kwadraat test)
o H0-hypothese: alle studies hebben hetzelfde effect
o p > 0,05: eerder homogeniteit
fixed-effect method
o p ≤ 0,05: eerder heterogeniteit
random-effect method
o Bevestigen adhv I²-waarde
, - I²-waarde = percentage effect dat niet door het toeval kan verklaard worden
De heterogeniteit wordt gescoord wordt tussen 0% en 100% met volgende interpretatie:
o <25% (lage heterogeniteit)
o 25-50% (matige heterogeniteit)
o >75% (hoge heterogeniteit)
In praktijk
- Zowel Cochran’s Q en I2 vertonen weinig power en zullen dus in sommige gevallen geen heterogeniteit
aantonen wanneer wel aanwezig is
- Nooit “perfecte” (100%) homogeniteit of heterogeniteit
- Afweging tussen fixed-effect en random-effect methode
- Afweging tussen Cochran’s Q en I2-waarde
- Bij een beperkt aantal ingesloten onderzoeken (veelal tot 10) kan de heterogeniteit statistisch niet
uitgesloten worden, daarom opteert men hiervoor random effect
Funnel plot
Gebruikt om te checken voor publicatiebias
- Vaak bij SR en MA
- Afwezigheid publicatiebias ervan uitgegaan dat grootste studies in buurt gemiddelde uitgezet
o Kleinere studies gelijkmatig aan beide zijden vh gemiddelde verdeeld
o trechtervormige verdeling
o Afwijking van vorm: kan duiden op publicatiebias
Funnel plot geeft studies weer vd meta-analyse in een grafiek van mean difference vs standaardfout
- X-as: gemiddelde verschil (standard mean difference)
- Y-as: standaardfout vd meting
- Grotere afwijkingen vh gemiddelde: grotere std dev (verwacht)
Publicatiebias: als alle studies links v gemiddelde lijn zeer verspreid zijn en rechts allemaal zeer dicht tegen lijn
Oefeningen: vanaf dia 21
Onderzoeksvraag: Is er een significant verschil in FAC-score tussen repetitive gait training en conventionele
therapie?
- Verschillende (kleinere) studies tonen tegenstrijdig resultaten
- Vandaar systematic review en meta analyse om globaal effect te onderzoeken
Mean, SD, N van experimentele en controle groep per studie verzamelen
- Niet altijd makkelijk terug vinden: zelf nog berekeningen doen of opvragen bij auteurs
- Moeilijkste ve MA: relevante waarde voor effect vinden die we in alle studies terugvinden
o Opvragen bij auteurs of ruwe data
HC1: Meta-analyse
Meta-analyse
- Overload aan gelijkaardige wetenschappelijke artikels
o Bv effect bepaalde therapie (experimentele groep) tov standaard therapie (controle)
- Systematische review: overzicht krijgen van de literatuur in 1 vakgebied, geen statistiek
o Hierin tegenstrijdige resultaten
o In België uitvoeren kan andere resultaten geven dan wnr in China uitvoeren
- Meta-analyse om globaal resultaat te vinden obv beschikbare artikels, wel statistiek
o Harde data nodig
o Meta: op hoger niveau
Meta-analyse: statistische combinatie vd resultaten van 2 of meer onderzoeken/studies
Belangrijkste doeleinden van meta-analyse
- Sterkte van verbanden voor reeks studies bepalen
o En indien mogelijk: combineren tot 1 enkele algemene indicator voor verband
- Invloed bepalen versch kenmerken van desbetreffende studies op de sterkte vd gevonden verbanden in
die studies
o Type steekproef, soort methode, …
Alle resultaten teruggebracht naar eenzelfde statistische eenheid: ES (effect size)
- Pijn: VAS, cm of druk in N, N/m² (Pa) verschillende mogelijkheden om te meten
- Grootheden met elkaar vergelijken: effect size berekenen
- Grootheid: 20 mm / 1 mm = 20 ES
ES drukt de in de studie gevonden verschillen tss groepen uit in standaardscores, met de spreiding vd
controlegroep als eenheid
- 1 resultaat uit meerdere studies
- 1 vergelijkbare maat: RR of als het gestandaardiseerde schaal is hoeft het niet
Resultaten vd verschillende studies kunnen onder die vorm bewerkt worden naar gemiddelde effecten toe, in
soortgelijke studies,
- of naar verschillen in ES tss studies met onderling contrasterende groepen
- en daartoe zelfs ingebracht in statistische toetsen
‘Oude’ data worden dus na weging samengebracht en samen gebruikt in nieuwe bewerkingen
- Weging belangrijk: studies met grote steekproef wegen zwaarder door in analyse
Meta-analyse
Voordelen Nadelen
Om ‘power’ te verhogen (# participanten stijgt) Geen appelen met peren vergelijk
Grotere kans op significantie van echte effecten
Nauwkeurigheid verhogen (versmallen CI) Misleidende resultaten door bias
Antwoorden vinden op vragen die niet gesteld zijn bij de
individuele studies
Om tegenstrijdigheden tss studies te bestuderen
- Meer power: soms geven kleine steekproeven telkens een niet-significant effect maar kan door MA wel
significant effect aangetoond worden
- Publicatie bias: niet-significante effecten zijn minder “aantrekkelijk” voor publicatie
- Betrouwbaarheidsinterval: gemiddelde waarde v verschil +/- T- waarde * standaard dev / Vn
(vierkantswortel n)
o Hoe hoger N, hoe kleiner betrouwbaarheidsinterval
- Veel studies niet gepubliceerd: verschil van resultaten is niet significant (P = 0.06)
,Resultaten kwantificeren, samenbrengen en vergelijken
- Effect sizes = standaardscore
o Nieuwe globale resultaten over meer elementen (N)
o Binnen alle studies met 1 standaardscore: resultaat voorleggen
o ES = verschil / std dev geen eenheid
- Complete meta-analyse bestaat uit
o Probleemstelling
o Literatuurverzameling
o Screening aan de hand van welomschreven in- en exclusieregels (methodologie!!!)
o Inhoudelijke studie van de weerhouden studies
o Berekening van de effectgroottes (ES)
o Statistische verwerking
o Rapportering
- Systemische review gevolgd door meta-analyse
Voorbeeld 1
Effect oefentherapie op pijnklachten bij artrose
- Vierkant: gemiddelde
- Lijn: 95% betrouwbaarheidsinterval
o Overschrijdt de grens niet significant
(p > 0,05)
o Niet grens overschrijden significant verschil tss oefentherapie en conventionele therapie
(p ≤ 0,05)
- RCT: kijken of betrouwbaarheidsinterval (CI) overlapt met de te testen waarde
o Verticale lijn
o 1 voor OR/RR of 0 voor Z-score
- MA: meta-analyse: breedte weergegeven door ruit, mag niet overlappen met de te testen waarde
o Stel overlapt: p > 0,05 GEEN significant effect
o Overlapt niet: p ≤ 0,05 WEL significant effect
Voorbeeld 2
Systematische review en meta-analyse
- Wat is verschil tss SR en MA?
o Bij MA: geen SR includeren
o SR: woordelijk, beschrijvend samenvatten
o MA: gezamenlijke parameter, statistiek uitvoeren op alle artikels samen
Alle steekproeven samen: om van gehele populatie steekproef te bespreken
- RCT: hoogste level van experimenteel onderzoek
- Dia 10 ??
,Forest plot uit MA van lichaamsbeweging op val % met schattingen van effect lichaamsbeweging op vallen met
95% betrouwbaarheidsintervallen en relatief gewicht voor elk onderzoek
- RR werd berekend als ES
- Overlap van CI met waarde 1: geen significant effect
- Geen overlap van CI met waarde 1: wel significant effect
- MA: significant effect (geen overlap met 1, P < 5%): RR < 1
- 1 studie waarbij significant effect met RR > 1
Verschillen in studies
- Toevallig = homogeen
- Verschillen groot = heterogene resultaten
Heterogeniteit
2 types meta-analyse
- Fixed-effect method
- Random-effect method
Welke vd 2 is afhankelijk vd verschillen in effect tss de geïncludeerde studies
- Homogeniteit: alle studies hebben een gelijkaardig effect en het verschil in variantie is te verklaren door
toeval/meetfouten fixed-effect method
o Streven naar homogene studies: studies met zelfde effect en zelfde std dev
o Studies gewogen obv aantal participanten
- Heterogeniteit: studies hebben verschillend effect en het verschil in variantie is niet te verklaren door
toeval/meetfouten random-effect method
o Houdt rekening dat ware effect individuele studies kan verschillen breder CI minder snel
significant resultaat
I2 geeft % variatie tss effectschatters vd verschillende onderzoeken weer dat niet door toeval kan worden
verklaard
- I2 van 60% geeft aan dat 60% vd verschillen tussen de onderzoeken niet door het toeval is te verklaren
- Nadeel deze statistische toetsen: bij beperkt aantal ingesloten onderzoeken (tot 10) niet goed statistische
heterogeniteit kunnen uitsluiten
Random-effects model: gaan niet uit van aanname dat alle onderzoeken in werkelijkheid hetzelfde effect schatten
- Statistische model houdt rekening met feit dat ware effect individuele onderzoeken kan verschillen
- Betrouwbaarheidsinterval (CI) vh gemiddelde effect in random-effects model: iets breder is dan fixed
effects
In de les: p ≤ 0,05 heterogeniteit; p > 0,05 homogeniteit
In praktijk echter zeer afhankelijk van een aantal factoren zoals aantal geïncludeerde studies
H0 hypothese: alle studies hebben hetzelfde effect
Moeilijk te bepalen of studies homogeniteit of heterogeniteit vertonen
Bij uitvoeren MA: 2 manieren om indicatie mate heterogeniteit te testen
- Cochran‘s Q (een toetsingsgrootheid gebaseerd op een Chi-kwadraat test)
o H0-hypothese: alle studies hebben hetzelfde effect
o p > 0,05: eerder homogeniteit
fixed-effect method
o p ≤ 0,05: eerder heterogeniteit
random-effect method
o Bevestigen adhv I²-waarde
, - I²-waarde = percentage effect dat niet door het toeval kan verklaard worden
De heterogeniteit wordt gescoord wordt tussen 0% en 100% met volgende interpretatie:
o <25% (lage heterogeniteit)
o 25-50% (matige heterogeniteit)
o >75% (hoge heterogeniteit)
In praktijk
- Zowel Cochran’s Q en I2 vertonen weinig power en zullen dus in sommige gevallen geen heterogeniteit
aantonen wanneer wel aanwezig is
- Nooit “perfecte” (100%) homogeniteit of heterogeniteit
- Afweging tussen fixed-effect en random-effect methode
- Afweging tussen Cochran’s Q en I2-waarde
- Bij een beperkt aantal ingesloten onderzoeken (veelal tot 10) kan de heterogeniteit statistisch niet
uitgesloten worden, daarom opteert men hiervoor random effect
Funnel plot
Gebruikt om te checken voor publicatiebias
- Vaak bij SR en MA
- Afwezigheid publicatiebias ervan uitgegaan dat grootste studies in buurt gemiddelde uitgezet
o Kleinere studies gelijkmatig aan beide zijden vh gemiddelde verdeeld
o trechtervormige verdeling
o Afwijking van vorm: kan duiden op publicatiebias
Funnel plot geeft studies weer vd meta-analyse in een grafiek van mean difference vs standaardfout
- X-as: gemiddelde verschil (standard mean difference)
- Y-as: standaardfout vd meting
- Grotere afwijkingen vh gemiddelde: grotere std dev (verwacht)
Publicatiebias: als alle studies links v gemiddelde lijn zeer verspreid zijn en rechts allemaal zeer dicht tegen lijn
Oefeningen: vanaf dia 21
Onderzoeksvraag: Is er een significant verschil in FAC-score tussen repetitive gait training en conventionele
therapie?
- Verschillende (kleinere) studies tonen tegenstrijdig resultaten
- Vandaar systematic review en meta analyse om globaal effect te onderzoeken
Mean, SD, N van experimentele en controle groep per studie verzamelen
- Niet altijd makkelijk terug vinden: zelf nog berekeningen doen of opvragen bij auteurs
- Moeilijkste ve MA: relevante waarde voor effect vinden die we in alle studies terugvinden
o Opvragen bij auteurs of ruwe data
