Evidence based medicine - De Pauw
TOPIC 1: meten binnen de kinesitherapie
Introductie
BELANG
- meten = weten
- Weten wat patiënt heeft
- kwaliteitsbevordering
- bijsturen therapie op basis van onderzoek
- begrijpen & kritisch reflecteren op onderzoeksresultaten
KINESITHERAPIE
Therapeut in ziekenhuis: meten van knieflexie binnen een ziekenhuissetting.
→ Patiënt vertoont een verbetering van 12° flexie na de operatie.
→ Is dit een betekenisvolle vooruitgang? → relevantie naar praktijk?
→ Zou een andere therapeut eenzelfde resultaat bekomen? → Nee, meetfout → hoe betrouwbaar?
Termen die aan bod gaan komen:
- Validiteit
- Betrouwbaarheid
- Responsiviteit
- Betekenisvolle verandering
- Minimale detectiedrempel
- Sensitiviteit
- Specificiteit
- …
Definities
- Measurement theory/meettheorie: alle metingen die bestaan (vb. temperatuur, massa, kleur,
karaktertrekken, ...)
- Psychometrics/psychometrie: tak van meettheorie binnen de psychologie (vb. IQ, karakter...)
- Clinimetrics/Clinimetrie: specifieke tak binnen de klinische setting (vb. ziekenhuis, arts,
kinesitherapeut...)
→ zijn in principe alle 3 hetzelfde
Meeteigenschappen
ENKELE EENVOUDIGE REGELS
- Ken de grootheid van jouw meetinstrument (wat meet je).
- Vb. massa, lengte, IQ, Pijn...
- Ken de eenheid van jouw meetinstrument (Let op: sommigen meetinstrumenten kennen geen specifieke eenheid).
- Vb. gram, cm…
- Ken de begrenzing van jouw meetinstrument (juistheid/nauwkeurigheid) = beduidende cijfers
Vb. Weegschaal tot op 1kg nauwkeurig à rapporteren tot op 1 kg nauwkeurig (64 kg).
vs
Weegschaal tot op 0,1 kg nauwkeurig à rapporteren tot op 0,1 kg nauwkeurig (64,0 kg).
1
,Een goede meting
WAT IS EEN GOEDE METING?
- Een goede meting is volgens COSMIN:
- Valide/Juist (Validity) → juistheid van de meting
- Betrouwbaar/Precies (Reliability) → betrouwbaarheid
- Responsief (Responsiveness) → al toestand van patiënt verandert dan moet meting ook veranderen
- COSMIN:
- Consensus- based
- Standards for the selection of health
- Measurement
- INstruments
= een organisatie die kan zeggen of het gaat over een goed instrument of een goede meting
- X0 = observatie → lees je af van meettoestel
- X = echte waarde van patiënt → weten we niet!
- +- દ = fout die we maken tov werkelijke waarde
Een goede meting wordt gekenmerkt door:
- Minimale willekeurige meetfouten → geen systematiek, kan meer of minder → betrouwbaarheid
- bv. gewrichten als soepeler door voorgaande meting
- Vrij van systematische meetfouten → consistente afmeting in meetinstrument → validiteit
Veel willekeur: spreiding tov wat we willen
Veel systematische afwijking: hele tijd naar boven
Betrouwbaarheid
WAT IS BETROUWBAARHEID
- Gerelateerd aan de spreiding ( ) van een meting (variantie, standaarddeviatie)
- Een hogere betrouwbaarheid gaat samen met een kleinere spreiding
Definitie: In welke mate verkrijg je hetzelfde resultaat als de meting herhaaldelijk uitgevoerd wordt
- Verschillende vormen van betrouwbaarheid
- Inter-tester betrouwbaarheid → tussen verschillende mensen die meting uitvoeren
- Intratester betrouwbaarheid → metingen verschillen bij jezelf
2
,→ in theorie intratester betrouwbaarheid beter
→ Gerelateerd aan de willekeurige fout of foutenmarge.
Validiteit
WAT IS VALIDITEIT
Beantwoord aan verschillende vragen:
- Is de test in staat om tussen verschillende individuen te discrimineren?
- test voor fysiologische parameter bij mensen die sporten en niet sporter → test moet discrimineren
- Is de test in staat om de grootte van een variabele te evalueren?
- grootte van variabele: bv weegschaal die maar gaat tot 50 kg → niet in staat om te meten
→ in staat zijn om hele spectrum te meten
- Kunnen we op basis van de testuitslag een voorspelling doen in de toekomst?
- bv voorspellen wie binnen 10j nog fysiek actief is
Validiteit = “hitting the target” → op een goede manier juiste meting
→ Validiteit wordt vaak als complex ervaren omdat er verschillende vormen van validiteit bestaan
→ bv sommige goed groepen onderscheiden maar geen voorspellingen doen
VALIDITEIT VAN EEN STUDIE VS METING
STUDIE: experimental METING: test
1. is wetenschappelijk artikel correct Meet je effectief wat je voor ogen hebt om te meten?
2. in welke mate kan het iets zeggen over patiënt
Interne validiteit: hoe goed was de studie
Externe validiteit: in welke mate zijn de resultaten
generaliseerbaar naar bredere populatie → hoe
representatief voor patiënt
→ bv artikel over oude patiënt niet toepassen op jonge
patiënt
VALIDITEIT MEETINSTRUMENT
- Validiteit = eigenschap van een meetinstrument
- Validatie = proces waarbij de validiteit wordt beoordeeld.
Startpunt van het validatieproces = het construct
= een verschijnsel dat je wil weten (= variabelen)
“Het construct kan variëren van een fysisch verschijnsel zoals hitte tot een complex psychologisch construct zoals intelligentie”.
In welke mate kunnen we via een vragenlijst de mate van fysieke activiteit van iemand in kaart brengen?
- construct validity = bias
- content validity = aan experten vragen of onze vragenlijsten alle componenten bevat om iets te zeggen over …
- criterion validity = in welke mate we een voorspelling kunnen doen
- bv. in welke mate vragenlijst in staat om te voorspellen of iemand lage rugpijn gaat ontwikkelen
3
, CONSTRUCT VALIDITEIT
= belangrijkste validiteit
Deze beantwoordt de vraag of het meetinstrument effectief meet wat het voor ogen heeft om te meten (vaak theoretisch).
Vaak onderverdeeld in drie concepten:
- Convergente/Divergente validiteit
- bv. Vragen die peilen naar fysieke activiteit relateren aan elkaar, maar relateren niet aan bijvoorbeeld
voedingsgerelateerde vragen.
- Discriminante validiteit
- bv. Onderscheidend vermogen in fysieke activiteit tussen sporters en niet sporters.
- Cross-cultureel validiteit: hoe effectief onze therapie in een andere socio-culturele omgeving → hoe aanpassen?
CRITERION VALIDITY
= mate waarin een meetinstrument gerelateerd is aan een bestaande referentie of een toekomstige referentie
Gouden standaard : consensus in wetenschappelijk wereld dat deze test goed is → vaak voor fysische fenomenen goed zichtbaar
→ Referentietest: minder sterk dan gouden standaard
Vaak gerelateerd aan “gouden standaard” of “referentietest” en onderverdeeld in:
- Predictieve validiteit: voorspelling in de toekomst
- bv. Is een vragenlijst of test voor fysieke actviteit in staat om de graad van gezondheid te voorspellen?
- Concurrente validiteit: gerelateerd aan zelfde moment
- bv. In welke mate kan je op basis van een vragenlijst een persoon die risico voor te weinig fysieke activiteit
vertoont opsporen in vergelijking met een actigraaf op het zelfde moment?
CONTENT VALIDITY
→ wordt gekeken of alle facetten van het construct aanwezig zijn binnen het meetinstrument
→ Vaak via panels van experten.
Synoniem: face validity
VALIDITEIT BINNEN DE KINESITHERAPIE
In de klinische praktijk wordt er vaak gewerkt met diagnostische accuraatheid.
In wetenschappelijk onderzoek gaan onderzoekers vaak op zoek naar vragenlijsten/test batterijen die in staat zijn om een klinisch
fenomeen te detecteren.
Andere
RESPONSIVITEIT
- In welke mate kan je vooruit- of achteruitgang meten met je klinisch instrument.
- Gaat over de klinisch betekenisvolle verandering (in tegenstelling tot statistische significantie).
Vb. Afname in pijn met 2 punten (Meting versus ervaring)
4
TOPIC 1: meten binnen de kinesitherapie
Introductie
BELANG
- meten = weten
- Weten wat patiënt heeft
- kwaliteitsbevordering
- bijsturen therapie op basis van onderzoek
- begrijpen & kritisch reflecteren op onderzoeksresultaten
KINESITHERAPIE
Therapeut in ziekenhuis: meten van knieflexie binnen een ziekenhuissetting.
→ Patiënt vertoont een verbetering van 12° flexie na de operatie.
→ Is dit een betekenisvolle vooruitgang? → relevantie naar praktijk?
→ Zou een andere therapeut eenzelfde resultaat bekomen? → Nee, meetfout → hoe betrouwbaar?
Termen die aan bod gaan komen:
- Validiteit
- Betrouwbaarheid
- Responsiviteit
- Betekenisvolle verandering
- Minimale detectiedrempel
- Sensitiviteit
- Specificiteit
- …
Definities
- Measurement theory/meettheorie: alle metingen die bestaan (vb. temperatuur, massa, kleur,
karaktertrekken, ...)
- Psychometrics/psychometrie: tak van meettheorie binnen de psychologie (vb. IQ, karakter...)
- Clinimetrics/Clinimetrie: specifieke tak binnen de klinische setting (vb. ziekenhuis, arts,
kinesitherapeut...)
→ zijn in principe alle 3 hetzelfde
Meeteigenschappen
ENKELE EENVOUDIGE REGELS
- Ken de grootheid van jouw meetinstrument (wat meet je).
- Vb. massa, lengte, IQ, Pijn...
- Ken de eenheid van jouw meetinstrument (Let op: sommigen meetinstrumenten kennen geen specifieke eenheid).
- Vb. gram, cm…
- Ken de begrenzing van jouw meetinstrument (juistheid/nauwkeurigheid) = beduidende cijfers
Vb. Weegschaal tot op 1kg nauwkeurig à rapporteren tot op 1 kg nauwkeurig (64 kg).
vs
Weegschaal tot op 0,1 kg nauwkeurig à rapporteren tot op 0,1 kg nauwkeurig (64,0 kg).
1
,Een goede meting
WAT IS EEN GOEDE METING?
- Een goede meting is volgens COSMIN:
- Valide/Juist (Validity) → juistheid van de meting
- Betrouwbaar/Precies (Reliability) → betrouwbaarheid
- Responsief (Responsiveness) → al toestand van patiënt verandert dan moet meting ook veranderen
- COSMIN:
- Consensus- based
- Standards for the selection of health
- Measurement
- INstruments
= een organisatie die kan zeggen of het gaat over een goed instrument of een goede meting
- X0 = observatie → lees je af van meettoestel
- X = echte waarde van patiënt → weten we niet!
- +- દ = fout die we maken tov werkelijke waarde
Een goede meting wordt gekenmerkt door:
- Minimale willekeurige meetfouten → geen systematiek, kan meer of minder → betrouwbaarheid
- bv. gewrichten als soepeler door voorgaande meting
- Vrij van systematische meetfouten → consistente afmeting in meetinstrument → validiteit
Veel willekeur: spreiding tov wat we willen
Veel systematische afwijking: hele tijd naar boven
Betrouwbaarheid
WAT IS BETROUWBAARHEID
- Gerelateerd aan de spreiding ( ) van een meting (variantie, standaarddeviatie)
- Een hogere betrouwbaarheid gaat samen met een kleinere spreiding
Definitie: In welke mate verkrijg je hetzelfde resultaat als de meting herhaaldelijk uitgevoerd wordt
- Verschillende vormen van betrouwbaarheid
- Inter-tester betrouwbaarheid → tussen verschillende mensen die meting uitvoeren
- Intratester betrouwbaarheid → metingen verschillen bij jezelf
2
,→ in theorie intratester betrouwbaarheid beter
→ Gerelateerd aan de willekeurige fout of foutenmarge.
Validiteit
WAT IS VALIDITEIT
Beantwoord aan verschillende vragen:
- Is de test in staat om tussen verschillende individuen te discrimineren?
- test voor fysiologische parameter bij mensen die sporten en niet sporter → test moet discrimineren
- Is de test in staat om de grootte van een variabele te evalueren?
- grootte van variabele: bv weegschaal die maar gaat tot 50 kg → niet in staat om te meten
→ in staat zijn om hele spectrum te meten
- Kunnen we op basis van de testuitslag een voorspelling doen in de toekomst?
- bv voorspellen wie binnen 10j nog fysiek actief is
Validiteit = “hitting the target” → op een goede manier juiste meting
→ Validiteit wordt vaak als complex ervaren omdat er verschillende vormen van validiteit bestaan
→ bv sommige goed groepen onderscheiden maar geen voorspellingen doen
VALIDITEIT VAN EEN STUDIE VS METING
STUDIE: experimental METING: test
1. is wetenschappelijk artikel correct Meet je effectief wat je voor ogen hebt om te meten?
2. in welke mate kan het iets zeggen over patiënt
Interne validiteit: hoe goed was de studie
Externe validiteit: in welke mate zijn de resultaten
generaliseerbaar naar bredere populatie → hoe
representatief voor patiënt
→ bv artikel over oude patiënt niet toepassen op jonge
patiënt
VALIDITEIT MEETINSTRUMENT
- Validiteit = eigenschap van een meetinstrument
- Validatie = proces waarbij de validiteit wordt beoordeeld.
Startpunt van het validatieproces = het construct
= een verschijnsel dat je wil weten (= variabelen)
“Het construct kan variëren van een fysisch verschijnsel zoals hitte tot een complex psychologisch construct zoals intelligentie”.
In welke mate kunnen we via een vragenlijst de mate van fysieke activiteit van iemand in kaart brengen?
- construct validity = bias
- content validity = aan experten vragen of onze vragenlijsten alle componenten bevat om iets te zeggen over …
- criterion validity = in welke mate we een voorspelling kunnen doen
- bv. in welke mate vragenlijst in staat om te voorspellen of iemand lage rugpijn gaat ontwikkelen
3
, CONSTRUCT VALIDITEIT
= belangrijkste validiteit
Deze beantwoordt de vraag of het meetinstrument effectief meet wat het voor ogen heeft om te meten (vaak theoretisch).
Vaak onderverdeeld in drie concepten:
- Convergente/Divergente validiteit
- bv. Vragen die peilen naar fysieke activiteit relateren aan elkaar, maar relateren niet aan bijvoorbeeld
voedingsgerelateerde vragen.
- Discriminante validiteit
- bv. Onderscheidend vermogen in fysieke activiteit tussen sporters en niet sporters.
- Cross-cultureel validiteit: hoe effectief onze therapie in een andere socio-culturele omgeving → hoe aanpassen?
CRITERION VALIDITY
= mate waarin een meetinstrument gerelateerd is aan een bestaande referentie of een toekomstige referentie
Gouden standaard : consensus in wetenschappelijk wereld dat deze test goed is → vaak voor fysische fenomenen goed zichtbaar
→ Referentietest: minder sterk dan gouden standaard
Vaak gerelateerd aan “gouden standaard” of “referentietest” en onderverdeeld in:
- Predictieve validiteit: voorspelling in de toekomst
- bv. Is een vragenlijst of test voor fysieke actviteit in staat om de graad van gezondheid te voorspellen?
- Concurrente validiteit: gerelateerd aan zelfde moment
- bv. In welke mate kan je op basis van een vragenlijst een persoon die risico voor te weinig fysieke activiteit
vertoont opsporen in vergelijking met een actigraaf op het zelfde moment?
CONTENT VALIDITY
→ wordt gekeken of alle facetten van het construct aanwezig zijn binnen het meetinstrument
→ Vaak via panels van experten.
Synoniem: face validity
VALIDITEIT BINNEN DE KINESITHERAPIE
In de klinische praktijk wordt er vaak gewerkt met diagnostische accuraatheid.
In wetenschappelijk onderzoek gaan onderzoekers vaak op zoek naar vragenlijsten/test batterijen die in staat zijn om een klinisch
fenomeen te detecteren.
Andere
RESPONSIVITEIT
- In welke mate kan je vooruit- of achteruitgang meten met je klinisch instrument.
- Gaat over de klinisch betekenisvolle verandering (in tegenstelling tot statistische significantie).
Vb. Afname in pijn met 2 punten (Meting versus ervaring)
4
