Methode en onderzoek 2
Meetinstrumenten in kwantitatief onderzoek
Inleiding
De juistheid van om het even welk oorzakelijk verband moet steeds gecontroleerd worden
op fouten, dit door alternatieve verklaringen uit te sluiten.
Confounding: alle belangrijke factoren die gerelateerd zijn aan de te onderzoeken
risicofactor of blootstelling en ook aan de uitkomst. Een confounder kan een verband tussen
blootstelling en uitkomst verzwakken of versterken. Bijvoorbeeld, een geobserveerd
verband tussen parodontitis en een verhoogd risico van myocardinfarct kan in werkelijkheid
veroorzaakt zijn door de relatie van roken met de blootstelling (parodontitis) en de uitkomst
(myocardinfarct). Rokers hebben meer parodontitis dan niet-rokers en rokers hebben meer
kans op een myocardinfarct.
Effect modificerend: heeft invloed op hoe sterk het effect van de verklarende variabele heeft
op de uitkomst variabele. in de relatie tussen leeftijd en bloeddruk blijkt dat dit effect
sterker is bij mannen dan bij vrouwen. Geslacht is dan een effect modificerende variabele
Bias: systematische vertekening van onderzoeksresultaten als gevolg van een fout in de
meting van de te onderzoeken parameters
- Selectiebias
- Informatiebias
o De psychometrische kenmerken van het instrument waarmee we de
variabelen willen meten worden hoofdzakelijk gedefinieerd door de
betrouwbaarheid (reliability) en geldigheid (validity) van het instrument.
(Hagan, 2014)
o Betrouwbaarheid refereert naar de (interne) consistentie van de metingen
o Validiteit refereert naar de nauwkeurigheid
Soorten meetinstrumenten
- eenvoudig telsysteem
, - meten fysische – biologische parameters (biofysische). Ze kunnen enkelvoudig of
samengesteld zijn.
- Vragenlijsten
- Observaties
Juistheid van meetinstrumenten
Betrouwbaarheid
Betrouwbaar zijn waarnemingen, die onder dezelfde omstandigheden herhaald, (nagenoeg)
dezelfde uitkomst geven. Betrouwbaarheid garandeert niet de validiteit van een meting,
maar is wel een voorwaarde. Betrouwbaarheid van een meetinstrument moet dus eerst
onderzocht worden alvorens de validiteit te beoordelen.
De inter- of intra beoordelaarsbetrouwbaarheid (inter- and intra rater
reliability)
- De inter- beoordelaarsbetrouwbaarheid:
o De mate waarin de uitslagen van de metingen bij dezelfde patiënt variëren als
verschillende mensen de test uitvoeren
- De intra- beoordelaarsbetrouwbaarheid:
o De mate waarin de uitslagen van de metingen bij dezelfde patiënt variëren als
dezelfde persoon de test meermaals uitvoert
- Bij het testen van de inter- of intra- beoordelaarsbetrouwbaarheid wordt de graad van
betrouwbaarheid veelal uitgedrukt in Kappa coëfficiënt (nominale of ordinale) of een
correlatie coëfficiënt (continue).
Kappa coëfficient
- ‘slecht’ (k < 0) (minder dan door toeval)
- ‘gering’ (0-0,20)
- ‘matig’ (0,21-0,40)
- ‘redelijk’ (0,41-0,60)
- ‘voldoende tot goed’(0,61-0,80)
- ‘bijna’ tot volledig perfect’(0,81-1,00).
De test-hertest betrouwbaarheid (test-retest reliability)
Heeft betrekking tot het aspect stabiliteit waar de stabiliteit verwijst naar het constant
blijven van de meetresultaten over de tijd. Veel gebruikt bij vragenlijsten! Bij het testen van
, de test-hertest betrouwbaarheid wordt de graad van betrouwbaarheid veelal uitgedrukt in
een correlatie coëfficiënt. (kappa kan ook, gewone percentage van overeenkomst kan ook).
De test-hertest betrouwbaarheid (test-retest reliability)
- +1: perfecte positieve correlatie
- -1: perfectie negatieve correlatie
- 0: absoluut geen correlatie
De interne consistentie betrouwbaarheid (consistency reliability)
Interne consistentie is de mate waarin delen van een instrument (bijvoorbeeld vragen of
schalen) onderling overeenstemmen.
Bij het testen van de interne consisitentie wordt de graad van betrouwbaarheid veelal
uitgedrukt in de Chronbach’s alfa coëfficiënt.
- 0,00< r < 0.30: nauwelijks of geen interne consistentie
- 0.30 < r < 0.50: lage interne consistentie
- 0.50< r < 0.70: middelmatige interne consistentie
- 0.70 < r < 0.90: hoge interne consistentie
- 0.90 < r < 1.00: zeer hoge interne consistentie
Validiteit
Validiteit is de mate waarin wordt gemeten wat men daadwerkelijk wilde meten.
Meet het instrument werkelijk wat het verondersteld wordt te meten?
Validiteit kan worden gecategoriseerd, waarbij verschillende (sub)categorieën op
verschillende wijzen worden vastgesteld:
- Inhoudsvaliditeit
o Omvat het alle domeinen van het te meten onderwerp?:
Is het representatief?
Is het relevant?
Is het op een begrijpelijke manier voorgesteld?
o Geen statistiek...
Kwalitatief oordeel door experts
Panelevaluatie
- Criteriumvaliditeiy
o Gelijktijdige
o Voorspellend
Toegangsproef
Selectieproef
o Goede overeenkomst met een referentie (correlatie coefficient)
o Statistiek
Correlatie coefficient
- Begripsvaliditeit (construct)
o Zoekt overeenkomst tussen het verondersteld theoretisch hconcept en het
meetinstrument
o Statistiek
Meetinstrumenten in kwantitatief onderzoek
Inleiding
De juistheid van om het even welk oorzakelijk verband moet steeds gecontroleerd worden
op fouten, dit door alternatieve verklaringen uit te sluiten.
Confounding: alle belangrijke factoren die gerelateerd zijn aan de te onderzoeken
risicofactor of blootstelling en ook aan de uitkomst. Een confounder kan een verband tussen
blootstelling en uitkomst verzwakken of versterken. Bijvoorbeeld, een geobserveerd
verband tussen parodontitis en een verhoogd risico van myocardinfarct kan in werkelijkheid
veroorzaakt zijn door de relatie van roken met de blootstelling (parodontitis) en de uitkomst
(myocardinfarct). Rokers hebben meer parodontitis dan niet-rokers en rokers hebben meer
kans op een myocardinfarct.
Effect modificerend: heeft invloed op hoe sterk het effect van de verklarende variabele heeft
op de uitkomst variabele. in de relatie tussen leeftijd en bloeddruk blijkt dat dit effect
sterker is bij mannen dan bij vrouwen. Geslacht is dan een effect modificerende variabele
Bias: systematische vertekening van onderzoeksresultaten als gevolg van een fout in de
meting van de te onderzoeken parameters
- Selectiebias
- Informatiebias
o De psychometrische kenmerken van het instrument waarmee we de
variabelen willen meten worden hoofdzakelijk gedefinieerd door de
betrouwbaarheid (reliability) en geldigheid (validity) van het instrument.
(Hagan, 2014)
o Betrouwbaarheid refereert naar de (interne) consistentie van de metingen
o Validiteit refereert naar de nauwkeurigheid
Soorten meetinstrumenten
- eenvoudig telsysteem
, - meten fysische – biologische parameters (biofysische). Ze kunnen enkelvoudig of
samengesteld zijn.
- Vragenlijsten
- Observaties
Juistheid van meetinstrumenten
Betrouwbaarheid
Betrouwbaar zijn waarnemingen, die onder dezelfde omstandigheden herhaald, (nagenoeg)
dezelfde uitkomst geven. Betrouwbaarheid garandeert niet de validiteit van een meting,
maar is wel een voorwaarde. Betrouwbaarheid van een meetinstrument moet dus eerst
onderzocht worden alvorens de validiteit te beoordelen.
De inter- of intra beoordelaarsbetrouwbaarheid (inter- and intra rater
reliability)
- De inter- beoordelaarsbetrouwbaarheid:
o De mate waarin de uitslagen van de metingen bij dezelfde patiënt variëren als
verschillende mensen de test uitvoeren
- De intra- beoordelaarsbetrouwbaarheid:
o De mate waarin de uitslagen van de metingen bij dezelfde patiënt variëren als
dezelfde persoon de test meermaals uitvoert
- Bij het testen van de inter- of intra- beoordelaarsbetrouwbaarheid wordt de graad van
betrouwbaarheid veelal uitgedrukt in Kappa coëfficiënt (nominale of ordinale) of een
correlatie coëfficiënt (continue).
Kappa coëfficient
- ‘slecht’ (k < 0) (minder dan door toeval)
- ‘gering’ (0-0,20)
- ‘matig’ (0,21-0,40)
- ‘redelijk’ (0,41-0,60)
- ‘voldoende tot goed’(0,61-0,80)
- ‘bijna’ tot volledig perfect’(0,81-1,00).
De test-hertest betrouwbaarheid (test-retest reliability)
Heeft betrekking tot het aspect stabiliteit waar de stabiliteit verwijst naar het constant
blijven van de meetresultaten over de tijd. Veel gebruikt bij vragenlijsten! Bij het testen van
, de test-hertest betrouwbaarheid wordt de graad van betrouwbaarheid veelal uitgedrukt in
een correlatie coëfficiënt. (kappa kan ook, gewone percentage van overeenkomst kan ook).
De test-hertest betrouwbaarheid (test-retest reliability)
- +1: perfecte positieve correlatie
- -1: perfectie negatieve correlatie
- 0: absoluut geen correlatie
De interne consistentie betrouwbaarheid (consistency reliability)
Interne consistentie is de mate waarin delen van een instrument (bijvoorbeeld vragen of
schalen) onderling overeenstemmen.
Bij het testen van de interne consisitentie wordt de graad van betrouwbaarheid veelal
uitgedrukt in de Chronbach’s alfa coëfficiënt.
- 0,00< r < 0.30: nauwelijks of geen interne consistentie
- 0.30 < r < 0.50: lage interne consistentie
- 0.50< r < 0.70: middelmatige interne consistentie
- 0.70 < r < 0.90: hoge interne consistentie
- 0.90 < r < 1.00: zeer hoge interne consistentie
Validiteit
Validiteit is de mate waarin wordt gemeten wat men daadwerkelijk wilde meten.
Meet het instrument werkelijk wat het verondersteld wordt te meten?
Validiteit kan worden gecategoriseerd, waarbij verschillende (sub)categorieën op
verschillende wijzen worden vastgesteld:
- Inhoudsvaliditeit
o Omvat het alle domeinen van het te meten onderwerp?:
Is het representatief?
Is het relevant?
Is het op een begrijpelijke manier voorgesteld?
o Geen statistiek...
Kwalitatief oordeel door experts
Panelevaluatie
- Criteriumvaliditeiy
o Gelijktijdige
o Voorspellend
Toegangsproef
Selectieproef
o Goede overeenkomst met een referentie (correlatie coefficient)
o Statistiek
Correlatie coefficient
- Begripsvaliditeit (construct)
o Zoekt overeenkomst tussen het verondersteld theoretisch hconcept en het
meetinstrument
o Statistiek
