Gevorderde statistiek binnen de gezondheidsbevordering
Les 1: validiteit en betrouwbaarheid
Kennisclips
Kennisclip 1: betrouwbaarheid Cronbach Alpha
- Betrouwbaarheid
o Stabiliteit
▪ Test-hertestmethode (ICC)
o Parallelle test-methode
▪ Twee testen met dezelfde inhoud worden na elkaar afgenomen
▪ Afnemen bij dezelfde populatie
▪ Komt ninet vaak voor in gezondheidsonderzoek
o Interne consistentie
▪ Cronbach alpha (a)
▪ Binnen een bepaalde schaal items beoordelen: hangen items goed
genoeg samen om schaal te vormen?
• Bv items voor sociale steun: schaal maken: intern consistent?
o Interbeoordelaarsbetrouwbaarheid
▪ Objectiviteit
▪ Verschillende beoordelaars: zelfde mening?
▪ IOA (interobserver agreement → niet kennen)
- Betrouwbaarheid in SPSS
o ICC (betrouwbaarheid)
▪ > 0,70 → goede betrouwbaarheid Voorzichtig om-
▪ 0,60 – 0,70 → redelijke betrouwbaarheid gaan met cut-off
▪ 0,50 – 0,60 → matige betrouwbaarheid waarden → geen
▪ Lager dan 0,50 → onvoldoende betrouwbaarheid
rigide regels
➔ Significantie niet van belang
▪ In SPSS: analyze – scale – reliability analysis – stat: ICC – ok
▪ Output: laatste tabel, single measures als je van plan bent om iets
maar 1 keer te af te nemen
o Cronbach’s alpha (interne consistentie)
▪ > 0,70 → goede interne consistentie
▪ 0,60 – 0,70 → redelijke interne consistentie
▪ 0,50 – 0,60 → matige interne consistentie
▪ Lager dan 0,50 → onvoldoende interne consistentie
▪ In SPSS: analyze – scale – reliability analysis – stat: scale if item deleted
– OK
▪ Output: reliability statistics – item – total statistics
Validiteit Betrouwbaarheid
Interclass correlatie Intraclass
Cronbach’s alpha
1
,Kennisclip 2: factoranalyse
- Doel: reduceren van groot aantal items in een meer overzichtelijke structuur, adhv
correlaties
o Bv 20 items om voordelen van beweging te meten: kunnen hier
schalen/factoren van gemaakt worden?
- Kwantitatief, meer exploratief
- Na contructie van factoren: nog interne consistentie nagaan met cronbach alpha
- 2 soorten:
o Principale componenten
o Confirmatorische factor analyse (niet in SPSS)
- In SPSS: analyse – dimensiion reducton – factor – extraction: based on eigenvalue
greater than 1 – rotation: varimax – options: sorted by size & suppress 0,30
- Output: 2de tabel – rechts onderaan + bij rotated component matrix zijin items aan
meerdere factoren toegevoegd → de hoogste wint
Kennisclip 3: validiteit
- Meet het wat het moet meten
o Bv bevragen van attitude → wordt effectief attitude gemeten
- 4 soorten
o Logische validiteit: op zicht – niet statistisch
▪ Bv evenwicht: test op 1 been
o Inhoudsvaliditeit: dekt de test de gegeven inhoud – niet statistiscch
▪ Bv lessen statistiek: komt de gegeven leerstof aanbod in examen
o Criterium validiteit: valideren van instrument tegenover criteriu of gouden
standaard waarvan geweten is dat het een valide insrument is
▪ Concurrente validiteit: instrument en criterium op zelfde moment
• Bv directe observatie van gedrag en vragenlijst invullen
▪ Predictieve validiteit: criterium dat moet voorspeld worden
• Typisch voor determinanten
o Construct validiteit: abstracte begrippen
▪ Bv angst, fair play, depressie
- In SPSS: interclass correlatie
o Gebruikt voor het nagaan van de validiteit van een instrument
o Vooral relatie tussen instrument en criterium
o Pearson of spearman r → hoe dichter bij 1, hoe meer valide
▪ Gezondheidspromotie: 0,30 – 0,40 → goede validiteit
o Analyse – correlate – bivariate
Casus
Het Pro Children project heeft als doel om fruit en groenten consumptie bij Europese
schoolkinderen te verhogen. Ondanks het feit dat onderzoek heeft aangetoond dat het eten
van fruit en groeten een beschermend effect heeft voor het krijgen van kanker en ook andere
chronische aandoeningen, eten veel kinderen er te weinig. Negen landen participeren in het
Pro Children project: Oostenrijk, België, Denemarken, IJsland, Nederland, Noorwegen,
Portugal, Spanje en Zweden. Het project bestaat uit verschillende delen. In de eerste fase
wordt een vragenlijst ontwikkeld voor het meten van fruit en groenten inname en de
2
,determinanten van fruit en groeten. Deze vragenlijst wordt dan getest op betrouwbaarheid
en validiteit.
Deze studie beschrijft het ontwikkelen van de vragenlijst naar psychosociale determinanten
van fruit en groenten bij kinderen van 10-11 jaar. Deze vragenlijst moest aan verschillende
eisen voldoen: gebaseerd zijn op de theoretische modellen van gezondheidsbevordering,
gebaseerd zijn op de beschikbare literatuur uit determinanten van fruit en groenten,
toepasbaar zijn in alle Europese landen, en ook valide en betrouwbaar zijn voor deze landen,
en kort en begrijpbaar zijn voor deze jonge kinderen zodat ze de vragenlijst zelfstandig kunnen
invullen in de klas. Het ontwikkelen van de vragenlijst gebeurde in 3 stappen: het selecteren
van een theorie en het doen van een literatuurstudie, het doen van interviews met kinderen,
ouders en leerkrachten m.b.t. redenen waarom kinderen wel of niet fruit en groenten eten,
en tenslotte de pre-testing van de vragenlijst.
De vragenlijst werd ontwikkeld in twee parallelle delen: een voor fruit en een voor groenten
die in deze volgorde na elkaar werden afgenomen. Er werd een test-hertest uitgevoerd van
deze vragenlijst in 5 landen: België, Denemarken, Noorwegen, Portugal en Spanje. Er werd
bij de keuze van deze 5 landen rekening gehouden met een noord-zuid distributie binnen
Europa, die culturele verschillen kan reflecteren. In elk land werden uit minstens 2 scholen,
klassen geselecteerd met kinderen van 10-11 jaar oud (vooral geboren in 1991 en 1992).
De vragenlijst werd 2 keer afgenomen om de test-hertest betrouwbaarheid na te gaan. De
retest wordt in de vragenlijst aangeduid met een r voor de vragen. Om de predictieve
validiteit na te gaan werd tevens een voedingsfrequentievragenlijst afgenomen voor het
meten van fruit en het meten van groenten. De somscore fruit en de somscore groenten zijn
op het einde van het bestand toegevoegd, en dit zowel voor de test (week 1) als voor de
retest (week 2). Hoe hoger de score hoe meer fruit en groenten de kinderen eten. De scores
voor fruit en groenten zijn uitgedrukt in het aantal porties per week.
De onderzoekers willen uiteraard dat hun vragenlijst voldoende valide en betrouwbaar is.
Jij krijgt de datafile en moet nagaan of je deze vragenlijst inderdaad in de praktijk zou
gebruiken voor het meten van determinanten van fruit- en groente-inname
1. Wat kan je besluiten m.b.t. de validiteit van de determinanten D14 (voorkeur), D16
(consumptiegedrag moeder), D19 (aanmoediging moeder) en D26 (regels ouders)?
Welk soort validiteit ga je hier na?
Stap 1: Opstellen directed acyclic graph indien causale onderzoeksvraag
3
, - Niet van toepassing bij validiteit en betrouwbaarheid
Stap 2: Verkennen van data
OV: voorkeur, consumptiegedrag moeder, aanmoediging moeder en regels ouders
(kwantitatief – ordinaal)
AV: fruitconsumptie (kwantitatief)
Gemiddelde: 7 stukken fruit per week → eerder laag
Min is 0 en max is 21 (3 stukken per dag) → geen onmogelijke waarden
Spreiding is oké
Altijd op basis van histogram de normaal verdeling bekijken
Geen normale verdeling, curve ligt naar rechts → de staarten strekken zich uit naar
rechterzijde van het gemiddelde; er is een hogere concentratie van waarden aan de
linkerzijde van het gemiddelde
4
Les 1: validiteit en betrouwbaarheid
Kennisclips
Kennisclip 1: betrouwbaarheid Cronbach Alpha
- Betrouwbaarheid
o Stabiliteit
▪ Test-hertestmethode (ICC)
o Parallelle test-methode
▪ Twee testen met dezelfde inhoud worden na elkaar afgenomen
▪ Afnemen bij dezelfde populatie
▪ Komt ninet vaak voor in gezondheidsonderzoek
o Interne consistentie
▪ Cronbach alpha (a)
▪ Binnen een bepaalde schaal items beoordelen: hangen items goed
genoeg samen om schaal te vormen?
• Bv items voor sociale steun: schaal maken: intern consistent?
o Interbeoordelaarsbetrouwbaarheid
▪ Objectiviteit
▪ Verschillende beoordelaars: zelfde mening?
▪ IOA (interobserver agreement → niet kennen)
- Betrouwbaarheid in SPSS
o ICC (betrouwbaarheid)
▪ > 0,70 → goede betrouwbaarheid Voorzichtig om-
▪ 0,60 – 0,70 → redelijke betrouwbaarheid gaan met cut-off
▪ 0,50 – 0,60 → matige betrouwbaarheid waarden → geen
▪ Lager dan 0,50 → onvoldoende betrouwbaarheid
rigide regels
➔ Significantie niet van belang
▪ In SPSS: analyze – scale – reliability analysis – stat: ICC – ok
▪ Output: laatste tabel, single measures als je van plan bent om iets
maar 1 keer te af te nemen
o Cronbach’s alpha (interne consistentie)
▪ > 0,70 → goede interne consistentie
▪ 0,60 – 0,70 → redelijke interne consistentie
▪ 0,50 – 0,60 → matige interne consistentie
▪ Lager dan 0,50 → onvoldoende interne consistentie
▪ In SPSS: analyze – scale – reliability analysis – stat: scale if item deleted
– OK
▪ Output: reliability statistics – item – total statistics
Validiteit Betrouwbaarheid
Interclass correlatie Intraclass
Cronbach’s alpha
1
,Kennisclip 2: factoranalyse
- Doel: reduceren van groot aantal items in een meer overzichtelijke structuur, adhv
correlaties
o Bv 20 items om voordelen van beweging te meten: kunnen hier
schalen/factoren van gemaakt worden?
- Kwantitatief, meer exploratief
- Na contructie van factoren: nog interne consistentie nagaan met cronbach alpha
- 2 soorten:
o Principale componenten
o Confirmatorische factor analyse (niet in SPSS)
- In SPSS: analyse – dimensiion reducton – factor – extraction: based on eigenvalue
greater than 1 – rotation: varimax – options: sorted by size & suppress 0,30
- Output: 2de tabel – rechts onderaan + bij rotated component matrix zijin items aan
meerdere factoren toegevoegd → de hoogste wint
Kennisclip 3: validiteit
- Meet het wat het moet meten
o Bv bevragen van attitude → wordt effectief attitude gemeten
- 4 soorten
o Logische validiteit: op zicht – niet statistisch
▪ Bv evenwicht: test op 1 been
o Inhoudsvaliditeit: dekt de test de gegeven inhoud – niet statistiscch
▪ Bv lessen statistiek: komt de gegeven leerstof aanbod in examen
o Criterium validiteit: valideren van instrument tegenover criteriu of gouden
standaard waarvan geweten is dat het een valide insrument is
▪ Concurrente validiteit: instrument en criterium op zelfde moment
• Bv directe observatie van gedrag en vragenlijst invullen
▪ Predictieve validiteit: criterium dat moet voorspeld worden
• Typisch voor determinanten
o Construct validiteit: abstracte begrippen
▪ Bv angst, fair play, depressie
- In SPSS: interclass correlatie
o Gebruikt voor het nagaan van de validiteit van een instrument
o Vooral relatie tussen instrument en criterium
o Pearson of spearman r → hoe dichter bij 1, hoe meer valide
▪ Gezondheidspromotie: 0,30 – 0,40 → goede validiteit
o Analyse – correlate – bivariate
Casus
Het Pro Children project heeft als doel om fruit en groenten consumptie bij Europese
schoolkinderen te verhogen. Ondanks het feit dat onderzoek heeft aangetoond dat het eten
van fruit en groeten een beschermend effect heeft voor het krijgen van kanker en ook andere
chronische aandoeningen, eten veel kinderen er te weinig. Negen landen participeren in het
Pro Children project: Oostenrijk, België, Denemarken, IJsland, Nederland, Noorwegen,
Portugal, Spanje en Zweden. Het project bestaat uit verschillende delen. In de eerste fase
wordt een vragenlijst ontwikkeld voor het meten van fruit en groenten inname en de
2
,determinanten van fruit en groeten. Deze vragenlijst wordt dan getest op betrouwbaarheid
en validiteit.
Deze studie beschrijft het ontwikkelen van de vragenlijst naar psychosociale determinanten
van fruit en groenten bij kinderen van 10-11 jaar. Deze vragenlijst moest aan verschillende
eisen voldoen: gebaseerd zijn op de theoretische modellen van gezondheidsbevordering,
gebaseerd zijn op de beschikbare literatuur uit determinanten van fruit en groenten,
toepasbaar zijn in alle Europese landen, en ook valide en betrouwbaar zijn voor deze landen,
en kort en begrijpbaar zijn voor deze jonge kinderen zodat ze de vragenlijst zelfstandig kunnen
invullen in de klas. Het ontwikkelen van de vragenlijst gebeurde in 3 stappen: het selecteren
van een theorie en het doen van een literatuurstudie, het doen van interviews met kinderen,
ouders en leerkrachten m.b.t. redenen waarom kinderen wel of niet fruit en groenten eten,
en tenslotte de pre-testing van de vragenlijst.
De vragenlijst werd ontwikkeld in twee parallelle delen: een voor fruit en een voor groenten
die in deze volgorde na elkaar werden afgenomen. Er werd een test-hertest uitgevoerd van
deze vragenlijst in 5 landen: België, Denemarken, Noorwegen, Portugal en Spanje. Er werd
bij de keuze van deze 5 landen rekening gehouden met een noord-zuid distributie binnen
Europa, die culturele verschillen kan reflecteren. In elk land werden uit minstens 2 scholen,
klassen geselecteerd met kinderen van 10-11 jaar oud (vooral geboren in 1991 en 1992).
De vragenlijst werd 2 keer afgenomen om de test-hertest betrouwbaarheid na te gaan. De
retest wordt in de vragenlijst aangeduid met een r voor de vragen. Om de predictieve
validiteit na te gaan werd tevens een voedingsfrequentievragenlijst afgenomen voor het
meten van fruit en het meten van groenten. De somscore fruit en de somscore groenten zijn
op het einde van het bestand toegevoegd, en dit zowel voor de test (week 1) als voor de
retest (week 2). Hoe hoger de score hoe meer fruit en groenten de kinderen eten. De scores
voor fruit en groenten zijn uitgedrukt in het aantal porties per week.
De onderzoekers willen uiteraard dat hun vragenlijst voldoende valide en betrouwbaar is.
Jij krijgt de datafile en moet nagaan of je deze vragenlijst inderdaad in de praktijk zou
gebruiken voor het meten van determinanten van fruit- en groente-inname
1. Wat kan je besluiten m.b.t. de validiteit van de determinanten D14 (voorkeur), D16
(consumptiegedrag moeder), D19 (aanmoediging moeder) en D26 (regels ouders)?
Welk soort validiteit ga je hier na?
Stap 1: Opstellen directed acyclic graph indien causale onderzoeksvraag
3
, - Niet van toepassing bij validiteit en betrouwbaarheid
Stap 2: Verkennen van data
OV: voorkeur, consumptiegedrag moeder, aanmoediging moeder en regels ouders
(kwantitatief – ordinaal)
AV: fruitconsumptie (kwantitatief)
Gemiddelde: 7 stukken fruit per week → eerder laag
Min is 0 en max is 21 (3 stukken per dag) → geen onmogelijke waarden
Spreiding is oké
Altijd op basis van histogram de normaal verdeling bekijken
Geen normale verdeling, curve ligt naar rechts → de staarten strekken zich uit naar
rechterzijde van het gemiddelde; er is een hogere concentratie van waarden aan de
linkerzijde van het gemiddelde
4
