8. VALIDITEIT
= meet wat het beoogt te meten, manier om kwaliteit studie te beoordelen
8.1. SOORTEN VALIDITEIT
• Indruksvaliditeit (“face validity”)
Lijkt het erop dat de meting meet wat het beoogt te meten?
Subjectieve beoordeling, oppervlakkig
Voorb: gewicht meten adhv een weegschaal heeft hoge face validity
• Concurrente validiteit
Vaak gebruikt voor nieuwe meettechnieken
Zijn de scores die we bekomen met de nieuwe meting direct gerelateerd aan de
scores doe we bekomen met een gekende, reeds gevalideerde methode?
Voorb: nieuwe IQ test meet echt intelligentie, aangezien de scores op de nieuwe
test individuen op gelijke manier differentiëren als scores op standaard IQ-test
• Predictieve validiteit
Aangetoond wanneer de metingen van een construct accuraat het gedrag voorspellen
(op basis van een theorie)
Kan de meting voorspellen wat het volgens de theorie moet kunnen voorspellen?
Voorb: meting om kinderen die risico hebben op ontwikkelen dyscalculie al vroeg te
identificeren. Later nagaan hoe accuraat de voorspelling was
• Construct validiteit
Gedraagt onze meting zich zoals we verwachten dat het construct zich gedraagt (op
basis van wetenschappelijke literatuur)
Voorb: je hebt een meting voor agressie. Uit vorig onderzoek weten we dat agressie
gerelateerd is aan de buitentemperatuur → hangt onze meting ook samen met
temperatuur?
Nooit absoluut!
• Convergente validiteit
Meerdere metingen van hetzelfde construct convergeren, produceren sterk
gerelateerde scores = goede convergente validiteit.
• Divergente validiteit
Metingen van verschillende constructen, weinig of niet gerelateerd aan elkaar.
Het construct dat we meten overlapt niet met andere constructen
→ Vaak combinatie van convergente en divergente validiteit!
• Discriminante validiteit
Hangen de resultaten af van nog een andere variabele?
16
,8.2. EXTERNE EN INTERNE VALIDITEIT
Externe = Kunnen de resultaten van de studie gegeneraliseerd worden (bijv. naar
validite andere populaties, andere settings, andere momenten, andere metingen,
it andere karakteristieken)?
Bedreiging van de externe validiteit = Elke karakteristiek van de studie
die de mogelijkheid om de resultaten te generaliseren beperkt
Voorb: studie enkel bij 50-jarige mannen → kunnen we de resultaten ook
generaliseren naar vrouwen en andere leeftijdsgroepen?
→In dit geval bedreigt de beperkt range van de participant
karakteristieken de externe validiteit van de studie
Interne Is de verklaring van de resultaten de enige mogelijke verklaring?
validite
it Bedreiging van de interne validiteit = Elke andere variabelen/factoren
die een alternatieve verklaring voor de resultaten kan bieden
Voorb: Pre-test depressieve symptomen → 3 weken therapie → post-test
depressieve symptomen → Daling in symptomen → therapie werkt!
MAAR: tijdens pre-test regenachtig weer, tijdens post-test zonnig weer
→ “Het weer” is hier een bedreiging van de interne validiteit
8.3. ALGEMENE BEDREIGINGEN VOOR DE VALIDITEIT
8.3.1. ALGEMENE BEDREIGINGEN VAN DE EXTERNE VALIDITEIT
Categorie Selectiebias: steekproef is niet representatief voor de populatie
1: Vrijwilliger bias = convenience bias Voorb. Studenten bij college
Bedreiging Hebben specifieke karakteristieken verschillend algemene populatie
gene -
raliseren Participant karakteristieken: participanten moeten divers genoeg zijn
naar (geslacht, leeftijd, ras, socio-economische status, etc.)
populatie
Cross-diersoort generalisatie: generaliseren van dieren naar mensen,
maar parallellen en discrepanties omtrent onderzocht construct in
acht nemen
Categorie Elke studie is uniek, maar doel is dat resultaten van een studie ook
2: bekomen zullen worden met een gelijkaardige studie
Novelty effect: deelname aan wetenschappelijke studie is meestal
Bedreiging nieuw, opwindend, eng → soms ander gedrag dan “gewone” situaties
gene -
raliseren Multiple treatment interference: participanten die deelnemen aan een
van ene serie van condities (“treatments”) kan de ervaring met een vorige
studie conditie een effect hebben op deelname aan de volgende conditie
naar de (vermoeidheid, leereffecten), zou er niet zijn bij een eerste deelnam
andere
Proefleider karakteristieken: kunnen de resultaten gegeneraliseerd
worden naar andere proefleiders? (e.g., vriendelijkheid/vijandigheid)
Categorie Sensitisatie: de meting zelf verandert de participant waardoor die
3: zich anders gedraagt → verhoogt bewustzijn
Voorb: pre-test, dagboekstudie zelf maakt participant sensitief voor
Bedreiging eigen gedrag/attitudes → effect op “treatment” → generaliseerbaar?
gene -
raliseren Generaliseerbaarheid over verschillende mogelijke metingen van
over variabelen: variabele kan op verschillende manieren gedefinieerd en
kenmerken gemeten worden (cf. angst) → generaliseren resultaten bekomen met
van een één meting ook naar andere?
meting
Meetmoment: wanneer worden de scores/resultaten van de participanten
17
, verzameld?
Voorb: Stoppen met roken programma: effect meten meteen na programma
→ generaliseerbaar indien gemeten na 6 maanden?
Voorb: effect van achtergrondmuziek op prestatie bij lagere
schoolkinderen: rustige muziek leidde tot een betere prestatie op een
rekentaak dan geen muziek
Bijkomende (‘extraneous’) variabelen:
Er worden 2 variabelen bestudeerd
MAAR: elke studie omvat nog heel veel andere variabelen (e.g., IQ,
persoonlijkheid, geslacht, vaardigheden, tijd van de test,
weersomstandigheden, etc.) → in deze variabelen zijn we NIET
geïnteresseerd, maar ze zijn wél variabelen in de studie
= deel van de studie, maar worden niet direct onderzocht
➔ Soms kan de resultaten beïnvloeden of vertekenen:
Als: geobserveerde relatie tussen 2 variabelen wordt artificieel
veroorzaakt door de bijkomende variabele
Voorb1: conditie met rustige muziek werd eerst afgenomen en dan werd
de muziek uitgezet om de conditie zonder muziek af te nemen →
prestatie wordt slechter
MAAR: effect van vermoeidheid ipv muziek? → foutieve interpretatie!
Voorb2: conditie met rustige muziek werd in de ochtend afgenomen en
de conditie zonder muziek in de namiddag → prestatie wordt slechter
MAAR: effect van moment ipv muziek? → foutieve interpretatie!
Bedreiging Generalisatie van een studie naar een “real-world” situatie:
generalise vaak worden studies uitgevoerd in gecontroleerde omgeving: zijn deze
ren naar resultaten generaliseerbaar naar de echte wereld?
real-world (e.g., labo situatie VS klas)
8.3.2. ALGEMENE BEDREIGINGEN VAN DE INTERNE VALIDITEIT
Bijkomende (“extraneous”) variabelen
= in deze variabelen NIET geïnteresseerd, maar ze zijn wél variabelen in de studie
= deel van de studie, maar worden niet direct onderzocht
Voorb: effect van achtergrondmuziek op prestatie bij lagere schoolkinderen, geen
rekening houden met geslacht, weer, persoonlijkheid,…
Storende (“confouding”) variabelen
= variabele die alternatieve verklaring biedt voor de geobserveerde relatie tussen
de 2 variabelen en resultaten dus vertekend of beïnvloedt
Voorb. Prestatietaak, Conditie 1: met muziek, Conditie 2: zonder muziek. Slechtere
resultaten bij conditie 2. Maar: Condities direct na elkaar afgenomen, vermoeidheid
= confounding variabele.
= Bedreiging van de interne validiteit!
3 categorieën confouding variabelen:
1. Omgevingsvariabelen
2. Participant variabelen
3. Tijdsgerelateerde variabelen
18
= meet wat het beoogt te meten, manier om kwaliteit studie te beoordelen
8.1. SOORTEN VALIDITEIT
• Indruksvaliditeit (“face validity”)
Lijkt het erop dat de meting meet wat het beoogt te meten?
Subjectieve beoordeling, oppervlakkig
Voorb: gewicht meten adhv een weegschaal heeft hoge face validity
• Concurrente validiteit
Vaak gebruikt voor nieuwe meettechnieken
Zijn de scores die we bekomen met de nieuwe meting direct gerelateerd aan de
scores doe we bekomen met een gekende, reeds gevalideerde methode?
Voorb: nieuwe IQ test meet echt intelligentie, aangezien de scores op de nieuwe
test individuen op gelijke manier differentiëren als scores op standaard IQ-test
• Predictieve validiteit
Aangetoond wanneer de metingen van een construct accuraat het gedrag voorspellen
(op basis van een theorie)
Kan de meting voorspellen wat het volgens de theorie moet kunnen voorspellen?
Voorb: meting om kinderen die risico hebben op ontwikkelen dyscalculie al vroeg te
identificeren. Later nagaan hoe accuraat de voorspelling was
• Construct validiteit
Gedraagt onze meting zich zoals we verwachten dat het construct zich gedraagt (op
basis van wetenschappelijke literatuur)
Voorb: je hebt een meting voor agressie. Uit vorig onderzoek weten we dat agressie
gerelateerd is aan de buitentemperatuur → hangt onze meting ook samen met
temperatuur?
Nooit absoluut!
• Convergente validiteit
Meerdere metingen van hetzelfde construct convergeren, produceren sterk
gerelateerde scores = goede convergente validiteit.
• Divergente validiteit
Metingen van verschillende constructen, weinig of niet gerelateerd aan elkaar.
Het construct dat we meten overlapt niet met andere constructen
→ Vaak combinatie van convergente en divergente validiteit!
• Discriminante validiteit
Hangen de resultaten af van nog een andere variabele?
16
,8.2. EXTERNE EN INTERNE VALIDITEIT
Externe = Kunnen de resultaten van de studie gegeneraliseerd worden (bijv. naar
validite andere populaties, andere settings, andere momenten, andere metingen,
it andere karakteristieken)?
Bedreiging van de externe validiteit = Elke karakteristiek van de studie
die de mogelijkheid om de resultaten te generaliseren beperkt
Voorb: studie enkel bij 50-jarige mannen → kunnen we de resultaten ook
generaliseren naar vrouwen en andere leeftijdsgroepen?
→In dit geval bedreigt de beperkt range van de participant
karakteristieken de externe validiteit van de studie
Interne Is de verklaring van de resultaten de enige mogelijke verklaring?
validite
it Bedreiging van de interne validiteit = Elke andere variabelen/factoren
die een alternatieve verklaring voor de resultaten kan bieden
Voorb: Pre-test depressieve symptomen → 3 weken therapie → post-test
depressieve symptomen → Daling in symptomen → therapie werkt!
MAAR: tijdens pre-test regenachtig weer, tijdens post-test zonnig weer
→ “Het weer” is hier een bedreiging van de interne validiteit
8.3. ALGEMENE BEDREIGINGEN VOOR DE VALIDITEIT
8.3.1. ALGEMENE BEDREIGINGEN VAN DE EXTERNE VALIDITEIT
Categorie Selectiebias: steekproef is niet representatief voor de populatie
1: Vrijwilliger bias = convenience bias Voorb. Studenten bij college
Bedreiging Hebben specifieke karakteristieken verschillend algemene populatie
gene -
raliseren Participant karakteristieken: participanten moeten divers genoeg zijn
naar (geslacht, leeftijd, ras, socio-economische status, etc.)
populatie
Cross-diersoort generalisatie: generaliseren van dieren naar mensen,
maar parallellen en discrepanties omtrent onderzocht construct in
acht nemen
Categorie Elke studie is uniek, maar doel is dat resultaten van een studie ook
2: bekomen zullen worden met een gelijkaardige studie
Novelty effect: deelname aan wetenschappelijke studie is meestal
Bedreiging nieuw, opwindend, eng → soms ander gedrag dan “gewone” situaties
gene -
raliseren Multiple treatment interference: participanten die deelnemen aan een
van ene serie van condities (“treatments”) kan de ervaring met een vorige
studie conditie een effect hebben op deelname aan de volgende conditie
naar de (vermoeidheid, leereffecten), zou er niet zijn bij een eerste deelnam
andere
Proefleider karakteristieken: kunnen de resultaten gegeneraliseerd
worden naar andere proefleiders? (e.g., vriendelijkheid/vijandigheid)
Categorie Sensitisatie: de meting zelf verandert de participant waardoor die
3: zich anders gedraagt → verhoogt bewustzijn
Voorb: pre-test, dagboekstudie zelf maakt participant sensitief voor
Bedreiging eigen gedrag/attitudes → effect op “treatment” → generaliseerbaar?
gene -
raliseren Generaliseerbaarheid over verschillende mogelijke metingen van
over variabelen: variabele kan op verschillende manieren gedefinieerd en
kenmerken gemeten worden (cf. angst) → generaliseren resultaten bekomen met
van een één meting ook naar andere?
meting
Meetmoment: wanneer worden de scores/resultaten van de participanten
17
, verzameld?
Voorb: Stoppen met roken programma: effect meten meteen na programma
→ generaliseerbaar indien gemeten na 6 maanden?
Voorb: effect van achtergrondmuziek op prestatie bij lagere
schoolkinderen: rustige muziek leidde tot een betere prestatie op een
rekentaak dan geen muziek
Bijkomende (‘extraneous’) variabelen:
Er worden 2 variabelen bestudeerd
MAAR: elke studie omvat nog heel veel andere variabelen (e.g., IQ,
persoonlijkheid, geslacht, vaardigheden, tijd van de test,
weersomstandigheden, etc.) → in deze variabelen zijn we NIET
geïnteresseerd, maar ze zijn wél variabelen in de studie
= deel van de studie, maar worden niet direct onderzocht
➔ Soms kan de resultaten beïnvloeden of vertekenen:
Als: geobserveerde relatie tussen 2 variabelen wordt artificieel
veroorzaakt door de bijkomende variabele
Voorb1: conditie met rustige muziek werd eerst afgenomen en dan werd
de muziek uitgezet om de conditie zonder muziek af te nemen →
prestatie wordt slechter
MAAR: effect van vermoeidheid ipv muziek? → foutieve interpretatie!
Voorb2: conditie met rustige muziek werd in de ochtend afgenomen en
de conditie zonder muziek in de namiddag → prestatie wordt slechter
MAAR: effect van moment ipv muziek? → foutieve interpretatie!
Bedreiging Generalisatie van een studie naar een “real-world” situatie:
generalise vaak worden studies uitgevoerd in gecontroleerde omgeving: zijn deze
ren naar resultaten generaliseerbaar naar de echte wereld?
real-world (e.g., labo situatie VS klas)
8.3.2. ALGEMENE BEDREIGINGEN VAN DE INTERNE VALIDITEIT
Bijkomende (“extraneous”) variabelen
= in deze variabelen NIET geïnteresseerd, maar ze zijn wél variabelen in de studie
= deel van de studie, maar worden niet direct onderzocht
Voorb: effect van achtergrondmuziek op prestatie bij lagere schoolkinderen, geen
rekening houden met geslacht, weer, persoonlijkheid,…
Storende (“confouding”) variabelen
= variabele die alternatieve verklaring biedt voor de geobserveerde relatie tussen
de 2 variabelen en resultaten dus vertekend of beïnvloedt
Voorb. Prestatietaak, Conditie 1: met muziek, Conditie 2: zonder muziek. Slechtere
resultaten bij conditie 2. Maar: Condities direct na elkaar afgenomen, vermoeidheid
= confounding variabele.
= Bedreiging van de interne validiteit!
3 categorieën confouding variabelen:
1. Omgevingsvariabelen
2. Participant variabelen
3. Tijdsgerelateerde variabelen
18
