Cross sectioneel onderzoek:
Samenvatting
Thema 1
1.1
Cross-sectioneel onderzoek heeft betrekking op het verzamelen van kwantitatieve data op één
meetmoment. Er kunnen dus geen uitspraken worden gedaan over processen die zich over tijd
ontvouwen. Het is niet mogelijk om op basis van cross-sectionele data te bepalen welke verbanden
wel of niet causaal zijn. Als de ontwikkeling over tijd en causale verbanden voor een onderzoeksvraag
niet relevant zijn, is cross-sectioneel onderzoek vaak de aangewezen methode. Er is nog een tweede
situatie waarin cross-sectioneel onderzoek ingezet kan worden. Namelijk als temporele of causale
relaties niet zelf worden onderzocht, maar worden aangenomen als vooronderstelling. Cross-
sectioneel onderzoek kan dus zowel fundamenteel als toegepast zijn.
De analysemethode in de kern van cross-sectioneel onderzoek is de correlatieanalyse. In deze cursus
wordt deze analyse uitgebreid naar de multipele regressieanalyse (regressieanalyse met meerdere
voorspellers).
1.2
Hoofdstuk 3 Constructen
3.1
Bij het bestuderen van mensen worden vaak zogenaamde constructen bestudeerd. Maar wat is zo’n
construct?
3.2
Er zijn vier perspectieven mogelijk op constructen. Natuurlijke soorten bestaan los van de mensheid,
los van namen en definities (zoals moleculen en appels). Een andere ontologische soort is de sociale
soort. Veel dingen bestaan niet los van wat mensen er van vinden en ermee doen, maar worden juist
uitgevonden door mensen om de wereld om hen heen overzichtelijker te maken (psychologische
constructen zoals een caesarsalade). Je kunt psychologische constructen ook als praktische soort zien.
Dan is het niet zo belangrijk meer of ze wel echt als zodanig bestaan: hun waarde wordt dan ontleend
aan hoe nuttig ze zijn. Tot slot zijn er de complexe soorten. Als je constructen ziet als een complexe
soort zie je ze als een verzameling eigenschappen die vaak samen voorkomen omdat ze elkaar
wederzijds beïnvloeden. Als iemand bijvoorbeeld van de smaak van koffie houdt, zal diegene
waarschijnlijk (maar niet noodzakelijk) ook van de geur van koffie houden; waarschijnlijk (maar niet
noodzakelijk) koffie drinken gezellig vinden; en waarschijnlijk (maar niet noodzakelijk) regelmatig
koffie drinken. Deze combinatie van eigenschappen zou je bijvoorbeeld samen het construct
‘koffieliefhebber’ kunnen noemen. Psychologische constructen worden tegenwoordig steeds vaker
onderzocht als complexe soorten, waarbij ze worden gezien als een netwerk van eigenschappen
(zoals vrijheid).
3.3
Er is geen correct antwoord op de vraag wat psychologische constructen zijn. Er is geen ontologisch
standpunt dat duidelijk het juiste perspectief biedt op psychologische constructen. Omdat
,psychologische constructen niet rechtstreeks observeerbaar zijn (daarom worden ze ook wel latente
constructen genoemd), en omdat er allerlei verschillende ontologische posities te verdedigen zijn, en
omdat mensen zo goed zijn in patroonherkenning dat ze regelmatig patronen waarnemen die niet
bestaan, en omdat mensen zelf de ervaring hebben prima na te kunnen denken over hoe zijzelf
werken en hoe anderen werken, is het in de psychologie extra belangrijk om de wetenschappelijke
methode rigoureus toe te passen.
3.4
Een handige metafoor om over constructen te denken is een netwerk van psychologische
constructen, dat visueel kan worden weergegeven. Neem bijvoorbeeld ‘het eten van een ijsje’.
3.5
Omdat de menselijke psychologie niet rechtstreeks onderzocht kan worden, worden constructen
gedefinieerd die dan vervolgens wel gemeten kunnen worden.
Dit proces bestaat uit twee stappen. De eerste stap is operationalisatie van het construct: het
specificeren van een of meer dingen die wél rechtstreeks gemeten kunnen worden die informatief
zijn voor het construct. De tweede stap is het selecteren of ontwikkelen van een meetinstrument om
die operationalisatie te meten. Een gegeven construct met een gegeven definitie kan dus meerdere
operationalisaties hebben; en voor een gegeven operationalisatie kunnen meerdere
meetinstrumenten bestaan.
In de psychologie worden geen meeteenheden gedefinieerd, zoals graden celsius, grammen, of liters.
Wel worden vaak getallen gebruikt om de verschillende mogelijke responsen te representeren.
Het gebrek aan meeteenheden en mogelijkheden om te ijken maken het meten van constructen
problematisch.
Zonder mogelijkheid om een meetinstrument te calibreren is het niet mogelijk om te weten of twee
meetinstrumenten hetzelfde meten of niet, en of ze goed zijn geijkt of niet. Ten eerste moet er een
duidelijke definitie van het betreffende construct zijn. Dat is het tweede: je moet een duidelijke
operationalisatie hebben gedefinieerd.
Het doel van meetinstrumenten is om informatie te krijgen over een construct: het doel is om iets te
meten, en niet te veranderen. Meetinstrumenten van psychologische constructen bestaan uit een
procedure, er kunnen één of meer stimuli zijn maar dat hoeft niet, en bovendien is er een
responsregistratie.
In dit boek noemen we een onderdeel van een meetinstrument dat een enkel datapunt oplevert een
“item”. Het simpelste meetinstrument bevat maar één item, en levert dus maar één datapunt op.
Laten we het voor nu bij zo’n één-item-meetinstrument houden.
3.6
We definiëren een item als een enkele responsregistratie, meestal vergezeld van een procedure om
die toe te passen, en bovendien bijna altijd vergezeld van een of meerdere stimuli. Dit is bijvoorbeeld
een antwoord op een vijf-keuze-vraag of een hartslagmeting. Kijkend naar het antwoord op de vraag
gebeurd de responsregistratie door middel van een pen en geprinte vakjes: deelnemers kruisen het
vakje aan dat correspondeert met het antwoord dat ze in gedachten hebben. De stimuli zijn de vraag,
de vakjes die kunnen worden aangekruist, de eventuele labels en een eventuele inleiding of uitleg bij
,de vraag. De procedure betreft informatie over de relatieve positionering van de stimuli of de manier
waarop het item moet worden aangeboden.
3.7
De procedure, stimuli, en responsregistratie bepalen samen welke aspecten van de psychologie een
rol spelen bij het uiteindelijk produceren van de respons. Deze bepalen daarom de zogenaamde
validiteit van het item: of het item het construct ook echt meet. Een valide item vereist eerst
zogenaamde cognitieve validiteit: dat de stimulus, procedure, en responsregistratie door de
deelnemers worden geïnterpreteerd zoals ze zijn bedoeld.
Meetfout is het complement van betrouwbaarheid. Als een item 20% meetfout heeft, wordt gesteld
dat de betrouwbaarheid .80 (dus, 80%) is. Validiteit en betrouwbaarheid zijn geen kenmerken van
een item, maar van een specifieke toepassing van dat item.
3.8
Veel constructen zijn relatief breed, en hun operationalisaties zijn daarom vaak niet met een enkel
item te meten. Daarom bestaan psychologische meetinstrumenten vaak uit meerdere items,
bijvoorbeeld meerdere vragen.
Als wordt aangenomen dat een psychologisch construct een (onobserveerbare oftwel latente)
natuurlijke soort of een sociaal geconstrueerde soort is betekent dat vaak dat een
zogenaamd reflectief meetmodel wordt gebruikt. Er wordt dan aangenomen dat de scores op de
items worden veroorzaakt door dat construct: de aanname is dat de scores op de items een
“reflectie” zijn van het onderliggende latente construct (zoals het cijfer voor een cursus een
competentie reflecteerd).
Maar, validiteit en betrouwbaarheid kunnen verschillen van item tot item, dus niet elk item telt
noodzakelijkerwijs even zwaar mee. Het ‘gewicht’ van elk item moet dus worden bijgesteld
afhankelijk van de meetfout en validiteit van dat item.
Als er geen aannames zijn over een onderliggend latent construct dat de scores op de items
veroorzaakt, maar het construct een praktische soort is, dan wordt het meetmodel omgedraaid. In
dat geval wordt het construct gedefinieerd als de scores op de items. In het zogenaamde formatieve
meetmodel vormen de scores het construct
Tot slot kan worden aangenomen dat het construct een complexe soort is. Er wordt gesteld dat het
construct bestaat uit een patroon van samenhang tussen verschillende aspecten van de menselijke
psychologie die elkaar wederzijds beïnvloeden. In dat geval is het meetmodel een netwerkmodel,
waar het construct bestaat uit de relaties tussen de items.
3.9
Het meetmodel dat je hanteert bepaalt hoe je de scores op de items samenvoegt. Bij een reflectief
meetmodel is de aanname dat het construct onafhankelijk van de items bestaat, en dat de scores op
de items worden veroorzaakt door dat latente construct. Bij een formatief meetmodel is het
construct gedefinieerd als het aggregaat van de items, en kan dus niet onafhankelijk van de items
bestaan. Bij een netwerk-meetmodel is het construct gedefinieerd als regelmatigheden in hoe de
items elkaar beïnvloeden, en bestaat het dus alleen in die verbanden.
, Als een formatief meetmodel wordt gebruikt wordt niet aangenomen dat er een onderliggend
construct is: het construct wordt juist gedefinieerd door de items. In dat geval levert de bijbehorende
theorie als het goed is een model voor de samenvoeging.
3.10
Elke keer dat een meetinstrument wordt toegepast, heeft die toepassing een gegeven validiteit en
betrouwbaarheid. In dit verband is het handig om onderscheid te maken tussen schalen en indices.
Bij een schaal is de bedoeling dat alle items precies hetzelfde construct meten. Als een
meetinstrument als schaal wordt gezien wordt dus vaak bedoeld dat er een reflectief meetmodel
wordt gebruikt. Bij een index wordt juist gesteld dat alle items niet hetzelfde construct meten. Dit
correspondeert juist eerder met een formatief meetmodel. Dat bij een index de items niet hetzelfde
meten, en bij een schaal wel, heeft implicaties voor de analyses die uitgevoerd kunnen worden.
Hoofdstuk 9 Validiteit
9.1
Over het algemeen kun je zeggen dat validiteit in wetenschappelijk onderzoek gaat over in hoeverre
de metingen en resultaten overeenkomen met ‘de waarheid’.
Valide conclusies vereisen vervolgens dat de verschillende onderdelen van een studie valide zijn:
de conclusies moeten in lijn zijn met de uitkomsten van de analyses
de conclusies moeten in lijn zijn met het studieontwerp
het studieontwerp moet voldoende intern valide zijn
het studieontwerp moet voldoende extern valide zijn
de meetinstrumenten en manipulaties moeten voldoende intern valide zijn
de meetinstrumenten en manipulaties moeten voldoende extern valide zijn
De eerste twee punten volgen uit drie van de principes van wetenschappelijke integriteit:
zorgvuldigheid, eerlijkheid en transparantie.
De laatste vier punten betreffen de validiteit van specifieke onderdelen van een studie: het ontwerp,
met bijzondere aandacht voor de meetinstrumenten en manipulaties; al deze onderdelen moeten
zowel intern als extern valide zijn.
Externe validiteit gaat over de mate waarin conclusies uit de studie te generaliseren zijn naar andere
situaties, maar speelt soms ook een rol bij de validiteit van meetinstrumenten en manipulaties.
Meetinstrumenten en manipulaties zijn alleen valide als die procedure, de stimuli en eventueel de
methode voor responsregistratie ook goed begrepen worden door de deelnemers. Deze voorwaarde
voor validiteit wordt cognitieve validiteit genoemd.
9.2
Cognitieve validiteit betreft de mate waarin de procedure, de stimuli, en bij meetinstrumenten de
responsregistratie door deelnemers worden geïnterpreteerd zoals de bedoeling is. Cognitieve
Samenvatting
Thema 1
1.1
Cross-sectioneel onderzoek heeft betrekking op het verzamelen van kwantitatieve data op één
meetmoment. Er kunnen dus geen uitspraken worden gedaan over processen die zich over tijd
ontvouwen. Het is niet mogelijk om op basis van cross-sectionele data te bepalen welke verbanden
wel of niet causaal zijn. Als de ontwikkeling over tijd en causale verbanden voor een onderzoeksvraag
niet relevant zijn, is cross-sectioneel onderzoek vaak de aangewezen methode. Er is nog een tweede
situatie waarin cross-sectioneel onderzoek ingezet kan worden. Namelijk als temporele of causale
relaties niet zelf worden onderzocht, maar worden aangenomen als vooronderstelling. Cross-
sectioneel onderzoek kan dus zowel fundamenteel als toegepast zijn.
De analysemethode in de kern van cross-sectioneel onderzoek is de correlatieanalyse. In deze cursus
wordt deze analyse uitgebreid naar de multipele regressieanalyse (regressieanalyse met meerdere
voorspellers).
1.2
Hoofdstuk 3 Constructen
3.1
Bij het bestuderen van mensen worden vaak zogenaamde constructen bestudeerd. Maar wat is zo’n
construct?
3.2
Er zijn vier perspectieven mogelijk op constructen. Natuurlijke soorten bestaan los van de mensheid,
los van namen en definities (zoals moleculen en appels). Een andere ontologische soort is de sociale
soort. Veel dingen bestaan niet los van wat mensen er van vinden en ermee doen, maar worden juist
uitgevonden door mensen om de wereld om hen heen overzichtelijker te maken (psychologische
constructen zoals een caesarsalade). Je kunt psychologische constructen ook als praktische soort zien.
Dan is het niet zo belangrijk meer of ze wel echt als zodanig bestaan: hun waarde wordt dan ontleend
aan hoe nuttig ze zijn. Tot slot zijn er de complexe soorten. Als je constructen ziet als een complexe
soort zie je ze als een verzameling eigenschappen die vaak samen voorkomen omdat ze elkaar
wederzijds beïnvloeden. Als iemand bijvoorbeeld van de smaak van koffie houdt, zal diegene
waarschijnlijk (maar niet noodzakelijk) ook van de geur van koffie houden; waarschijnlijk (maar niet
noodzakelijk) koffie drinken gezellig vinden; en waarschijnlijk (maar niet noodzakelijk) regelmatig
koffie drinken. Deze combinatie van eigenschappen zou je bijvoorbeeld samen het construct
‘koffieliefhebber’ kunnen noemen. Psychologische constructen worden tegenwoordig steeds vaker
onderzocht als complexe soorten, waarbij ze worden gezien als een netwerk van eigenschappen
(zoals vrijheid).
3.3
Er is geen correct antwoord op de vraag wat psychologische constructen zijn. Er is geen ontologisch
standpunt dat duidelijk het juiste perspectief biedt op psychologische constructen. Omdat
,psychologische constructen niet rechtstreeks observeerbaar zijn (daarom worden ze ook wel latente
constructen genoemd), en omdat er allerlei verschillende ontologische posities te verdedigen zijn, en
omdat mensen zo goed zijn in patroonherkenning dat ze regelmatig patronen waarnemen die niet
bestaan, en omdat mensen zelf de ervaring hebben prima na te kunnen denken over hoe zijzelf
werken en hoe anderen werken, is het in de psychologie extra belangrijk om de wetenschappelijke
methode rigoureus toe te passen.
3.4
Een handige metafoor om over constructen te denken is een netwerk van psychologische
constructen, dat visueel kan worden weergegeven. Neem bijvoorbeeld ‘het eten van een ijsje’.
3.5
Omdat de menselijke psychologie niet rechtstreeks onderzocht kan worden, worden constructen
gedefinieerd die dan vervolgens wel gemeten kunnen worden.
Dit proces bestaat uit twee stappen. De eerste stap is operationalisatie van het construct: het
specificeren van een of meer dingen die wél rechtstreeks gemeten kunnen worden die informatief
zijn voor het construct. De tweede stap is het selecteren of ontwikkelen van een meetinstrument om
die operationalisatie te meten. Een gegeven construct met een gegeven definitie kan dus meerdere
operationalisaties hebben; en voor een gegeven operationalisatie kunnen meerdere
meetinstrumenten bestaan.
In de psychologie worden geen meeteenheden gedefinieerd, zoals graden celsius, grammen, of liters.
Wel worden vaak getallen gebruikt om de verschillende mogelijke responsen te representeren.
Het gebrek aan meeteenheden en mogelijkheden om te ijken maken het meten van constructen
problematisch.
Zonder mogelijkheid om een meetinstrument te calibreren is het niet mogelijk om te weten of twee
meetinstrumenten hetzelfde meten of niet, en of ze goed zijn geijkt of niet. Ten eerste moet er een
duidelijke definitie van het betreffende construct zijn. Dat is het tweede: je moet een duidelijke
operationalisatie hebben gedefinieerd.
Het doel van meetinstrumenten is om informatie te krijgen over een construct: het doel is om iets te
meten, en niet te veranderen. Meetinstrumenten van psychologische constructen bestaan uit een
procedure, er kunnen één of meer stimuli zijn maar dat hoeft niet, en bovendien is er een
responsregistratie.
In dit boek noemen we een onderdeel van een meetinstrument dat een enkel datapunt oplevert een
“item”. Het simpelste meetinstrument bevat maar één item, en levert dus maar één datapunt op.
Laten we het voor nu bij zo’n één-item-meetinstrument houden.
3.6
We definiëren een item als een enkele responsregistratie, meestal vergezeld van een procedure om
die toe te passen, en bovendien bijna altijd vergezeld van een of meerdere stimuli. Dit is bijvoorbeeld
een antwoord op een vijf-keuze-vraag of een hartslagmeting. Kijkend naar het antwoord op de vraag
gebeurd de responsregistratie door middel van een pen en geprinte vakjes: deelnemers kruisen het
vakje aan dat correspondeert met het antwoord dat ze in gedachten hebben. De stimuli zijn de vraag,
de vakjes die kunnen worden aangekruist, de eventuele labels en een eventuele inleiding of uitleg bij
,de vraag. De procedure betreft informatie over de relatieve positionering van de stimuli of de manier
waarop het item moet worden aangeboden.
3.7
De procedure, stimuli, en responsregistratie bepalen samen welke aspecten van de psychologie een
rol spelen bij het uiteindelijk produceren van de respons. Deze bepalen daarom de zogenaamde
validiteit van het item: of het item het construct ook echt meet. Een valide item vereist eerst
zogenaamde cognitieve validiteit: dat de stimulus, procedure, en responsregistratie door de
deelnemers worden geïnterpreteerd zoals ze zijn bedoeld.
Meetfout is het complement van betrouwbaarheid. Als een item 20% meetfout heeft, wordt gesteld
dat de betrouwbaarheid .80 (dus, 80%) is. Validiteit en betrouwbaarheid zijn geen kenmerken van
een item, maar van een specifieke toepassing van dat item.
3.8
Veel constructen zijn relatief breed, en hun operationalisaties zijn daarom vaak niet met een enkel
item te meten. Daarom bestaan psychologische meetinstrumenten vaak uit meerdere items,
bijvoorbeeld meerdere vragen.
Als wordt aangenomen dat een psychologisch construct een (onobserveerbare oftwel latente)
natuurlijke soort of een sociaal geconstrueerde soort is betekent dat vaak dat een
zogenaamd reflectief meetmodel wordt gebruikt. Er wordt dan aangenomen dat de scores op de
items worden veroorzaakt door dat construct: de aanname is dat de scores op de items een
“reflectie” zijn van het onderliggende latente construct (zoals het cijfer voor een cursus een
competentie reflecteerd).
Maar, validiteit en betrouwbaarheid kunnen verschillen van item tot item, dus niet elk item telt
noodzakelijkerwijs even zwaar mee. Het ‘gewicht’ van elk item moet dus worden bijgesteld
afhankelijk van de meetfout en validiteit van dat item.
Als er geen aannames zijn over een onderliggend latent construct dat de scores op de items
veroorzaakt, maar het construct een praktische soort is, dan wordt het meetmodel omgedraaid. In
dat geval wordt het construct gedefinieerd als de scores op de items. In het zogenaamde formatieve
meetmodel vormen de scores het construct
Tot slot kan worden aangenomen dat het construct een complexe soort is. Er wordt gesteld dat het
construct bestaat uit een patroon van samenhang tussen verschillende aspecten van de menselijke
psychologie die elkaar wederzijds beïnvloeden. In dat geval is het meetmodel een netwerkmodel,
waar het construct bestaat uit de relaties tussen de items.
3.9
Het meetmodel dat je hanteert bepaalt hoe je de scores op de items samenvoegt. Bij een reflectief
meetmodel is de aanname dat het construct onafhankelijk van de items bestaat, en dat de scores op
de items worden veroorzaakt door dat latente construct. Bij een formatief meetmodel is het
construct gedefinieerd als het aggregaat van de items, en kan dus niet onafhankelijk van de items
bestaan. Bij een netwerk-meetmodel is het construct gedefinieerd als regelmatigheden in hoe de
items elkaar beïnvloeden, en bestaat het dus alleen in die verbanden.
, Als een formatief meetmodel wordt gebruikt wordt niet aangenomen dat er een onderliggend
construct is: het construct wordt juist gedefinieerd door de items. In dat geval levert de bijbehorende
theorie als het goed is een model voor de samenvoeging.
3.10
Elke keer dat een meetinstrument wordt toegepast, heeft die toepassing een gegeven validiteit en
betrouwbaarheid. In dit verband is het handig om onderscheid te maken tussen schalen en indices.
Bij een schaal is de bedoeling dat alle items precies hetzelfde construct meten. Als een
meetinstrument als schaal wordt gezien wordt dus vaak bedoeld dat er een reflectief meetmodel
wordt gebruikt. Bij een index wordt juist gesteld dat alle items niet hetzelfde construct meten. Dit
correspondeert juist eerder met een formatief meetmodel. Dat bij een index de items niet hetzelfde
meten, en bij een schaal wel, heeft implicaties voor de analyses die uitgevoerd kunnen worden.
Hoofdstuk 9 Validiteit
9.1
Over het algemeen kun je zeggen dat validiteit in wetenschappelijk onderzoek gaat over in hoeverre
de metingen en resultaten overeenkomen met ‘de waarheid’.
Valide conclusies vereisen vervolgens dat de verschillende onderdelen van een studie valide zijn:
de conclusies moeten in lijn zijn met de uitkomsten van de analyses
de conclusies moeten in lijn zijn met het studieontwerp
het studieontwerp moet voldoende intern valide zijn
het studieontwerp moet voldoende extern valide zijn
de meetinstrumenten en manipulaties moeten voldoende intern valide zijn
de meetinstrumenten en manipulaties moeten voldoende extern valide zijn
De eerste twee punten volgen uit drie van de principes van wetenschappelijke integriteit:
zorgvuldigheid, eerlijkheid en transparantie.
De laatste vier punten betreffen de validiteit van specifieke onderdelen van een studie: het ontwerp,
met bijzondere aandacht voor de meetinstrumenten en manipulaties; al deze onderdelen moeten
zowel intern als extern valide zijn.
Externe validiteit gaat over de mate waarin conclusies uit de studie te generaliseren zijn naar andere
situaties, maar speelt soms ook een rol bij de validiteit van meetinstrumenten en manipulaties.
Meetinstrumenten en manipulaties zijn alleen valide als die procedure, de stimuli en eventueel de
methode voor responsregistratie ook goed begrepen worden door de deelnemers. Deze voorwaarde
voor validiteit wordt cognitieve validiteit genoemd.
9.2
Cognitieve validiteit betreft de mate waarin de procedure, de stimuli, en bij meetinstrumenten de
responsregistratie door deelnemers worden geïnterpreteerd zoals de bedoeling is. Cognitieve
