Onderzoekspracticum cross-sectioneel onderzoek
Thema 1 Cross-sectioneel onderzoek
De leerdoelen behorend bij thema 1 zijn:
Uitleggen wanneer cross-sectionele onderzoeksopzetten bruikbaar zijn
Uitleggen wat constructen zijn
De vier vaak veronderstelde ontologische soorten bij psychologische constructen uitleggen
Uitleggen uit welke drie onderdelen meetinstrumenten bestaan
De verschillende meetmodellen herkennen
Uitleggen wat validiteit is
Uitleggen hoe cognitieve validiteit zich verhoudt tot constructvaliditeit
De samenhang tussen de in meetinstrumenten gebruikte stimuli en constructinhoud uitleggen
Uitleggen wat het verschil is tussen schalen en indices
Uitleggen hoe causaliteit zich verhoudt tot cross-sectioneel onderzoek
1.1 Wat is cross-sectioneel onderzoek
Cross-sectioneel oz: Heeft betrekking op het verzamelen van kwantitatieve data op één
meetmoment. Cross-sectioneel onderzoek kan alleen aantonen dat
variabelen met elkaar samenhangen. De analysemethode in de kern van
cross-sectioneel onderzoek is dan ook de correlatie-analyse.
Multipele regressie: Regressie-analyse met meerdere voorspellers, tijdens deze cursus wordt de
correlatie-analyse uitgebreid naar de multipele regressie-analyse.
Correlatie-analyse versus regressie-analyse:
Correlatie: geeft aan hoe sterk twee variabelen met elkaar samenhangen (wederkerigheid)
Regressie: het voorspellen van de afhankelijke variabele uit de onafhankelijke variabele
Met cross-sectioneel onderzoek kunnen geen uitspraken gedaan worden over:
Processen die zich over de tijd ontvouwen (longitudinaal design vereist)
Causale verbanden (experimenteel design vereist)
Waarom cross-sectioneel onderzoek toch belangrijk is:
Erg geschikt voor het ontwikkelen en onderzoeken van meetinstrumenten
Eenvoudige en efficiënte manier om verbanden tussen variabelen te onderzoeken
Zinvol in toegepast onderzoek waar op basis van een theorie aannames worden gedaan
Toegepast onderzoek: Men stelt bijvoorbeeld dat het dragen van een mondkapje in de supermarkt
tijdens de pandemie wordt voorspeld door de veronderstelde voor- en
nadelen. Zonder deze theorie zelf te toetsen kan het zinvol zijn om het
oorzakelijke verband aan te nemen en onderzoek te doen naar de voor- en
nadelen van mondkapjes. Zo kan men bijvoorbeeld kijken welke voor- en
nadelen het sterkst samenhangen met het dragen van een mondkapje.
1.2 Constructen
,Construct: Een psychologische variabele, zoals door een theorie gedefinieerd.
Psychologische constructen worden ook wel latente constructen genoemd,
omdat ze niet rechtstreeks te observeren zijn. Ook zijn er vaak geen objectief
‘goede antwoorden’ te geven, omdat de meeste constructen geen algemeen
gebruikte meeteenheden kennen. Constructen kunnen worden gebruikt om
andere, direct observeerbare, variabelen te voorspellen of beïnvloeden.
Vier manieren, oftewel ontologische perspectieven, om naar constructen te kijken:
1. Natuurlijke soorten → psychologische constructen meestal niet
Bestaan los van de mensheid, namen en definities (veranderen niet als je ze anders noemt).
o Atomen en moleculen
2. Sociale soorten → veel psychologische constructen
Bestaan niet los van wat mensen ervan vinden en ermee doen, maar worden juist
uitgevonden door mensen om de wereld om hen heen overzichtelijker te maken.
o Persoonlijkheid
3. Praktische soorten
De waarde wordt ontleend aan hoe nuttig ze zijn, niet belangrijk of ze wel echt zo bestaan.
o ‘Methostatie’ (gemiddelde scores voor methoden- en statistiek)
4. Complexe soorten → psychologische constructen steeds vaker
Beschouwt constructen als een verzameling eigenschappen die vaak (hoewel niet
noodzakelijk) samen voorkomen, omdat ze elkaar wederzijds beïnvloeden.
o Extraverte mensen (met een netwerk van eigenschappen)
Vinden sociaal gezelschap prettig
Staan vaak op de voorgrond
Starten vaak gesprekken
Er is geen standpunt dat duidelijk ‘het juiste’ perspectief biedt op psychologische constructen!
Waarom het in de psychologie belangrijk is om de wetenschappelijke methode streng toe te passen:
Psychologische constructen zijn niet direct observeerbaar
Er zijn allerlei ontologische posities te verdedigen
Mensen zijn zo goed in patroonherkenning dat ze vaak niet bestaande patronen waarnemen
Mensen denken dat ze zelf prima na kunnen denken over hoe zij en anderen werken
Definitie construct: Omdat constructen niet rechtstreeks observeerbaar zijn, moeten ze zodanig
expliciet gedefinieerd zijn dat de definitie helderheid geeft over de inhoud.
Voorbeelden bij de verschillende ontologische soorten:
Appels: natuurlijke soort (eenduidige definitie die in alle gevallen bepaalt of het een appel is)
Caesar salade: sociale soort (wat het is hangt af van wat mensen afspreken dat het is)
Popmuziek: sociale/complexe soort (mensen spreken af wat het is, verzameling kenmerken)
Zwaartekracht: natuurlijke soort (er is een eenduidige definitie van)
Vrijheid: natuurlijke/sociale/complexe soort (is op verschillende manieren te classificeren)
Zelfvertrouwen: sociale (evt. complexe) soort (definitie verschilt per cultuur en over tijd)
1.3 Meetinstrumenten
,Het proces waarmee constructen meetbaar worden gemaakt bestaat uit twee stappen:
1. Operationalisatie van het construct
Het specificeren van een of meer dingen (er kunnen meerdere operationalisaties zijn) die wél
rechtstreeks gemeten kunnen worden en die informatief zijn voor het betreffende construct.
o Temperatuur kun je operationaliseren als ‘het volume van kwik’
2. Selecteren/ontwikkelen van een meetinstrument om de operationalisatie te meten
Het doel is om informatie te krijgen over een construct, er wordt iets gemeten maar niet
veranderd (voor een operationalisatie kunnen meerdere meetinstrumenten bestaan).
o ‘Het volume van kwik’ is te meten door een hoeveelheid in een buisje te doen
Twee dingen die het meten van psychologische constructen problematisch maken:
1. Het gebrek aan meeteenheden
2. Het gebrek aan mogelijkheden om meetinstrumenten te ijken
Voorafgaand aan het kiezen van meetinstrumenten voor constructen moeten twee zaken helder zijn:
1. Duidelijke definitie van het construct (voldoende uitgewerkt en coherent theoretisch kader)
Geeft aan welke aspecten van de menselijke psychologie er onder vallen (geen opsomming).
2. Duidelijke operationalisatie
Deze moet helemaal consistent zijn met de definitie van het construct.
Meetinstrumenten van psychologische constructen bestaan uit drie onderdelen:
1. Procedure
2. Eén of meer stimuli (dat hoeft niet)
3. Responsregistratie (de respons is het gemeten gedrag)
Item: Een enkele responsregistratie, meestal vergezeld van een procedure om die
toe te passen, en bijna altijd vergezeld van een of meerdere stimuli. Het is
een onderdeel van een meetinstrument dat een enkel datapunt oplevert. Het
simpelste meetinstrument bevat maar één item en levert één datapunt op.
Enkele voorbeelden van items zijn:
Een vraag in een vragenlijst
Een afbeelding in een computertaak waarbij de reactietijd wordt geregistreerd
Een hartslagmeting
Voor een vraag in een papieren vragenlijst zijn de drie componenten als volgt:
1. De responsregistratie gebeurt middels een pen en geprinte vakjes
2. De stimuli zijn:
o De vraag (bepaald lettertype, bepaalde kleur etc.)
o De vakjes die kunnen worden aangekruist
o Eventuele labels bij de vakjes
o Een eventuele inleiding of uitleg bij de vraag
3. De procedure is informatie over positie van stimuli of hoe het item moet worden aangeboden
, Validiteit item: Of het item het construct ook echt meet. Omdat de procedure, stimuli en
responsregistratie samen bepalen welke aspecten van de psychologie een rol
spelen bij het produceren van de respons, bepalen ze samen de validiteit.
Een item dat helemaal valide is, heeft:
Cognitieve validiteit
Deelnemers interpreteren de stimulus, de procedure en de responsregistratie zoals bedoeld.
Constructvaliditeit
Geregistreerde respons hangt af van het betreffende construct, niet van andere constructen.
Meetfout: Alle toevallige, externe zaken die een meting beïnvloeden, zoals het weer en
de stemming van de deelnemer. Zelfs bij een helemaal valide item zal de
respons toch willekeurig variëren van meting tot meting. Meetfout en
betrouwbaarheid complementeren elkaar, als een item 20% meetfout heeft,
dan wordt gesteld dat de betrouwbaarheid van het item 80% is.
Betrouwbaarheid: De mate waarin een meting bij herhaling hetzelfde resultaat oplevert. De
betrouwbaarheid is minder belangrijk dan de validiteit.
Validiteit en betrouwbaarheid zijn geen itemkenmerken, maar kenmerken van één toepassing ervan!
Meetmodel: Beschrijft wat voor soort construct er gemeten wordt op basis van de
ontologische positie ten opzichte van dat construct.
Er zijn verschillende meetmodellen te onderscheiden:
Reflectief meetmodel → bij natuurlijke en sociale soorten (figuur 3.3)
Er wordt aangenomen dat de scores op de items worden veroorzaakt door hetzelfde
construct, de scores op de items zijn een ‘reflectie’ van het onderliggende latente construct.
o Het ‘gewicht’ van elk item wordt bijgesteld a.d.h.v. de meetfout en validiteit
De mate waarin elk item samenhangt met andere items is indicatief voor de
betrouwbaarheid en de validiteit (dit kan worden geverifieerd met factoranalyse).
Een item met veel meetfout hangt niet sterk samen met andere items
Een item dat (deels) een ander construct meet hangt ook niet sterk samen
Formatief meetmodel → bij praktische soorten (figuur 3.4)
Het construct wordt gedefinieerd als de scores op de items (de scores vormen het construct).
o ‘Gewichten’ worden toegekend a.d.h.v. het aandeel van het item in het construct
De bijbehorende theorie levert een model voor de samenvoeging van itemscores.
Netwerkmodel → bij complexe soorten (figuur 3.5)
Het construct bestaat uit een patroon van samenhang tussen verschillende aspecten van de
menselijke psychologie die elkaar beïnvloeden (construct bestaat uit relaties tussen items).
o Itemscores worden niet samengevoegd, er wordt naar de netwerken zelf gekeken
Schalen versus indices:
Schalen: alle items meten hetzelfde construct → reflectief meetmodel
o Het aggregaat (samenstel) van items is een maat voor het betreffende construct
Indices: items meten niet hetzelfde construct → formatief meetmodel
Thema 1 Cross-sectioneel onderzoek
De leerdoelen behorend bij thema 1 zijn:
Uitleggen wanneer cross-sectionele onderzoeksopzetten bruikbaar zijn
Uitleggen wat constructen zijn
De vier vaak veronderstelde ontologische soorten bij psychologische constructen uitleggen
Uitleggen uit welke drie onderdelen meetinstrumenten bestaan
De verschillende meetmodellen herkennen
Uitleggen wat validiteit is
Uitleggen hoe cognitieve validiteit zich verhoudt tot constructvaliditeit
De samenhang tussen de in meetinstrumenten gebruikte stimuli en constructinhoud uitleggen
Uitleggen wat het verschil is tussen schalen en indices
Uitleggen hoe causaliteit zich verhoudt tot cross-sectioneel onderzoek
1.1 Wat is cross-sectioneel onderzoek
Cross-sectioneel oz: Heeft betrekking op het verzamelen van kwantitatieve data op één
meetmoment. Cross-sectioneel onderzoek kan alleen aantonen dat
variabelen met elkaar samenhangen. De analysemethode in de kern van
cross-sectioneel onderzoek is dan ook de correlatie-analyse.
Multipele regressie: Regressie-analyse met meerdere voorspellers, tijdens deze cursus wordt de
correlatie-analyse uitgebreid naar de multipele regressie-analyse.
Correlatie-analyse versus regressie-analyse:
Correlatie: geeft aan hoe sterk twee variabelen met elkaar samenhangen (wederkerigheid)
Regressie: het voorspellen van de afhankelijke variabele uit de onafhankelijke variabele
Met cross-sectioneel onderzoek kunnen geen uitspraken gedaan worden over:
Processen die zich over de tijd ontvouwen (longitudinaal design vereist)
Causale verbanden (experimenteel design vereist)
Waarom cross-sectioneel onderzoek toch belangrijk is:
Erg geschikt voor het ontwikkelen en onderzoeken van meetinstrumenten
Eenvoudige en efficiënte manier om verbanden tussen variabelen te onderzoeken
Zinvol in toegepast onderzoek waar op basis van een theorie aannames worden gedaan
Toegepast onderzoek: Men stelt bijvoorbeeld dat het dragen van een mondkapje in de supermarkt
tijdens de pandemie wordt voorspeld door de veronderstelde voor- en
nadelen. Zonder deze theorie zelf te toetsen kan het zinvol zijn om het
oorzakelijke verband aan te nemen en onderzoek te doen naar de voor- en
nadelen van mondkapjes. Zo kan men bijvoorbeeld kijken welke voor- en
nadelen het sterkst samenhangen met het dragen van een mondkapje.
1.2 Constructen
,Construct: Een psychologische variabele, zoals door een theorie gedefinieerd.
Psychologische constructen worden ook wel latente constructen genoemd,
omdat ze niet rechtstreeks te observeren zijn. Ook zijn er vaak geen objectief
‘goede antwoorden’ te geven, omdat de meeste constructen geen algemeen
gebruikte meeteenheden kennen. Constructen kunnen worden gebruikt om
andere, direct observeerbare, variabelen te voorspellen of beïnvloeden.
Vier manieren, oftewel ontologische perspectieven, om naar constructen te kijken:
1. Natuurlijke soorten → psychologische constructen meestal niet
Bestaan los van de mensheid, namen en definities (veranderen niet als je ze anders noemt).
o Atomen en moleculen
2. Sociale soorten → veel psychologische constructen
Bestaan niet los van wat mensen ervan vinden en ermee doen, maar worden juist
uitgevonden door mensen om de wereld om hen heen overzichtelijker te maken.
o Persoonlijkheid
3. Praktische soorten
De waarde wordt ontleend aan hoe nuttig ze zijn, niet belangrijk of ze wel echt zo bestaan.
o ‘Methostatie’ (gemiddelde scores voor methoden- en statistiek)
4. Complexe soorten → psychologische constructen steeds vaker
Beschouwt constructen als een verzameling eigenschappen die vaak (hoewel niet
noodzakelijk) samen voorkomen, omdat ze elkaar wederzijds beïnvloeden.
o Extraverte mensen (met een netwerk van eigenschappen)
Vinden sociaal gezelschap prettig
Staan vaak op de voorgrond
Starten vaak gesprekken
Er is geen standpunt dat duidelijk ‘het juiste’ perspectief biedt op psychologische constructen!
Waarom het in de psychologie belangrijk is om de wetenschappelijke methode streng toe te passen:
Psychologische constructen zijn niet direct observeerbaar
Er zijn allerlei ontologische posities te verdedigen
Mensen zijn zo goed in patroonherkenning dat ze vaak niet bestaande patronen waarnemen
Mensen denken dat ze zelf prima na kunnen denken over hoe zij en anderen werken
Definitie construct: Omdat constructen niet rechtstreeks observeerbaar zijn, moeten ze zodanig
expliciet gedefinieerd zijn dat de definitie helderheid geeft over de inhoud.
Voorbeelden bij de verschillende ontologische soorten:
Appels: natuurlijke soort (eenduidige definitie die in alle gevallen bepaalt of het een appel is)
Caesar salade: sociale soort (wat het is hangt af van wat mensen afspreken dat het is)
Popmuziek: sociale/complexe soort (mensen spreken af wat het is, verzameling kenmerken)
Zwaartekracht: natuurlijke soort (er is een eenduidige definitie van)
Vrijheid: natuurlijke/sociale/complexe soort (is op verschillende manieren te classificeren)
Zelfvertrouwen: sociale (evt. complexe) soort (definitie verschilt per cultuur en over tijd)
1.3 Meetinstrumenten
,Het proces waarmee constructen meetbaar worden gemaakt bestaat uit twee stappen:
1. Operationalisatie van het construct
Het specificeren van een of meer dingen (er kunnen meerdere operationalisaties zijn) die wél
rechtstreeks gemeten kunnen worden en die informatief zijn voor het betreffende construct.
o Temperatuur kun je operationaliseren als ‘het volume van kwik’
2. Selecteren/ontwikkelen van een meetinstrument om de operationalisatie te meten
Het doel is om informatie te krijgen over een construct, er wordt iets gemeten maar niet
veranderd (voor een operationalisatie kunnen meerdere meetinstrumenten bestaan).
o ‘Het volume van kwik’ is te meten door een hoeveelheid in een buisje te doen
Twee dingen die het meten van psychologische constructen problematisch maken:
1. Het gebrek aan meeteenheden
2. Het gebrek aan mogelijkheden om meetinstrumenten te ijken
Voorafgaand aan het kiezen van meetinstrumenten voor constructen moeten twee zaken helder zijn:
1. Duidelijke definitie van het construct (voldoende uitgewerkt en coherent theoretisch kader)
Geeft aan welke aspecten van de menselijke psychologie er onder vallen (geen opsomming).
2. Duidelijke operationalisatie
Deze moet helemaal consistent zijn met de definitie van het construct.
Meetinstrumenten van psychologische constructen bestaan uit drie onderdelen:
1. Procedure
2. Eén of meer stimuli (dat hoeft niet)
3. Responsregistratie (de respons is het gemeten gedrag)
Item: Een enkele responsregistratie, meestal vergezeld van een procedure om die
toe te passen, en bijna altijd vergezeld van een of meerdere stimuli. Het is
een onderdeel van een meetinstrument dat een enkel datapunt oplevert. Het
simpelste meetinstrument bevat maar één item en levert één datapunt op.
Enkele voorbeelden van items zijn:
Een vraag in een vragenlijst
Een afbeelding in een computertaak waarbij de reactietijd wordt geregistreerd
Een hartslagmeting
Voor een vraag in een papieren vragenlijst zijn de drie componenten als volgt:
1. De responsregistratie gebeurt middels een pen en geprinte vakjes
2. De stimuli zijn:
o De vraag (bepaald lettertype, bepaalde kleur etc.)
o De vakjes die kunnen worden aangekruist
o Eventuele labels bij de vakjes
o Een eventuele inleiding of uitleg bij de vraag
3. De procedure is informatie over positie van stimuli of hoe het item moet worden aangeboden
, Validiteit item: Of het item het construct ook echt meet. Omdat de procedure, stimuli en
responsregistratie samen bepalen welke aspecten van de psychologie een rol
spelen bij het produceren van de respons, bepalen ze samen de validiteit.
Een item dat helemaal valide is, heeft:
Cognitieve validiteit
Deelnemers interpreteren de stimulus, de procedure en de responsregistratie zoals bedoeld.
Constructvaliditeit
Geregistreerde respons hangt af van het betreffende construct, niet van andere constructen.
Meetfout: Alle toevallige, externe zaken die een meting beïnvloeden, zoals het weer en
de stemming van de deelnemer. Zelfs bij een helemaal valide item zal de
respons toch willekeurig variëren van meting tot meting. Meetfout en
betrouwbaarheid complementeren elkaar, als een item 20% meetfout heeft,
dan wordt gesteld dat de betrouwbaarheid van het item 80% is.
Betrouwbaarheid: De mate waarin een meting bij herhaling hetzelfde resultaat oplevert. De
betrouwbaarheid is minder belangrijk dan de validiteit.
Validiteit en betrouwbaarheid zijn geen itemkenmerken, maar kenmerken van één toepassing ervan!
Meetmodel: Beschrijft wat voor soort construct er gemeten wordt op basis van de
ontologische positie ten opzichte van dat construct.
Er zijn verschillende meetmodellen te onderscheiden:
Reflectief meetmodel → bij natuurlijke en sociale soorten (figuur 3.3)
Er wordt aangenomen dat de scores op de items worden veroorzaakt door hetzelfde
construct, de scores op de items zijn een ‘reflectie’ van het onderliggende latente construct.
o Het ‘gewicht’ van elk item wordt bijgesteld a.d.h.v. de meetfout en validiteit
De mate waarin elk item samenhangt met andere items is indicatief voor de
betrouwbaarheid en de validiteit (dit kan worden geverifieerd met factoranalyse).
Een item met veel meetfout hangt niet sterk samen met andere items
Een item dat (deels) een ander construct meet hangt ook niet sterk samen
Formatief meetmodel → bij praktische soorten (figuur 3.4)
Het construct wordt gedefinieerd als de scores op de items (de scores vormen het construct).
o ‘Gewichten’ worden toegekend a.d.h.v. het aandeel van het item in het construct
De bijbehorende theorie levert een model voor de samenvoeging van itemscores.
Netwerkmodel → bij complexe soorten (figuur 3.5)
Het construct bestaat uit een patroon van samenhang tussen verschillende aspecten van de
menselijke psychologie die elkaar beïnvloeden (construct bestaat uit relaties tussen items).
o Itemscores worden niet samengevoegd, er wordt naar de netwerken zelf gekeken
Schalen versus indices:
Schalen: alle items meten hetzelfde construct → reflectief meetmodel
o Het aggregaat (samenstel) van items is een maat voor het betreffende construct
Indices: items meten niet hetzelfde construct → formatief meetmodel
