MTO-D: Constructie en Analyse van Vragenlijsten:
Inhoud
Hoorcollege 1: Introductie......................................................................................................................2
Hoorcollege 2: Meetbaar maken van constructen.................................................................................4
Hoorcollege 3: Correlaties/associaties...................................................................................................6
Hoorcollege 4: Correlaties, meetfout en betrouwbaarheid....................................................................8
Hoorcollege 5: Schaalscores en betrouwbaarheid.................................................................................9
Hoorcollege 6: Betrouwbaarheid en validiteit......................................................................................10
Hoorcollege 7: Inleiding factoranalyse (FA)..........................................................................................12
Hoorcollege 8: Principale componentenanalyse (PCA).........................................................................14
Hoorcollege 9: PCA rotaties en assumpties..........................................................................................17
Hoorcollege 10: PCA en Confirmative factoranalyse (CFA)...................................................................20
Hoorcollege 11: Vragenlijsten in de praktijk.........................................................................................21
, 2
Hoorcollege 1: Introductie
Vragenlijst: een schriftelijke reeks vragen die aan mensen wordt gesteld om feiten of
meningen over iets te verzamelen.
Het gaat om typisch gedrag (‘typical performance’); vaak vragen die zonder
specifieke context te beantwoorden zijn.
Item: stelling/vraag + antwoordalternatieven.
Voorbeeld:
Stelling: Als ik weet dat de tandarts een tand gaat trekken ben ik al bang als ik in de
wachtkamer zit.
Antwoordalternatieven: (1) Helemaal niet, (2) Een beetje, (3) Helemaal wel
Test vs. Vragenlijst:
Test:
o Meet kennis, kunde, vaardigheid
o Vaak vragen met antwoorden die (gedeeltelijk) ‘juist’ of ‘onjuist’ zijn.
o Doel: vaststellen van iemand maximale vaardigheid.
Vragenlijst:
o Meet typisch gedrag; houdingen, meningen, overtuigingen
o Er zijn geen goed-fout antwoorden
o Doel: één eigenschap isoleren en daarvan zeggen in welke mate iemand die
heeft.
Schaal: een aantal items die een bepaalde eigenschap meet.
Voorbeeld: Vragenlijst om werknemerstevredenheid te meten
Schaal 1: Tevredenheid met de sfeer op het werk (item 1-10 v.d. vragenlijst)
Schaal 2: Tevredenheid met de inhoudelijke taken (item 11-20 v.d. vragenlijst.
Doel van vragenlijstonderzoek: het beantwoorden van onderzoeksvragen en het toetsen van
hypotheses.
Voorbeeld: Ignorance is bliss
Hypothese: Intelligente mensen zijn vaker depressief; Hoe hoger iemands IQ is, des te
meer depressiesymptomen heeft hij.
Twee concepten van belang bij vragenlijstonderzoek:
1. Betrouwbaarheid: meet je consistent?
2. Validiteit: meet je wat je wilt meten?
Kenmerken van vragenlijsten:
Inhoud van vragenlijsten:
o Gedrag: wat doen mensen?
o Overtuigingen: wat is volgens de respondent juist of onjuist?
o Meningen/waarden/attitudes: wat vindt de respondent wenselijk?
o Demografische informatie: kenmerken van de respondent (leeftijd, inkomen,
etc.)
Afname van vragenlijsten:
o Met of zonder interviewer
, 3
o Gebruik van technologie
Type van vragen:
o Open of gesloten vragen
Voordelen van vragenlijsten:
Snelle en efficiënte manier om data te verzamelen
Goedkoop
Geschikt voor onderzoek in grote steekproeven
Nadelen van vragenlijsten:
Lage respons
Antwoorden geven eventueel een vertekend beeld van de werkelijkheid (sociaal-
wenselijke antwoorden)
Enquête: het verzamelen van informatie bij grote groepen mensen d.m.v. een gestructureerde
en systematische dataset, waarbij wordt geprobeerd te achterhalen wat de onderliggende
oorzaak is voor een fenomeen.
, 4
Hoorcollege 2: Meetbaar maken van constructen
Construct: een niet direct observeerbaar (latent) concept; een samenvatting van
karakteristieken, gedrag of attituden die iets gemeenschappelijk hebben.
Probleem: vaak niet direct meetbaar.
Oplossing: indirect meten met behulp van een vragenlijst.
Constructen meetbaar maken:
Heuristische benadering: van abstract tot concreet = conceptualiseren.
1. Ontwikkelen van een eigen nominale definitie.
2. De verschillende aspecten (dimensies) van een construct bepalen en onderverdelen in
sub-dimensies.
3. Dit leidt tot het punt dat de constructen meetbaar zijn: operationele definitie.
Operationaliseren: het proces van een algemeen idee naar een operationele definitie.
Voorbeeld: Sociaal kapitaal:
Nominale definitie: “Social capital consists of networks of social relations which are
characterised by norms of trust and reciprocity. Combined, it is these elements which
are argued to sustain civil society and which enable people to act for mutual benefit.”
Verschillende dimensies: (1) netwerken en (2) normen. Sub-dimensies
Netwerken:
o Type > informeel/formeel > familie/vrienden/buren
o Grootte en capaciteit
Normen:
o Vertrouwen > burgerzaken/… > vertrouwen in legale systeem/kerk/politie
o Wederzijdsheid
Zes methoden voor het construeren van een schaal:
1. Constructmethode
2. Facetmethode
3. Rationele methode
4. Interne methode
5. Prototypische methode
6. Externe methode
1 Constructmethode: gebruikt een theoretisch kader om items uit af te leiden. Hierbij is er
sprake van een homogene set van items, waarbij veel aandacht is voor convergente en
divergente validiteit.
Voorbeeld: Quality of Life of Dementia Patients
2 Facetmethode: gebruikt essentiële gedragsaspecten voor een construct om facetten te
definiëren om items uit af te leiden.
, 5
Voorbeeld facetmethode: Angst voor de tandarts
3 Rationele methode: gebruikt kennis van experts om items uit af te leiden. Hierbij is veel
aandacht voor face validiteit.
4 Interne methode: gebruikt verschillende methodes om een zeer grote set homogene items
te maken.
Voorbeeld: Ontwikkeling van de Big Five of Personality
5 Prototypische methode: gebruikt persoonlijke evaluaties (act nomination) om items uit af
te leiden.
Voorbeeld: Meest prototypische items voor impulsiviteit
6 Externe methode: gebruikt het optimaliseren van de relatie met een extern criterium om
items uit af te leiden. Dit kent een lage face validiteit.
Voorbeeld: Minnesota Multiphasive Personality Inventory
, 6
Hoorcollege 3: Correlaties/associaties
Analysemethoden: stellen betrouwbaarheid en validiteit van een vragenlijst vast, gebaseerd
op de samenhang tussen variabelen. De keuze voor een methode is afhankelijk van het
meetniveau van de variabelen en welk type verband je verwacht.
Meetniveaus: nominaal, ordinaal, interval en ratio
Type uitspraak:
Likert items: geven respondenten op een symmetrische eens-oneens schaal aan in hoeverre
ze het eens zijn met een reeks van stellingen. (Interval niveau)
Voorbeeld:
Likertschaal: een schaal die bestaat uit Likert items.
Waarom is het meetniveau belangrijk? Covariantie en Pearson’s correlatie zijn alleen maar
geschikt voor data op interval- en rationiveau.
Covariantie: een maat voor lineaire samenhang tussen twee kwantitatieve variabelen.
Positief = positieve samenhang
Negatief = negatieve samenhang
Let op: covariantie is gevoelig voor de meeteenheid en is daardoor moeilijk te
interpreteren.
Correlatie: een gestandaardiseerde maat gebaseerd op het concept van covariantie.
Positief = positieve samenhang
Negatief = negatieve samenhang
Let op: correlatie is niet gevoelig voor de meeteenheid
, 7
Formule correlatie:
Voorbeeld correlatie berekenen:
1. Bereken gemiddelde:
x = 15/5 = 30
y = 10/5 = 2
2. Bereken afwijkingsscores:
3. Bereken covariantie:
4. Bereken varianties
5. Berekenen correlatie:
= 8.75 / (15.81 * 0.79) = 8..49 = 0.70
z-scores: gestandaardiseerde scores die niet afhankelijk zijn van de meeteenheid.
Formule z-scores:
Let op! Correlatie is geen causaliteit! Voorbeeld:
Let op! Ecological fallacy: trekken van foutieve conclusies op individueel niveau o.b.v.
verschillen op groepsniveau.
, 8
Hoorcollege 4: Correlaties, meetfout en betrouwbaarheid
Lineaire combinaties (v) : gewogen som van verschillende variabelen.
Formule lineaire combinatie: voor drie variabelen =
Belangrijk als het gaat om het omzetten van individuele itemscores of de scores op
verschillende onderdelen naar één totaalscore.
Eigenschappen correlatie:
1. Gevoelig voor outliers: ongewone observaties; ongewoon ten opzichte van de meeste
observaties. Dit beïnvloed de correlatie.
• Univariate outliers: ongewoon hoge of lage waarde op x of y, te vinden via
een scatterplot.
• Bivariate outliers: ongewone combinatie van waardes op x én y, moeilijk te
vinden.
2. Gevoelig voor restriction of range: de geobserveerde range van scores op X en/of Y
in een steekproef is veel kleiner dan de range van scores op het populatieniveau. De
samenhang tussen twee variabelen wordt hierdoor onderschat.
3. Correlaties kunnen in subgroepen heel anders uitvallen dan in de totale groep.
4. De correlatie is een maat voor lineaire verbanden.
• Als Pearson’s r = 0, betekent dat niet dat x en y geen verband hebben.
5. Correlaties zijn gevoelig voor meetfouten. Hoe onbetrouwbaarder de meting, hoe
zwakker de correlatie.
Meetfout = geobserveerde waarde – (onbekende) ware waarde. Twee soorten:
Toevallige meetfouten: Ruis in de metingen door onvoorspelbare/toevallige factoren.
Gemiddeld genomen is de toevallige meetfout 0.
Systematische meetfouten: Het meetinstrument slaat consistent te hoog of te laag uit,
waardoor dit de correlatie beïnvloedt.
, 9
Hoorcollege 5: Schaalscores en betrouwbaarheid
Output vragenlijsten gebruiken:
Uitspraken over individuen
Uitspraken over bepaalde groepen of teams
Uitspraken toetsen
Klassieke testtheorie: schaalscores berekenen via somscores
Optellen van de antwoorden van een respondent op alle vragen. Elk item krijgt
hetzelfde gewicht
Formule somscore = X = X1 + X2 + … = XJ
Voordeel: maakt analyses makkelijk
Nadeel: maakt niet altijd zinvolle assumpties
Betrouwbaarheid bepalen
Moderne testtheorie: schaalscores berekenen via factorscores
Gewogen somscores
Zie hoorcollege 6
Voordeel: maakt vaker zinvolle assumpties, interne structuur testen
Nadeel: maakt analyses moeilijk
Validiteit bepalen
Somscores kunnen niet zomaar berekend worden voor contra-indicatieve items.
Daarom: hercoderen!
Voorbeeld:
Betrouwbaarheid bepalen:
Formule geobserveerde score (𝑋𝑖) = 𝑋𝑖
=𝑇𝑖+𝐸𝑖
1. Een ware score (𝑇𝑖)
2. Een geheel toevallige meetfout
(𝐸𝑖)
Variantie: verschillen in scores
Var(T): er zijn waarschijnlijk daadwerkelijke verschillen in X, die tot uiting komen in
de antwoorden op de vragenlijst; er is variantie in de ware score.
Var(E): er is variantie in de meetfouten tussen personen.
Formule betrouwbaarheid =
Drie methodes om een schatting te krijgen van 𝑟𝑥𝑥′:
1. Test-hertest correlatie: een test twee keer afnemen en dan de correlatie berekenen;
Het construct moet stabiel zijn, zodat de theorie klopt. Anders is deze test
nutteloos.
2. Split-half methode: de data door tweeën delen om interne consistentie tussen de twee
helften te meten.
, 10
3. Cronbach’s alpha: kijkt naar de samenhang tussen de items en wordt berekend met
behulp van de covariantiematrix.
Formule Cronbach’s alpha =
Voorbeeld:
covariantiematrix
Voorbeeld: Cronbach’s alpha berekenen
Betrouwbaarheidsanalyse in SPSS:
1. Evaluatie van de betrouwbaarheid van de gehele schaal volgens de COTAN-
richtlijnen.
2. Evaluatie van de bijdrage van individuele items aan de betrouwbaarheid
Item-restscore correlatie: de samenhang tussen de score op het item en de
totaalscore op alle andere items. Indicatie of het item hetzelfde meet, en
voldoende onderscheidend. Hoe hoger de item-restscore correlatie, hoe meer
een item bijdraagt aan de testbetrouwbaarheid. Moet positief zijn!
Alpha if item deleted: wat gebeurt er met de betrouwbaarheid als je een item
weglaat. Als een item niet bijdraagt aan de betrouwbaarheid wordt die hoger.
3. Identificeren van slecht passend/functionerende items
Hoorcollege 6: Betrouwbaarheid en validiteit
Meer vragen in een test vergroot de betrouwbaarheid, maar het is wenselijk om een test zo
kort mogelijk te houden.