HC MTO-D Constructie en analyse van vragenlijsten, Emma Hamm 2078889
HC MAW-NL: Constructie en analyse
van vragenlijsten
1: Introductie 1
2: Meetbaar maken van constructen 5
3: Correlaties en covarianties
(gedeeltelijk herhaling MTO-B) 12
4: Correlaties, meetfout en betrouwbaarheid 21
5: Schaalscores en betrouwbaarheid 28
6: Betrouwbaarheid deel 2 + validiteit 38
7: Correctie voor attenuatie & inleiding factoranalyse 50
8: Vervolg Principale componentenanalyse (PCA) 62
9: PCA: Rotaties en assumpties 73
10: PCA & Confirmatieve factoranalyse (CFA) 85
11: Vragenlijsten in de praktijk 98
12: Tentamenvragen + vragen 106
TENTAMENVRAGEN MTO-D 109
0
, HC MTO-D Constructie en analyse van vragenlijsten, Emma Hamm 2078889
1: Introductie
(meet)instrumenten nodig om (verschillen in) deze eigenschappen zichtbaar te maken.
● Veel gebruikte methode: vragenlijsten
→ aantal kwaliteitscriteria voldoen, zodat je de meting betrouwbaar en valide is!!!
IN DEZE CURSUS
1. Operationaliseren: Niet-direct observeerbare eigenschappen vertalen naar concrete vragen
2. Dimensionaliteit Onderzoek: (concept)vragen groeperen tot betekenisvolle eenheden (schalen)
3. Betrouwbaarheidsanalyses en validiteitsonderzoek: de (technische) kwaliteit van de
schaalscores onderzoeken
DEFINITIE
“a written set of questions that are given to people in order to collect facts or opinions about something”
“typisch gedrag” (typical performance); vaak vragen die zonder specifieke context te beantwoorden
zijn. Dus over het algemeen niet hoe gedrag en opinies kunnen veranderen door een andere context,
maar meer gedrag of mening van iemand in het algemeen.
→ vragenlijst; betrekking op TYPISCH GEDRAG
←→ “maximum performance”: onderzoeken wat iemand kent/kan
(bv intelligenties tests, tentamens, kennistoets, stages, work-sample-test)
VERSCHIL TEST EN VRAGENLIJSTEN (wat je meet is verschillend)
Test (toets) Vragenlijst (questionnaire, inventory)
- MAXIMUM PERFORMANCE - TYPICAL PERFORMANCE
→ Meet kennis, kunde, vaardigheid → Meet typisch gedrag (houdingen,
(prestaties) meningen, overtuigingen)
- Vaak vragen met antwoorden die (gedeeltelijk) - Geen goed-fout antwoorden (hooguit meer of
“juist” of “onjuist” zijn minder sociaal wenselijke antwoorden...)
- Doel: vaststellen van iemands maximale
vaardigheid
Hoe hoger score; hoe beter je bent in iets
BV: BV:
”When I say go, draw a
line through each red
square and yellow
triangle”
Vragen kunnen gebiased zijn naar groepen
Bv; examen Frans over mode beter gemaakt door
meiden (thema sprak hen meer aan)
1
, HC MTO-D Constructie en analyse van vragenlijsten, Emma Hamm 2078889
BETEKENIS ITEM
Definitie vragenlijst/test item = stelling/vraag + antwoordalternatieven
1: geen angst, 5: enorm veel angst
→ aantal vragen stellen, overall score nemen die iets zegt over tandartsangst
Wat doet een vragenlijst (of een test)?
Proberen de aspecten te identificeren. Bv; hoe realistisch is iemand?
→ je hoeft het niet eens te zijn. Sociale wetenschap bediscussieert eindeloos
Onderzoek gericht op in kaart brengen van eigenschappen.
Niet 1 vragenlijst. Je probeert eerder 1 eigenschap te isoleren, en daarvan te zeggen in welke mate
iemand die heeft (bv; IQ, werknemerstevredenheid, …)
→ een niet volledige beschrijving van realiteit, maar dit is met opzet! We willen iets dat een betekenisvolle
eenheid is
Met meetinstrument: scores die verschillen tussen mensen weergeven.
Zijn een reflectie van niet-observeerbare verschillen
METEN: toekennen van scores die iets zeggen op een zinvolle manier over een betekenisvolle
eigenschap
Vragenlijst => schalen
- We gebruiken vragenlijsten om eigenschappen te isoleren en daarvan te zeggen in welke mate
iemand die heeft (bijv. tevredenheid met werk, kwaliteit van leven, ...)
- SCHAAL: Een samenhangend (vaste) set van items die een bepaalde eigenschap meet
Een vragenlijst kan meerdere schalen omvatten.
2
, HC MTO-D Constructie en analyse van vragenlijsten, Emma Hamm 2078889
- Bijvoorbeeld: vragenlijst om werknemers-tevredenheid te meten:
Schaal 1: Tevredenheid met de sfeer op het werk; (item 1-10 v.d. vragenlijst)
Schaal 2: Tevredenheid met de inhoudelijke taken (item 11-20 v.d. vragenlijst)
→ Hoe hoger de scores op schaal, hoe meer tevreden
Nut
Uiteindelijk zijn wij in sociaal wetenschappelijk onderzoek geïnteresseerd in relaties tussen fenomenen en
de mogelijke verklaringen daarvoor (theorieën).
BV: : “Ignorance is bliss” Oftewel: “Intelligente mensen zijn vaker depressief”
→
Zijn intelligente mensen vaker depressief? (gem. genomen)
● Constructen (eigenschappen) die wij niet direct kunnen observeren moeten wij operationaliseren
en meetbaar maken
Voor het tweede deel (het meten) kunnen wij een vragenlijst gebruiken als het gaat om typische
gedrag.
● VB vragenlijstonderzoek
○ Hypothese: Intelligente mensen zijn (gemiddelde genomen) vaker depressief (‘Ignorance is bliss’)
○ → Dit kunnen wij toetsen door te kijken naar het verband tussen intelligentie en depressie, e.g.
predictie: “Hoe hoger iemands IQ is, des te meer depressie symptomen
(gemiddeld genomen) iemand heeft”
○ → Meten van intelligente & depressie: → Test / vragenlijst
○ Benodigdheden: steekproef, manier om intelligentie en depressie te meten
Van iets algemeens (intelligentie, depressie ) naar iets concreets (IQ, number of
depression symptoms on the dsm-v) ⇒ operationalisatie
Beide concrete elementen met elkaar vergelijken
Meten in de sociale wetenschappen
- geïnteresseerd in eigenschappen die niet direct observeerbaar zijn (niet direct observeren en
vertalen naar een meetwaarde)
- Bijv. de intelligentie van een potentiële werknemer (HR), de kwaliteit van leven in verschillende
landen (sociologie), of de werkcultuur in verschillende organisaties (OW)
- geen “echte” waarde, maar moeten we vaak een benadering maken
- → Vragenlijsten: maar een benadering van iets, nooit 100% foutvrij
- Alsnog vaak belangrijke beslissingen gemaakt op basis van vragenlijsten!! (e.g., promotie van
werknemers, voortzetten van therapie)
- Kwaliteit = !!! (zie betrouwbaarheid & validiteit. ONDERSCHEID GOED KENNEN!)
1. BETROUWBAARHEID
de herhaalbaarheid/precisie waarmee wij meten; d.w.z., vinden we dezelfde resultaten zouden
we de test/vragenlijst opnieuw afnemen onder dezelfde omstandigheden.
- We zullen nooit exact dezelfde resultaten krijgen => meetfouten!
(toevallige random factoren spelen rol)
- Hoe kleiner de meetfouten, hoe nauwkeuriger (preciezer) onze meting.
- noodzakelijke maar niet- voldoende voorwaarde voor validiteit:
dus niet-betrouwbaar = zeker niet- valide; wel-betrouwbaar = misschien valide (moet
nader onderzocht worden).
Als ik vragenlijst nu afneem en doe het morgen opnieuw, zelfde scores dan??
3
HC MAW-NL: Constructie en analyse
van vragenlijsten
1: Introductie 1
2: Meetbaar maken van constructen 5
3: Correlaties en covarianties
(gedeeltelijk herhaling MTO-B) 12
4: Correlaties, meetfout en betrouwbaarheid 21
5: Schaalscores en betrouwbaarheid 28
6: Betrouwbaarheid deel 2 + validiteit 38
7: Correctie voor attenuatie & inleiding factoranalyse 50
8: Vervolg Principale componentenanalyse (PCA) 62
9: PCA: Rotaties en assumpties 73
10: PCA & Confirmatieve factoranalyse (CFA) 85
11: Vragenlijsten in de praktijk 98
12: Tentamenvragen + vragen 106
TENTAMENVRAGEN MTO-D 109
0
, HC MTO-D Constructie en analyse van vragenlijsten, Emma Hamm 2078889
1: Introductie
(meet)instrumenten nodig om (verschillen in) deze eigenschappen zichtbaar te maken.
● Veel gebruikte methode: vragenlijsten
→ aantal kwaliteitscriteria voldoen, zodat je de meting betrouwbaar en valide is!!!
IN DEZE CURSUS
1. Operationaliseren: Niet-direct observeerbare eigenschappen vertalen naar concrete vragen
2. Dimensionaliteit Onderzoek: (concept)vragen groeperen tot betekenisvolle eenheden (schalen)
3. Betrouwbaarheidsanalyses en validiteitsonderzoek: de (technische) kwaliteit van de
schaalscores onderzoeken
DEFINITIE
“a written set of questions that are given to people in order to collect facts or opinions about something”
“typisch gedrag” (typical performance); vaak vragen die zonder specifieke context te beantwoorden
zijn. Dus over het algemeen niet hoe gedrag en opinies kunnen veranderen door een andere context,
maar meer gedrag of mening van iemand in het algemeen.
→ vragenlijst; betrekking op TYPISCH GEDRAG
←→ “maximum performance”: onderzoeken wat iemand kent/kan
(bv intelligenties tests, tentamens, kennistoets, stages, work-sample-test)
VERSCHIL TEST EN VRAGENLIJSTEN (wat je meet is verschillend)
Test (toets) Vragenlijst (questionnaire, inventory)
- MAXIMUM PERFORMANCE - TYPICAL PERFORMANCE
→ Meet kennis, kunde, vaardigheid → Meet typisch gedrag (houdingen,
(prestaties) meningen, overtuigingen)
- Vaak vragen met antwoorden die (gedeeltelijk) - Geen goed-fout antwoorden (hooguit meer of
“juist” of “onjuist” zijn minder sociaal wenselijke antwoorden...)
- Doel: vaststellen van iemands maximale
vaardigheid
Hoe hoger score; hoe beter je bent in iets
BV: BV:
”When I say go, draw a
line through each red
square and yellow
triangle”
Vragen kunnen gebiased zijn naar groepen
Bv; examen Frans over mode beter gemaakt door
meiden (thema sprak hen meer aan)
1
, HC MTO-D Constructie en analyse van vragenlijsten, Emma Hamm 2078889
BETEKENIS ITEM
Definitie vragenlijst/test item = stelling/vraag + antwoordalternatieven
1: geen angst, 5: enorm veel angst
→ aantal vragen stellen, overall score nemen die iets zegt over tandartsangst
Wat doet een vragenlijst (of een test)?
Proberen de aspecten te identificeren. Bv; hoe realistisch is iemand?
→ je hoeft het niet eens te zijn. Sociale wetenschap bediscussieert eindeloos
Onderzoek gericht op in kaart brengen van eigenschappen.
Niet 1 vragenlijst. Je probeert eerder 1 eigenschap te isoleren, en daarvan te zeggen in welke mate
iemand die heeft (bv; IQ, werknemerstevredenheid, …)
→ een niet volledige beschrijving van realiteit, maar dit is met opzet! We willen iets dat een betekenisvolle
eenheid is
Met meetinstrument: scores die verschillen tussen mensen weergeven.
Zijn een reflectie van niet-observeerbare verschillen
METEN: toekennen van scores die iets zeggen op een zinvolle manier over een betekenisvolle
eigenschap
Vragenlijst => schalen
- We gebruiken vragenlijsten om eigenschappen te isoleren en daarvan te zeggen in welke mate
iemand die heeft (bijv. tevredenheid met werk, kwaliteit van leven, ...)
- SCHAAL: Een samenhangend (vaste) set van items die een bepaalde eigenschap meet
Een vragenlijst kan meerdere schalen omvatten.
2
, HC MTO-D Constructie en analyse van vragenlijsten, Emma Hamm 2078889
- Bijvoorbeeld: vragenlijst om werknemers-tevredenheid te meten:
Schaal 1: Tevredenheid met de sfeer op het werk; (item 1-10 v.d. vragenlijst)
Schaal 2: Tevredenheid met de inhoudelijke taken (item 11-20 v.d. vragenlijst)
→ Hoe hoger de scores op schaal, hoe meer tevreden
Nut
Uiteindelijk zijn wij in sociaal wetenschappelijk onderzoek geïnteresseerd in relaties tussen fenomenen en
de mogelijke verklaringen daarvoor (theorieën).
BV: : “Ignorance is bliss” Oftewel: “Intelligente mensen zijn vaker depressief”
→
Zijn intelligente mensen vaker depressief? (gem. genomen)
● Constructen (eigenschappen) die wij niet direct kunnen observeren moeten wij operationaliseren
en meetbaar maken
Voor het tweede deel (het meten) kunnen wij een vragenlijst gebruiken als het gaat om typische
gedrag.
● VB vragenlijstonderzoek
○ Hypothese: Intelligente mensen zijn (gemiddelde genomen) vaker depressief (‘Ignorance is bliss’)
○ → Dit kunnen wij toetsen door te kijken naar het verband tussen intelligentie en depressie, e.g.
predictie: “Hoe hoger iemands IQ is, des te meer depressie symptomen
(gemiddeld genomen) iemand heeft”
○ → Meten van intelligente & depressie: → Test / vragenlijst
○ Benodigdheden: steekproef, manier om intelligentie en depressie te meten
Van iets algemeens (intelligentie, depressie ) naar iets concreets (IQ, number of
depression symptoms on the dsm-v) ⇒ operationalisatie
Beide concrete elementen met elkaar vergelijken
Meten in de sociale wetenschappen
- geïnteresseerd in eigenschappen die niet direct observeerbaar zijn (niet direct observeren en
vertalen naar een meetwaarde)
- Bijv. de intelligentie van een potentiële werknemer (HR), de kwaliteit van leven in verschillende
landen (sociologie), of de werkcultuur in verschillende organisaties (OW)
- geen “echte” waarde, maar moeten we vaak een benadering maken
- → Vragenlijsten: maar een benadering van iets, nooit 100% foutvrij
- Alsnog vaak belangrijke beslissingen gemaakt op basis van vragenlijsten!! (e.g., promotie van
werknemers, voortzetten van therapie)
- Kwaliteit = !!! (zie betrouwbaarheid & validiteit. ONDERSCHEID GOED KENNEN!)
1. BETROUWBAARHEID
de herhaalbaarheid/precisie waarmee wij meten; d.w.z., vinden we dezelfde resultaten zouden
we de test/vragenlijst opnieuw afnemen onder dezelfde omstandigheden.
- We zullen nooit exact dezelfde resultaten krijgen => meetfouten!
(toevallige random factoren spelen rol)
- Hoe kleiner de meetfouten, hoe nauwkeuriger (preciezer) onze meting.
- noodzakelijke maar niet- voldoende voorwaarde voor validiteit:
dus niet-betrouwbaar = zeker niet- valide; wel-betrouwbaar = misschien valide (moet
nader onderzocht worden).
Als ik vragenlijst nu afneem en doe het morgen opnieuw, zelfde scores dan??
3
