MTO-D-MAW: Constructie en analyse van vragenlijsten
Tilburg University Hoorcolleges
Deel 1: Construeren van - Constructie van vragenlijsten en items.
vragenlijsten (HC 2-4) - Het operationaliseren van constructen.
- Herhalen meten & correlaties.
- Vragenlijsten in de praktijk.
Deel 2: Analyseren van - Statistische methoden voor het beoordelen van de
vragenlijsten (HC 5-10) kwaliteit van een vragenlijst.
- Statistische methoden voor het testen van de structuur
van een vragenlijst.
- Vragenlijsten om onderzoeksmethoden te beantwoorden.
Inhoud
Hoorcollege 1: Introductie vragenlijsten ................................................................................................. 2
Hoorcollege 2: Meetbaar maken constructen ........................................................................................ 3
Hoorcollege 3: Correlaties en covarianties ............................................................................................. 5
Hoorcollege 4: Correlaties, meetfouten en betrouwbaarheid................................................................ 7
Hoorcollege 5: Schaalscores en betrouwbaarheid ................................................................................ 10
Hoorcollege 6: Betrouwbaarheid en validiteit ...................................................................................... 14
Hoorcollege 7: Inleiding factoranalyse .................................................................................................. 18
Hoorcollege 8: Principale componentenanalyse ................................................................................... 20
Hoorcollege 9: PCA Rotaties en assumpties .......................................................................................... 26
Hoorcollege 10: PCA en confirmatieve factoranalyse ........................................................................... 31
Hoorcollege 11: Vragenlijsten in de praktijk ......................................................................................... 35
Overzicht van de cursus:
,Hoorcollege 1: Introductie vragenlijsten
Introductie vragenlijsten
Vragenlijsten gaan vaak over typisch gedrag. Het zijn vragen die zonder context te beantwoorden
zijn. Het is een veel gebruikt instrument voor dataverzameling in de sociale wetenschappen.
Vragenlijsten worden gebruikt door vele verschillende instanties. Bijvoorbeeld de regering (e.g.
gezondheid van de bevolking), organisaties (e.g. werkveiligheid), bedrijven (e.g. klanttevredenheid).
Inhoud vragenlijsten
Item: Stelling/vraag + Antwoordalternatieven
E.g. ‘Als ik weet dat de tandarts een tand gaat trekken ben ik al bang als ik in de wachtkamer zit →
Helemaal niet mee eens – niet mee eens – neutraal – mee eens – Helemaal mee eens.
Vragenlijsten proberen één eigenschap te isoleren, en daarvan te zeggen in welke mate iemand die
heeft. Het is dus een niet volledige beschrijving van de realiteit. Er wordt een meetinstrument
gebruikt om verschillen tussen mensen meetbaar te maken. Vaak gebeurt dit meten m.b.v. schalen.
Schaal: Een aantal items dat samen een bepaald aspect van die eigenschap meet.
E.g. Werknemerstevredenheid: Sfeer (schaal 1, item 1-10) en inhoud werk (schaal 2, item 11-20).
Wat hebben we aan vragenlijsten?
Sociale wetenschappers zijn geïnteresseerd in het beantwoorden van onderzoeksvragen en het
toetsen van hypotheses. Maar, onderwerpen uit de sociale wetenschap zijn vaak niet direct
meetbaar (e.g. intelligentie, depressie). We moeten daarom een benadering maken. Vragenlijsten
zijn dus eigenlijk maar een benadering van iets wat wij nooit 100% foutvrij kunnen meten. Toch
worden er vaak belangrijke beslissingen gemaakt o.b.v. vragenlijsten. Daarom moeten ze van goede
kwaliteit zijn: Betrouwbaar en valide.
• Betrouwbaarheid: De precisie waarmee we meten (meetfouten en consistentie).
• Validiteit: Meet de vragenlijst/meten de sub dimensies het construct?
Kenmerken vragenlijsten
Vragenlijsten meten bijvoorbeeld gedrag, overtuigingen, meningen en demografische informatie.
Vragenlijsten kunnen met of zonder (‘self adminstered’) interviewer afgenomen worden. Er worden
verschillende vormen van technologie/methoden gebruikt. Vragen kunnen open en gesloten zijn.
• Voordelen: Snel, efficiënt, goedkoop en het kan voor grote steekproeven gebruikt worden.
• Nadelen: Lage respons en antwoorden kunnen een eventueel vertekend beeld geven.
Vragenlijst VS Enquête VS Test
Enquête: Informatie kan verzameld worden door middel van een vragenlijst maar ook bijvoorbeeld
door middel van een interview of een observatiestudie.
• Gestructureerde en systematische dataset.
• Probeert te achterhalen wat de onderliggende oorzaak is voor een fenomeen.
Een vragenlijst is dus een meetinstrument, wat binnen een enquête-onderzoek kan vallen.
Test: Een vaardigheidstest met een aantal vragen die duidelijk juist of onjuist zijn. Het stelt iemands
maximale vaardigheid vast. Het meet dus geen typisch gedrag of mening. `111
,Hoorcollege 2: Meetbaar maken constructen
Constructen
Construct: Niet direct observeerbare/meetbare concepten (latente variabelen). Een oplossing voor
het niet direct kunnen meten: Operationaliseren! (m.b.v. een vragenlijst).
Onderzoek in de sociale wetenschappen is vaak gebaseerd op de relatie tussen constructen.
E.g. Wanneer een nieuwe organisatiestrategie (1) afstemmen is op de cultuur (2).
Operationaliseren
Je maakt van abstracte begrippen, concrete begrippen (heuristische benadering). Je ontwikkelt een
eigen nominale definitie, door te kijken naar de verschillende aspecten (dimensies) van het
construct. Deze kunnen vaak weer onderverdeeld worden in sub-dimensies, tot het punt dat de
constructen meetbaar zijn → Operationele definitie.
E.g. Sociaal kapitaal → Twee dimensies: Structuur van sociale relaties (netwerken) en kwaliteit van
sociale relaties (normen) → Netwerken: Type, grootte en capaciteit → Normen: Vertrouwen →
Meetbare aspecten (Met elkaar praten, elkaar helpen, gemeenschappelijke activiteiten etc.).
Construeren van een schaal/meetinstrument
Het ontwikkelen van een schaal met items moet op een systematische manier gebeuren.
Betrouwbaarheid en validiteit zijn de belangrijkste eigenschappen. Een aantal methodes:
Construct • Gebruikt theoretisch kader (deductief).
methode • Nomologisch netwerk: Het construct wordt bestudeerd, een definitie
wordt bedacht en gerelateerde constructen worden gedefinieerd.
• Homogene set van items.
• Veel aandacht voor convergente (hangen de items samen) en divergente
(meten items van een andere schaal ook echt iets anders) validiteit.
Facet • Gebruikt theoretisch kader (deductief).
methode • Essentiele aspecten (facetten) worden gespecifieerd, situatie of gedrag.
• Voor elk facet worden elementen (structs) gedefinieerd, die gebruikt
worden om items te maken met kateringszinnen (mapping sentence).
• De gehele structuur van de facetten wordt de structuple genoemd.
E.g. Angst voor de tandarts
Situatie facetten: Hebben van angst (facet elementen: thuis en in de wachtkamer)
en het hebben van angst voor iets (facet elementen: interactie en de bandeling).
Gedrag facetten: Type angst (facet elementen: fysiek, emotioneel en cognitief).
Voor alle combinaties (2x2x3) kan een item bedacht worden.
Rationele • Gebruikt geen theoretisch kader.
methode • Kennis van experts wordt gebruikt om het construct te definiëren en
items te bedenken, formuleren en evalueren.
• Hoge face validiteit.
E.g. Wordt gebruikt in klinische situaties.
, Interne • Gebruikt geen theoretisch kader.
methode • Inductief: Geen analyse van de inhoud van een construct.
• Veel homogene items.
• Item formulering en selectie op basis van het schatten van
betrouwbaarheid en validiteit.
• Gericht op de interne structuur/consistentie.
E.g. Big Five Personality Test.
Prototypische • Gebruikt geen theoretisch kader.
methode • Inductief: Geen analyse van de inhoud van een construct.
• Heuristisch: De meest centrale/kenmerkende elementen van het
construct worden gemeten.
• Act nomination: Voor item formulering worden karakteristieken
genoemd door respondenten. Experts beoordelen deze items.
• Prototypicality ratings: Op een schaal wordt beoordeeld hoe
representatief/typisch kenmerken zijn voor een construct.
Externe • Gebruikt geen theoretisch kader.
methode • Inductief en heterogeen.
• Heeft een voorspellende waarde.
• Selectie van items op basis van de optimalisatie van de relatie met een
extern criterium.
• Maximaliseert de criterium georiënteerde validiteit.
• Lage face validiteit.
E.g. Interview vragen Google: “How would you explain cloud computing to a 6-
year-old?
Oefenvraag
De term ‘structuple’ is een synoniem voor kateringszin.
Antwoord: Niet waar. De structuple (alle facetten) wordt gebruikt om kateringszinnen te maken, van
specifieke combinaties in de structuple.
Oefenvraag
Als de constructmethode voor het construeren van een schaal wordt gebruikt dan zal de convergente
en divergente validiteit hoog zijn.
Antwoord: Waar.
Vragenlijsten in de praktijk
Vragenlijsten worden erg vaak gebruikt. Als je een schaal nodig hebt voor je thesis, zoek dan eerst op
of er al een beschikbaar is!
Zoek op of de schaal die je wilt gebruiken voldoet aan de kwaliteitsstandaarden (E.g. COTAN), passen
bij je onderzoek en bedoeld zijn voor de beoogde populatie/steekproef.
Tilburg University Hoorcolleges
Deel 1: Construeren van - Constructie van vragenlijsten en items.
vragenlijsten (HC 2-4) - Het operationaliseren van constructen.
- Herhalen meten & correlaties.
- Vragenlijsten in de praktijk.
Deel 2: Analyseren van - Statistische methoden voor het beoordelen van de
vragenlijsten (HC 5-10) kwaliteit van een vragenlijst.
- Statistische methoden voor het testen van de structuur
van een vragenlijst.
- Vragenlijsten om onderzoeksmethoden te beantwoorden.
Inhoud
Hoorcollege 1: Introductie vragenlijsten ................................................................................................. 2
Hoorcollege 2: Meetbaar maken constructen ........................................................................................ 3
Hoorcollege 3: Correlaties en covarianties ............................................................................................. 5
Hoorcollege 4: Correlaties, meetfouten en betrouwbaarheid................................................................ 7
Hoorcollege 5: Schaalscores en betrouwbaarheid ................................................................................ 10
Hoorcollege 6: Betrouwbaarheid en validiteit ...................................................................................... 14
Hoorcollege 7: Inleiding factoranalyse .................................................................................................. 18
Hoorcollege 8: Principale componentenanalyse ................................................................................... 20
Hoorcollege 9: PCA Rotaties en assumpties .......................................................................................... 26
Hoorcollege 10: PCA en confirmatieve factoranalyse ........................................................................... 31
Hoorcollege 11: Vragenlijsten in de praktijk ......................................................................................... 35
Overzicht van de cursus:
,Hoorcollege 1: Introductie vragenlijsten
Introductie vragenlijsten
Vragenlijsten gaan vaak over typisch gedrag. Het zijn vragen die zonder context te beantwoorden
zijn. Het is een veel gebruikt instrument voor dataverzameling in de sociale wetenschappen.
Vragenlijsten worden gebruikt door vele verschillende instanties. Bijvoorbeeld de regering (e.g.
gezondheid van de bevolking), organisaties (e.g. werkveiligheid), bedrijven (e.g. klanttevredenheid).
Inhoud vragenlijsten
Item: Stelling/vraag + Antwoordalternatieven
E.g. ‘Als ik weet dat de tandarts een tand gaat trekken ben ik al bang als ik in de wachtkamer zit →
Helemaal niet mee eens – niet mee eens – neutraal – mee eens – Helemaal mee eens.
Vragenlijsten proberen één eigenschap te isoleren, en daarvan te zeggen in welke mate iemand die
heeft. Het is dus een niet volledige beschrijving van de realiteit. Er wordt een meetinstrument
gebruikt om verschillen tussen mensen meetbaar te maken. Vaak gebeurt dit meten m.b.v. schalen.
Schaal: Een aantal items dat samen een bepaald aspect van die eigenschap meet.
E.g. Werknemerstevredenheid: Sfeer (schaal 1, item 1-10) en inhoud werk (schaal 2, item 11-20).
Wat hebben we aan vragenlijsten?
Sociale wetenschappers zijn geïnteresseerd in het beantwoorden van onderzoeksvragen en het
toetsen van hypotheses. Maar, onderwerpen uit de sociale wetenschap zijn vaak niet direct
meetbaar (e.g. intelligentie, depressie). We moeten daarom een benadering maken. Vragenlijsten
zijn dus eigenlijk maar een benadering van iets wat wij nooit 100% foutvrij kunnen meten. Toch
worden er vaak belangrijke beslissingen gemaakt o.b.v. vragenlijsten. Daarom moeten ze van goede
kwaliteit zijn: Betrouwbaar en valide.
• Betrouwbaarheid: De precisie waarmee we meten (meetfouten en consistentie).
• Validiteit: Meet de vragenlijst/meten de sub dimensies het construct?
Kenmerken vragenlijsten
Vragenlijsten meten bijvoorbeeld gedrag, overtuigingen, meningen en demografische informatie.
Vragenlijsten kunnen met of zonder (‘self adminstered’) interviewer afgenomen worden. Er worden
verschillende vormen van technologie/methoden gebruikt. Vragen kunnen open en gesloten zijn.
• Voordelen: Snel, efficiënt, goedkoop en het kan voor grote steekproeven gebruikt worden.
• Nadelen: Lage respons en antwoorden kunnen een eventueel vertekend beeld geven.
Vragenlijst VS Enquête VS Test
Enquête: Informatie kan verzameld worden door middel van een vragenlijst maar ook bijvoorbeeld
door middel van een interview of een observatiestudie.
• Gestructureerde en systematische dataset.
• Probeert te achterhalen wat de onderliggende oorzaak is voor een fenomeen.
Een vragenlijst is dus een meetinstrument, wat binnen een enquête-onderzoek kan vallen.
Test: Een vaardigheidstest met een aantal vragen die duidelijk juist of onjuist zijn. Het stelt iemands
maximale vaardigheid vast. Het meet dus geen typisch gedrag of mening. `111
,Hoorcollege 2: Meetbaar maken constructen
Constructen
Construct: Niet direct observeerbare/meetbare concepten (latente variabelen). Een oplossing voor
het niet direct kunnen meten: Operationaliseren! (m.b.v. een vragenlijst).
Onderzoek in de sociale wetenschappen is vaak gebaseerd op de relatie tussen constructen.
E.g. Wanneer een nieuwe organisatiestrategie (1) afstemmen is op de cultuur (2).
Operationaliseren
Je maakt van abstracte begrippen, concrete begrippen (heuristische benadering). Je ontwikkelt een
eigen nominale definitie, door te kijken naar de verschillende aspecten (dimensies) van het
construct. Deze kunnen vaak weer onderverdeeld worden in sub-dimensies, tot het punt dat de
constructen meetbaar zijn → Operationele definitie.
E.g. Sociaal kapitaal → Twee dimensies: Structuur van sociale relaties (netwerken) en kwaliteit van
sociale relaties (normen) → Netwerken: Type, grootte en capaciteit → Normen: Vertrouwen →
Meetbare aspecten (Met elkaar praten, elkaar helpen, gemeenschappelijke activiteiten etc.).
Construeren van een schaal/meetinstrument
Het ontwikkelen van een schaal met items moet op een systematische manier gebeuren.
Betrouwbaarheid en validiteit zijn de belangrijkste eigenschappen. Een aantal methodes:
Construct • Gebruikt theoretisch kader (deductief).
methode • Nomologisch netwerk: Het construct wordt bestudeerd, een definitie
wordt bedacht en gerelateerde constructen worden gedefinieerd.
• Homogene set van items.
• Veel aandacht voor convergente (hangen de items samen) en divergente
(meten items van een andere schaal ook echt iets anders) validiteit.
Facet • Gebruikt theoretisch kader (deductief).
methode • Essentiele aspecten (facetten) worden gespecifieerd, situatie of gedrag.
• Voor elk facet worden elementen (structs) gedefinieerd, die gebruikt
worden om items te maken met kateringszinnen (mapping sentence).
• De gehele structuur van de facetten wordt de structuple genoemd.
E.g. Angst voor de tandarts
Situatie facetten: Hebben van angst (facet elementen: thuis en in de wachtkamer)
en het hebben van angst voor iets (facet elementen: interactie en de bandeling).
Gedrag facetten: Type angst (facet elementen: fysiek, emotioneel en cognitief).
Voor alle combinaties (2x2x3) kan een item bedacht worden.
Rationele • Gebruikt geen theoretisch kader.
methode • Kennis van experts wordt gebruikt om het construct te definiëren en
items te bedenken, formuleren en evalueren.
• Hoge face validiteit.
E.g. Wordt gebruikt in klinische situaties.
, Interne • Gebruikt geen theoretisch kader.
methode • Inductief: Geen analyse van de inhoud van een construct.
• Veel homogene items.
• Item formulering en selectie op basis van het schatten van
betrouwbaarheid en validiteit.
• Gericht op de interne structuur/consistentie.
E.g. Big Five Personality Test.
Prototypische • Gebruikt geen theoretisch kader.
methode • Inductief: Geen analyse van de inhoud van een construct.
• Heuristisch: De meest centrale/kenmerkende elementen van het
construct worden gemeten.
• Act nomination: Voor item formulering worden karakteristieken
genoemd door respondenten. Experts beoordelen deze items.
• Prototypicality ratings: Op een schaal wordt beoordeeld hoe
representatief/typisch kenmerken zijn voor een construct.
Externe • Gebruikt geen theoretisch kader.
methode • Inductief en heterogeen.
• Heeft een voorspellende waarde.
• Selectie van items op basis van de optimalisatie van de relatie met een
extern criterium.
• Maximaliseert de criterium georiënteerde validiteit.
• Lage face validiteit.
E.g. Interview vragen Google: “How would you explain cloud computing to a 6-
year-old?
Oefenvraag
De term ‘structuple’ is een synoniem voor kateringszin.
Antwoord: Niet waar. De structuple (alle facetten) wordt gebruikt om kateringszinnen te maken, van
specifieke combinaties in de structuple.
Oefenvraag
Als de constructmethode voor het construeren van een schaal wordt gebruikt dan zal de convergente
en divergente validiteit hoog zijn.
Antwoord: Waar.
Vragenlijsten in de praktijk
Vragenlijsten worden erg vaak gebruikt. Als je een schaal nodig hebt voor je thesis, zoek dan eerst op
of er al een beschikbaar is!
Zoek op of de schaal die je wilt gebruiken voldoet aan de kwaliteitsstandaarden (E.g. COTAN), passen
bij je onderzoek en bedoeld zijn voor de beoogde populatie/steekproef.
