MTO-D
Construction and analysis of
questionnaires
Academisch jaar: 2020-2021
Tentamens:
• SPSS-test (pass or fail)
• Regulier tentamen, bestaande uit 50 meerkeuze vragen (twee
antwoordalternatieven)
Toetsmatrix:
,Hoorcollege 1: Organisatie van het vak, introductie
vragenlijsten
Introductie vragenlijsten
Definitie van een vragenlijst
Vragenlijst = “A written set of questions that are given to people in order to collect facts or opinions about
something”.
Dat betekent dus dat een aantal items samen een vragenlijst vormen. Het gaat dus om typisch gedrag, vaak
vragen die zonder specifieke context te beantwoorden zijn (dus over het algemeen niet hoe gedrag en opinies
kunnen veranderen door een andere context, maar meer algemeen gedrag of mening van iemand).
Wat is een item?
Vragenlijst/test item = Niet alleen de stelling of de vraag, maar ook de antwoordalternatieven daarbij. Dus,
zowel de stelling als de antwoordalternatieven hieronder vormen tezamen een item.
Wat doet een vragenlijst (of een test) precies?
Een vragenlijst probeert niet een individu in al zijn facetten en complexiteit te ‘vangen’, maar probeert eerder
om één eigenschap te isoleren, en daarvan te zeggen in welke mate iemand die heeft (bijvoorbeeld IQ of
werknemerstevredenheid). Dit is niet een volledige beschrijving van de realiteit, maar dit is met opzet; dat
komt omdat je heel nauw moet definiëren wat je aan het onderzoeken bent (werknemer tevredenheid wat is
dat precies? Hoe meet je dat precies?). Een groot deel van je vragenlijst gaat dus ook over de
operationalisering van het construct (wat wil je meten en wat houdt het construct precies in?).
Vragenlijst => schalen
We meten dus niet alle facetten van iets, maar bepaalde aspecten van constructen die belangrijk zijn voor onze
onderzoeksvraag. Zo’n vragenlijst is vaak ingedeeld op basis van wat wij schalen noemen. Een vragenlijst
probeert dus een eigenschap te isoleren en daarvan te zeggen in welke mate iemand die heeft (bijv. IQ of
werknemerstevredenheid, kwaliteit van leven..).
Schaal = een aantal items dat samen een bepaald aspect van die eigenschap meet.
Bijvoorbeeld: vragenlijst om werknemers-tevredenheid te meten:
• Schaal 1: Tevredenheid met de sfeer op het werk; (item 1-10 v.d. vragenlijst)
• Schaal 2: Tevredenheid met de inhoudelijke taken (item 11-20 v.d. vragenlijst)
Het idee van een vragenlijst is dat je een groep individuen hebt en die individuen verschillen in de mate waarin
ze een bepaalde eigenschap hebben. Deze eigenschap is niet zomaar te observeren, maar daar is een
meetinstrument voor nodig. Dat meetinstrument lijdt vervolgens tot scores.
Wat hebben we aan vragenlijsten?
Uiteindelijk zijn wij in sociaal wetenschappelijk onderzoek geïnteresseerd in het beantwoorden van
onderzoeksvragen en het toetsen van hypotheses.
Voorbeeld: Onderzoeksvraag: “Zijn intelligentere mensen vaker depressief?”
Hoe meet je intelligentie en hoe meet je depressie? Beiden zijn niet direct observeerbaar. Constructen die wij
niet direct kunnen observeren moeten wij operationaliseren en meetbaar maken. Om constructen meetbaar
te maken kunnen we een vragenlijst gebruiken.
Construction and analysis of questionnaires (MTO-D) 2
,In het voorbeeld van hierboven kunnen we dit toetsen door te kijken naar het verband tussen intelligentie en
depressie. De predictie daarbij zou zijn: Hoe hoger iemands IQ is, des te meer depressiesymptomen hij of zij
heeft.
Het meten van intelligentie en depressie gebeurt dan vervolgens doormiddel van een test/vragenlijst. Hoe
meet je dit?
- Intelligentie: IQ
- Depressie: Aantal depressieve klachten volgens het DSM model
Meten in de sociale wetenschappen
Het meten van fysieke eigenschappen is gemakkelijk omdat deze eigenschappen direct observeerbaar zijn. Bij
de sociale wetenschappen is dat lastiger. De sociale wetenschappen zijn namelijk vooral geïnteresseerd in
eigenschappen die niet direct observeerbaar zijn. In de sociale wetenschappen is er over het algemeen geen
“echte” waarde, maar moeten we een benadering maken (wij weten niet hoe intelligent iemand echt is, of hoe
geschikt een potentiële werknemer echt is voordat hij/zij aan het werk is). Een vragenlijst is dus eigenlijk een
benadering van iets wat wij nooit 100% foutvrij meten. Desalniettemin worden vaak belangrijke beslissingen
gemaakt op basis van vragenlijsten. Daarom is het des te belangrijker dat deze van goede kwaliteit zijn:
- Betrouwbaar: Betrouwbaarheid gaat over de precisie waarmee wij meten.
o Is er veel meetfout?
o Meten wij consistent? Als iemand twee keer dezelfde test maakt, komt hij/zij dan op
eenzelfde score uit?
- Valide: Validiteit gaat over of we meten wat we willen meten.
o Zijn de verschillen in de vragenlijst of test ook echt gebaseerd op verschillen in het construct
waarin wij geïnteresseerd zijn?
o Meten we wat we willen meten? Als je iemands IQ goed en betrouwbaar meet dan is dit
alsnog niet valide als je onderzoek gaat over of iemand extravert of introvert is.
Kenmerken vragenlijsten
Inhoud van vragenlijsten:
• Gedrag: Wat doen mensen?
Voorbeeld: De vraag aan moeders met kinderen op de basisschool of ze werken.
• Overtuigingen: Wat is volgens de respondent juist of onjuist? Of inschatting over situaties?
Voorbeeld: Hoe groot is het percentage overwerkende moeders met een kind op school?
• Meningen/waarden/attitudes: Wat vindt iemand wenselijk?
• Demografische informatie: Kenmerken van respondent .
Voorbeeld: Leeftijd, inkomen, soort werk.
Afnemen van vragenlijsten:
• Met of zonder (self administered) interviewer.
• Gebruik van technologie: telefoon, computer, internet, paper-and-pencil.
• Een combinatie van bovenstaande methoden.
Type vragen:
• Open of gesloten.
Voor- en nadelen vragenlijsten:
✓ Hele snelle en efficiënte manier om data te verzamelen
✓ Goedkoop
✓ Kan voor grote steekproeven gebruikt worden
- Lage respons (dit geldt vooral voor vragenlijsten die via e-mail worden verstuurd of online worden
afgenomen)
- Antwoorden geven eventueel een vertekend beeld van de werkelijkheid (satisficing, social desirability)
Construction and analysis of questionnaires (MTO-D) 3
, Verschil vragenlijst (questionnaire) & enquête (survey)
Een enquête (=survey) is een techniek/onderzoeksmethode voor het verzamelen van informatie. Een survey
gaat echt over de onderzoeksvraag met de steekproef erbij etc. Een survey behelst dus alle aspecten van je
onderzoek. Een vragenlijst (=questionnaire) daarentegen is de manier van data verzamelen. Je gebruikt dus
een vragenlijst binnen je survey, maar het zijn dus niet twee verschillende begrippen voor hetzelfde.
Verschil test en vragenlijst
Een test gaat echt over de maximale vaardigheid van iemand waarbij er een goed en een fout antwoord is. Je
kan dus denken aan een prestatietest waarbij het doel is om iemands maximale vaardigheid vast te stellen
(denk bijvoorbeeld aan iemands IQ). Bij vragenlijsten heb je geen goed of fout antwoord, dit gaat namelijk vaak
over een gedrag of mening.
Voorbeeld van een tentamenvraag: “Een prestatietest kan een vragenlijst zijn?”. Onjuist. Een vragenlijst meet
iets subjectiefs (meningen/gedrag) en kent geen goed of fout. Een prestatietest kent wel goede en foute
antwoorden en hebben als doel om iemands maximale vaardigheid vast te stellen.
Deel 1 van de cursus: constructie van vragenlijsten en items
• Hoe operationaliseren we een construct? Hoe komen we dus van iets wat we willen meten wat niet
direct observeerbaar is (construct) tot iets wat wel meetbaar is?
• Dit is een herhaling van begrippen en methodes die belangrijk zijn voor de methodes die in de cursus
besproken worden.
Deel 2 van de cursus: Analyseren van vragenlijsten
• Hoe toetsen we de kwaliteit van een vragenlijst?
o Wat is een goede vragenlijst? Betrouwbaarheid en validiteit
o Hoe kunnen we de betrouwbaarheid en validiteit van een vragenlijst beoordelen?
o Analyse op niveau van de items (vragen) van een vragenlijst
• Hoe testen we de structuur van een vragenlijst?
o Onderzoeken/verkennen
o Testen
• Het grotere plaatje: Vragenlijsten om onderzoeksvragen te beantwoorden
Construction and analysis of questionnaires (MTO-D) 4
Construction and analysis of
questionnaires
Academisch jaar: 2020-2021
Tentamens:
• SPSS-test (pass or fail)
• Regulier tentamen, bestaande uit 50 meerkeuze vragen (twee
antwoordalternatieven)
Toetsmatrix:
,Hoorcollege 1: Organisatie van het vak, introductie
vragenlijsten
Introductie vragenlijsten
Definitie van een vragenlijst
Vragenlijst = “A written set of questions that are given to people in order to collect facts or opinions about
something”.
Dat betekent dus dat een aantal items samen een vragenlijst vormen. Het gaat dus om typisch gedrag, vaak
vragen die zonder specifieke context te beantwoorden zijn (dus over het algemeen niet hoe gedrag en opinies
kunnen veranderen door een andere context, maar meer algemeen gedrag of mening van iemand).
Wat is een item?
Vragenlijst/test item = Niet alleen de stelling of de vraag, maar ook de antwoordalternatieven daarbij. Dus,
zowel de stelling als de antwoordalternatieven hieronder vormen tezamen een item.
Wat doet een vragenlijst (of een test) precies?
Een vragenlijst probeert niet een individu in al zijn facetten en complexiteit te ‘vangen’, maar probeert eerder
om één eigenschap te isoleren, en daarvan te zeggen in welke mate iemand die heeft (bijvoorbeeld IQ of
werknemerstevredenheid). Dit is niet een volledige beschrijving van de realiteit, maar dit is met opzet; dat
komt omdat je heel nauw moet definiëren wat je aan het onderzoeken bent (werknemer tevredenheid wat is
dat precies? Hoe meet je dat precies?). Een groot deel van je vragenlijst gaat dus ook over de
operationalisering van het construct (wat wil je meten en wat houdt het construct precies in?).
Vragenlijst => schalen
We meten dus niet alle facetten van iets, maar bepaalde aspecten van constructen die belangrijk zijn voor onze
onderzoeksvraag. Zo’n vragenlijst is vaak ingedeeld op basis van wat wij schalen noemen. Een vragenlijst
probeert dus een eigenschap te isoleren en daarvan te zeggen in welke mate iemand die heeft (bijv. IQ of
werknemerstevredenheid, kwaliteit van leven..).
Schaal = een aantal items dat samen een bepaald aspect van die eigenschap meet.
Bijvoorbeeld: vragenlijst om werknemers-tevredenheid te meten:
• Schaal 1: Tevredenheid met de sfeer op het werk; (item 1-10 v.d. vragenlijst)
• Schaal 2: Tevredenheid met de inhoudelijke taken (item 11-20 v.d. vragenlijst)
Het idee van een vragenlijst is dat je een groep individuen hebt en die individuen verschillen in de mate waarin
ze een bepaalde eigenschap hebben. Deze eigenschap is niet zomaar te observeren, maar daar is een
meetinstrument voor nodig. Dat meetinstrument lijdt vervolgens tot scores.
Wat hebben we aan vragenlijsten?
Uiteindelijk zijn wij in sociaal wetenschappelijk onderzoek geïnteresseerd in het beantwoorden van
onderzoeksvragen en het toetsen van hypotheses.
Voorbeeld: Onderzoeksvraag: “Zijn intelligentere mensen vaker depressief?”
Hoe meet je intelligentie en hoe meet je depressie? Beiden zijn niet direct observeerbaar. Constructen die wij
niet direct kunnen observeren moeten wij operationaliseren en meetbaar maken. Om constructen meetbaar
te maken kunnen we een vragenlijst gebruiken.
Construction and analysis of questionnaires (MTO-D) 2
,In het voorbeeld van hierboven kunnen we dit toetsen door te kijken naar het verband tussen intelligentie en
depressie. De predictie daarbij zou zijn: Hoe hoger iemands IQ is, des te meer depressiesymptomen hij of zij
heeft.
Het meten van intelligentie en depressie gebeurt dan vervolgens doormiddel van een test/vragenlijst. Hoe
meet je dit?
- Intelligentie: IQ
- Depressie: Aantal depressieve klachten volgens het DSM model
Meten in de sociale wetenschappen
Het meten van fysieke eigenschappen is gemakkelijk omdat deze eigenschappen direct observeerbaar zijn. Bij
de sociale wetenschappen is dat lastiger. De sociale wetenschappen zijn namelijk vooral geïnteresseerd in
eigenschappen die niet direct observeerbaar zijn. In de sociale wetenschappen is er over het algemeen geen
“echte” waarde, maar moeten we een benadering maken (wij weten niet hoe intelligent iemand echt is, of hoe
geschikt een potentiële werknemer echt is voordat hij/zij aan het werk is). Een vragenlijst is dus eigenlijk een
benadering van iets wat wij nooit 100% foutvrij meten. Desalniettemin worden vaak belangrijke beslissingen
gemaakt op basis van vragenlijsten. Daarom is het des te belangrijker dat deze van goede kwaliteit zijn:
- Betrouwbaar: Betrouwbaarheid gaat over de precisie waarmee wij meten.
o Is er veel meetfout?
o Meten wij consistent? Als iemand twee keer dezelfde test maakt, komt hij/zij dan op
eenzelfde score uit?
- Valide: Validiteit gaat over of we meten wat we willen meten.
o Zijn de verschillen in de vragenlijst of test ook echt gebaseerd op verschillen in het construct
waarin wij geïnteresseerd zijn?
o Meten we wat we willen meten? Als je iemands IQ goed en betrouwbaar meet dan is dit
alsnog niet valide als je onderzoek gaat over of iemand extravert of introvert is.
Kenmerken vragenlijsten
Inhoud van vragenlijsten:
• Gedrag: Wat doen mensen?
Voorbeeld: De vraag aan moeders met kinderen op de basisschool of ze werken.
• Overtuigingen: Wat is volgens de respondent juist of onjuist? Of inschatting over situaties?
Voorbeeld: Hoe groot is het percentage overwerkende moeders met een kind op school?
• Meningen/waarden/attitudes: Wat vindt iemand wenselijk?
• Demografische informatie: Kenmerken van respondent .
Voorbeeld: Leeftijd, inkomen, soort werk.
Afnemen van vragenlijsten:
• Met of zonder (self administered) interviewer.
• Gebruik van technologie: telefoon, computer, internet, paper-and-pencil.
• Een combinatie van bovenstaande methoden.
Type vragen:
• Open of gesloten.
Voor- en nadelen vragenlijsten:
✓ Hele snelle en efficiënte manier om data te verzamelen
✓ Goedkoop
✓ Kan voor grote steekproeven gebruikt worden
- Lage respons (dit geldt vooral voor vragenlijsten die via e-mail worden verstuurd of online worden
afgenomen)
- Antwoorden geven eventueel een vertekend beeld van de werkelijkheid (satisficing, social desirability)
Construction and analysis of questionnaires (MTO-D) 3
, Verschil vragenlijst (questionnaire) & enquête (survey)
Een enquête (=survey) is een techniek/onderzoeksmethode voor het verzamelen van informatie. Een survey
gaat echt over de onderzoeksvraag met de steekproef erbij etc. Een survey behelst dus alle aspecten van je
onderzoek. Een vragenlijst (=questionnaire) daarentegen is de manier van data verzamelen. Je gebruikt dus
een vragenlijst binnen je survey, maar het zijn dus niet twee verschillende begrippen voor hetzelfde.
Verschil test en vragenlijst
Een test gaat echt over de maximale vaardigheid van iemand waarbij er een goed en een fout antwoord is. Je
kan dus denken aan een prestatietest waarbij het doel is om iemands maximale vaardigheid vast te stellen
(denk bijvoorbeeld aan iemands IQ). Bij vragenlijsten heb je geen goed of fout antwoord, dit gaat namelijk vaak
over een gedrag of mening.
Voorbeeld van een tentamenvraag: “Een prestatietest kan een vragenlijst zijn?”. Onjuist. Een vragenlijst meet
iets subjectiefs (meningen/gedrag) en kent geen goed of fout. Een prestatietest kent wel goede en foute
antwoorden en hebben als doel om iemands maximale vaardigheid vast te stellen.
Deel 1 van de cursus: constructie van vragenlijsten en items
• Hoe operationaliseren we een construct? Hoe komen we dus van iets wat we willen meten wat niet
direct observeerbaar is (construct) tot iets wat wel meetbaar is?
• Dit is een herhaling van begrippen en methodes die belangrijk zijn voor de methodes die in de cursus
besproken worden.
Deel 2 van de cursus: Analyseren van vragenlijsten
• Hoe toetsen we de kwaliteit van een vragenlijst?
o Wat is een goede vragenlijst? Betrouwbaarheid en validiteit
o Hoe kunnen we de betrouwbaarheid en validiteit van een vragenlijst beoordelen?
o Analyse op niveau van de items (vragen) van een vragenlijst
• Hoe testen we de structuur van een vragenlijst?
o Onderzoeken/verkennen
o Testen
• Het grotere plaatje: Vragenlijsten om onderzoeksvragen te beantwoorden
Construction and analysis of questionnaires (MTO-D) 4
