Samenvatting - MTO-D: Constructie en Analyse van Vragenlijsten (424522)

Samenva ng MTO-D 2023
HC 1: Introduc e
Vaak zijn we geïnteresseerd in menselijke eigenschappen. Maar…
 Deze eigenschappen zijn vaak niet direct waarneembaar!
 We hebben (meet)instrumenten nodig om (verschillen in) deze eigenschappen zichtbaar te
maken.
 Veel gebruikte methode: vragenlijsten
 Maar dan moet de vragenlijst wel aan een aantal kwaliteitscriteria voldoen, zodat de meting
betrouwbaar en valide is!!!

In deze cursus leer je hoe je:
1. Niet-direct observeerbare eigenschappen kunt vertalen naar concrete vragen:
operationaliseren
2. (concept)vragen kunt groeperen tot betekenisvolle eenheden (schalen):
dimensionaliteitsonderzoek
3. de (technnische) kwaliteit van de schaalscores kunt onderzoeken:
betrouwbaarheidsanalyses en validiteitsonderzoek

Introductie vragenlijsten
 Waarom zijn vragenlijsten belangrijk?
 Vragenlijst v.s. enquete (survey)
 Constructie en analyse van vragenlijsten

Vragenlijsten worden gebruikt door …
 De regering:
o Om de gezondheid van de bevolking of de economische groei te meten
o Om belangrijke beslissingen te nemen betreffende haar beleid
 Organisaties:
o Om het loonverschil tussen mannen en vrouwen te meten (SCP, “emancipatiemotor
2018”)
o Werkveiligheid te meten (TNO)
 Bedrijven:
o Om geschikte kandidaten te selecteren voor een baan
o Om de “usability” van een product te bepalen (bijv. Philips)
o De tevredenheid van hun klanten of werknemers te meten (bol.com)
o Voor marketingdoeleinden
 Sociale wetenschappers:
o Voorspellen kiesgedrag en politieke voorkeuren, meten kwaliteit van leven, meten
van persoonlijkheid en/of gedrag

Definitie van een vragenlijst
Wat is de definitie van een vragenlijst?
 Merriam Webster: “a written set of questions that are given to people in order to collect
facts or opinions about something”
 Het gaat om “typisch gedrag” (typical performance); vaak vragen die zonder specifieke
context te beantwoorden zijn. Dus over het algemeen niet hoe gedrag en opinies kunnen
veranderen door een andere context, maar meer gedrag of mening van iemand in het
algemeen.




1

,  Tegenover “typical performance” staat “maximum performance”, waarbij je onderzoekt wat
iemand kent/kan (bijvoorbeeld intelligenties tests, tentamens, work-sample-test); zie ook
slide 17.

Verschil tussen tests en vragenlijsten
Test (toets)
 Meet kennis, kunde, vaardigheid (prestaties)
 Vaak vragen met antwoorden die (gedeeltelijk) “juist” of “onjuist” zijn
 Doel: vaststellen van iemands maximale vaardigheid

Vragenlijst (questionnaire, inventory):
 Meet typisch gedrag (houdingen, meningen, overtuigingen)
 Er zijn geen goed-fout antwoorden (hooguit meer of minder sociaal wenselijke
antwoorden…)




Wat is een item precies?
 Definitie vragenlijst/test item = stelling/vraag + antwoordalternatieven




 Let op extreme tendencies

Wat doet een vragenlijst (of een test) precies?
 1 vragenlijst probeert niet om de mens in al zijn facetten en complexiteit te “vangen“
 1 vragenlijst probeert eerder één eigenschap te isoleren, en daarvan te zeggen in welke mate
iemand die heeft (e.g., IQ of “werknemers tevredenheid”, etc.)
o Een niet volledige beschrijving van de realiteit, maar dit is met opzet

Vragenlijst => schalen
 We gebruiken vragenlijsten om eigenschappen te isoleren en daarvan te zeggen in welke
mate iemand die heeft (bijv. tevredenheid met werk, kwaliteit van leven, ...)
 Een samenhangende (vaste) set van items die een bepaalde eigenschap meet noemen we
een “schaal”. Een vragenlijst kan meerdere schalen omvatten.
 Bijvoorbeeld: vragenlijst om werknemers-tevredenheid te meten:
o Schaal 1: Tevredenheid met de sfeer op het werk; (item 1-10 v.d. vragenlijst)
o Schaal 2: Tevredenheid met de inhoudelijke taken (item 11-20 v.d. vragenlijst



2

,Wat hebben we eraan?
Uiteindelijk zijn wij in sociaalwetenschappelijk onderzoek geïnteresseerd in relaties tussen
fenomenen en de mogelijke verklaringen daarvoor (theorieën).
 Bijvoorbeeld: “Ignorance is bliss”
Oftewel: “Intelligente mensen zijn vaker depressief”

Ignorance is bliss
Zijn intelligentere mensen vaker depressief?
 Hoe meten we intelligentie, hoe depressie? Beide zijn niet direct observeerbaar; het is geen
kwestie van gewoon een meetlint naast iemands brein houden …
 Constructen (eigenschappen) die wij niet direct kunnen observeren moeten wij
operationaliseren en meetbaar maken (meer hierover in college 2).
 Voor het tweede deel (het meten) kunnen wij een vragenlijst gebruiken als het gaat om
typische gedrag.

Voorbeeld vragenlijstonderzoek
Ignorance is bliss




Hypothese
 Intelligente mensen zijn (gemiddelde genomen) vaker depressief (‘Ignorance is bliss’)
 Dit kunnen wij toetsen door te kijken naar het verband tussen intelligentie en depressie, e.g.
predictie -:
 “Hoe hoger iemands IQ is, des te meer depressie symptomen (gemiddeld genomen) iemand
heeft”
-> Meten van intelligente & depressie:
-> Test / vragenlijst

Dus wat we nodig hebben is:
1. Een steekproef
2. Een manier om intelligentie en depressie te meten

Meten in de sociale wetenschappen
 Het meten van fysieke eigenschapen zoals bijvoorbeeld de lengte van iemand is makkelijk:
o Als ik en iemand van jullie mijn lengte meet, dan zullen wij ongeveer (op enkele mms
na) tot hetzelfde resultaat komen; oftewel er is weinig meetfout
 Waarom? Wij kunnen de eigenschap direct observeren en vertalen naar een meetwaarde.
 De sociale wetenschappen zijn echter vooral geïnteresseerd in eigenschappen die niet direct
observeerbaar zijn
o Bijv. de intelligentie van een potentiële werknemer (HR), de kwaliteit van leven in
verschillende landen (sociologie), of de werkcultuur in verschillende organisaties
(OW)
 In de technische (exacte) wetenschappen kunnen we vaak iets direct testen (bijv. kwaliteit
van een meetinstrument dat de hoeveelheid water in een bak meet waarbij wij weten wat de
echte hoeveelheid is).




3

,  In de sociale wetenschappen is er over het algemeen geen “echte” waarde, maar moeten we
vaak een benadering maken (wij weten niet hoe intelligent iemand echt is, of hoe geschikt
een potentiële werknemer echt is voordat hij/zij nog niet aan het werk is).
-> Vragenlijsten => Dus eigenlijk maar een benadering van iets wat wij nooit 100% foutvrij
kunnen meten.
Alsnog worden vaak belangrijke beslissingen gemaakt op basis van vragenlijsten!! (e.g.,
promotie van werknemers, voortzetten van therapie)
 Daarom is het des te belangrijker dat deze van goede kwaliteit zijn:
o Betrouwbaar
o Valide

Betrouwbaarheid
 Betrouwbaarheid gaat over de herhaalbaarheid/precisie waarmee wij meten; d.w.z., vinden
we dezelfde resultaten zouden we de test/vragenlijst opnieuw afnemen onder dezelfde
omstandigheden.
 We zullen nooit exact dezelfde resultaten krijgen => meetfouten!
 Hoe kleiner de meetfouten, hoe nauwkeuriger (preciezer) onze meting.
 We zullen zien: Betrouwbaarheid is een noodzakelijke maar niet-voldoende voorwaarde voor
validiteit: dus niet-betrouwbaar = zeker niet-valide; wel-betrouwbaar = misschien valide
(moet nader onderzocht worden).




Validiteit
 Zijn de verschillen in de scores op de vragenlijst (of test) ook echt gebaseerd op verschillen in
het construct waarin wij geïnteresseerd zijn?
o Heeft dus iets te maken met of je meet wat je wil meten: Bijvoorbeeld kan ik jullie IQ
misschien wel heel consistent meten (betrouwbaar dus), maar als ik eigenlijk wil
weten wie van jullie extravert of introvert is, dan heb ik niks aan die data!
 Ander (misschien minder voor de hand liggend ☺) voorbeeld: Is intelligentie één-
dimensioneel of zijn er meerdere dimensies? (e.g., wiskundige vaardigheid, leesvaardigheid..)
o Bijv. iemand die een wiskundig talent heeft, moet wellicht ook een goede
leesvaardigheid hebben als de opgaven nogal tekst-lastig zijn.

Kenmerken vragenlijsten
Inhoud van vragenlijsten
 Gedrag, wat doen mensen? (e.g., vraag aan moeders met kinderen in de basisschool: Werkt
u?)
 Overtuigingen, wat is volgens respondenten juist of onjuist? Of inschattingen over situaties
(e.g., hoe groot is het percentage overdag werkende moeders met een kind op school?)
 Meningen/waarden/attitudes: Wat vindt iemand wenselijk?
 Demografische informatie: Kenmerken van de respondent (i.e., leeftijd, inkomen, soort
werk)

4