OPI: Survey, Samenvatting, Boek + Colleges, Uitgebreid!

Mae Schellekens
OP1→ Surve
Week 1: Valid answers? Proper questions!
- Kijken naar wat er mis kan gaan om te kunnen besluiten hoe valide je bevindingen zijn.
- Het opstellen van correcte vragen om hier ook correcte antwoorden op te krijgen.

Errors in survey
Surveys → zijn bedoeld om statistieken over een doelgroep te produceren. Dit aan de hand van
de kenmerken van van de doelgroep die afgeleid zijn uit de antwoorden van de respondenten.
Uitgangspunten: (1) het beschrijven van de doelpopulatie aan de hand van de steekproef
bestaande uit mensen die deelnamen. (2) antwoorden die mensen geven kunnen worden gebruikt
om de kenmerken van de respondenten nauwkeurig te beschrijven.

Kenmerken survey:
- Minimaliseren van error in de data die verzameld is door surveys
- En de errors te meten die deel uitmaken van de survey.
- Respondenten beantwoorden vragen, deze antwoorden
worden gebruikt om de ervaringen, meningen en andere
kenmerken van de respondenten te beschrijven.


- We geven niet om de respondenten en ook niet echt om
hun antwoorden → maar we hebben beide nodig om
iets over de populatie te zeggen.
- De populatie is niet iedereen die er bestaat maar het
publiek waar jij speci ek iets over wil zeggen.
- Uit je gekozen populatie doet nooit iedereen mee aan de
survey.

Random error / sampling error:
Door willekeurig een aantal mensen uit de populatie te kiezen geeft dit een goede afspiegeling
van de populatie.
- Echter kun je dit nooit zeker weten het kan ook toevallig zijn.
- Doordat je niet iedereen uit de doelpopulatie de survey laat invullen is er een kans dat het geen
goede afspiegeling is → sampling error.
- Als je random kiest en er springt 1 participant uit qua antwoord is dit random error → dit is
slecht want je weet dan niet waar dit vandaan komt.
- Nadeel: er valt er weinig te zeggen over de participanten individueel.
- Voordeel: In het algemeen gezien heb je bij een random survey een goede afspiegeling van de
populatie.

Voorbeeld random error:
- Vraag: hoeveel Spotify nummers heb je de afgelopen week geluisterd?
- De antwoorden zullen niet allemaal kloppen, sommige mensen zullen lager en sommige hoger
zitten dan hun werkelijke aantal.
1 Week 1


y fi

, - In het algemeen gezien kun je een valide resultaat geven alleen weet je dus niet welke persoon
wel klopte en welke niet. Dus over een individu kun je geen resultaat trekken maar over het
geheel wel.

Bias:
er is een systematische overeenkomst tussen de participanten van de survey wat zorgt voor een
vertekend beeld → systematische error.
- Als je weet dat er bias is weet je dat de uitkomst vertekend zal zijn.
- Nadeel: je kunt geen goed oordeel geven over de algehele mening van de populatie.
- Voordeel: je weet dat je uitkomst een overschatting of een onderschatting is van de populatie.

Voorbeelden systematische error:
- Het antwoord van de participant is geen goede re ectie van het echte antwoord.
Voorbeeld: docent vraagt of je de stof voor vandaag hebt doorgelezen, meeste zeggen ja maar
hebben het niet gedaan.
- De vraag is slecht opgesteld waardoor de participant hier geen goed antwoord kan geven.


Er zijn 3 stappen in het verzamelen van gegevens uit een steekproef, die elk mogelijk vertekening
in een steekproef kunnen geven:
1. De eerste stap betreft het kiezen van het sample frame. Als er enkel mensen in de
doelpopulatie zitten die helemaal geen kans maken om geselecteerd te worden, en als ze op
de een of andere manier consistent verschillen van degenen die wel kans hebben om
geselecteerd te worden, zal dit zorgen voor vertekende resultaten van de steekproef.
2. Als het selectie proces van de steekproef niet random is, kunnen de resultaten anders zijn dan
van de doelpopulatie als geheel.
3. Als laatste is het niet verzamelen van alle gegevens van de mensen die geselecteerd een
mogelijkheid tot vertekening.

Asking questions
Wat is er fout aan deze vraag?
Double barreled question → twee dingen tegelijk vragen.

Wat als je het wel fun vond maar niet interesting?




Do you also believe immigrants are causing higher crime Biased questions → Zijn problematisch
rates?

Would you vote for a woman for president if she were
quali ed in every other way?



2 Week 1


fi fl

, Veelvoorkomende errors in surveys:
- Een slecht geformuleerde vraag;
- De manier waarop de vraag is gesteld door de interviewer;
- Verkeerd begrepen door de geïnterviewde;
- Geheugen problemen bij de geïnterviewde;
- de manier waarop de informatie wordt vastgelegd door de interviewer;
- De manier waarop de informatie wordt verwerkt, hetzij wanneer antwoorden worden
gecodeerd, hetzij wanneer gegevens in de computer worden ingevoerd.

Doel is om te proberen een zo laag mogelijke error term (e) te hebben. Zo geven de antwoorden
voornamelijk de ware score weer. Hoe groter de waarde van e hoe groter de kans dat het
antwoord van een persoon foutief is.
Er kan ook sprake zijn van bias die bij sommige vragen meer naar een richting uitwijken dan naar
de ander. Denk hierbij aan de vraag ‘hoevaak per dag rook je?’ Mensen zullen hier eerder lager
dan de werkelijkheid antwoorden dan hoger. Echter is dit moeilijk te meten.




Wat af te vragen b het opstellen van een simpele vraag?
- Hebben respondenten de benodigde kennis?
- Als je alleen een ja / nee-antwoord wilt, heeft je dan meer mogelijkheden gegeven?
- Heb je erover nagedacht of je ‘weet ik niet'-opties zou moeten opnemen?Je kunt er niet vanuit
▪︎ gaan dat het aantal mensen dat ‘het niet weet’ eerlijk verdeeld is over je andere opties indien
je ‘weet ik niet’ zou weglaten als optie.
• ‘Weet ik niet’ is misschien voor sommige culturen gevoelig om te zeggen.
• ‘Weet ik niet; vullen mensen misschien niet in als ze je proberen te helpen door zo goed
mogelijk in te vullen.
• ‘Weet ik niet’ varieert over de verschillende levels van educatie.
- Vertrouw je te veel op het geheugen van de respondent?
- Is het slim om een middelste optie te geven.
▪︎ Middelste optie is vaak hetzelfde als de ‘geen mening’ optie. (Niet altijd)
▪︎ Als je mensen wil forceren een keuze te maken is het weglaten van een middelste
‘onpartijdige’ optie een goed idee.
▪︎ Als je wil dat mensen alleen reageren als ze echt weten wat hun antwoord is, is het
verstandig de middelste optie wel te geven.
▪︎ Soms is de middelste optie een hele reële optie.
▪︎ Als mensen het echt niet weten maar ze hebben deze optie niet stoppen ze misschien wel
met de hele survey.
3 Week 1



ij