OP1: survey samenvatting en aantekeningen UvA 2023

OP1. – Blok 3. – Survey
Week 1. 8 – 12 januari
Survey research methods ch2.

Doelen survey methodologie: error in verzamelde data minimaliseren door surveys en errors
meten die noodzakelijk onderdeel zijn van survey.
Doel survey: geven statistische schattingen van karakteristieken van target populatie van
bepaalde set mensen.
De fundamentele vooropstelling van survey proces is het beschrijven van de sample van
mensen die daadwerkelijk antwoord geven, de doelpopulatie kunnen beschrijven.
Tweede fundamentele vooropstelling is dat antwoorden gebruikt kunnen worden om
respondenten hun karakteristieken te beschrijven.
Sommige delen zijn
bepaald om aan te geven
hoe dicht een sample
correspondeert met de
populatie. Andere geven
aan hoe goed de
antwoorden verzameld zijn
in de survey en deze
serveren als metingen als
wat bedoeld is te meten.
Design en manier van
verzameling kan een of
beide potentiële bronnen
van error beïnvloeden.


In sample survey is er één sample waarvan gegeneraliseerd wordt. Deze kunnen minimaal
verschillen van wat de karakteristieken in de populatie zijn.


Twee soorten errors:
1. Steekproef error: willekeurige variatie van daadwerkelijke karakteristieken van
populatie. Mogelijk error stamt van het feit dat data verzameld wordt van een
steekproef ipv individuele lid populatie.
2. Bias: systematische manier waarop mensen op een survey antwoorden verschillend
zijn.


Stappen data verzamel proces en waar bias geïntroduceerd kan worden:
1. Steekproefframe kiezen
2. Proces van selecteren wie er in de steekproef voorkomt
3. Falen om antwoorden te verzamelen van iedereen die geselecteerd zijn voor de
steekproef

,Steekproef error is een willekeurige error.
Uitdaging voor methodologisten is het minimaliseren van variabiliteit van steekproef tot
steekproef om kans te vergroten dat karakteristieken van welke steekproef dan ook dicht
correspondeert met populatie.
Kenmerken van design of uitvoering survey die bias steekproeven produceren schatten dat
er consistente verschillen zijn van de doelpopulatie.
Willekeurige variabiliteit van steekproef schattingen, steekproef error, en bias geassocieerd
met steekproef hoeven niet per se gerelateerd aan elkaar te zijn.


Wat proberen surveys te meten:
a. Objectieve feiten (bv. Lengte, baan, op welke partij iemand heeft gestemd);
b. Subjectieve staten (hoe vaak voelt iemand zich moe, linkse of rechtse gedachtes).


Beoordeling van antwoorden tot een vraag is om te meten hoe goed ze corresponderen tot
de waarheid.
Je kunt direct beoordelen hoe accuraat antwoorden zijn bij objectieve feiten.
Psychometristen denken dat een antwoord uit twee componenten bestaat:
1.) de ‘ware score’: perfecte rapportage met perfecte kennis wat gegeven wordt als
antwoord.
2.) Met een element van error.
X i =t i +e i
X = gegeven antwoord door individu i
t = ware score voor individu i
e = error in antwoord individu i.
 error term moet zo klein mogelijk zijn zodat de antwoorden voornamelijk reflecteren op de
ware score.
Hoe groter waarde e, hoe groter de kans dat elke individu zijn antwoord in de error zit.
Errors kunnen veroorzaakt worden door dingen als de vraag verkeerd begrijpen niet de
nodige info hebben enzovoorts.
Validiteit beschrijft de relatie tussen een antwoord en bepaalde meting van de ware score.
Voor vragen die objectieve feiten meten, kunnen antwoorden biased zijn. Bias is dat
antwoorden verschillen van ware score en kans rijkelijker zijn een andere kant op te gaan.
Validiteit voor subjectieve metingen kunnen direct geobserveerd worden, maar is afgeleid
van studies over hoe antwoorden gerelateerd zijn aan andere vergelijkbare metingen.
Berekeningen zijn gecompliceerd, maar zijn een schatting van hoe goed antwoorden
reflecteren op het construct die ze moeten meten.
Je kan bias niet meten, het niveau tot welke antwoorden systematisch verschillen van de
ware score in één richting.

,Lezers van rapportages moeten zeker zijn over welke error zij lezen.


Survey research methods ch6.

Het antwoord is waardevol tot het niveau dat het kan laten zien dat er een voorspelbare
relatie is tot feiten of subjectieve staten die van interesse zijn.
Wanneer antwoorden goede metingen bevatten, zijn het voornamelijk resultaten van
voorzichtige designs.
Doel goede meting: vergroten van vraag betrouwbaarheid.
Ander probleem is wat een gegeven antwoord betekent in relatie tot wat de onderzoeker
probeert te meten: hoe goed correspondeert het met elkaar?
Om consistente metingen te krijgen moet elke respondent in een steekproef dezelfde set
vragen krijgen, waarvan de antwoorden opgenomen worden.
Onderzoeker wilt aannames doen die differentiëren in antwoorden gestamd uit verschillen
langs respondenten in wat ze hebben te zeggen ipv verschillen in stimuli tot welke
respondenten blootgesteld zijn.
Survey dataverzameling is een interactie tussen onderzoeker en respondent. Dit kan via een
zelf-samengestelde survey online of op papier of een interview met geschreven vragen.
Survey instrument is het protocol voor de kant van interactie.
Goede vraag bevat:
 Onderzoeker zijn kant vraag-en-antwoord proces is volledig beschreven zodat vraag
respondent volledig voorbereidt deze te beantwoorden;
 Vraag betekent hetzelfde voor elke respondent;
 Soorten antwoorden die een gepast antwoord vormen tot de vraag die consistent
gecommuniceerd worden naar iedereen.
o Inadequate verwoording
o Optionele verwoording: passen verschillende respondent omstandigheden.



Vragen moeten hetzelfde betekenen voor alle respondenten. Potentieel probleem is het
gebruik van woorden die niet door iedereen begrepen worden.
Voorkom ook het stellen van meerdere vragen binnen één vraag.

, Soms wordt er binnen een vraag een ‘weet ik niet’ antwoordoptie gegeven. Men kiest deze
omdat ze het antwoord daadwerkelijk niet weten of omdat ze het denkwerk niet willen doen
om een passend antwoord te kiezen. Om dit te voorkomen vraag je respondenten een
‘screening’ vraag over of ze over de info beschikken om de vraag te beantwoorden.
Onderzoekers worstelen met het feit dat vocabulaire in verschillende groepen niet hetzelfde
zijn. De standaard meting kan verschillende vragen voor verschillende subgroepen vergen.
Methodologisten doen er echter alles aan om een juiste definitie te vinden welke een
consistente betekenis heeft langs een volledige populatie.
Hoe concreter de vragen, hoe groter de kans voor vergelijkbaarheid van resultaten langs
talen of culturen.
Respondenten moeten ook dezelfde perceptie hebben van wat een adequaat antwoord
vormt voor een vraag. Hiervoor kan een lijst gegeven worden met acceptabele antwoorden.
Antwoorden kunnen variëren, omdat respondenten verschillend begrip hebben van soort
antwoord die acceptabel zijn.
Validiteit: het antwoord wat gegeven is een ware meting en betekent dat wat de onderzoeker
wilt of verwacht te betekenen.
Het is mogelijk om accuraatheid van antwoord te checken dmv onafhankelijke observatie.
Meting van validiteit wordt vergelijkbaar met survey rapportage tot waarde van bepaalde
‘ware’ meting.
Bij subjectieve staten, gevoelens, attitudes en meningen is er geen objectieve manier om
antwoorden te valideren. Alleen de respondent heeft toegang tot hun gevoelens. Er is geen
ware, onafhankelijke directe meting mogelijk. Betekenis van antwoorden worden afgeleid uit
patronen of associaties.
Meetniveaus: nominaal, ordinaal, interval, ratio.
Bij het verzamelen van feitelijke data wordt gevraagd naar ordinale antwoorden. Een exact
aantal rapporteren is in dit geval te moeilijk. Er is vaak een echte numerieke basis, ondanks
een onderliggend ordinaal antwoord op een feitelijke vraag.
Soorten vragen:
 Open vragen;
 Gesloten vragen;
 Geschaalde vragen;
 Eens/oneens vragen: stelling wordt gegeven en eens/oneens aanklikken.
 Multiple-choice vragen


Doel van feitelijke vragen stellen is dat de respondent rapporteert met perfecte
nauwkeurigheid. Ook wel: antwoorden op de manier dat de onderzoeker dat zou doen als ze
toegang tot nodige info zouden hebben.
Hoe goed men rapporteert hangt af van wat en hoe het is gevraagd.


Mindere nauwkeurigheid komt door:
1. Weinig begrip voor de vraag;