Literatuur hoorcollege 1
p. 189-208 Survey Research
Survey = sociale onderzoeksmethode waarbij een steekproef van individuen vragen
beantwoorden.
- Primary data collection = zelf gegevensverzameling ontwerpen en uitvoeren.
- Secondary data source = bron die door iemand anders is verzameld.
o Key informant = goed geïnformeerde persoon die namens de organisatie
antwoord geeft
Kenmerken survey’s
- Verschillende formats
- Sterk gestructureerd (hierdoor gegevens makkelijk vergelijken met verschillende
populaties/over tijd)
- Timing
o Cross-sectional surveys: meting op 1 moment geschikt voor vergelijking
groepen
Nadeel: kan alleen spreken over verbanden, niet over causaliteit, omdat
op één moment gemeten is is oorzaak gevolg moeilijk te stellen
o Longitudinale surveys: meting op meerdere tijdstippen geschikt verandering
over tijd bestuderen
2 vormen (panelonderzoek: onderzoek met panel, groep mensen die zich
hebben aangemeld om deel te nemen aan onderzoek (mixed modes kan
ook in panelonderzoek)
(slide hc 1) Voordelen Nadelen
Cross-sectional Leeftijds-, periode- en cohort effecten Binnen-persoon veranderingen
panelonderzoek kunnen beschreven worden, kunnen niet gemeten worden
= telkens andere Goedkoper,
individuen op Minder uitval (attrition),
verschillende Geen leereffecten
tijdstippen
Longitudinaal Leeftijds-, periode- en cohort effecten Uitval (attrition)
panelonderzoek kunnen beschreven worden,
= dezelfde Binnen-persoon veranderingen kunnen Leereffecten mixed mode
personen worden gemeten worden onderzoek kan dit oplossen
over lange tijd
gevolgd
Sterktes van survey’s
- Grote verscheidenheid aan onderwerpen: verschil in hoeveel vragen, informatie,
onderwerpen, mensen
o Poll: korte survey met één onderwerp
o Omnibus surveys: veel vragen met meerdere onderwerpen
Nadeel: kan veel tijd kosten + kans op afhaking
Oplossing: split-ballot design: 2 helften hebben 2 verschillende
onderwerpen
- Vergelijkingen tussen groepen en over tijd door steeds zelfde vragen
o Uitzondering: split-ballot en skip patterns (reeks vragen dat niet voor iedereen
geldt)
- Generaliseerbaarheid: geldt sterker bij surveys gebaseerd op een random sample
Uitdagingen van survey’s
- Nonresponse : niet reageren op survey/niet alle vragen invullen, kan voor bias zorgen
o Response rate: aantal mensen die meedoen aan survey t.o.v. totaal
uitgenodigden. Vaak tellen half ingevulde surveys ook al mee.
- Measurement error: wanneer manier van survey/vragen antwoorden respondent
beïnvloedt
- Coverage errors: steekproef dekt niet alle leden van populatie, waardoor bias ontstaat
- Sampling error: verschillen tussen de kenmerken van de steekproef en de kenmerken
van de populatie
Soorten surveys (modes of administration) (Slide hc 1)
, - Face-to-face interviews (tegenwoordig meestal via een laptop of tablet; CAPI)
o Voordelen: hoge kwaliteit gegevens, minder ontbrekende antwoorden, uitleggen
van vragen, observaties mogelijk
o Nadelen: tijdrovend en invloed van interviewer
Oplossing invloed interviewer = gevoelige vragen via ACASI: respondent
leest/hoort vragen zelf = meer privacy.
- Telefonische surveys (vaak via random-digit dialing; RDD) (CATI; coputer assisted
telephone interview)
o Voordelen: goedkoper dan face-to-face, snel uit te voeren, geschikt actuele
onderwerpen.
o Nadelen: lage respons (veel mensen nemen onbekende nummers niet op),
interviewer effects, respondent fatigue, kan niet observeren, kan geen visuele
dingen tonen
Oplossing lage respons = vooraf brief/mail sturen, op geschikte tijden
bellen
- Mail surveys (schriftelijke enquêtes; respondent vult zelfstandig een vragenlijst in.
o Voordelen: geen interviewer effects, privacy, goedkoper, geschikt voor grote
gebieden
o Nadelen: lage respons, vragen kunnen niet uitgelegd worden, meer ontbrekende
antwoorden, niet zeker of juiste persoon vragen beantwoord
Oplossing lage respons = herinnering sturen, financiële beloning
aanbieden
- Online surveys (digitale vragenlijsten via internet)
o Voordelen: goedkoop, snel op te zetten, automatische gegevensverwerking,
minder invoerfouten, skip-patterns, wereldwijd bereik
o Nadelen: lage respons mogelijk door bv, digitale kloof (risico
steekproefvertekening), ethische zorgen (sommige platforms betalen
deelnemers zeer weinig)
Mixed-mode surveys (Slide hc 1)
- Combinatie van meerdere methoden
o Voordelen
Compenseert zwakke punten van afzonderlijke methoden (hoge kosten,
invloed interviewer etc.)
Kan meer deelnemers bereiken (lost lage respons rate op)
Biedt mogelijkheden om kwaliteit en bias te controleren
- Voorbeelden
o Internet survey voor leeftijd 40-55, smartphone survey leeftijd 20-30
o Uitnodigen per post, online survey afname
o Telefonisch herinneren voor online survey
o Telefonische afname, ACASI (audio computer self administered) voor gevoelige
vragen afname
(Slide hc 1)
p. 203-227 Bivariate correlational research
Correlationeel onderzoek: alle variabelen worden gemeten, niets wordt gemanipuleerd (gaat
om onderzoeksopzet) (Slide hc 1)
Bivariate correlatie = correlatie tussen 2 variabelen (positief, negatief en nul)
, Beschrijven van correlaties
- Scatterplot; toont relatie tussen 2 kwantitatieve variabelen, elke stip vertegenwoordigt
één deelnemer.
- Correlatiecoëfficiënt (r): beschrijft richting en sterkte
o Richting: positief, negatief of geen verband
o Sterkte: hoe dichter r +1/-1, hoe sterker relatie.
- staafdiagram (wanneer één variabele categorisch is): vergelijken gemiddelde scores
tussen groepen.
o Onderzoekers kijken vaak naar verschillen tussen groepsgemiddelden in plaats
van naar r.
Validiteit beoordelen bij associatieclaims a.d.h.v.
- Constructvaliditeit: hoe goed werd elke variabele gemeten?
o Face validity: meet het wat het moet meten?
o Concurrent validity: komt het overeen met andere tests die zelfde meten op
hetzelfde moment?
o Discriminante validiteit: hangt test niet samen met dingen die iets anders
meten?
o Convergente validiteit: hangt test samen met tests die (bijna) hetzelfde meten?
- Statistische validiteit: in hoeverre ondersteunen de gegevens de conclusie? 6 vragen
o Hoe sterk is relatie?
Effect size (r)= sterkte relatie tussen 2 of meer variabelen.
Zwak: r = (-) .1 , matig: r = (-) .3 , sterk: r = (-) .5
o Als alle andere factoren gelijk blijven, zijn grotere
effectgroottes belangrijker (kleine effectgroottes kunnen ook
belangrijk kunnen)
o Hoe precies is de schatting?
95% BI/CI: geeft aan binnen welk bereik de echte correlatie (r)
waarschijnlijk ligt.
Kleine steekproef: Brede BI, minder precieze schatting.
Grote steekproef: Smalle BI, meer precisie.
Statistische significantie: wanneer BI geen 0 bevat
o Is het gerepliceerd?
Door onderzoek te herhalen komt er steeds preciezere schatting (dus
betrouwbaarder)
o Zijn er uitschieters?
Outliers kunnen problematisch zijn, omdat ze relatie ernstig verstoren
(vertekening van beeld) extra sterk bij een kleine steekproef
o Is er een beperking in het bereik? (Restriction of range = 1 variabele heeft geen
volledig bereik van scores (bv. alleen studenten met hoge tentamen cijfers
onderzoeken)
Correlatie kan kleiner lijken dan deze in werkelijkheid is.
Oplossing: bredere steekproef gebruiken; statistische correcties
toepassen.
o Is de associatie kromlijnig (curvilinear)? (Curvilinear association = relatie tussen
2 variabelen is geen rechte lijn maar soort U vorm/parabool)
p. 189-208 Survey Research
Survey = sociale onderzoeksmethode waarbij een steekproef van individuen vragen
beantwoorden.
- Primary data collection = zelf gegevensverzameling ontwerpen en uitvoeren.
- Secondary data source = bron die door iemand anders is verzameld.
o Key informant = goed geïnformeerde persoon die namens de organisatie
antwoord geeft
Kenmerken survey’s
- Verschillende formats
- Sterk gestructureerd (hierdoor gegevens makkelijk vergelijken met verschillende
populaties/over tijd)
- Timing
o Cross-sectional surveys: meting op 1 moment geschikt voor vergelijking
groepen
Nadeel: kan alleen spreken over verbanden, niet over causaliteit, omdat
op één moment gemeten is is oorzaak gevolg moeilijk te stellen
o Longitudinale surveys: meting op meerdere tijdstippen geschikt verandering
over tijd bestuderen
2 vormen (panelonderzoek: onderzoek met panel, groep mensen die zich
hebben aangemeld om deel te nemen aan onderzoek (mixed modes kan
ook in panelonderzoek)
(slide hc 1) Voordelen Nadelen
Cross-sectional Leeftijds-, periode- en cohort effecten Binnen-persoon veranderingen
panelonderzoek kunnen beschreven worden, kunnen niet gemeten worden
= telkens andere Goedkoper,
individuen op Minder uitval (attrition),
verschillende Geen leereffecten
tijdstippen
Longitudinaal Leeftijds-, periode- en cohort effecten Uitval (attrition)
panelonderzoek kunnen beschreven worden,
= dezelfde Binnen-persoon veranderingen kunnen Leereffecten mixed mode
personen worden gemeten worden onderzoek kan dit oplossen
over lange tijd
gevolgd
Sterktes van survey’s
- Grote verscheidenheid aan onderwerpen: verschil in hoeveel vragen, informatie,
onderwerpen, mensen
o Poll: korte survey met één onderwerp
o Omnibus surveys: veel vragen met meerdere onderwerpen
Nadeel: kan veel tijd kosten + kans op afhaking
Oplossing: split-ballot design: 2 helften hebben 2 verschillende
onderwerpen
- Vergelijkingen tussen groepen en over tijd door steeds zelfde vragen
o Uitzondering: split-ballot en skip patterns (reeks vragen dat niet voor iedereen
geldt)
- Generaliseerbaarheid: geldt sterker bij surveys gebaseerd op een random sample
Uitdagingen van survey’s
- Nonresponse : niet reageren op survey/niet alle vragen invullen, kan voor bias zorgen
o Response rate: aantal mensen die meedoen aan survey t.o.v. totaal
uitgenodigden. Vaak tellen half ingevulde surveys ook al mee.
- Measurement error: wanneer manier van survey/vragen antwoorden respondent
beïnvloedt
- Coverage errors: steekproef dekt niet alle leden van populatie, waardoor bias ontstaat
- Sampling error: verschillen tussen de kenmerken van de steekproef en de kenmerken
van de populatie
Soorten surveys (modes of administration) (Slide hc 1)
, - Face-to-face interviews (tegenwoordig meestal via een laptop of tablet; CAPI)
o Voordelen: hoge kwaliteit gegevens, minder ontbrekende antwoorden, uitleggen
van vragen, observaties mogelijk
o Nadelen: tijdrovend en invloed van interviewer
Oplossing invloed interviewer = gevoelige vragen via ACASI: respondent
leest/hoort vragen zelf = meer privacy.
- Telefonische surveys (vaak via random-digit dialing; RDD) (CATI; coputer assisted
telephone interview)
o Voordelen: goedkoper dan face-to-face, snel uit te voeren, geschikt actuele
onderwerpen.
o Nadelen: lage respons (veel mensen nemen onbekende nummers niet op),
interviewer effects, respondent fatigue, kan niet observeren, kan geen visuele
dingen tonen
Oplossing lage respons = vooraf brief/mail sturen, op geschikte tijden
bellen
- Mail surveys (schriftelijke enquêtes; respondent vult zelfstandig een vragenlijst in.
o Voordelen: geen interviewer effects, privacy, goedkoper, geschikt voor grote
gebieden
o Nadelen: lage respons, vragen kunnen niet uitgelegd worden, meer ontbrekende
antwoorden, niet zeker of juiste persoon vragen beantwoord
Oplossing lage respons = herinnering sturen, financiële beloning
aanbieden
- Online surveys (digitale vragenlijsten via internet)
o Voordelen: goedkoop, snel op te zetten, automatische gegevensverwerking,
minder invoerfouten, skip-patterns, wereldwijd bereik
o Nadelen: lage respons mogelijk door bv, digitale kloof (risico
steekproefvertekening), ethische zorgen (sommige platforms betalen
deelnemers zeer weinig)
Mixed-mode surveys (Slide hc 1)
- Combinatie van meerdere methoden
o Voordelen
Compenseert zwakke punten van afzonderlijke methoden (hoge kosten,
invloed interviewer etc.)
Kan meer deelnemers bereiken (lost lage respons rate op)
Biedt mogelijkheden om kwaliteit en bias te controleren
- Voorbeelden
o Internet survey voor leeftijd 40-55, smartphone survey leeftijd 20-30
o Uitnodigen per post, online survey afname
o Telefonisch herinneren voor online survey
o Telefonische afname, ACASI (audio computer self administered) voor gevoelige
vragen afname
(Slide hc 1)
p. 203-227 Bivariate correlational research
Correlationeel onderzoek: alle variabelen worden gemeten, niets wordt gemanipuleerd (gaat
om onderzoeksopzet) (Slide hc 1)
Bivariate correlatie = correlatie tussen 2 variabelen (positief, negatief en nul)
, Beschrijven van correlaties
- Scatterplot; toont relatie tussen 2 kwantitatieve variabelen, elke stip vertegenwoordigt
één deelnemer.
- Correlatiecoëfficiënt (r): beschrijft richting en sterkte
o Richting: positief, negatief of geen verband
o Sterkte: hoe dichter r +1/-1, hoe sterker relatie.
- staafdiagram (wanneer één variabele categorisch is): vergelijken gemiddelde scores
tussen groepen.
o Onderzoekers kijken vaak naar verschillen tussen groepsgemiddelden in plaats
van naar r.
Validiteit beoordelen bij associatieclaims a.d.h.v.
- Constructvaliditeit: hoe goed werd elke variabele gemeten?
o Face validity: meet het wat het moet meten?
o Concurrent validity: komt het overeen met andere tests die zelfde meten op
hetzelfde moment?
o Discriminante validiteit: hangt test niet samen met dingen die iets anders
meten?
o Convergente validiteit: hangt test samen met tests die (bijna) hetzelfde meten?
- Statistische validiteit: in hoeverre ondersteunen de gegevens de conclusie? 6 vragen
o Hoe sterk is relatie?
Effect size (r)= sterkte relatie tussen 2 of meer variabelen.
Zwak: r = (-) .1 , matig: r = (-) .3 , sterk: r = (-) .5
o Als alle andere factoren gelijk blijven, zijn grotere
effectgroottes belangrijker (kleine effectgroottes kunnen ook
belangrijk kunnen)
o Hoe precies is de schatting?
95% BI/CI: geeft aan binnen welk bereik de echte correlatie (r)
waarschijnlijk ligt.
Kleine steekproef: Brede BI, minder precieze schatting.
Grote steekproef: Smalle BI, meer precisie.
Statistische significantie: wanneer BI geen 0 bevat
o Is het gerepliceerd?
Door onderzoek te herhalen komt er steeds preciezere schatting (dus
betrouwbaarder)
o Zijn er uitschieters?
Outliers kunnen problematisch zijn, omdat ze relatie ernstig verstoren
(vertekening van beeld) extra sterk bij een kleine steekproef
o Is er een beperking in het bereik? (Restriction of range = 1 variabele heeft geen
volledig bereik van scores (bv. alleen studenten met hoge tentamen cijfers
onderzoeken)
Correlatie kan kleiner lijken dan deze in werkelijkheid is.
Oplossing: bredere steekproef gebruiken; statistische correcties
toepassen.
o Is de associatie kromlijnig (curvilinear)? (Curvilinear association = relatie tussen
2 variabelen is geen rechte lijn maar soort U vorm/parabool)
