Samenvatting
Toepassing van onderzoeksmethoden en statistiek
Correlationeel onderzoek
Pedagogische wetenschappen 2022 – 2023
,Hoorcollege 1: Surveys
Carr hoofdstuk 7 blz. 189 – 208
Wat zijn surveys?
Een survey is een sociaalwetenschappelijke onderzoeksmethode waarin onderzoekers vragen
aan een steekproef van individuen om een aantal vragen te beantwoorden. De data kan uit een
eigen survey komen, dit heet primary data collection. Het kan ook data zijn dat verzameld is
door iemand anders, dan is het een secondary data source. Wanneer de onderzoekers
geïnteresseerd zijn in het leven, gedachten en gedrag van een individu, word er aan de
individuen gevraagd om een aantal vragen over zichzelf te beantwoorden. De surveys kunnen
ook gebruikt worden om te leren van de kenmerken en praktijken van sociale instituties, zoals
scholen, bedrijven of religieuze organisaties. Dan wordt er gebruikgemaakt van een key
informant, iemand die populair is in die omgeving en kennis kan delen met de onderzoekers.
De kenmerken van surveys
- Kan verschillende vormen hebben -> in persoon, over de telefoon, zelf een vragenlijst
invullen
- Sterk gestructureerd -> geen ruimte voor vrije conversatie, gesloten vragen,
antwoordmogelijkheden
o Voordeel: makkelijk vergelijken met verschillende populaties/over de tijd
- Eenmalig (cross-sectional) of over de tijd (longitudinaal) > twee soorten longitudinaal:
o repeated cross-sectional surveys: verschillende steekproeven van individuen op
meerdere momenten > handig voor documenteren geschiedenistrends
Beperking: kan alleen spreken over relaties, niet over causatie, omdat
het moeilijk vast te stellen is wat oorzaak en gevolg is, omdat alles op
één moment gemeten is
o Panel survey: dezelfde steekproef van individuen op meerdere momenten >
ideaal voor het ontdekken hoe mensen veranderen over de tijd
Beperking: attrition > verlies van mensen uit de steekproef over de tijd
heen, door sterven of drop out.
Sterktes van surveys
1. Een grote verscheidenheid aan onderwerpen: verschil in hoeveel vragen, informatie,
onderwerpen, mensen
o poll: korte survey met één onderwerp
o omnibus surveys: veel vragen met meerdere onderwerpen > nadeel: kan veel
tijd kosten & je wilt niet dat de respondenten halverwege afhaken, oplossing:
split-ballot design: 50% van de respondenten heeft een onderwerp, 50%
van de respondenten heeft een ander onderwerp > kost minder tijd!
2. Vergelijkingen tussen groepen en over de tijd: consistente manier van vragen
(vaststaande antwoordmogelijkheden) over de tijd zorgt ervoor dat vergelijking tussen
groepen en over de tijd mogelijk is
3. Generaliseerbaarheid: geldt sterker bij surveys gebaseerd op een random sample dan
met gemakssteekproeven.
Uitdagingen van surveys
1. Nonresponse: niet reageren op de survey of niet alle vragen invullen, kan voor bias
zorgen
, a. Response rate is het aantal mensen die meedoen aan de survey ten opzichte van
de totaal uitgenodigde mensen. Omdat het lastig is om een goede response rate
te krijgen, zijn ook half ingevulde surveys deel van deze response rates.
2. Measurement error: wanneer de manier (van survey/vragen) de antwoorden van de
respondent beïnvloeden
3. Coverage errors: de steekproef dekt niet alle leden van de populatie, waardoor er bias
ontstaat (niet alle leden of één lid meerdere keren)
4. Sampling error: verschillen tussen de kenmerken van de steekproef en de kenmerken
van de populatie
Soort survey Strengths Beperkingen
Face-to-face interviews Aanwezigheid van de Interviewer effects: De
Interviewer gaat bij de onderzoeker zorgt ervoor dat mogelijkheid dat door de
respondent op bezoek en de respondent de vragen aanwezigheid van de
stelt een aantal vragen, snapt en geen gevoelige interviewer de respondent
volgens de vragen overslaat. antwoorden geeft op een
interviewschedule. De interviewer kan bepaalde/gewenste manier,
M.b.v. CAPI betrokkenheid stimuleren en wat zorgt voor social
accurate informatie naar desirability bias.
boven halen
Telefoonsurveys Aanwezigheid interviewer Interviewer effects
Gestructureerd interview zorgt ervoor dat er geen Niet gestoord willen worden
over de telefoon, d.m.v. vragen geskipt worden en in huis, dus telefoon niet
random-digit dialing en uitleg gegeven kan worden opnemen of ophangen >
m.b.v. CATI. voor de zaken die de ondermijnen response rates
respondent niet snapt. Respondent fatigue:
Lagere kosten in respondenten willen niet te
vergelijking met F2F lang aan de telefoon blijven
interviews hangen
Vaak afgenomen op een Geen mogelijkheid van
centrale plek met supervisor showcards, dus er zijn
> zorgt voor hoge kwaliteit minder
Heeft weinig planning antwoordmogelijkheden
nodig, zodra de survey af is, mogelijk.
kan er gebeld worden Levels van paradata zijn niet
mogelijk om op te nemen,
omdat de interviewer de
omgeving niet kan
vastleggen
Het telefoonnummer
correspondeert niet altijd
met de locatie > altijd vragen
naar locatie in het interview
Postsurveys Minder last van interviewer Er mist makkelijker data,
Een self-administered effects > eerlijker omdat de interviewer niet
vragenlijst, zonder toeziend antwoorden aanwezig is
oog van de interviewer, die Lage kosten > de enige Lage response rate door de
binnen bepaalde tijd kosten zijn het voorbereiden, vrijblijvendheid > mogelijke
ingevuld moet zijn mailen, terugkrijgen en bedreiging voor de
processen van het interview generaliseerbaarheid
Toepassing van onderzoeksmethoden en statistiek
Correlationeel onderzoek
Pedagogische wetenschappen 2022 – 2023
,Hoorcollege 1: Surveys
Carr hoofdstuk 7 blz. 189 – 208
Wat zijn surveys?
Een survey is een sociaalwetenschappelijke onderzoeksmethode waarin onderzoekers vragen
aan een steekproef van individuen om een aantal vragen te beantwoorden. De data kan uit een
eigen survey komen, dit heet primary data collection. Het kan ook data zijn dat verzameld is
door iemand anders, dan is het een secondary data source. Wanneer de onderzoekers
geïnteresseerd zijn in het leven, gedachten en gedrag van een individu, word er aan de
individuen gevraagd om een aantal vragen over zichzelf te beantwoorden. De surveys kunnen
ook gebruikt worden om te leren van de kenmerken en praktijken van sociale instituties, zoals
scholen, bedrijven of religieuze organisaties. Dan wordt er gebruikgemaakt van een key
informant, iemand die populair is in die omgeving en kennis kan delen met de onderzoekers.
De kenmerken van surveys
- Kan verschillende vormen hebben -> in persoon, over de telefoon, zelf een vragenlijst
invullen
- Sterk gestructureerd -> geen ruimte voor vrije conversatie, gesloten vragen,
antwoordmogelijkheden
o Voordeel: makkelijk vergelijken met verschillende populaties/over de tijd
- Eenmalig (cross-sectional) of over de tijd (longitudinaal) > twee soorten longitudinaal:
o repeated cross-sectional surveys: verschillende steekproeven van individuen op
meerdere momenten > handig voor documenteren geschiedenistrends
Beperking: kan alleen spreken over relaties, niet over causatie, omdat
het moeilijk vast te stellen is wat oorzaak en gevolg is, omdat alles op
één moment gemeten is
o Panel survey: dezelfde steekproef van individuen op meerdere momenten >
ideaal voor het ontdekken hoe mensen veranderen over de tijd
Beperking: attrition > verlies van mensen uit de steekproef over de tijd
heen, door sterven of drop out.
Sterktes van surveys
1. Een grote verscheidenheid aan onderwerpen: verschil in hoeveel vragen, informatie,
onderwerpen, mensen
o poll: korte survey met één onderwerp
o omnibus surveys: veel vragen met meerdere onderwerpen > nadeel: kan veel
tijd kosten & je wilt niet dat de respondenten halverwege afhaken, oplossing:
split-ballot design: 50% van de respondenten heeft een onderwerp, 50%
van de respondenten heeft een ander onderwerp > kost minder tijd!
2. Vergelijkingen tussen groepen en over de tijd: consistente manier van vragen
(vaststaande antwoordmogelijkheden) over de tijd zorgt ervoor dat vergelijking tussen
groepen en over de tijd mogelijk is
3. Generaliseerbaarheid: geldt sterker bij surveys gebaseerd op een random sample dan
met gemakssteekproeven.
Uitdagingen van surveys
1. Nonresponse: niet reageren op de survey of niet alle vragen invullen, kan voor bias
zorgen
, a. Response rate is het aantal mensen die meedoen aan de survey ten opzichte van
de totaal uitgenodigde mensen. Omdat het lastig is om een goede response rate
te krijgen, zijn ook half ingevulde surveys deel van deze response rates.
2. Measurement error: wanneer de manier (van survey/vragen) de antwoorden van de
respondent beïnvloeden
3. Coverage errors: de steekproef dekt niet alle leden van de populatie, waardoor er bias
ontstaat (niet alle leden of één lid meerdere keren)
4. Sampling error: verschillen tussen de kenmerken van de steekproef en de kenmerken
van de populatie
Soort survey Strengths Beperkingen
Face-to-face interviews Aanwezigheid van de Interviewer effects: De
Interviewer gaat bij de onderzoeker zorgt ervoor dat mogelijkheid dat door de
respondent op bezoek en de respondent de vragen aanwezigheid van de
stelt een aantal vragen, snapt en geen gevoelige interviewer de respondent
volgens de vragen overslaat. antwoorden geeft op een
interviewschedule. De interviewer kan bepaalde/gewenste manier,
M.b.v. CAPI betrokkenheid stimuleren en wat zorgt voor social
accurate informatie naar desirability bias.
boven halen
Telefoonsurveys Aanwezigheid interviewer Interviewer effects
Gestructureerd interview zorgt ervoor dat er geen Niet gestoord willen worden
over de telefoon, d.m.v. vragen geskipt worden en in huis, dus telefoon niet
random-digit dialing en uitleg gegeven kan worden opnemen of ophangen >
m.b.v. CATI. voor de zaken die de ondermijnen response rates
respondent niet snapt. Respondent fatigue:
Lagere kosten in respondenten willen niet te
vergelijking met F2F lang aan de telefoon blijven
interviews hangen
Vaak afgenomen op een Geen mogelijkheid van
centrale plek met supervisor showcards, dus er zijn
> zorgt voor hoge kwaliteit minder
Heeft weinig planning antwoordmogelijkheden
nodig, zodra de survey af is, mogelijk.
kan er gebeld worden Levels van paradata zijn niet
mogelijk om op te nemen,
omdat de interviewer de
omgeving niet kan
vastleggen
Het telefoonnummer
correspondeert niet altijd
met de locatie > altijd vragen
naar locatie in het interview
Postsurveys Minder last van interviewer Er mist makkelijker data,
Een self-administered effects > eerlijker omdat de interviewer niet
vragenlijst, zonder toeziend antwoorden aanwezig is
oog van de interviewer, die Lage kosten > de enige Lage response rate door de
binnen bepaalde tijd kosten zijn het voorbereiden, vrijblijvendheid > mogelijke
ingevuld moet zijn mailen, terugkrijgen en bedreiging voor de
processen van het interview generaliseerbaarheid
