MCO/S
week 8 hoorcollege 11
★ survey onderzoek = een onderzoeksmethode
○ zeer geschikt voor beschrijvende onderzoeksvragen en symmetrische
verbanden.
★ meetvaliditeit: meet alleen deze meting wat het moet meten (interne
validiteit).
★ validiteit van het onderzoek als geheel
★ interne validiteit = kwaliteit van je onderzoeksopzet
○ ik wil meten wat ik wil meten (en niets anders).
○ hoe zeker ben je over je conclusies wat betreft de relaties die je
onderzoekt?
○ zijn alternatieve verklaringen uitgesloten?
★ externe validiteit = representativiteit van je steekproef en
onderzoeksomstandigheden.
○ ik wil meten wat ik wil meten voor bepaalde mensen in bepaalde
situaties.
○ hoe zeker ben je over dat je conclusies gelden in de situaties en voor
de mensen waar je een uitspraak over wilt doen?
★ interne validiteit: alles alleen binnen het onderzoek.
★ externe validiteit: gelden conclusies buiten het onderzoek nog?
★ twee belangrijke vormen van externe validiteit: populatievaliditeit en
ecologische validiteit.
★ populatievaliditeit: is de steekproef representatief voor de populatie?
○ steekproef: de onderzoekseenheden die daadwerkelijk meedoen aan
het onderzoek.
○ populatie: de groep eenheden waar ik een uitspraak over wil doen.
○ gaat dus om de match tussen steekproef en populatie.
★ ecologische validiteit: zijn de onderzoeksomstandigheden representatief
voor de realiteit?
○ onderzoeksomstandigheden: de situatie waarin het onderzoek is
afgenomen.
○ realiteit: de situatie ‘in het echt’ waar ik uitspraken over wil doen.
○ gaat dus om de fit tussen hoe je onderzoekt en hoe het in het echt is.
★ sampling (= steekproeftrekking): welke strategie ga je inzetten om een
steekproef te trekken?
○ doel: representatieve steekproef
■ een steekproef is representatief als het de populatie
weerspiegelt op bepaalde eigenschappen.
■ dan kan ik de resultaten uit het onderzoek namelijk
generaliseren voor de gehele populatie.
, ★ van populatie naar steekproef:
○ populatie:
1. definitie van de (doel)populatie
2. operationele populatie
3. steekproefplan → steekproefkader (overzicht van
populatie-eenheden) nodig
4. selectie
★ steekproefkader: zo goed mogelijk afkaderen wie wel tot de doelpopulatie
behoort en wie niet.
○ onderdekking: er ontbreken mensen in het steekproefkader.
○ overdekking: er zitten mensen in het steekproefkader die er niet in
horen.
★ sampling:
○ census steekproef
○ kanssteekproeven (aselect en random)
○ niet-kanssteekproeven (select en non-random)
★ als je random selecteert uit een goed steekproefkader zal bij voldoende
waarnemingen de steekproef representatief zijn.
○ en dus zullen eigenschappen die vaak voorkomen vaker geselecteerd
worden dan eigenschappen die minder vaak voorkomen.
census steekproef:
○ de hele populatie laten meedoen in het onderzoek.
○ 100% representatief.
○ de ‘catch’: heel vaak niet praktisch haalbaar.
■ perfect steekproefkader nodig
■ iedereen moet meedoen
■ populatie kan simpelweg te groot zijn
kanssteekproeven
★ enkelvoudige aselecte steekproef:
○ toevalssteekproef (random selection) uit alle onderzoekseenheden.
○ bij een steekproef van voldoende omvang mag je ervan uitgaan dat dit
representatief is op alle mogelijke variabelen.
○ de ‘catch’: heel vaak niet praktisch haalbaar.
■ (goed) steekproefkader nodig
■ iedereen moet meedoen
★ systematische steekproef:
○ steeds elke keer de onderzoekseenheid selecteren, het startpunt is
random.
○ makkelijker dan pure random selectie, representatief als er geen
systematiek in de volgorde zit.
○ de ‘catch’: heel vaak niet praktisch haalbaar.
■ (goed) steekproefkader nodig
■ iedereen moet meedoen
, ■ mogelijkheid voor bias (systematiek in volgorde zie je snel over
het hoofd)
★ gestratificeerde steekproef:
○ populatie in strata verdelen, random selecteren uit elke strata.
○ poging om elke strata vertegenwoordigd te laten zijn in de steekproef
(nuttig bij scheve verdelingen in de populatie).
○ de ‘catch’:
■ (goed) steekproefkader nodig
■ iedereen moet meedoen
★ cluster steekproef:
○ populatie in clusters verdelen, random een aantal (hele) clusters
selecteren.
○ steekproefkader makkelijker te maken (clusters identificeren ipv
individuen).
○ de ‘catch’:
■ (goed) steekproefkader nodig
■ iedereen moet meedoen
■ grotere kans op bias (want clusters kunnen niet representatief
zijn voor populatie)
★ getrapte / multistage steekproef:
○ populatie in clusters verdelen, binnen die clusters random clusters
selecteren, binnen die clusters random clusters selecteren, etc.,
uiteindelijk binnen het laatste/kleinste cluster random een aantal
onderzoekseenheden selecteren.
○ steekproefkader makkelijker te maken (cluster identificeren ipv
individuen).
○ de ‘catch’:
■ (goed) steekproefkader nodig
■ iedereen moet meedoen
■ grotere kans op bias bij elke extra trap/stap (want clusters
kunnen niet representatief zijn voor populatie)
niet-kanssteekproeven
★ gemakssteekproef:
○ gebruiken wat voor handen is.
○ vrijwel nooit representatief.
○ wel lekker makkelijk.
★ quota steekproef:
○ populatie namaken door te selecteren om te voldoen aan bepaalde
quota’s.
○ representatief voor selectiecriteria (nuttig als er geen goed
steekproefkader beschikbaar is).
○ de ‘catch’:
■ populatiegegevens moeten beschikbaar zijn om selectiecriteria
te kunnen bepalen.
, ■ hoe meer criteria, hoe lastiger selectie.
■ grotere kans op bias voor eigenschappen buiten de
selectiecriteria.
★ sneeuwbal steekproef:
○ (geselecteerde) mensen vragen om in hun eigen netwerk te werven
voor de onderzoeker.
○ nuttig om mensen met zeldzame eigenschappen te vinden of lastig te
bereiken mensen te werven.
○ de ‘catch’:
■ vaak alsnog veel bias (gelijkgezinden worden waarschijnlijk
vaker uitgenodigd dan anders denkenden; geïsoleerde mensen
worden niet bereikt).
★ judgemental / purposive sampling:
○ onderzoeker selecteert eenheden op basis van bepaalde kenmerken.
○ meestal bij kwalitatief onderzoek.
○ de ‘catch’:
■ onderzoeker kan belangrijke onderzoekseenheden vergeten.
★ als non-response hoog is dan is dat een heel groot probleem voor
externe validiteit van een onderzoek → dan is de kans groot dat
alleen een bepaald soort mensen meedoen = non-response bias.
○ unit non-response = mensen die uitgenodigd zijn om mee te doen
weigeren.
○ item non-response = mensen geven geen antwoord op een bepaald
item.
○ wat er tegen doen:
■ incentive (maak het aantrekkelijk om mee te doen)
■ zorg dat vragen duidelijk zijn
■ anonimiteit waarborgen
○ rapporteer altijd en transparant over non-response.
○ pro-tip: oversampling → meer onderzoekseenheden selecteren
dan nodig: daarmee voorkom je power problemen (maar niet
bias als gevolg van nonresponse).
★ survey onderzoek: van te voren vastgestelde vragen laat beantwoorden.
○ sterke focus op externe validiteit (specifiek: representativiteit
steekproef).
★ survey onderzoek (reactief onderzoek):
○ geschikt voor meten van:
■ verdeling van verschijnselen in maatschappij
■ kenmerk van personen
■ gedrag
■ meningen
○ niet geschikt voor het vaststellen van causale verbanden.
★ designs used in survey research:
week 8 hoorcollege 11
★ survey onderzoek = een onderzoeksmethode
○ zeer geschikt voor beschrijvende onderzoeksvragen en symmetrische
verbanden.
★ meetvaliditeit: meet alleen deze meting wat het moet meten (interne
validiteit).
★ validiteit van het onderzoek als geheel
★ interne validiteit = kwaliteit van je onderzoeksopzet
○ ik wil meten wat ik wil meten (en niets anders).
○ hoe zeker ben je over je conclusies wat betreft de relaties die je
onderzoekt?
○ zijn alternatieve verklaringen uitgesloten?
★ externe validiteit = representativiteit van je steekproef en
onderzoeksomstandigheden.
○ ik wil meten wat ik wil meten voor bepaalde mensen in bepaalde
situaties.
○ hoe zeker ben je over dat je conclusies gelden in de situaties en voor
de mensen waar je een uitspraak over wilt doen?
★ interne validiteit: alles alleen binnen het onderzoek.
★ externe validiteit: gelden conclusies buiten het onderzoek nog?
★ twee belangrijke vormen van externe validiteit: populatievaliditeit en
ecologische validiteit.
★ populatievaliditeit: is de steekproef representatief voor de populatie?
○ steekproef: de onderzoekseenheden die daadwerkelijk meedoen aan
het onderzoek.
○ populatie: de groep eenheden waar ik een uitspraak over wil doen.
○ gaat dus om de match tussen steekproef en populatie.
★ ecologische validiteit: zijn de onderzoeksomstandigheden representatief
voor de realiteit?
○ onderzoeksomstandigheden: de situatie waarin het onderzoek is
afgenomen.
○ realiteit: de situatie ‘in het echt’ waar ik uitspraken over wil doen.
○ gaat dus om de fit tussen hoe je onderzoekt en hoe het in het echt is.
★ sampling (= steekproeftrekking): welke strategie ga je inzetten om een
steekproef te trekken?
○ doel: representatieve steekproef
■ een steekproef is representatief als het de populatie
weerspiegelt op bepaalde eigenschappen.
■ dan kan ik de resultaten uit het onderzoek namelijk
generaliseren voor de gehele populatie.
, ★ van populatie naar steekproef:
○ populatie:
1. definitie van de (doel)populatie
2. operationele populatie
3. steekproefplan → steekproefkader (overzicht van
populatie-eenheden) nodig
4. selectie
★ steekproefkader: zo goed mogelijk afkaderen wie wel tot de doelpopulatie
behoort en wie niet.
○ onderdekking: er ontbreken mensen in het steekproefkader.
○ overdekking: er zitten mensen in het steekproefkader die er niet in
horen.
★ sampling:
○ census steekproef
○ kanssteekproeven (aselect en random)
○ niet-kanssteekproeven (select en non-random)
★ als je random selecteert uit een goed steekproefkader zal bij voldoende
waarnemingen de steekproef representatief zijn.
○ en dus zullen eigenschappen die vaak voorkomen vaker geselecteerd
worden dan eigenschappen die minder vaak voorkomen.
census steekproef:
○ de hele populatie laten meedoen in het onderzoek.
○ 100% representatief.
○ de ‘catch’: heel vaak niet praktisch haalbaar.
■ perfect steekproefkader nodig
■ iedereen moet meedoen
■ populatie kan simpelweg te groot zijn
kanssteekproeven
★ enkelvoudige aselecte steekproef:
○ toevalssteekproef (random selection) uit alle onderzoekseenheden.
○ bij een steekproef van voldoende omvang mag je ervan uitgaan dat dit
representatief is op alle mogelijke variabelen.
○ de ‘catch’: heel vaak niet praktisch haalbaar.
■ (goed) steekproefkader nodig
■ iedereen moet meedoen
★ systematische steekproef:
○ steeds elke keer de onderzoekseenheid selecteren, het startpunt is
random.
○ makkelijker dan pure random selectie, representatief als er geen
systematiek in de volgorde zit.
○ de ‘catch’: heel vaak niet praktisch haalbaar.
■ (goed) steekproefkader nodig
■ iedereen moet meedoen
, ■ mogelijkheid voor bias (systematiek in volgorde zie je snel over
het hoofd)
★ gestratificeerde steekproef:
○ populatie in strata verdelen, random selecteren uit elke strata.
○ poging om elke strata vertegenwoordigd te laten zijn in de steekproef
(nuttig bij scheve verdelingen in de populatie).
○ de ‘catch’:
■ (goed) steekproefkader nodig
■ iedereen moet meedoen
★ cluster steekproef:
○ populatie in clusters verdelen, random een aantal (hele) clusters
selecteren.
○ steekproefkader makkelijker te maken (clusters identificeren ipv
individuen).
○ de ‘catch’:
■ (goed) steekproefkader nodig
■ iedereen moet meedoen
■ grotere kans op bias (want clusters kunnen niet representatief
zijn voor populatie)
★ getrapte / multistage steekproef:
○ populatie in clusters verdelen, binnen die clusters random clusters
selecteren, binnen die clusters random clusters selecteren, etc.,
uiteindelijk binnen het laatste/kleinste cluster random een aantal
onderzoekseenheden selecteren.
○ steekproefkader makkelijker te maken (cluster identificeren ipv
individuen).
○ de ‘catch’:
■ (goed) steekproefkader nodig
■ iedereen moet meedoen
■ grotere kans op bias bij elke extra trap/stap (want clusters
kunnen niet representatief zijn voor populatie)
niet-kanssteekproeven
★ gemakssteekproef:
○ gebruiken wat voor handen is.
○ vrijwel nooit representatief.
○ wel lekker makkelijk.
★ quota steekproef:
○ populatie namaken door te selecteren om te voldoen aan bepaalde
quota’s.
○ representatief voor selectiecriteria (nuttig als er geen goed
steekproefkader beschikbaar is).
○ de ‘catch’:
■ populatiegegevens moeten beschikbaar zijn om selectiecriteria
te kunnen bepalen.
, ■ hoe meer criteria, hoe lastiger selectie.
■ grotere kans op bias voor eigenschappen buiten de
selectiecriteria.
★ sneeuwbal steekproef:
○ (geselecteerde) mensen vragen om in hun eigen netwerk te werven
voor de onderzoeker.
○ nuttig om mensen met zeldzame eigenschappen te vinden of lastig te
bereiken mensen te werven.
○ de ‘catch’:
■ vaak alsnog veel bias (gelijkgezinden worden waarschijnlijk
vaker uitgenodigd dan anders denkenden; geïsoleerde mensen
worden niet bereikt).
★ judgemental / purposive sampling:
○ onderzoeker selecteert eenheden op basis van bepaalde kenmerken.
○ meestal bij kwalitatief onderzoek.
○ de ‘catch’:
■ onderzoeker kan belangrijke onderzoekseenheden vergeten.
★ als non-response hoog is dan is dat een heel groot probleem voor
externe validiteit van een onderzoek → dan is de kans groot dat
alleen een bepaald soort mensen meedoen = non-response bias.
○ unit non-response = mensen die uitgenodigd zijn om mee te doen
weigeren.
○ item non-response = mensen geven geen antwoord op een bepaald
item.
○ wat er tegen doen:
■ incentive (maak het aantrekkelijk om mee te doen)
■ zorg dat vragen duidelijk zijn
■ anonimiteit waarborgen
○ rapporteer altijd en transparant over non-response.
○ pro-tip: oversampling → meer onderzoekseenheden selecteren
dan nodig: daarmee voorkom je power problemen (maar niet
bias als gevolg van nonresponse).
★ survey onderzoek: van te voren vastgestelde vragen laat beantwoorden.
○ sterke focus op externe validiteit (specifiek: representativiteit
steekproef).
★ survey onderzoek (reactief onderzoek):
○ geschikt voor meten van:
■ verdeling van verschijnselen in maatschappij
■ kenmerk van personen
■ gedrag
■ meningen
○ niet geschikt voor het vaststellen van causale verbanden.
★ designs used in survey research:
