Correlationeel
HC 1: surveys
Correlationele data
- Organic (toevallig verzamelen, ready made)
o Aspirational (wel opzettelijk data produceren, maar niet met het doel voor
onderzoek. Bijv. sociale media)
o Transactional (data van creditcards, energiemaatschappijen etc.)
- Designed (ontworpen verzamelen, custom made)
o Experiment
o Survey
o Administrative (bedrijven vragen data aan klanten)
Doelen van dataverzameling
- Beschrijvende statistiek
- Causale relaties onderzoeken
- Generaliseren naar target populatie
Inferentiële doelen
- Description (wat is de rol van de vrouw in de maatschappij?)
- Causation (wat is de impact van het hebben van een dochter op vaders en hun kijk op
gendergelijkheid?)
- Prediction (welke van deze verkiezingskandidaten zou jouw eerste keuze zijn?)
Methoden van dataverzameling: survey
,Mixed mode
- Voor sommige methoden ben je meer/minder comfortabel met antwoorden
- Ene methode voor verwerving andere voor afnemen
- Ene methode voor datacollectie andere voor herinneringen of follow-ups
- Ene methode voor hoofddeel, andere voor subonderdelen, bijv. voor gevoeligere
onderwerpen
Panel survey (cross-sectional survey)
- Dezelfde respondenten interviewen over een bepaalde tijd
o Verandering beschrijven (+)
o Achtergrondfactoren onderzoeken: als je iets maar 1x vraagt kan je die niet
goed onderzoeken. (+)
o Attrition (uitval) (-)
Drop-out
Consecutive wave-nonresponse (tijdelijk niet meedoen)
o Panel conditioning (learning effects) (-)
Tegengaan met mixed mode design
Fouten bij surveys
Representation
Dekkingsfout (coverage error)
- Doelpopulatie en steekproefkader overlappen niet ideaal
- Mensen hebben niet een gelijke kans om in de steekproef opgenomen te worden
- Speelt pas een problematische rol wanneer de mensen die niet op de lijst staan,
anders zijn dan de mensen in de steekproef
Under-coverage: niet op de lijst, maar wel in de populatie
Over-coverage: wel op de lijst, maar niet in de populatie
Steekproeffout (sample error)
- Speelt altijd wel een rol: afgaan van een foutmarge van 3%.
Non-response fout
- Wordt pas een probleem als mensen die niet reageren anders zijn dan degene die
wel reageren.
- Unit-nonresponse: mensen weigeren mee te doen
- Item-nonresponse: mensen weigeren bepaalde vragen te beantwoorden
Aanpassingsfout (adjustment error)
- Door dekkingsfouten en non-responsefouten kan de sample statistisch gezien
afwijken van de populatie
Onderrepresentatie
- Bijv. door onderrepresentatie van bepaalde groepen (verschil response
platteland/stad)
, - Daarom kan je data niet op een grote hoop gooien
- Adjustment: weighting up the underrepresented: een gewogen gemiddelde
berekenen
Item-nonresponse
- Adjustment: imputation (vragen invullen d.m.v. interpretatie van data van andere
participanten)
Measurement
Measurement error
- Komt voor wanneer participanten verkeerde antwoorden geven door
o Verkeerd afnemen van surveys: survey mode-effects
Online antwoord je waarschijnlijk anders dan via de telefoon
Slechte verwoording van vragen
Onderdelen van gedrag
In de praktijk: survey zomertijd in de EU
- Dekkingsfout: alleen internetgebruikers konden meedoen
- Alleen vrijwilligers deden mee: daardoor veel uit Duitsland, weinig uit Nederland
- Non-response: alleen geïnteresseerden deden mee
- Adjustment error: geen adjustment voor grootte van het land. 80% van de
antwoorden kwam uit Duitsland. Er is niet gewogen voor land van herkomst: geen
gewogen gemiddelde.
- Measurement error: slecht geconstrueerde vragenlijst
, HC 2: measurement and surveys
Betrouwbaarheid: Reliable measurement: precision (steeds op dezelfde uitkomst
uitkomen)
- Consistency
- Test-hertest
- Interrater (interbeoordelaar) : uitkomst is onafhankelijk van wie het meetinstrument
gebruikt
- Internal: verschillende onderzoekers komen op dezelfde conclusie met behulp van
dezelfde data-gegevens.
Validity of measurement (begripsvaliditeit)
- Accuracy (meet je wat je moet weten?)
- Correctness
- Kan op vijf verschillende manieren bekeken worden
- Als mensen niet eerlijk antwoorden beïnvloedt dat de validity
Face validity (indruksvaliditeit)
= is het meetinstrument goed?
Content validity (inhoudsvaliditeit)
= met het meetinstrument alle aspecten van een begrip?
Convergent validity
= is er een samenhang met de uitkomst van meetinstrumenten A en B die hetzelfde begrip
meten?
Divergent validity
= is er geen samenhang met de uitkomst van meetinstrumenten A en B die iets verschillend
meten?
Criterion validity
= voorspelt de meting een criterium?
Response proces
= een valide en betrouwbaar, error-free survey maken is moeilijk
1. Begrip
2. Retrieval (kan je je alles herinneren?)
3. Beoordelen (judgement) (kan je het nog accuraat inschatten?)
4. Antwoord (ben je gewillig te antwoorden (social desirability?)
Survey issues that lead to bias
- Recall problems: under- or overestimation (judgement)
- Question bias due to
o Question wording (te moeilijk, te lang)
HC 1: surveys
Correlationele data
- Organic (toevallig verzamelen, ready made)
o Aspirational (wel opzettelijk data produceren, maar niet met het doel voor
onderzoek. Bijv. sociale media)
o Transactional (data van creditcards, energiemaatschappijen etc.)
- Designed (ontworpen verzamelen, custom made)
o Experiment
o Survey
o Administrative (bedrijven vragen data aan klanten)
Doelen van dataverzameling
- Beschrijvende statistiek
- Causale relaties onderzoeken
- Generaliseren naar target populatie
Inferentiële doelen
- Description (wat is de rol van de vrouw in de maatschappij?)
- Causation (wat is de impact van het hebben van een dochter op vaders en hun kijk op
gendergelijkheid?)
- Prediction (welke van deze verkiezingskandidaten zou jouw eerste keuze zijn?)
Methoden van dataverzameling: survey
,Mixed mode
- Voor sommige methoden ben je meer/minder comfortabel met antwoorden
- Ene methode voor verwerving andere voor afnemen
- Ene methode voor datacollectie andere voor herinneringen of follow-ups
- Ene methode voor hoofddeel, andere voor subonderdelen, bijv. voor gevoeligere
onderwerpen
Panel survey (cross-sectional survey)
- Dezelfde respondenten interviewen over een bepaalde tijd
o Verandering beschrijven (+)
o Achtergrondfactoren onderzoeken: als je iets maar 1x vraagt kan je die niet
goed onderzoeken. (+)
o Attrition (uitval) (-)
Drop-out
Consecutive wave-nonresponse (tijdelijk niet meedoen)
o Panel conditioning (learning effects) (-)
Tegengaan met mixed mode design
Fouten bij surveys
Representation
Dekkingsfout (coverage error)
- Doelpopulatie en steekproefkader overlappen niet ideaal
- Mensen hebben niet een gelijke kans om in de steekproef opgenomen te worden
- Speelt pas een problematische rol wanneer de mensen die niet op de lijst staan,
anders zijn dan de mensen in de steekproef
Under-coverage: niet op de lijst, maar wel in de populatie
Over-coverage: wel op de lijst, maar niet in de populatie
Steekproeffout (sample error)
- Speelt altijd wel een rol: afgaan van een foutmarge van 3%.
Non-response fout
- Wordt pas een probleem als mensen die niet reageren anders zijn dan degene die
wel reageren.
- Unit-nonresponse: mensen weigeren mee te doen
- Item-nonresponse: mensen weigeren bepaalde vragen te beantwoorden
Aanpassingsfout (adjustment error)
- Door dekkingsfouten en non-responsefouten kan de sample statistisch gezien
afwijken van de populatie
Onderrepresentatie
- Bijv. door onderrepresentatie van bepaalde groepen (verschil response
platteland/stad)
, - Daarom kan je data niet op een grote hoop gooien
- Adjustment: weighting up the underrepresented: een gewogen gemiddelde
berekenen
Item-nonresponse
- Adjustment: imputation (vragen invullen d.m.v. interpretatie van data van andere
participanten)
Measurement
Measurement error
- Komt voor wanneer participanten verkeerde antwoorden geven door
o Verkeerd afnemen van surveys: survey mode-effects
Online antwoord je waarschijnlijk anders dan via de telefoon
Slechte verwoording van vragen
Onderdelen van gedrag
In de praktijk: survey zomertijd in de EU
- Dekkingsfout: alleen internetgebruikers konden meedoen
- Alleen vrijwilligers deden mee: daardoor veel uit Duitsland, weinig uit Nederland
- Non-response: alleen geïnteresseerden deden mee
- Adjustment error: geen adjustment voor grootte van het land. 80% van de
antwoorden kwam uit Duitsland. Er is niet gewogen voor land van herkomst: geen
gewogen gemiddelde.
- Measurement error: slecht geconstrueerde vragenlijst
, HC 2: measurement and surveys
Betrouwbaarheid: Reliable measurement: precision (steeds op dezelfde uitkomst
uitkomen)
- Consistency
- Test-hertest
- Interrater (interbeoordelaar) : uitkomst is onafhankelijk van wie het meetinstrument
gebruikt
- Internal: verschillende onderzoekers komen op dezelfde conclusie met behulp van
dezelfde data-gegevens.
Validity of measurement (begripsvaliditeit)
- Accuracy (meet je wat je moet weten?)
- Correctness
- Kan op vijf verschillende manieren bekeken worden
- Als mensen niet eerlijk antwoorden beïnvloedt dat de validity
Face validity (indruksvaliditeit)
= is het meetinstrument goed?
Content validity (inhoudsvaliditeit)
= met het meetinstrument alle aspecten van een begrip?
Convergent validity
= is er een samenhang met de uitkomst van meetinstrumenten A en B die hetzelfde begrip
meten?
Divergent validity
= is er geen samenhang met de uitkomst van meetinstrumenten A en B die iets verschillend
meten?
Criterion validity
= voorspelt de meting een criterium?
Response proces
= een valide en betrouwbaar, error-free survey maken is moeilijk
1. Begrip
2. Retrieval (kan je je alles herinneren?)
3. Beoordelen (judgement) (kan je het nog accuraat inschatten?)
4. Antwoord (ben je gewillig te antwoorden (social desirability?)
Survey issues that lead to bias
- Recall problems: under- or overestimation (judgement)
- Question bias due to
o Question wording (te moeilijk, te lang)
