Toepassingen van Onderzoeksmethoden en Statistiek (TOE) – 2020
Correlationeel onderzoek
In dit document zijn alle hoorcolleges en literatuur opgenomen die geleerd moeten worden
voor de tussentoets van TOE over correlationeel onderzoek. Dit vak wordt gegeven aan
verschillende studies binnen de Sociale Wetenschappen aan de Universiteit Utrecht.
Inhoud
HOORCOLLEGE 1 Vragenlijsten............................................................................................1
HOORCOLLEGE 2 Vragenlijsten en meten............................................................................3
HOORCOLLEGE 3 Betrouwbaarheid en regressie.................................................................5
HOORCOLLEGE 4 Regressie.................................................................................................8
LITERATUUR Carr Hoofdstuk 7 – Survey research................................................................9
LITERATUUR Morling & Carr – Research Methods..............................................................15
HOOFDSTUK 6 Surveys and observations: Describing what people do (p. 153-164)........................15
HOOFDSTUK 8 Bivariate correlational research................................................................................16
HOOFDSTUK 9 Multivariate correlational research (p. 244-256 & p. 264-265)................................18
Inferential statistics (p. 499-500)......................................................................................................20
LITERATUUR Field – Discovering Statistics using SPSS Statistics......................................20
9.2 An introduction to the linear model (regression).......................................................................20
9.3 Bias in linear models?.................................................................................................................22
9.14 Reporting linear models............................................................................................................23
18.9 Reliability analysis.....................................................................................................................23
18.10 Reliability analysis using SPSS Statistics..................................................................................24
18.11 Interpreting reliability analysis...............................................................................................24
18.12 How to report reliability analysis............................................................................................24
HOORCOLLEGE 1 Vragenlijsten
Correlationeel onderzoek heeft alles te maken met relaties en verbanden. De data die
hiervoor verzameld wordt, heeft altijd te maken met getallen. Deze data kan op twee
manieren geproduceerd worden:
- Toevallig (organic/ready made; bijv. via sociale media).
o Aspirationeel: bewust. Jij deelt dingen via sociale media.
o Transactioneel: onbewust, door bijvoorbeeld een slimme thermostaat.
- Opzettelijk (designed/custom made; speciaal voor onderzoek), via bijvoorbeeld
experimenten, vragenlijsten of administratief (bijv. belastingdienst).
In dit deel van de cursus gaan we kijken naar vragenlijsten; een bewuste manier van
dataverzameling.Waarom verzamelen we correlationele data? Om de sociale realiteit te
beschrijven, (causale) relaties te bestuderen of te generaliseren naar de hele populatie.
Doelen van generaliseren zijn beschrijven, causaliteit en voorspellingen kunnen maken.
Soorten vragenlijsten:
1
,- Face-to-face. Dit soort interview is persoonlijk; tegenwoordig wordt er vaak gebruikt
gemaakt van de computer (CAPI = computer assistant personal interview).
- Post; vragenlijsten die opgestuurd worden en teruggestuurd moeten worden.
- Telefoon via callcenters. Een respondent moet kiezen uit de opties en kan niet zelf een
antwoord geven (CATI = computer assistant telephone interview)
- Internet; Google Forms.
- Mixed-methode; een combinatie van de verschillende methoden.
De verschillen tussen de methoden hangen af van de mate van bemoeienis van de
interviewer, de mate van interactie met de respondent, de mate van privacy en de manier
van communiceren (visueel/auditief). Voor- en nadelen van de vragenlijstmethoden:
Face-to-face Post Telephone Internet
Kosten Hoog Laag Gemiddeld Laag
Aantal respondenten Hoog Laag Hoog Gemiddeld
Controle van onderzoeker Hoog Laag Gemiddeld Gemiddeld
Interviewer effects Hoog Laag Gemiddeld Laag
In Nederland is iedereen geregistreerd en heeft 90% van de mensen internet. We weten
daardoor heel veel van mensen en kunnen veel informatie opvragen. Telefoon en post
worden daardoor weinig gebruikt. Wel wordt de post gebruikt om mensen uit te nodigen/te
herinneren aan bijv. een digitale vragenlijst (mixed-methode). Ook wordt er vaak gebruik
gemaakt van mixed-device vragenlijsten; hierbij worden er speciaal vragenlijsten ontworpen
voor op verschillende digitale devices (computer/smartphone).
Soorten mixed-methode vragenlijsten:
- Verschillende soorten voor verschillende respondenten (bijv. met en zonder internet).
- Verschillende methoden voor werving en de daadwerkelijke vragenlijst.
- Verschillende methoden voor dataverzameling en reminders/follow-up vragenlijsten.
- Verschillende methoden voor verschillende onderdelen van de vragenlijst (bijv. bij
sensitieve onderwerpen).
- Verschillende methoden van vragenlijsten in een longitudinaal onderzoek; de ene keer
een interview en de volgende keer online (om sleur te voorkomen).
In het uitzetten van een vragenlijst zijn er twee kanten die een rol spelen tot we de data
verzameld hebben. Aan de ene kant het meetinstrument en aan de andere kant de
representatie van de vragenlijst (doelpopulatie, steekproef en respondenten). Elke stap die
gemaakt wordt is een bron voor fouten:
2
, 1. Coverage error = dekkingsfout. De populatie wordt niet volledig afgedekt door de
steekproef. Er is een verschil tussen de doelpopulatie en het steekproefkader.
o Deze fout ontstaat als niet alle leden van de doelpopulatie een gelijke kans hebben
om in de steekproef opgenomen te worden.
o Een dekkingsfout speelt pas echt een rol als de mensen die niet opgenomen worden
in de steekproef significant verschillen van mensen die wel opgenomen worden
binnen de steekproef.
2. Sampling error = steekproeffout. De steekproef is geen goede representatie van de
doelpopulatie. Hierdoor ontstaat er onderschatting (wel in de steekproef, niet in de
populatie) of overschatting (niet in de steekproef, wel in de populatie).
o Deze fout ontstaat als maar een deel van de doelpopulatie een vragenlijst ontvangt.
o Er is hierin een mate van onzekerheid. We hebben statistiek nodig om die mate van
onzekerheid te meten en of deze significant is.
3. Non-response fout. Respondenten reageren niet of maar deels op de vragenlijst.
o Deze fout is problematisch als de respondenten significant verschillen van mensen
die niet reageren op de vragenlijst.
o Twee soorten non-response:
Unit-nonresponse = respondenten reageren helemaal niet op de vragenlijst.
Item-nonresponse = respondenten beantwoorden een deel van de vragenlijst
niet.
o Redenen voor non-response: technische moeilijkheden, geen motivatie/interesse of
moeite met het beantwoorden van sensitieve vragen.
4. Adjustment fout. Door dekkingsfouten en non-response zullen de statistieken van de
steekproef afwijken van de gehele doelpopulatie. Data-analisten zullen dit moeten
aanpassen. Als verschillende analisten dit op een verschillende manier doen, zorgt dit
voor een adjustment fout (vb. onderrepresentatie van bepaalde groepen die gewogen
moet worden of het opvangen van item-response vragen).
5. Measurement error = meetfout. Fouten doordat respondenten onnauwkeurige/verkeerde
antwoorden geven. Dit kan komen door:
o Manier van interviewen (face-to-face, internet) bijv. rond sensitieve onderwerpen.
o Manier van vragenstellen (leidende vragen etc.).
o Gedrag van mensen (sociaal wenselijk reageren).
HOORCOLLEGE 2 Vragenlijsten en meten
Om een theoretisch construct te meten, doorlopen wetenschappers verschillende stappen.
Het gaat hier bij om theoretische begrippen die geen eenduidig meetinstrument hebben.
Conceptuele definitie = wat wetenschappers bedoelen met het construct. Operationele
definitie = hoe wetenschappers een construct meten. Uiteindelijk komt daar dan een
variabele uit. De variabele van intelligentie bijvoorbeeld is een IQ-score. Bij een variabele
hoort een bepaald meetniveau. Nominaal – ordinaal – interval – ratio. Nominaal =
categorieën. Ordinaal = met een opbouw. Interval = de stappen zijn even groot. Ratio = heeft
een absoluut nulpunt (daardoor is 50 het dubbele van 25; dit is bij interval niet zo!).
Hoe weten we of een meetinstrument een goed meetinstrument is?
3
Correlationeel onderzoek
In dit document zijn alle hoorcolleges en literatuur opgenomen die geleerd moeten worden
voor de tussentoets van TOE over correlationeel onderzoek. Dit vak wordt gegeven aan
verschillende studies binnen de Sociale Wetenschappen aan de Universiteit Utrecht.
Inhoud
HOORCOLLEGE 1 Vragenlijsten............................................................................................1
HOORCOLLEGE 2 Vragenlijsten en meten............................................................................3
HOORCOLLEGE 3 Betrouwbaarheid en regressie.................................................................5
HOORCOLLEGE 4 Regressie.................................................................................................8
LITERATUUR Carr Hoofdstuk 7 – Survey research................................................................9
LITERATUUR Morling & Carr – Research Methods..............................................................15
HOOFDSTUK 6 Surveys and observations: Describing what people do (p. 153-164)........................15
HOOFDSTUK 8 Bivariate correlational research................................................................................16
HOOFDSTUK 9 Multivariate correlational research (p. 244-256 & p. 264-265)................................18
Inferential statistics (p. 499-500)......................................................................................................20
LITERATUUR Field – Discovering Statistics using SPSS Statistics......................................20
9.2 An introduction to the linear model (regression).......................................................................20
9.3 Bias in linear models?.................................................................................................................22
9.14 Reporting linear models............................................................................................................23
18.9 Reliability analysis.....................................................................................................................23
18.10 Reliability analysis using SPSS Statistics..................................................................................24
18.11 Interpreting reliability analysis...............................................................................................24
18.12 How to report reliability analysis............................................................................................24
HOORCOLLEGE 1 Vragenlijsten
Correlationeel onderzoek heeft alles te maken met relaties en verbanden. De data die
hiervoor verzameld wordt, heeft altijd te maken met getallen. Deze data kan op twee
manieren geproduceerd worden:
- Toevallig (organic/ready made; bijv. via sociale media).
o Aspirationeel: bewust. Jij deelt dingen via sociale media.
o Transactioneel: onbewust, door bijvoorbeeld een slimme thermostaat.
- Opzettelijk (designed/custom made; speciaal voor onderzoek), via bijvoorbeeld
experimenten, vragenlijsten of administratief (bijv. belastingdienst).
In dit deel van de cursus gaan we kijken naar vragenlijsten; een bewuste manier van
dataverzameling.Waarom verzamelen we correlationele data? Om de sociale realiteit te
beschrijven, (causale) relaties te bestuderen of te generaliseren naar de hele populatie.
Doelen van generaliseren zijn beschrijven, causaliteit en voorspellingen kunnen maken.
Soorten vragenlijsten:
1
,- Face-to-face. Dit soort interview is persoonlijk; tegenwoordig wordt er vaak gebruikt
gemaakt van de computer (CAPI = computer assistant personal interview).
- Post; vragenlijsten die opgestuurd worden en teruggestuurd moeten worden.
- Telefoon via callcenters. Een respondent moet kiezen uit de opties en kan niet zelf een
antwoord geven (CATI = computer assistant telephone interview)
- Internet; Google Forms.
- Mixed-methode; een combinatie van de verschillende methoden.
De verschillen tussen de methoden hangen af van de mate van bemoeienis van de
interviewer, de mate van interactie met de respondent, de mate van privacy en de manier
van communiceren (visueel/auditief). Voor- en nadelen van de vragenlijstmethoden:
Face-to-face Post Telephone Internet
Kosten Hoog Laag Gemiddeld Laag
Aantal respondenten Hoog Laag Hoog Gemiddeld
Controle van onderzoeker Hoog Laag Gemiddeld Gemiddeld
Interviewer effects Hoog Laag Gemiddeld Laag
In Nederland is iedereen geregistreerd en heeft 90% van de mensen internet. We weten
daardoor heel veel van mensen en kunnen veel informatie opvragen. Telefoon en post
worden daardoor weinig gebruikt. Wel wordt de post gebruikt om mensen uit te nodigen/te
herinneren aan bijv. een digitale vragenlijst (mixed-methode). Ook wordt er vaak gebruik
gemaakt van mixed-device vragenlijsten; hierbij worden er speciaal vragenlijsten ontworpen
voor op verschillende digitale devices (computer/smartphone).
Soorten mixed-methode vragenlijsten:
- Verschillende soorten voor verschillende respondenten (bijv. met en zonder internet).
- Verschillende methoden voor werving en de daadwerkelijke vragenlijst.
- Verschillende methoden voor dataverzameling en reminders/follow-up vragenlijsten.
- Verschillende methoden voor verschillende onderdelen van de vragenlijst (bijv. bij
sensitieve onderwerpen).
- Verschillende methoden van vragenlijsten in een longitudinaal onderzoek; de ene keer
een interview en de volgende keer online (om sleur te voorkomen).
In het uitzetten van een vragenlijst zijn er twee kanten die een rol spelen tot we de data
verzameld hebben. Aan de ene kant het meetinstrument en aan de andere kant de
representatie van de vragenlijst (doelpopulatie, steekproef en respondenten). Elke stap die
gemaakt wordt is een bron voor fouten:
2
, 1. Coverage error = dekkingsfout. De populatie wordt niet volledig afgedekt door de
steekproef. Er is een verschil tussen de doelpopulatie en het steekproefkader.
o Deze fout ontstaat als niet alle leden van de doelpopulatie een gelijke kans hebben
om in de steekproef opgenomen te worden.
o Een dekkingsfout speelt pas echt een rol als de mensen die niet opgenomen worden
in de steekproef significant verschillen van mensen die wel opgenomen worden
binnen de steekproef.
2. Sampling error = steekproeffout. De steekproef is geen goede representatie van de
doelpopulatie. Hierdoor ontstaat er onderschatting (wel in de steekproef, niet in de
populatie) of overschatting (niet in de steekproef, wel in de populatie).
o Deze fout ontstaat als maar een deel van de doelpopulatie een vragenlijst ontvangt.
o Er is hierin een mate van onzekerheid. We hebben statistiek nodig om die mate van
onzekerheid te meten en of deze significant is.
3. Non-response fout. Respondenten reageren niet of maar deels op de vragenlijst.
o Deze fout is problematisch als de respondenten significant verschillen van mensen
die niet reageren op de vragenlijst.
o Twee soorten non-response:
Unit-nonresponse = respondenten reageren helemaal niet op de vragenlijst.
Item-nonresponse = respondenten beantwoorden een deel van de vragenlijst
niet.
o Redenen voor non-response: technische moeilijkheden, geen motivatie/interesse of
moeite met het beantwoorden van sensitieve vragen.
4. Adjustment fout. Door dekkingsfouten en non-response zullen de statistieken van de
steekproef afwijken van de gehele doelpopulatie. Data-analisten zullen dit moeten
aanpassen. Als verschillende analisten dit op een verschillende manier doen, zorgt dit
voor een adjustment fout (vb. onderrepresentatie van bepaalde groepen die gewogen
moet worden of het opvangen van item-response vragen).
5. Measurement error = meetfout. Fouten doordat respondenten onnauwkeurige/verkeerde
antwoorden geven. Dit kan komen door:
o Manier van interviewen (face-to-face, internet) bijv. rond sensitieve onderwerpen.
o Manier van vragenstellen (leidende vragen etc.).
o Gedrag van mensen (sociaal wenselijk reageren).
HOORCOLLEGE 2 Vragenlijsten en meten
Om een theoretisch construct te meten, doorlopen wetenschappers verschillende stappen.
Het gaat hier bij om theoretische begrippen die geen eenduidig meetinstrument hebben.
Conceptuele definitie = wat wetenschappers bedoelen met het construct. Operationele
definitie = hoe wetenschappers een construct meten. Uiteindelijk komt daar dan een
variabele uit. De variabele van intelligentie bijvoorbeeld is een IQ-score. Bij een variabele
hoort een bepaald meetniveau. Nominaal – ordinaal – interval – ratio. Nominaal =
categorieën. Ordinaal = met een opbouw. Interval = de stappen zijn even groot. Ratio = heeft
een absoluut nulpunt (daardoor is 50 het dubbele van 25; dit is bij interval niet zo!).
Hoe weten we of een meetinstrument een goed meetinstrument is?
3
