Toepassing van onderzoeksmethoden en statistiek
Hoorcollege 1: corralational research; surveys
Data is ontstaat op verschillende manier:
- Organisch: gaat vanzelf:
o Aspirational: produceert data ook zelf, sociale media; doordat je een platform
gebruikt genereer je data
o Transactional: produceert data zelf, door de handelingen die je doet
- Doelbewust: custom made
o Experiment
o Survey:
o Adminastrative:
Correlational data (designed):
- We ontwerpen studies & verzamelen data:
o De sociale realiteit beschrijven
o Studeren van relaties
o Generalize to the target population
Inferential goals:
- Beschrijven
- Oorzaak
- Voorspellen
Survey modes:
- Face-to-face (CAPI – computer assisted personalized interview)
- Mail: post
- Telephone (CATI – computer assisted telephone interview; efficiënte, geen overbodige
vragen, vervolgvragen)
- Internet
- Mixed-mode
Differences between the modes:
- Degree of interviewer involvement: veel tijd involvement van interviewer
- Degree of interaction with the respondent
, - Degree of privacy: meer gevoel van privacy per post of mail vragen beantwoorden
(ongemakkelijk in persoon met interviewer)
- Channels of communication:
o Visual
o Auditive
- Technology use: in hoeverre zijn landen technologisch ontwikkelt, hierdoor wordt een groot
deel uitgesloten omdat niet iedereen internet heeft
Attribute Face-to-face Mail Telephone Internet
Cost High Low Moderate Low
Response rate High Low High Moderate
Researcher High Low Moderate Moderate
control over
interview
Interviewer High Low Moderate Low
effects
Survey’s modes in NL:
- Population register & over 90% internet use:
o Telephone surveys (random digit dialing) not widely used
- Mixed methods:
o Postal mail with invitations to internet surveys
o Telephone component if numbers are known
- Market researchers use both probability and nonprobability online panels
- Mixed-device surveys:
o Computer/smartphone
Types of mixed-methods design
Mode-effect: soort methode kan een effect hebben op antwoorden
- One mode for some respondents, another mode for others (online survey with mail
component for those without internet)
- One mode for recruitment, another for survey administration (mail invitation for an online
- One mode for data collection, another for reminders, follow up (telephone reminders for an
online survey)
- One mode for main part of the interview, another for subset of answers (dus bijvoorbeeld
privacy gevoelige deel op de mail sturen) (sensitive) (telephone & audio computer self-
administrated)
Cross-sectional and panel surveys:
- Panel surveys interview respondents over time:
o Content usually the same
o But may differ
- Advantages:
o We can assess within-person change & causality
o We can disentangle age, period and cohert effects
- Potential errors:
o Attrition
Drop-out
Consecutive wave-nonresponse
o Panel conditioning:
AKA learning-effects: sneller invullen, minder nadenken over wat ze invullen
,Types of mixed-methods design:
- One mode for one wave of the panel survey, another for others (first wave face-to-face,
following waves to save cost)
Operational
- Construct (PTSD)
- Conceptual definition (a psychiatric disorder)
- Operational definition (vragenlijst maken over ptss)
- Variable:
o Creating a variable:
Goal: create 1 score that indicates severity of PTSD
Option 1: sum of items scores
Option 2: average all items scores, can still be calculated with a few missing
values
Option 3:
- Let op als iet uit de toon is dan kan iets negatief gesteld zijn, wat te doen? Scores omdraaien
Hoorcollege 2: reliability & introduction to regression
Betrouwbaarheid:
- Measurement does not vary due to characteristics of how you measured or the
measurement instrument
- Meet het meetinstrument steeds hetzelfde – consistentie van de meting
- AKA precision
Validiteit:
- Meet ik wat ik wil meten – correctheid van de meting
- How well your measurement matches the concept of interest
Validiteit van meting:
Face Ziet de meting er OK uit
Content Meet het alle aspecten van het construct
Convergent Correleert het met een andere metingen van
hetzelfde construct
Divergent Correleert het juist niet met een
meetinstrument dat iets totaal anders meet
Criterion Voorspelt het de uitkomst
Kracht van meten:
- We meten de kracht van de relatie met correlatie
- Een maat voor de sterkte en de richting van een lineair verband tussen twee
interval/ratiovariabelen (aangeduid door r)
- Een getal tussen -1 en +1
Betrouwbaarheid:
- Test-retest: tijdje later nog een test afnemen en kijken of er ongeveer hetzelfde uitkomt
- Inter-rater: maakt het uit als andere mensen het interview afnemen, dus meerdere personen
het interview laten afnemen
, - Internal: zijn de dingen die we in het meetinstrument hebben, hangt dat goed met elkaar
samen
Betrouwbaarheid:
- Cronbach’s Alpha (alpha < 0,7 -> niet goed, alpha > 0,8 -> goed (maar hangt af van gebruik
van survey, gemiddelde grote groep kan je meer door de vingers zien))
- Meet de interne consistentie: in hoeverre hangen de items in een survey samen
- Moeilijke berekeningen, dus we doen het met de computer
- Om betrouwbare analyses te gebruiken moeten alle items dezelfde kant op gecodeerd zijn
Verbeteren van de schaal:
- Controleer de correlatie tussen de individuele items en de schaal zonder dat item
o Item-test correlatie of item-totaal correlatie
o Vuistregel: rit < ±0,2 -> item mag verwijderd worden?
- Controleer bovendien wat er gebeurt met Cronbach’s Alpha als de schaal zonder dat
specifieke item zou worden gemaakt
o ‘Cronbach’s Alpha indien item verwijderd’
o Vuistregel: a neemt het meest toe -> item mag worden verwijderd
Nul hypothese toetsen
Van correlatie tot regressie:
- Correlatie wordt gebruik voor:
o Het meten van de kracht van een lineaire relatie
o Het meten van de richting van een lineaire relatie
- Regressie wordt gebruik voor:
o De vergelijking van de lineaire relatie beschrijven
o Voorspellingen doen aan de hand van deze vergelijking
Voorspellingen:
- The research question:
o Kan je een variabele voorspellen op basis van een andere variabele
Variabelen:
- De te voorspellen variabele:
o Wordt aangeduid met Y
o Wordt de afhankelijke variabele genoemd
Hoorcollege 1: corralational research; surveys
Data is ontstaat op verschillende manier:
- Organisch: gaat vanzelf:
o Aspirational: produceert data ook zelf, sociale media; doordat je een platform
gebruikt genereer je data
o Transactional: produceert data zelf, door de handelingen die je doet
- Doelbewust: custom made
o Experiment
o Survey:
o Adminastrative:
Correlational data (designed):
- We ontwerpen studies & verzamelen data:
o De sociale realiteit beschrijven
o Studeren van relaties
o Generalize to the target population
Inferential goals:
- Beschrijven
- Oorzaak
- Voorspellen
Survey modes:
- Face-to-face (CAPI – computer assisted personalized interview)
- Mail: post
- Telephone (CATI – computer assisted telephone interview; efficiënte, geen overbodige
vragen, vervolgvragen)
- Internet
- Mixed-mode
Differences between the modes:
- Degree of interviewer involvement: veel tijd involvement van interviewer
- Degree of interaction with the respondent
, - Degree of privacy: meer gevoel van privacy per post of mail vragen beantwoorden
(ongemakkelijk in persoon met interviewer)
- Channels of communication:
o Visual
o Auditive
- Technology use: in hoeverre zijn landen technologisch ontwikkelt, hierdoor wordt een groot
deel uitgesloten omdat niet iedereen internet heeft
Attribute Face-to-face Mail Telephone Internet
Cost High Low Moderate Low
Response rate High Low High Moderate
Researcher High Low Moderate Moderate
control over
interview
Interviewer High Low Moderate Low
effects
Survey’s modes in NL:
- Population register & over 90% internet use:
o Telephone surveys (random digit dialing) not widely used
- Mixed methods:
o Postal mail with invitations to internet surveys
o Telephone component if numbers are known
- Market researchers use both probability and nonprobability online panels
- Mixed-device surveys:
o Computer/smartphone
Types of mixed-methods design
Mode-effect: soort methode kan een effect hebben op antwoorden
- One mode for some respondents, another mode for others (online survey with mail
component for those without internet)
- One mode for recruitment, another for survey administration (mail invitation for an online
- One mode for data collection, another for reminders, follow up (telephone reminders for an
online survey)
- One mode for main part of the interview, another for subset of answers (dus bijvoorbeeld
privacy gevoelige deel op de mail sturen) (sensitive) (telephone & audio computer self-
administrated)
Cross-sectional and panel surveys:
- Panel surveys interview respondents over time:
o Content usually the same
o But may differ
- Advantages:
o We can assess within-person change & causality
o We can disentangle age, period and cohert effects
- Potential errors:
o Attrition
Drop-out
Consecutive wave-nonresponse
o Panel conditioning:
AKA learning-effects: sneller invullen, minder nadenken over wat ze invullen
,Types of mixed-methods design:
- One mode for one wave of the panel survey, another for others (first wave face-to-face,
following waves to save cost)
Operational
- Construct (PTSD)
- Conceptual definition (a psychiatric disorder)
- Operational definition (vragenlijst maken over ptss)
- Variable:
o Creating a variable:
Goal: create 1 score that indicates severity of PTSD
Option 1: sum of items scores
Option 2: average all items scores, can still be calculated with a few missing
values
Option 3:
- Let op als iet uit de toon is dan kan iets negatief gesteld zijn, wat te doen? Scores omdraaien
Hoorcollege 2: reliability & introduction to regression
Betrouwbaarheid:
- Measurement does not vary due to characteristics of how you measured or the
measurement instrument
- Meet het meetinstrument steeds hetzelfde – consistentie van de meting
- AKA precision
Validiteit:
- Meet ik wat ik wil meten – correctheid van de meting
- How well your measurement matches the concept of interest
Validiteit van meting:
Face Ziet de meting er OK uit
Content Meet het alle aspecten van het construct
Convergent Correleert het met een andere metingen van
hetzelfde construct
Divergent Correleert het juist niet met een
meetinstrument dat iets totaal anders meet
Criterion Voorspelt het de uitkomst
Kracht van meten:
- We meten de kracht van de relatie met correlatie
- Een maat voor de sterkte en de richting van een lineair verband tussen twee
interval/ratiovariabelen (aangeduid door r)
- Een getal tussen -1 en +1
Betrouwbaarheid:
- Test-retest: tijdje later nog een test afnemen en kijken of er ongeveer hetzelfde uitkomt
- Inter-rater: maakt het uit als andere mensen het interview afnemen, dus meerdere personen
het interview laten afnemen
, - Internal: zijn de dingen die we in het meetinstrument hebben, hangt dat goed met elkaar
samen
Betrouwbaarheid:
- Cronbach’s Alpha (alpha < 0,7 -> niet goed, alpha > 0,8 -> goed (maar hangt af van gebruik
van survey, gemiddelde grote groep kan je meer door de vingers zien))
- Meet de interne consistentie: in hoeverre hangen de items in een survey samen
- Moeilijke berekeningen, dus we doen het met de computer
- Om betrouwbare analyses te gebruiken moeten alle items dezelfde kant op gecodeerd zijn
Verbeteren van de schaal:
- Controleer de correlatie tussen de individuele items en de schaal zonder dat item
o Item-test correlatie of item-totaal correlatie
o Vuistregel: rit < ±0,2 -> item mag verwijderd worden?
- Controleer bovendien wat er gebeurt met Cronbach’s Alpha als de schaal zonder dat
specifieke item zou worden gemaakt
o ‘Cronbach’s Alpha indien item verwijderd’
o Vuistregel: a neemt het meest toe -> item mag worden verwijderd
Nul hypothese toetsen
Van correlatie tot regressie:
- Correlatie wordt gebruik voor:
o Het meten van de kracht van een lineaire relatie
o Het meten van de richting van een lineaire relatie
- Regressie wordt gebruik voor:
o De vergelijking van de lineaire relatie beschrijven
o Voorspellingen doen aan de hand van deze vergelijking
Voorspellingen:
- The research question:
o Kan je een variabele voorspellen op basis van een andere variabele
Variabelen:
- De te voorspellen variabele:
o Wordt aangeduid met Y
o Wordt de afhankelijke variabele genoemd
