Hoorcollege 1 - Onderzoeksproces
Surveys
Waarom?: Patronen in gedrag, attitudes, etc
Blootleggen om oorzaak van een probleem te vinden
Hoe?: O.a. persoonlijk, telefoon, self-administered
Kanttekening:
o Zijn niet het antwoord op alles (fysieke barrières, motivationele barrières)
o Total design method (pluspunten: beloningen, reminders)
(minpunten: anonimiteit garanderen, deadlines stellen, lengte)
We kunnen niet alles meten, wat wel?
Feiten
Kennis
Intenties
Attitudes / meningen
Waar begin een onderzoek?
1. Probleem
2. Vraag
3. Literatuurstudie
4. Conceptueel model
5. Proposities / hypothesen
Schematisch overzicht centraal model
Mediatie Moderatie
Voorbeeld
Probleemstelling: Productiviteit binnen bedrijf te laag
Vraagstelling: Welke factoren beïnvloeden productiviteit binnen het bedrijf?
Theorie: Waargenomen stress – veel meer factoren
Praktijk: Veel deadlines – andere aanknopingspunten
Conceptuele definitie: “Negative cognitive and emotional states elicited when persons perceive that their demands exceed their ability to cope”
Operationele definitie: Negatieve cognities en emoties die medewerkers van het bedrijf hebben waargenomen in het afgelopen half jaar met
betrekking tot de hoeveelheid werk die ze moeten doen.
Indicatoren: - Mate waarin medewerkers negatieve gevoelens hebben met betrekking tot de hoeveelheid werk
- Mate waarin medewerkers mentaal moe zijn vanwege de hoeveelheid werk
- Mate waarin medewerkers stress ervaren
Vragen: - Denk aan de hoeveelheid werk die je moet verrichten op je werk. Hoe lusteloos/verdrietig/boos/gefrustreerd voel je je
hierover (afgelopen week/maand/jaar)?
- En hoe vaak voelt u zich moe/uitgeput na afloop van een werkdag?
- In welke mate ervaar je stress (afgelopen week/maand/jaar)?
Steekproef Hoe selecteer je je deelnemers?
Data verzamelen Uitsturen van de vragenlijst, reminders etc.
Van toets resultaat naar conclusies
We begonnen met CM en bijbehorende hypothese
We kwamen uiteindelijk bij (verschillende) toetsen
Afhankelijk van toets resultaat wordt je theorie bevestigd of ontkracht
,Hoorcollege 2 - Validiteit, betrouwbaarheid en meetniveaus
Meetfout
Systematische fout: altijd dezelfde afwijking (richting)
Random fout: beide kanten op, heft elkaar op
Validiteit niet alleen betrekking tot het meten, ook over de resultaten:
Interne validiteit
Externe validiteit
Verschillende typen validiteit, die ieder op een andere manier de vraag beantwoorden: “Meet ik wat ik wil meten”?
o Face validity: “Op het eerste gezicht” een goede vertaling van construct, zwak bewijs, beter: bewust gekozen experts vragen
o Content validity: Relatie tot ander relevant domein, nadeel: precies moeten weten wat construct domein is
o Construct validity: De mate waarin een indicator samenhangt met andere indicatoren
o Predictive validity theorie: contstruct A (nu) veroorzaakt construct B (toekomst), indicator A hangt samen met indicator B (= criterion),
o Concurrent validity in theorie mogelijk om toekomst te voorspellen (voordat B gemeten wordt)
o Discriminant validity Hoe? Correlaties: geeft de relatie aan tussen twee concepten, geen causaal verband.
o Convergent validity Correlatie ≠ causaliteit
MultiTrait MultiMethod matrix
Drie “Traits” : Emotioneel, informatief en instrumentele steun op werk
Twee methoden: Algemene vraag (hoe vaak) VS specifieke vragen (schalen)
Convergente validiteit:
Hogere correlaties zelfde construct, andere methode
Moet hoger zijn dan
Discriminante validiteit:
Lage correlaties ander construct(en): zowel voor zelfde als
andere methode
Constructvaliditeit niet oké …
Theoretisch model niet juist
Procedure om hypothese(s) te testen is ongeschikt
Andere indicatoren missen construct validiteit en/of zijn onbetrouwbaar
Convergente validiteit Vergelijken verschillende vragenlijsten die zelfde concept meten (bijv. IQ testen)
Betrouwbaarheid Items binnen een vragenlijst die theoretisch hetzelfde concept zouden moeten meten
Betrouwbaarheid: “Als ik de test nog eens zou afnemen, zou ik dezelfde resultaten krijgen?”
Stabiliteit: Fluctaties in resultaten vanwege persoonlijke en situationele aspecten (test-retest voor zelfde respondent)
Equivalentie: Fluctaties in resultaten vanwege verschillen tussen onderzoekers (bijv. inter-rater betrouwbaarheid)
Interne consistentie: Mate waarin verschillende items hetzelfde construct meten
Interne consistentie
Split-half techniek: Selecteer willekeurig de helft van de items en vergelijk deze met de andere helft (zouden zelfde
resultaten en hoge correlatie moeten opleveren)
Statistiek: Cronbach’s alpha = gemiddelde van alle split-half: tussen 0 en 1
Voordeel van multi-item schaal = minder invloed van meetfout binnen een concept
Betrouwbaarheid vs validiteit
o Geobserveerde waarde = echte waarde valide meting
o Random fout = 0 betrouwbare meting
, Meetniveaus en goed onderzoek
Doel: Beantwoord je onderzoeksvraag zo goed mogelijk
Manier: Zorg voor nuttige data
Meetniveaus bepalen de analysetechniek (voorbeeld: je wilt de invloed van X en Y bestuderen)
Vier meetniveaus: “Each datatype has its own set of underlying assumption about how the numerical symbols correspond to real-world observation”
1. Nomimaal = Getallen geven categorieën aan: rangorde is niet belangrijk (religie: katholiek, moslim, atheïst..)
2. Ordinaal = Getallen, rangorde van belang, maar “2” is niet twee maal “1” (lengte verschillende items)
3. Interval = Getallen, rangorde van belang, “2” is twee maal “1”, geen vast nulpunt (temperatuur Fahrenheit vs Celsius)
4. Ratio = Getallen, rangorde van belnag, “2” is twee maal “1”, vast nulpunt (lengte in meters)
Als interval / rationiveau: Zonder problemen technieken gebruiken voor “lagere” niveaus
Maar: Je verliest informatie
Als laag niveau: “hogere” technieken mogen niet gebruik worden
Dus: Probeer zo “hoog” mogelijk te meten
Likert Scale; Summated rating INT
Absoluut Niet mee Niet eens/ Mee eens Absoluut
niet mee eens niet mee oneens mee eens
eens
(1) (2) (3) (4) (5)
Semantic Differential Scale INT
Snel : _ : _ : _ : _ : _ : _ : _ : Langzaam
Lage kwaliteit: _ : _ : _ : _ : _ : _ : _ : Hoge kwaliteit
Numerical Scale ORD/INT
Absoluut geen voorkeur 1 2 3 4 5 Absolute voorkeur
Surveys
Waarom?: Patronen in gedrag, attitudes, etc
Blootleggen om oorzaak van een probleem te vinden
Hoe?: O.a. persoonlijk, telefoon, self-administered
Kanttekening:
o Zijn niet het antwoord op alles (fysieke barrières, motivationele barrières)
o Total design method (pluspunten: beloningen, reminders)
(minpunten: anonimiteit garanderen, deadlines stellen, lengte)
We kunnen niet alles meten, wat wel?
Feiten
Kennis
Intenties
Attitudes / meningen
Waar begin een onderzoek?
1. Probleem
2. Vraag
3. Literatuurstudie
4. Conceptueel model
5. Proposities / hypothesen
Schematisch overzicht centraal model
Mediatie Moderatie
Voorbeeld
Probleemstelling: Productiviteit binnen bedrijf te laag
Vraagstelling: Welke factoren beïnvloeden productiviteit binnen het bedrijf?
Theorie: Waargenomen stress – veel meer factoren
Praktijk: Veel deadlines – andere aanknopingspunten
Conceptuele definitie: “Negative cognitive and emotional states elicited when persons perceive that their demands exceed their ability to cope”
Operationele definitie: Negatieve cognities en emoties die medewerkers van het bedrijf hebben waargenomen in het afgelopen half jaar met
betrekking tot de hoeveelheid werk die ze moeten doen.
Indicatoren: - Mate waarin medewerkers negatieve gevoelens hebben met betrekking tot de hoeveelheid werk
- Mate waarin medewerkers mentaal moe zijn vanwege de hoeveelheid werk
- Mate waarin medewerkers stress ervaren
Vragen: - Denk aan de hoeveelheid werk die je moet verrichten op je werk. Hoe lusteloos/verdrietig/boos/gefrustreerd voel je je
hierover (afgelopen week/maand/jaar)?
- En hoe vaak voelt u zich moe/uitgeput na afloop van een werkdag?
- In welke mate ervaar je stress (afgelopen week/maand/jaar)?
Steekproef Hoe selecteer je je deelnemers?
Data verzamelen Uitsturen van de vragenlijst, reminders etc.
Van toets resultaat naar conclusies
We begonnen met CM en bijbehorende hypothese
We kwamen uiteindelijk bij (verschillende) toetsen
Afhankelijk van toets resultaat wordt je theorie bevestigd of ontkracht
,Hoorcollege 2 - Validiteit, betrouwbaarheid en meetniveaus
Meetfout
Systematische fout: altijd dezelfde afwijking (richting)
Random fout: beide kanten op, heft elkaar op
Validiteit niet alleen betrekking tot het meten, ook over de resultaten:
Interne validiteit
Externe validiteit
Verschillende typen validiteit, die ieder op een andere manier de vraag beantwoorden: “Meet ik wat ik wil meten”?
o Face validity: “Op het eerste gezicht” een goede vertaling van construct, zwak bewijs, beter: bewust gekozen experts vragen
o Content validity: Relatie tot ander relevant domein, nadeel: precies moeten weten wat construct domein is
o Construct validity: De mate waarin een indicator samenhangt met andere indicatoren
o Predictive validity theorie: contstruct A (nu) veroorzaakt construct B (toekomst), indicator A hangt samen met indicator B (= criterion),
o Concurrent validity in theorie mogelijk om toekomst te voorspellen (voordat B gemeten wordt)
o Discriminant validity Hoe? Correlaties: geeft de relatie aan tussen twee concepten, geen causaal verband.
o Convergent validity Correlatie ≠ causaliteit
MultiTrait MultiMethod matrix
Drie “Traits” : Emotioneel, informatief en instrumentele steun op werk
Twee methoden: Algemene vraag (hoe vaak) VS specifieke vragen (schalen)
Convergente validiteit:
Hogere correlaties zelfde construct, andere methode
Moet hoger zijn dan
Discriminante validiteit:
Lage correlaties ander construct(en): zowel voor zelfde als
andere methode
Constructvaliditeit niet oké …
Theoretisch model niet juist
Procedure om hypothese(s) te testen is ongeschikt
Andere indicatoren missen construct validiteit en/of zijn onbetrouwbaar
Convergente validiteit Vergelijken verschillende vragenlijsten die zelfde concept meten (bijv. IQ testen)
Betrouwbaarheid Items binnen een vragenlijst die theoretisch hetzelfde concept zouden moeten meten
Betrouwbaarheid: “Als ik de test nog eens zou afnemen, zou ik dezelfde resultaten krijgen?”
Stabiliteit: Fluctaties in resultaten vanwege persoonlijke en situationele aspecten (test-retest voor zelfde respondent)
Equivalentie: Fluctaties in resultaten vanwege verschillen tussen onderzoekers (bijv. inter-rater betrouwbaarheid)
Interne consistentie: Mate waarin verschillende items hetzelfde construct meten
Interne consistentie
Split-half techniek: Selecteer willekeurig de helft van de items en vergelijk deze met de andere helft (zouden zelfde
resultaten en hoge correlatie moeten opleveren)
Statistiek: Cronbach’s alpha = gemiddelde van alle split-half: tussen 0 en 1
Voordeel van multi-item schaal = minder invloed van meetfout binnen een concept
Betrouwbaarheid vs validiteit
o Geobserveerde waarde = echte waarde valide meting
o Random fout = 0 betrouwbare meting
, Meetniveaus en goed onderzoek
Doel: Beantwoord je onderzoeksvraag zo goed mogelijk
Manier: Zorg voor nuttige data
Meetniveaus bepalen de analysetechniek (voorbeeld: je wilt de invloed van X en Y bestuderen)
Vier meetniveaus: “Each datatype has its own set of underlying assumption about how the numerical symbols correspond to real-world observation”
1. Nomimaal = Getallen geven categorieën aan: rangorde is niet belangrijk (religie: katholiek, moslim, atheïst..)
2. Ordinaal = Getallen, rangorde van belang, maar “2” is niet twee maal “1” (lengte verschillende items)
3. Interval = Getallen, rangorde van belang, “2” is twee maal “1”, geen vast nulpunt (temperatuur Fahrenheit vs Celsius)
4. Ratio = Getallen, rangorde van belnag, “2” is twee maal “1”, vast nulpunt (lengte in meters)
Als interval / rationiveau: Zonder problemen technieken gebruiken voor “lagere” niveaus
Maar: Je verliest informatie
Als laag niveau: “hogere” technieken mogen niet gebruik worden
Dus: Probeer zo “hoog” mogelijk te meten
Likert Scale; Summated rating INT
Absoluut Niet mee Niet eens/ Mee eens Absoluut
niet mee eens niet mee oneens mee eens
eens
(1) (2) (3) (4) (5)
Semantic Differential Scale INT
Snel : _ : _ : _ : _ : _ : _ : _ : Langzaam
Lage kwaliteit: _ : _ : _ : _ : _ : _ : _ : Hoge kwaliteit
Numerical Scale ORD/INT
Absoluut geen voorkeur 1 2 3 4 5 Absolute voorkeur
