Methoden en technieken van
onderzoek
Samenvatti ng blok 3
Inhoudsopgave
Tentamenstof................................................................................................................................................ 1
Blok 3 – Kwantitatief onderzoek.................................................................................................................... 2
Week 9 – Betrouwbaarheid en validiteit..............................................................................................................2
Taak 3.4 – Quality and validity.........................................................................................................................2
Samenvatting Saunders et al. (2019) paragraaf 5.11, Esteblishing the quality of the research design.....2
Samenvatting Saunders et al. (2019) paragraaf 11.4, Questionnaire validity and reliability.....................2
Samenvatting Saunders et al. (2019) paragraaf 11.7, Pilot testing............................................................4
Taak 3.5 – Validiteit en betrouwbaarheid.......................................................................................................6
Taak 3.6 – Schaalanalyse.................................................................................................................................9
Samenvatting reader tekst 3.2 ‘Schaalanalyse’..........................................................................................9
Week 10 – Factoranalyse...................................................................................................................................11
Taak 3.8 – Hoofdzaken van factoranalyse.....................................................................................................11
Voorbeeld..................................................................................................................................................12
Communaliteiten......................................................................................................................................12
Aantal factoren.........................................................................................................................................12
Rotatie.......................................................................................................................................................13
Factorscores..............................................................................................................................................13
Kaiser-Meyer-Olkin Measure of Sampling (KMO)....................................................................................13
Bartlett’s Test of Sphericity.......................................................................................................................14
Week 11 – Regressie- en correlatieanalyse........................................................................................................15
Taak 3.12 – Correlaties en regressieanalyse.................................................................................................15
Correlatie..................................................................................................................................................15
Lineaire regressie......................................................................................................................................16
Taak 3.13 – The strength of relationships.....................................................................................................19
Samenvatting Saunders et al. (2019) paragraaf 12.6...............................................................................19
Week 12 – Wijze van dataverzamelen...............................................................................................................20
Taak 3.16 – Verzameling van primaire en secundaire data..........................................................................20
Samenvatting Saunders et al. (2019) paragraaf 7.1 & 7.2........................................................................20
Samenvatting Saunders et al. (2019) paragraaf 8.1 & 8.2........................................................................21
Taak 3.17 – Vragenlijsten...............................................................................................................................24
Samenvatting Saunders et al. (2019) paragraaf 11.1 t/m 11.3................................................................24
Samenvatting Saunders et al. (2019) paragraaf 11.5...............................................................................26
Taak 3.20 – Sampling.....................................................................................................................................29
,Tentamenstof
Blo Bestudeer
k
3 Saunders et al. (2019), pagina 213 t/m 216, uit Hoofdstuk 5 (pagina 2)
Saunders et al. (2019), pagina 502 t/m 518, pagina 532 t/m 536, en pagina 540
t/m 542, uit Hoofdstuk 11 (pagina’s 24, 2, 26 en 4)
Saunders et al. (2019), pagina 615 t/m 622, uit Hoofdstuk 12 (pagina 19)
Saunders et al. (2019), pagina 292 t/m 299, uit Hoofdstuk 7 (pagina 20)
Saunders et al. (2019), pagina 338 t/m 342, uit Hoofdstuk 8 (pagina 21)
Alle readerteksten bij blok 3 m.u.v. tekst 3.1 (pagina 9)
1
,Blok 3 – Kwantitatief onderzoek
Week 9 – Betrouwbaarheid en validiteit
Taak 3.4 – Quality and validity
Samenvatting Saunders et al. (2019) paragraaf 5.11, Esteblishing the
quality of the research design
Te vinden op pagina’s 213 t/m 216
Zie 5.11 Establishing the quality of the research design op pagina 30 van de samenvatting
van blok 1.
Samenvatting Saunders et al. (2019) paragraaf 11.4, Questionnaire
validity and reliability
Te vinden op pagina’s 516 t/m 518
De interne validiteit, betrouwbaarheid en het responsepercentage hangen grotendeels af
van het ontwerp van de vragen, de structuur van de vragenlijst en hoe rigoureus de pilot
tests gedaan zijn.
Een valide vragenlijst meet wat het beoogt te meten, en een betrouwbare vragenlijst meet
de data op een consistente wijze.
Ook als de vragen door iedereen begrepen worden, kunnen mensen ze anders
interpreteren:
Instructional
Een instructie die niet gevolgd wordt. Zoals ‘Please rank the following in order of
importance, ranking the most important 1, the next 2 and so on’ waarbij alles als 1
wordt gemarkeerd.
Sentinel
Waarbij een respondent de vragen syntax van de vragen verrijkt of uitput, zoals een
vraag over ‘management’ die wordt beantwoord alsof het over zijn/haar
‘lijnmanager’ gaat.
Lexical (dat wat te maken heeft met de woordenschat)
Waarbij een respondent een woord een andere betekenis geeft dan bedoelt door de
onderzoeker. Bijvoorbeeld waar het woord 'tevreden' in een vraag bedoeld is om te
verwijzen naar het nakomen van verplichtingen, maar wordt geïnterpreteerd als
bevrediging.
De respondent moet de vragen zo begrijpen als de onderzoeker ze bedoeld heeft, maar
andersom moet ook de onderzoeker vragen en open antwoorden zo begrijpen als de
respondent ze bedoelt. Het is uiterst belangrijk hier goed over na te denken bij het
ontwerpen van een vragenlijst, waarschijnlijk zul je de vragen regelmatig moeten
herschrijven bij het opstellen.
2
, Establishing validity
Interne validiteit (measurement validity)
Meet de vragenlijst daadwerkelijk wat je wilt meten? Je weet dit natuurlijk niet, want
dan zou je de vragenlijst niet hoeven gebruiken. Je lost dit op door ander relevant
bewijs te vinden dat de resultaten uit de vragenlijsten ondersteund.
Inhoudsvaliditeit
Meet het meetinstrument (in dit geval de vragen in de vragenlijst) het geheel van de
onderzoeksvraag. Dit kun je op twee manieren vaststellen:
o Zorgvuldige definitie van het onderzoek door middel van de bestudeerde
literatuur en, waar van toepassing, voorafgaande discussie met anderen.
o Een panel van individuen die ieder de vragen als ‘essentieel’, ‘handig maar
niet essentieel’ of ‘niet nodig’ bestempelen.
Criterium gerelateerde validiteit (predictive validity)
Het vermogen van het meetinstrument om accurate voorspellingen te doen. Om dit
te bepalen zul je de data uit de vragenlijst vergelijken met ‘het criterium’. Dit doe je
vaak door middel van correlatie analyse.
Construct validiteit
Meet de set van vragen daadwerkelijk de aanwezigheid van een construct? Het is
hierbij afhankelijk van lexicale en sentinele miscommunicatie. Je kunt het zien als het
beantwoorden van de vraag ‘hoe goed kan ik generaliseren van deze set vragen naar
het construct’.
o Convergente validiteit: de correlatie tussen de onderzochte- en andere
schalen die gebruikt worden om hetzelfde construct te meten.
o Discriminante validiteit: de correlatie tussen de onderzochte schalen en
afwezigheid van hetzelfde construct in andere schalen die een tegengesteld
construct meten.
Testing for reliability
Betrouwbaarheid gaat over de consistentie waarmee gemeten wordt. Een valide vragenlijst
moet betrouwbaar zijn, maar dat is niet voldoende. Het kan namelijk zo zijn dat
respondenten consistent een vraag anders interpreteren dan jij ‘m bedoelt. Dit kan komen
door sentinele en lexicale misverstanden of door instructionele misverstanden. 5-9% van de
respondenten lezen de instructies bij een vragenlijst niet.
Betrouwbaarheid gaat om de robustheid van de vragenlijst en of het consistente
bevindingen produceerd, op verschillende momenten en wisselende omstandigheden
(andere steekproeven of wisselende onderzoeksasistenten en veldwerkers).
3
onderzoek
Samenvatti ng blok 3
Inhoudsopgave
Tentamenstof................................................................................................................................................ 1
Blok 3 – Kwantitatief onderzoek.................................................................................................................... 2
Week 9 – Betrouwbaarheid en validiteit..............................................................................................................2
Taak 3.4 – Quality and validity.........................................................................................................................2
Samenvatting Saunders et al. (2019) paragraaf 5.11, Esteblishing the quality of the research design.....2
Samenvatting Saunders et al. (2019) paragraaf 11.4, Questionnaire validity and reliability.....................2
Samenvatting Saunders et al. (2019) paragraaf 11.7, Pilot testing............................................................4
Taak 3.5 – Validiteit en betrouwbaarheid.......................................................................................................6
Taak 3.6 – Schaalanalyse.................................................................................................................................9
Samenvatting reader tekst 3.2 ‘Schaalanalyse’..........................................................................................9
Week 10 – Factoranalyse...................................................................................................................................11
Taak 3.8 – Hoofdzaken van factoranalyse.....................................................................................................11
Voorbeeld..................................................................................................................................................12
Communaliteiten......................................................................................................................................12
Aantal factoren.........................................................................................................................................12
Rotatie.......................................................................................................................................................13
Factorscores..............................................................................................................................................13
Kaiser-Meyer-Olkin Measure of Sampling (KMO)....................................................................................13
Bartlett’s Test of Sphericity.......................................................................................................................14
Week 11 – Regressie- en correlatieanalyse........................................................................................................15
Taak 3.12 – Correlaties en regressieanalyse.................................................................................................15
Correlatie..................................................................................................................................................15
Lineaire regressie......................................................................................................................................16
Taak 3.13 – The strength of relationships.....................................................................................................19
Samenvatting Saunders et al. (2019) paragraaf 12.6...............................................................................19
Week 12 – Wijze van dataverzamelen...............................................................................................................20
Taak 3.16 – Verzameling van primaire en secundaire data..........................................................................20
Samenvatting Saunders et al. (2019) paragraaf 7.1 & 7.2........................................................................20
Samenvatting Saunders et al. (2019) paragraaf 8.1 & 8.2........................................................................21
Taak 3.17 – Vragenlijsten...............................................................................................................................24
Samenvatting Saunders et al. (2019) paragraaf 11.1 t/m 11.3................................................................24
Samenvatting Saunders et al. (2019) paragraaf 11.5...............................................................................26
Taak 3.20 – Sampling.....................................................................................................................................29
,Tentamenstof
Blo Bestudeer
k
3 Saunders et al. (2019), pagina 213 t/m 216, uit Hoofdstuk 5 (pagina 2)
Saunders et al. (2019), pagina 502 t/m 518, pagina 532 t/m 536, en pagina 540
t/m 542, uit Hoofdstuk 11 (pagina’s 24, 2, 26 en 4)
Saunders et al. (2019), pagina 615 t/m 622, uit Hoofdstuk 12 (pagina 19)
Saunders et al. (2019), pagina 292 t/m 299, uit Hoofdstuk 7 (pagina 20)
Saunders et al. (2019), pagina 338 t/m 342, uit Hoofdstuk 8 (pagina 21)
Alle readerteksten bij blok 3 m.u.v. tekst 3.1 (pagina 9)
1
,Blok 3 – Kwantitatief onderzoek
Week 9 – Betrouwbaarheid en validiteit
Taak 3.4 – Quality and validity
Samenvatting Saunders et al. (2019) paragraaf 5.11, Esteblishing the
quality of the research design
Te vinden op pagina’s 213 t/m 216
Zie 5.11 Establishing the quality of the research design op pagina 30 van de samenvatting
van blok 1.
Samenvatting Saunders et al. (2019) paragraaf 11.4, Questionnaire
validity and reliability
Te vinden op pagina’s 516 t/m 518
De interne validiteit, betrouwbaarheid en het responsepercentage hangen grotendeels af
van het ontwerp van de vragen, de structuur van de vragenlijst en hoe rigoureus de pilot
tests gedaan zijn.
Een valide vragenlijst meet wat het beoogt te meten, en een betrouwbare vragenlijst meet
de data op een consistente wijze.
Ook als de vragen door iedereen begrepen worden, kunnen mensen ze anders
interpreteren:
Instructional
Een instructie die niet gevolgd wordt. Zoals ‘Please rank the following in order of
importance, ranking the most important 1, the next 2 and so on’ waarbij alles als 1
wordt gemarkeerd.
Sentinel
Waarbij een respondent de vragen syntax van de vragen verrijkt of uitput, zoals een
vraag over ‘management’ die wordt beantwoord alsof het over zijn/haar
‘lijnmanager’ gaat.
Lexical (dat wat te maken heeft met de woordenschat)
Waarbij een respondent een woord een andere betekenis geeft dan bedoelt door de
onderzoeker. Bijvoorbeeld waar het woord 'tevreden' in een vraag bedoeld is om te
verwijzen naar het nakomen van verplichtingen, maar wordt geïnterpreteerd als
bevrediging.
De respondent moet de vragen zo begrijpen als de onderzoeker ze bedoeld heeft, maar
andersom moet ook de onderzoeker vragen en open antwoorden zo begrijpen als de
respondent ze bedoelt. Het is uiterst belangrijk hier goed over na te denken bij het
ontwerpen van een vragenlijst, waarschijnlijk zul je de vragen regelmatig moeten
herschrijven bij het opstellen.
2
, Establishing validity
Interne validiteit (measurement validity)
Meet de vragenlijst daadwerkelijk wat je wilt meten? Je weet dit natuurlijk niet, want
dan zou je de vragenlijst niet hoeven gebruiken. Je lost dit op door ander relevant
bewijs te vinden dat de resultaten uit de vragenlijsten ondersteund.
Inhoudsvaliditeit
Meet het meetinstrument (in dit geval de vragen in de vragenlijst) het geheel van de
onderzoeksvraag. Dit kun je op twee manieren vaststellen:
o Zorgvuldige definitie van het onderzoek door middel van de bestudeerde
literatuur en, waar van toepassing, voorafgaande discussie met anderen.
o Een panel van individuen die ieder de vragen als ‘essentieel’, ‘handig maar
niet essentieel’ of ‘niet nodig’ bestempelen.
Criterium gerelateerde validiteit (predictive validity)
Het vermogen van het meetinstrument om accurate voorspellingen te doen. Om dit
te bepalen zul je de data uit de vragenlijst vergelijken met ‘het criterium’. Dit doe je
vaak door middel van correlatie analyse.
Construct validiteit
Meet de set van vragen daadwerkelijk de aanwezigheid van een construct? Het is
hierbij afhankelijk van lexicale en sentinele miscommunicatie. Je kunt het zien als het
beantwoorden van de vraag ‘hoe goed kan ik generaliseren van deze set vragen naar
het construct’.
o Convergente validiteit: de correlatie tussen de onderzochte- en andere
schalen die gebruikt worden om hetzelfde construct te meten.
o Discriminante validiteit: de correlatie tussen de onderzochte schalen en
afwezigheid van hetzelfde construct in andere schalen die een tegengesteld
construct meten.
Testing for reliability
Betrouwbaarheid gaat over de consistentie waarmee gemeten wordt. Een valide vragenlijst
moet betrouwbaar zijn, maar dat is niet voldoende. Het kan namelijk zo zijn dat
respondenten consistent een vraag anders interpreteren dan jij ‘m bedoelt. Dit kan komen
door sentinele en lexicale misverstanden of door instructionele misverstanden. 5-9% van de
respondenten lezen de instructies bij een vragenlijst niet.
Betrouwbaarheid gaat om de robustheid van de vragenlijst en of het consistente
bevindingen produceerd, op verschillende momenten en wisselende omstandigheden
(andere steekproeven of wisselende onderzoeksasistenten en veldwerkers).
3
