Samenvatting week 9
Introductie
In blok 4 zal ook te zien zijn op welke manier inhoud wordt gegeven aan het begrip ‘validiteit’ in geval
van kwalitatief onderzoek:
Construct validiteit: meten wat men beoogt te meten
Interne validiteit: causale relaties tussen variabelen
Externe validiteit: generaliseren van resultaten
Betrouwbaarheid: zelfde resultaten onder andere omstandigheden.
Voor kwantitatief onderzoek gelden dezelfde criteria, maar moet de onderzoeker andere
maatregelen nemen en met andere bewijzen komen om te voldoen aan de gangbare kwaliteitseisen
voor wetenschappelijk kwantitatief onderzoek. De onderzoeker gaat in op de kwaliteit en de
response van de steekproef. Zijn er voldoende, bruikbare vragenlijsten ingevuld (non-response)? Is
de samenstelling van de steekproef een redelijke of goede afspiegeling van de populatie? Deze
vragen zijn erg belangrijk als men de conclusies wil generaliseren. Een ander belangrijk punt betreft
de vragenlijst en de kwaliteit van de gebruikte operationalisaties. De onderzoeker maakt zo veel
mogelijk gebruik van bestaande schalen en operationalisaties voor het meten van de variabelen. Heel
vaak maakt men gebruik van multiple item constructs waarbij een variabele is opgebouwd uit een
aantal items (stellingen waarover respondenten hun mening geven). In dat geval moet de
onderzoeker aantonen dat de items die een bepaalde variabele moeten vormen dat ook op een
goede manier doen. En ook dat de items van de ene variabele eigenlijk meer thuis horen bij een
andere variabele. Om de validiteit van de metingen aan te tonen past de onderzoeker altijd een
schaalanalyse (reliability analysis), een factoranalyse en een correlatieanalyse toe. Methoden die in
dit blok allemaal aan de orde komen.
Van onderzoekers wordt verwacht dat ze constant een kritische houding hebben ten aanzien van de
betrouwbaarheid en de validiteit van onderzoek. Die houding is belangrijk voor de diverse
onderdelen en fasen van onderzoek: de steekproef, de respondenten, de gebruikte vragenlijst, de
situationele omgeving, het tijdstip of de periode van onderzoek, enzovoorts.
Leerdoelen
Na het afronden van deze leereenheid kunt u
aangeven waarom betrouwbaarheid en validiteit twee essentiële aspecten van
onderzoekskwaliteit zijn.
de concepten ‘betrouwbaarheid’ en ‘validiteit’ (aan anderen) uitleggen.
verschillende vormen van validiteit en betrouwbaarheid onderkennen en herkennen.
de voornaamste bedreigingen voor de validiteit en betrouwbaarheid identificeren.
een betrouwbaarheidsanalyse toepassen en werken met de Cronbach’s alpha.
de verworven kennis en vaardigheden toepassen op concrete situaties.
Samenvatting boek hoofdstuk 5.11 – blz 213 t/m 216
, 5.11 Het vaststellen van de kwaliteit van het onderzoeks ontwerp
Vraag om kwaliteit van onderzoeks ontwerp te toetsen: (Raimond, 1993); Zullen het bewijs en mijn
conclusies de meest nauwkeurige toetsing doorstaan? Het antwoord is natuurlijk dat je de letterlijke
zin van de vraag niet kunt beantwoorden. Wat je wel kunt doen is de kans verkleinen dat het
antwoord fout is. Wetenschappelijke methodologie moet worden gezien voor wat het werkelijk is,
een manier om te voorkomen dat ik mezelf bedrieg met betrekking tot mijn creatief gevormde
subjectieve voorgevoelens die zich hebben ontwikkeld van de relatie tussen mij en het materiaal. Op
dit staat vaak een verschil tussen 1. positivistische en 2. interpretivistische onderzoekers. 1 gebruiken
de ‘canons van wetenschappelijk onderzoek’ met betrekking tot betrouwbaarheid en validiteit om de
kwaliteit van hun onderzoek of dat van anderen te meten. 2. Gebruiken de termen betrouwbaarheid
en validiteit aan te passen om hun onderzoek te beoordelen.
Wetenschappelijke onderzoekscanons; betrouwbaarheid en validiteit
Betrouwbaarheid en validiteit staan centraal bij oordelen over de kwaliteit van onderzoek in de
natuurwetenschappen en kwantitatief onderzoek in de sociale wetenschappen.
Betrouwbaarheid wijst naar replicatie en consistentie. Als een onderzoeker in staat is om een eerder
onderzoeks ontwerp te repliceren en dezelfde bevindingen te bereiken, dan wordt het onderzoek als
betrouwbaar beschouwd. Bij betrouwbaarheid wordt er onderscheid gemaakt tussen interne- en
externe betrouwbaarheid:
- Interne betrouwbaarheid; verwijst naar het waarborgen van consistentie tijdens een
onderzoeksproject. Wordt bereikt door bijv. meerdere onderzoekers in te zetten bij het afnemen van
interviews en voor het analyseren van gegevens om deze te kunnen beoordelen. Consistentie wordt
bereikt door te verzekeren dat in iedere fase van het onderzoek memo’s te schrijven om de
stabiliteit te bevorderen in de manier waarop de gegevens worden gecodeerd, geanalyseerd en
worden geïnterpreteerd.
- Externe betrouwbaarheid; verwijst naar de vraag of technieken voor het verzamelen van gegevens
en analytische procedures consistente bevindingen zouden opleveren als ze bij een andere
gelegenheid herhaald zouden worden.
Het waarborgen van betrouwbaarheid is niet perse eenvoudig en er zijn een aantal bedreigingen
voor de betrouwbaarheid. Onderzoek dat onbetrouwbaar is wordt ongeldig verklaard. De
bedreigingen houden in dat er methodologische striktheid moet zijn in de manier waarop er
onderzoek bedacht wordt en wordt uitgevoerd om bedreiging van de betrouwbaarheid te
voorkomen. Er moet op een transparante manier worden gerapporteerd, zodat andere kunnen
oordelen en te repliceren. Betrouwbaarheid is een belangrijk kenmerk van onderzoekskwaliteit.
Bedreigingen voor betrouwbaarheid:
Deelnemersfout; elke factor die het functioneren van een deelnemer nadelig beïnvloedt.
(participant error)
Participant bias; elke factor dat een valse reactie veroorzaakt.
Onderzoeksfout; elke factor die de interpretatie van de onderzoeker verandert.
Onderzoeksbias; elke factor die vooringenomenheid veroorzaakt in de registratie van
antwoorden door de onderzoeker.
Validiteit verwijst naar de geschiktheid van de gebruikte maatregelen, de nauwkeurigheid van de
analyse van de resultaten en de generaliseerbaarheid van de bevindingen:
Introductie
In blok 4 zal ook te zien zijn op welke manier inhoud wordt gegeven aan het begrip ‘validiteit’ in geval
van kwalitatief onderzoek:
Construct validiteit: meten wat men beoogt te meten
Interne validiteit: causale relaties tussen variabelen
Externe validiteit: generaliseren van resultaten
Betrouwbaarheid: zelfde resultaten onder andere omstandigheden.
Voor kwantitatief onderzoek gelden dezelfde criteria, maar moet de onderzoeker andere
maatregelen nemen en met andere bewijzen komen om te voldoen aan de gangbare kwaliteitseisen
voor wetenschappelijk kwantitatief onderzoek. De onderzoeker gaat in op de kwaliteit en de
response van de steekproef. Zijn er voldoende, bruikbare vragenlijsten ingevuld (non-response)? Is
de samenstelling van de steekproef een redelijke of goede afspiegeling van de populatie? Deze
vragen zijn erg belangrijk als men de conclusies wil generaliseren. Een ander belangrijk punt betreft
de vragenlijst en de kwaliteit van de gebruikte operationalisaties. De onderzoeker maakt zo veel
mogelijk gebruik van bestaande schalen en operationalisaties voor het meten van de variabelen. Heel
vaak maakt men gebruik van multiple item constructs waarbij een variabele is opgebouwd uit een
aantal items (stellingen waarover respondenten hun mening geven). In dat geval moet de
onderzoeker aantonen dat de items die een bepaalde variabele moeten vormen dat ook op een
goede manier doen. En ook dat de items van de ene variabele eigenlijk meer thuis horen bij een
andere variabele. Om de validiteit van de metingen aan te tonen past de onderzoeker altijd een
schaalanalyse (reliability analysis), een factoranalyse en een correlatieanalyse toe. Methoden die in
dit blok allemaal aan de orde komen.
Van onderzoekers wordt verwacht dat ze constant een kritische houding hebben ten aanzien van de
betrouwbaarheid en de validiteit van onderzoek. Die houding is belangrijk voor de diverse
onderdelen en fasen van onderzoek: de steekproef, de respondenten, de gebruikte vragenlijst, de
situationele omgeving, het tijdstip of de periode van onderzoek, enzovoorts.
Leerdoelen
Na het afronden van deze leereenheid kunt u
aangeven waarom betrouwbaarheid en validiteit twee essentiële aspecten van
onderzoekskwaliteit zijn.
de concepten ‘betrouwbaarheid’ en ‘validiteit’ (aan anderen) uitleggen.
verschillende vormen van validiteit en betrouwbaarheid onderkennen en herkennen.
de voornaamste bedreigingen voor de validiteit en betrouwbaarheid identificeren.
een betrouwbaarheidsanalyse toepassen en werken met de Cronbach’s alpha.
de verworven kennis en vaardigheden toepassen op concrete situaties.
Samenvatting boek hoofdstuk 5.11 – blz 213 t/m 216
, 5.11 Het vaststellen van de kwaliteit van het onderzoeks ontwerp
Vraag om kwaliteit van onderzoeks ontwerp te toetsen: (Raimond, 1993); Zullen het bewijs en mijn
conclusies de meest nauwkeurige toetsing doorstaan? Het antwoord is natuurlijk dat je de letterlijke
zin van de vraag niet kunt beantwoorden. Wat je wel kunt doen is de kans verkleinen dat het
antwoord fout is. Wetenschappelijke methodologie moet worden gezien voor wat het werkelijk is,
een manier om te voorkomen dat ik mezelf bedrieg met betrekking tot mijn creatief gevormde
subjectieve voorgevoelens die zich hebben ontwikkeld van de relatie tussen mij en het materiaal. Op
dit staat vaak een verschil tussen 1. positivistische en 2. interpretivistische onderzoekers. 1 gebruiken
de ‘canons van wetenschappelijk onderzoek’ met betrekking tot betrouwbaarheid en validiteit om de
kwaliteit van hun onderzoek of dat van anderen te meten. 2. Gebruiken de termen betrouwbaarheid
en validiteit aan te passen om hun onderzoek te beoordelen.
Wetenschappelijke onderzoekscanons; betrouwbaarheid en validiteit
Betrouwbaarheid en validiteit staan centraal bij oordelen over de kwaliteit van onderzoek in de
natuurwetenschappen en kwantitatief onderzoek in de sociale wetenschappen.
Betrouwbaarheid wijst naar replicatie en consistentie. Als een onderzoeker in staat is om een eerder
onderzoeks ontwerp te repliceren en dezelfde bevindingen te bereiken, dan wordt het onderzoek als
betrouwbaar beschouwd. Bij betrouwbaarheid wordt er onderscheid gemaakt tussen interne- en
externe betrouwbaarheid:
- Interne betrouwbaarheid; verwijst naar het waarborgen van consistentie tijdens een
onderzoeksproject. Wordt bereikt door bijv. meerdere onderzoekers in te zetten bij het afnemen van
interviews en voor het analyseren van gegevens om deze te kunnen beoordelen. Consistentie wordt
bereikt door te verzekeren dat in iedere fase van het onderzoek memo’s te schrijven om de
stabiliteit te bevorderen in de manier waarop de gegevens worden gecodeerd, geanalyseerd en
worden geïnterpreteerd.
- Externe betrouwbaarheid; verwijst naar de vraag of technieken voor het verzamelen van gegevens
en analytische procedures consistente bevindingen zouden opleveren als ze bij een andere
gelegenheid herhaald zouden worden.
Het waarborgen van betrouwbaarheid is niet perse eenvoudig en er zijn een aantal bedreigingen
voor de betrouwbaarheid. Onderzoek dat onbetrouwbaar is wordt ongeldig verklaard. De
bedreigingen houden in dat er methodologische striktheid moet zijn in de manier waarop er
onderzoek bedacht wordt en wordt uitgevoerd om bedreiging van de betrouwbaarheid te
voorkomen. Er moet op een transparante manier worden gerapporteerd, zodat andere kunnen
oordelen en te repliceren. Betrouwbaarheid is een belangrijk kenmerk van onderzoekskwaliteit.
Bedreigingen voor betrouwbaarheid:
Deelnemersfout; elke factor die het functioneren van een deelnemer nadelig beïnvloedt.
(participant error)
Participant bias; elke factor dat een valse reactie veroorzaakt.
Onderzoeksfout; elke factor die de interpretatie van de onderzoeker verandert.
Onderzoeksbias; elke factor die vooringenomenheid veroorzaakt in de registratie van
antwoorden door de onderzoeker.
Validiteit verwijst naar de geschiktheid van de gebruikte maatregelen, de nauwkeurigheid van de
analyse van de resultaten en de generaliseerbaarheid van de bevindingen:
