Samenvatting onderzoek
W1 Literatuur zoeken, EBP, ethiek en betrouwbaarheid/validiteit
Leerdoelen:
- De DIO kent de begrippen betrouwbaarheid en validiteit en de begrippen die hieronder vallen,
zoals constructvaliditeit en interbeoordelaarsbetrouwbaarheid en kan deze toepassen
- De DIO kan aangeven wat bedoeld wordt met Evidence Based Practice
- De DIO weet wat de taak is van de adviescommissie Praktijkgericht Onderzoek van de
Faculteit GGM van de HAN
- De DIO kan beoordelen of zijn onderzoek voldoet aan de ‘’ Gedragscode
studentonderzoekers bij het uitvoeren van praktijkgericht onderzoek ‘’
Onderzoeksvaardigheden – paragraaf 3.5. Betrouwbaarheid en validiteit
Bij het doen van onderzoek is het van belang dat het uitgevoerde onderzoek de toets der kritiek kan
doorstaan. Er zijn veel richtlijnen te geven waarmee je rekening moet houden. Deze hebben te maken
met de betrouwbaarheid en validiteit van het onderzoek. Onderzoek moet betrouwbaar en valide
zijn, wil je waarde kunnen hechten aan de uitkomsten. Wat houden betrouwbaarheid en validiteit in?
Betrouwbaarheid
= de mate waarin het resultaat onafhankelijk van toeval is.
Als je het onderzoek op dezelfde manier over zou doen, dan zou dit dezelfde resultaten moeten
opleveren. Bij betrouwbaarheid staat de vraag centraal of het resultaat van het onderzoek hetzelfde
zou zijn als je het onderzoek zou herhalen. Andere woorden voor betrouwbaarheid zijn precisie of
reproduceerbaarheid. Bij betrouwbaarheid gaat het om de afwezigheid van toevallige fouten. Bij
toevallige fouten wijkt het resultaat door toeval af van de werkelijkheid. De richting van de afwijking is
niet steeds hetzelfde, waardoor deze fouten elkaar bij voldoende metingen kunnen opheffen.
Met het oog op betrouwbaarheid zijn de volgende aspecten van belang bij kwantitatief onderzoek:
fishing, het aantal waarnemingen en de betrouwbaarheid van het meetinstrument; bij kwalitatief
onderzoek: de interbeoordelaarsbetrouwbaarheid (= test of meting wordt door twee of meer
onderzoekers bij dezelfde personen gedaan, om te kijken in hoeverre de verschillende onderzoekers
tot dezelfde resultaten komen).
Validiteit
= de mate waarin de uitkomsten van je onderzoek door systematische fouten kan zijn beïnvloed. Het
doel wat je wilt bereiken, heb je gemeten wat je wilt meten?
Bij validiteit draait het om de vraag of je wel meet wat je wilt meten. Komt het resultaat van het
onderzoek overeen met de werkelijkheid? Is het resultaat dat je vindt inderdaad de juiste weergave
van de werkelijkheid, of is deze weergave vertekent door verstorende factoren? Andere woorden voor
validiteit zijn geldigheid of juistheid. Bij validiteit gaat het om de afwezigheid van systematische fouten.
We spreken van een systematische fout als het resultaat van een meting of onderzoek op
systematische wijze afwijkt van de werkelijkheid. De richting van de afwijking is dan steeds hetzelfde,
waardoor de resultaten vertekend worden. Dit noemen we met een Engels woord ‘bias’.
Drie hoofdvormen van validiteit worden onderscheiden.
Interne validiteit (geldigheid van het resultaat voor de onderzochte personen) waarbij je rekening
moet houden met: derde variabele, history, selectie, mortaliteit en ambiguïteit van het verband.
Constructvaliditeit waarbij je rekening moet houden met: inadequate operationalisaties, hypothese
raden en onderzoekersverwachtingen.
Externe validiteit (in hoeverre zijn de resultaten van het onderzoek toepasbaar op personen die niet
bij het onderzoek zijn betrokken) waarbij je rekening moet houden met: generaliseerbaarheid.
1
, Begrip Verstoring Oplossing / maatregel Fase binnen onderzoeksproces
Betrouwbaarheid Een te kleine omvang van de steekproef: Steekproef vergroten en/of meer metingen per persoon Populatie en evt. steekproefbepaling (5)
de juiste omvang van de steekproef bepalen, als de
steekproef te klein is, is het onderzoek niet
betrouwbaar.
Onnodig verbanden opsporen: Vooraf in een analyse-plan vastleggen welke hypothesen wordt Analyse van de gegevens (7)
Ook moet je niet onnodig alles met elkaar in verband onderzocht
brengen. We noemen dit fishing: je bent dan niet
gericht aan het toetsen, maar aan het vissen naar
verbanden. Als je in een onderzoek veel zaken meet
(variabelen) en je gaat onderzoeken in hoeverre deze
variabelen met elkaar samenhangen, dan heb je elke
keer een kleine kans dat dit resultaat op toeval berust.
Interne validiteit Een derde verstorende variabele: In het ontwerp zoveel mogelijk variabelen opsporen, door restrictie Afbakening (2)
Het kan zijn dat niet de onafhankelijke personen met bepaalde kenmerken niet mee laten doen en/of in de Populatie en evt. steekproefbepaling (5)
variabele rechtstreeks de afhankelijke statistische analyse corrigeren voor een verstorende variabele Analyse van de gegevens (7)
beïnvloedt, maar dat bijvoorbeeld zowel de
afhankelijke als de onafhankelijke
veroorzaakt worden door een variabele
waarmee je oorspronkelijk geen rekening
had gehouden.
Je moet je dus altijd afvragen: is er een
variabele die het verband dat ik constateer
kan verklaren of veroorzaken, anders dan de
variabelen die ik in het onderzoek had
meegenomen?
Problemen met de selectie: Aselecte steekproef trekken of gerandomiseerd toewijzen van Populatie en evt. steekproefbepaling (5)
Selectie komt vaak voor bij niet-aselecte steekproeven. behandeling Ontwikkeling en afname
Vooral als mensen zelf kiezen of ze aan het onderzoek dataverzamelingsinstrument (6)
mee doen, is de kans groot dat de mensen die in de
onderzoeksgroep zitten niet representatief zijn voor de
totale populatie. Dit kan leiden tot grote vertekening in
de uitkomsten van het onderzoek.
Richting van het verband onduidelijk: Vervolgonderzoek uitvoeren Beantwoording probleemstelling,
Bij toetsend onderzoek is het zonder experiment vaak rapportage onderzoek (8)
lastig vast te stellen of A leidt tot B of omgekeerd.
Experimenten zijn niet in alle omstandigheden mogelijk
en via vragenlijstonderzoek blijft dit een lastig
probleem. Er is duidelijk aan te tonen dat er een
verband is, maar de richting is lastig.
2
W1 Literatuur zoeken, EBP, ethiek en betrouwbaarheid/validiteit
Leerdoelen:
- De DIO kent de begrippen betrouwbaarheid en validiteit en de begrippen die hieronder vallen,
zoals constructvaliditeit en interbeoordelaarsbetrouwbaarheid en kan deze toepassen
- De DIO kan aangeven wat bedoeld wordt met Evidence Based Practice
- De DIO weet wat de taak is van de adviescommissie Praktijkgericht Onderzoek van de
Faculteit GGM van de HAN
- De DIO kan beoordelen of zijn onderzoek voldoet aan de ‘’ Gedragscode
studentonderzoekers bij het uitvoeren van praktijkgericht onderzoek ‘’
Onderzoeksvaardigheden – paragraaf 3.5. Betrouwbaarheid en validiteit
Bij het doen van onderzoek is het van belang dat het uitgevoerde onderzoek de toets der kritiek kan
doorstaan. Er zijn veel richtlijnen te geven waarmee je rekening moet houden. Deze hebben te maken
met de betrouwbaarheid en validiteit van het onderzoek. Onderzoek moet betrouwbaar en valide
zijn, wil je waarde kunnen hechten aan de uitkomsten. Wat houden betrouwbaarheid en validiteit in?
Betrouwbaarheid
= de mate waarin het resultaat onafhankelijk van toeval is.
Als je het onderzoek op dezelfde manier over zou doen, dan zou dit dezelfde resultaten moeten
opleveren. Bij betrouwbaarheid staat de vraag centraal of het resultaat van het onderzoek hetzelfde
zou zijn als je het onderzoek zou herhalen. Andere woorden voor betrouwbaarheid zijn precisie of
reproduceerbaarheid. Bij betrouwbaarheid gaat het om de afwezigheid van toevallige fouten. Bij
toevallige fouten wijkt het resultaat door toeval af van de werkelijkheid. De richting van de afwijking is
niet steeds hetzelfde, waardoor deze fouten elkaar bij voldoende metingen kunnen opheffen.
Met het oog op betrouwbaarheid zijn de volgende aspecten van belang bij kwantitatief onderzoek:
fishing, het aantal waarnemingen en de betrouwbaarheid van het meetinstrument; bij kwalitatief
onderzoek: de interbeoordelaarsbetrouwbaarheid (= test of meting wordt door twee of meer
onderzoekers bij dezelfde personen gedaan, om te kijken in hoeverre de verschillende onderzoekers
tot dezelfde resultaten komen).
Validiteit
= de mate waarin de uitkomsten van je onderzoek door systematische fouten kan zijn beïnvloed. Het
doel wat je wilt bereiken, heb je gemeten wat je wilt meten?
Bij validiteit draait het om de vraag of je wel meet wat je wilt meten. Komt het resultaat van het
onderzoek overeen met de werkelijkheid? Is het resultaat dat je vindt inderdaad de juiste weergave
van de werkelijkheid, of is deze weergave vertekent door verstorende factoren? Andere woorden voor
validiteit zijn geldigheid of juistheid. Bij validiteit gaat het om de afwezigheid van systematische fouten.
We spreken van een systematische fout als het resultaat van een meting of onderzoek op
systematische wijze afwijkt van de werkelijkheid. De richting van de afwijking is dan steeds hetzelfde,
waardoor de resultaten vertekend worden. Dit noemen we met een Engels woord ‘bias’.
Drie hoofdvormen van validiteit worden onderscheiden.
Interne validiteit (geldigheid van het resultaat voor de onderzochte personen) waarbij je rekening
moet houden met: derde variabele, history, selectie, mortaliteit en ambiguïteit van het verband.
Constructvaliditeit waarbij je rekening moet houden met: inadequate operationalisaties, hypothese
raden en onderzoekersverwachtingen.
Externe validiteit (in hoeverre zijn de resultaten van het onderzoek toepasbaar op personen die niet
bij het onderzoek zijn betrokken) waarbij je rekening moet houden met: generaliseerbaarheid.
1
, Begrip Verstoring Oplossing / maatregel Fase binnen onderzoeksproces
Betrouwbaarheid Een te kleine omvang van de steekproef: Steekproef vergroten en/of meer metingen per persoon Populatie en evt. steekproefbepaling (5)
de juiste omvang van de steekproef bepalen, als de
steekproef te klein is, is het onderzoek niet
betrouwbaar.
Onnodig verbanden opsporen: Vooraf in een analyse-plan vastleggen welke hypothesen wordt Analyse van de gegevens (7)
Ook moet je niet onnodig alles met elkaar in verband onderzocht
brengen. We noemen dit fishing: je bent dan niet
gericht aan het toetsen, maar aan het vissen naar
verbanden. Als je in een onderzoek veel zaken meet
(variabelen) en je gaat onderzoeken in hoeverre deze
variabelen met elkaar samenhangen, dan heb je elke
keer een kleine kans dat dit resultaat op toeval berust.
Interne validiteit Een derde verstorende variabele: In het ontwerp zoveel mogelijk variabelen opsporen, door restrictie Afbakening (2)
Het kan zijn dat niet de onafhankelijke personen met bepaalde kenmerken niet mee laten doen en/of in de Populatie en evt. steekproefbepaling (5)
variabele rechtstreeks de afhankelijke statistische analyse corrigeren voor een verstorende variabele Analyse van de gegevens (7)
beïnvloedt, maar dat bijvoorbeeld zowel de
afhankelijke als de onafhankelijke
veroorzaakt worden door een variabele
waarmee je oorspronkelijk geen rekening
had gehouden.
Je moet je dus altijd afvragen: is er een
variabele die het verband dat ik constateer
kan verklaren of veroorzaken, anders dan de
variabelen die ik in het onderzoek had
meegenomen?
Problemen met de selectie: Aselecte steekproef trekken of gerandomiseerd toewijzen van Populatie en evt. steekproefbepaling (5)
Selectie komt vaak voor bij niet-aselecte steekproeven. behandeling Ontwikkeling en afname
Vooral als mensen zelf kiezen of ze aan het onderzoek dataverzamelingsinstrument (6)
mee doen, is de kans groot dat de mensen die in de
onderzoeksgroep zitten niet representatief zijn voor de
totale populatie. Dit kan leiden tot grote vertekening in
de uitkomsten van het onderzoek.
Richting van het verband onduidelijk: Vervolgonderzoek uitvoeren Beantwoording probleemstelling,
Bij toetsend onderzoek is het zonder experiment vaak rapportage onderzoek (8)
lastig vast te stellen of A leidt tot B of omgekeerd.
Experimenten zijn niet in alle omstandigheden mogelijk
en via vragenlijstonderzoek blijft dit een lastig
probleem. Er is duidelijk aan te tonen dat er een
verband is, maar de richting is lastig.
2
