H9 Onderzoekskwaliteit
Criteria onderzoekskwaliteit:
1. Betrouwbaarheid= In welke mate komen toevallige fouten voor.
- Toevallig fouten= Fouten door onverwachte en onberekenbare factoren in
onderzoek.
2. Validiteit= In welke mate worden systematische fouten gemaakt.
- Systematische fouten= Als onderzoeker voortdurend een andere waarde
meet dan verwacht. Bv. te hoog of te laag.
3. Bruikbaarheid
4. Kwaliteit belangrijk bij: Ontwerp, operationaliseren, samenstelling omvang, respons
en analyse.
9.1 Betrouwbaarheid
Herhaalbaarheidseis= Onderzoek moet herhaalbaar zijn op een andere tijdstip, met andere
onderzoeker, andere proefpersonen en onder andere omstandigheden.
- Herhaalbaar: Als dezelfde resultaten, dan is onderzoek betrouwbaar.
- Lastig want ene keer anders dan andere keer:
- Respondent weet antwoord niet, andere wel.
- Ene keer lawaai andere keer stil.
- Per ongeluk kruisje bij verkeerd antwoord.
- Tijdens invoeren gegevens fout maken.
- Afstand meten met elastieken meetlint...
Betrouwbaarheid nagaan:
1. Steekproefomvang:
- Hoe groter steekproef, hoe nauwkeuriger uitspraak.
- Je kunt hierdoor een schatting doen, maar foutenmarge= Omvang van de
fout die je toelaat.
2. Test-hertest= Herhaling van methoden.
3. Standaardisatie: Bv. standaard vragenlijsten ontwikkelen.
4. Proefinterview/pilot
5. Vier-ogenprincipe= College-onderzoeker kijkt mee met onderzoek en verslaglegging
en geeft feedback.
6. Rapportage en verantwoording
- Audit trial(onderzoekslogboek)
- Keuzes
- Vorderingen
- Leermomenten
- Omstandigheden die leiden tot problemen.
- Fouten
9.2 Validiteit
Kwantitatief onderzoek: Betrouwbaarheid is voorwaarde voor bepalen van validiteit.
Twee belangrijkste vormen van validiteit:
1. Geldigheid meetinstrument
2. Geldigheid onderzoeksgroep
Interne validiteit= Mate waarin zuivere/juiste conclusies getrokken kunnen worden.
, - Juiste conclusies= Conclusies die standhouden en kritiek van collega-onderzoekers
kunnen overleven.
- Situaties waar interne validiteit in gevaar kan komen:
1. Selectie van proefpersonen: Alleen onderzoek naar mening van selecte groep
2. Groei= Als onderzoek lang duurt, kan een verandering automatische
plaatsvinden.
3. Extern voorval(history): Bv. verkiezingspolls.
4. Instrumentatie: Aanpassing vragenlijst tijdens onderzoek zorgt voor
vertekening resultaten.
5. Mortaliteit(uitval): Bij voor- en nameting, kunnen tussentijds mensen niet meer
mee willen/kunnen doen.
6. Testeffect: Hawthorne-effect.
Externe validiteit= Mate waarin een steekproef op relevante kenmerken op de populatie
lijkt.
- Hoe groter steekproef, hoe groter reikwijdte resultaten of hoe groter de statistische
generaliseerbaarheid= Toepassing van resultaten op een hele populatie.
- Populatievaliditeit= Als onderzoek voldoet aan externe validiteit. Je mag
onderzoeksresultaten generaliseren.
Begripsvaliditeit/constructvaliditeit= De mate waarin je meet wat je meten wilt.
1. Bij bv. lengte en gewicht kun je dit makkelijk doen.
2. Bij abstracte begrippen: Eerst omschrijven en dan omzetten in een vraag die echt
meet wat je meten wilt.
9.4 Bruikbaarheid
Bruikbaarheid= De mate waarin onderzoek praktisch relevant is.
1. Instrumentele bruikbaarheid= Onderzoeksresultaten dragen bij aan het oplossen van
problemen in de samenleving. Gebruikt om beleid te ontwikkelen.
2. Conceptuele bruikbaarheid= Resultaten worden gebruikt om een discussie over een
onderwerp te starten.
Bruikbaarheid verhogen: Opdrachtgevers nauw betrekken bij onderzoek.
➔ Juiste vragen maken
➔ Deskundigheid van opdrachtgever gebruiken.
➔ Contactpersoon aanwijzen voor info, overleg en maken van afspraken.
➔
Criteria onderzoekskwaliteit:
1. Betrouwbaarheid= In welke mate komen toevallige fouten voor.
- Toevallig fouten= Fouten door onverwachte en onberekenbare factoren in
onderzoek.
2. Validiteit= In welke mate worden systematische fouten gemaakt.
- Systematische fouten= Als onderzoeker voortdurend een andere waarde
meet dan verwacht. Bv. te hoog of te laag.
3. Bruikbaarheid
4. Kwaliteit belangrijk bij: Ontwerp, operationaliseren, samenstelling omvang, respons
en analyse.
9.1 Betrouwbaarheid
Herhaalbaarheidseis= Onderzoek moet herhaalbaar zijn op een andere tijdstip, met andere
onderzoeker, andere proefpersonen en onder andere omstandigheden.
- Herhaalbaar: Als dezelfde resultaten, dan is onderzoek betrouwbaar.
- Lastig want ene keer anders dan andere keer:
- Respondent weet antwoord niet, andere wel.
- Ene keer lawaai andere keer stil.
- Per ongeluk kruisje bij verkeerd antwoord.
- Tijdens invoeren gegevens fout maken.
- Afstand meten met elastieken meetlint...
Betrouwbaarheid nagaan:
1. Steekproefomvang:
- Hoe groter steekproef, hoe nauwkeuriger uitspraak.
- Je kunt hierdoor een schatting doen, maar foutenmarge= Omvang van de
fout die je toelaat.
2. Test-hertest= Herhaling van methoden.
3. Standaardisatie: Bv. standaard vragenlijsten ontwikkelen.
4. Proefinterview/pilot
5. Vier-ogenprincipe= College-onderzoeker kijkt mee met onderzoek en verslaglegging
en geeft feedback.
6. Rapportage en verantwoording
- Audit trial(onderzoekslogboek)
- Keuzes
- Vorderingen
- Leermomenten
- Omstandigheden die leiden tot problemen.
- Fouten
9.2 Validiteit
Kwantitatief onderzoek: Betrouwbaarheid is voorwaarde voor bepalen van validiteit.
Twee belangrijkste vormen van validiteit:
1. Geldigheid meetinstrument
2. Geldigheid onderzoeksgroep
Interne validiteit= Mate waarin zuivere/juiste conclusies getrokken kunnen worden.
, - Juiste conclusies= Conclusies die standhouden en kritiek van collega-onderzoekers
kunnen overleven.
- Situaties waar interne validiteit in gevaar kan komen:
1. Selectie van proefpersonen: Alleen onderzoek naar mening van selecte groep
2. Groei= Als onderzoek lang duurt, kan een verandering automatische
plaatsvinden.
3. Extern voorval(history): Bv. verkiezingspolls.
4. Instrumentatie: Aanpassing vragenlijst tijdens onderzoek zorgt voor
vertekening resultaten.
5. Mortaliteit(uitval): Bij voor- en nameting, kunnen tussentijds mensen niet meer
mee willen/kunnen doen.
6. Testeffect: Hawthorne-effect.
Externe validiteit= Mate waarin een steekproef op relevante kenmerken op de populatie
lijkt.
- Hoe groter steekproef, hoe groter reikwijdte resultaten of hoe groter de statistische
generaliseerbaarheid= Toepassing van resultaten op een hele populatie.
- Populatievaliditeit= Als onderzoek voldoet aan externe validiteit. Je mag
onderzoeksresultaten generaliseren.
Begripsvaliditeit/constructvaliditeit= De mate waarin je meet wat je meten wilt.
1. Bij bv. lengte en gewicht kun je dit makkelijk doen.
2. Bij abstracte begrippen: Eerst omschrijven en dan omzetten in een vraag die echt
meet wat je meten wilt.
9.4 Bruikbaarheid
Bruikbaarheid= De mate waarin onderzoek praktisch relevant is.
1. Instrumentele bruikbaarheid= Onderzoeksresultaten dragen bij aan het oplossen van
problemen in de samenleving. Gebruikt om beleid te ontwikkelen.
2. Conceptuele bruikbaarheid= Resultaten worden gebruikt om een discussie over een
onderwerp te starten.
Bruikbaarheid verhogen: Opdrachtgevers nauw betrekken bij onderzoek.
➔ Juiste vragen maken
➔ Deskundigheid van opdrachtgever gebruiken.
➔ Contactpersoon aanwijzen voor info, overleg en maken van afspraken.
➔
