PROBLEEM 3
1. Wat is validiteit en wanneer is een onderzoek valide?
2. Wat is betrouwbaarheid en wanneer is een onderzoek betrouwbaar?
3. Wat is operationaliseren?
Bronnen
- Kwalitatieve methoden en technieken in de criminologie – Decorte &
Zaitech
- Methoden en Technieken van Onderzoek in de Criminologie –
Bijleveld
- Onderzoeksmethoden – Boeije, ’t Hart & Hox
- Reliability and validity in a nutshell - Bannigan, K. & Watsoni, R.
- Reliability and Validity of Prisoner Self-Reports gathered using the
life event calender method- Sutton
- Validity and Reliability in Socal Science Research- Drost
1. Wat is validiteit en wanneer is een onderzoek valide?
Methoden en Technieken van Onderzoek in de Criminologie – Bijleveld
Validiteit: vraag of ik gemeten heb wat ik beoogde te meten
Soorten validiteit
Constructvaliditeit
- Of we de constructen wel goed gemeten hebben
Criteria hiervoor:
o Betrouwbaarheid: hiermee stellen we expliciet dat als we
niet nauwkeurig gemeten hebben, we vinden dat het construct
niet goed gemeten is.
o Validiteit van de operationalisatie: de vraag of we wel
meten wat we willen meten (of het wel echt empathie, of
delictgevaarlijkheid of morele ontwikkeling is die gemeten
wordt). Meten mijn metingen daadwerkelijk de factor die zo’n
cruciale rol speelt in mijn theorie?
Drie delen:
1. Inhoudsvaliditeit: is het hele spectrum van het
construct gemeten? (een meting moet het construct
op alle relevante onderdelen vangen)
2. Criteriumvaliditeit: voorspelt de meting een criterium?
(als mijn metingen het construct op de goede manier
meten, zouden die metingen moeten samenhangen
met een bepaald gedrag dat het construct moet
voorspellen)
3. Constructvaliditeit in engere zin: is het bedoelde
construct gemeten? (meten de meetinstrumenten wel
echt het bedoelde concept?)
Statistische validiteit
, Er sprake van statische validiteit wanneer er een (empirisch) verband is
tussen twee constructen/kenmerken. Correlatie (samenhang) die gemeten
is leidt tot vraag of er wel of geen verband is.
VB. Relatie tussen gewetensvorming en delinquent gedrag
Stap 1: Is er gewetensvorming gemeten?
Stap 2: Is het verband zo sterk dat er niet van toeval gesproken kan
worden?
Als de kans klein is dat het verband op grond van toeval tot stand is
gekomen, en dan wel kleiner dan een bepaalde grenswaarde a,
concluderen we dat het resultaat onder de aanname van geen verband
tussen de twee kenmerken zo onwaarschijnlijk is, dat we die aanname van
geen verband overboord zetten.
Interne validiteit
Er is een verband maar deze berust niet op een oorzakelijk verband
(Spurieus-/ schijnverband: het heeft niks met elkaar te maken,
methodologieonderwijs: meer ooievaars en meer baby’s door urbanisatie).
Er is dus een statisch significant verband, maar het verband is
nietszeggend omdat de variabelen niets met elkaar te maken hebben en
het verband door een derde variabele ontstaat.
VB. Als er veel ooievaars zijn in een gebied en er ook veel kinderen
worden geboren, betekent dit niet dat de ooievaars de kinderen brengen
(dan zou er sprake zijn van gebrekkige interne validiteit).
Externe validiteit
Zijn de gevonden resultaten in de onderzoeksgroep generaliseerbaar naar
de hele populatie?
- Gelden de bevindingen in de onderzochte groep ook buiten die
groep?
- We onderzoeken vaak een deel van de populatie (steekproef) en
reflecteren de uitkomsten over de gehele populatie (als de
onderzoeksgroep een willekeurige steekproef is, concluderen we
doorgaans dat het resultaat ook buiten de onderzoeksgroep geldt)
Als het verband geldt binnen de onderzochte groep, mag ik het resultaat
dan ook van toepassing verklaren op anderen buiten de onderzochte
groep?
Na stap 1 weten we dat we gemeten hebben wat we wilde meten, na stap
2 weten we dat de verbanden sterk zijn, na stap 3 weten we dat we geen
onzinverbanden aan het analyseren zijn en na stap 4 weten we dat we
onze conclusies zoals beoogt tot buiten de onderzochte groep alleen
mogen trekken
Analyse van de validiteit van de operationalisatie
1. Face validity (op-het-oog-validiteit)
Methode waarbij men grondig en met gezond verstand beschouwt of de
gestelde vragen en metingen een valide meting van het construct kan
opleveren.
1. Wat is validiteit en wanneer is een onderzoek valide?
2. Wat is betrouwbaarheid en wanneer is een onderzoek betrouwbaar?
3. Wat is operationaliseren?
Bronnen
- Kwalitatieve methoden en technieken in de criminologie – Decorte &
Zaitech
- Methoden en Technieken van Onderzoek in de Criminologie –
Bijleveld
- Onderzoeksmethoden – Boeije, ’t Hart & Hox
- Reliability and validity in a nutshell - Bannigan, K. & Watsoni, R.
- Reliability and Validity of Prisoner Self-Reports gathered using the
life event calender method- Sutton
- Validity and Reliability in Socal Science Research- Drost
1. Wat is validiteit en wanneer is een onderzoek valide?
Methoden en Technieken van Onderzoek in de Criminologie – Bijleveld
Validiteit: vraag of ik gemeten heb wat ik beoogde te meten
Soorten validiteit
Constructvaliditeit
- Of we de constructen wel goed gemeten hebben
Criteria hiervoor:
o Betrouwbaarheid: hiermee stellen we expliciet dat als we
niet nauwkeurig gemeten hebben, we vinden dat het construct
niet goed gemeten is.
o Validiteit van de operationalisatie: de vraag of we wel
meten wat we willen meten (of het wel echt empathie, of
delictgevaarlijkheid of morele ontwikkeling is die gemeten
wordt). Meten mijn metingen daadwerkelijk de factor die zo’n
cruciale rol speelt in mijn theorie?
Drie delen:
1. Inhoudsvaliditeit: is het hele spectrum van het
construct gemeten? (een meting moet het construct
op alle relevante onderdelen vangen)
2. Criteriumvaliditeit: voorspelt de meting een criterium?
(als mijn metingen het construct op de goede manier
meten, zouden die metingen moeten samenhangen
met een bepaald gedrag dat het construct moet
voorspellen)
3. Constructvaliditeit in engere zin: is het bedoelde
construct gemeten? (meten de meetinstrumenten wel
echt het bedoelde concept?)
Statistische validiteit
, Er sprake van statische validiteit wanneer er een (empirisch) verband is
tussen twee constructen/kenmerken. Correlatie (samenhang) die gemeten
is leidt tot vraag of er wel of geen verband is.
VB. Relatie tussen gewetensvorming en delinquent gedrag
Stap 1: Is er gewetensvorming gemeten?
Stap 2: Is het verband zo sterk dat er niet van toeval gesproken kan
worden?
Als de kans klein is dat het verband op grond van toeval tot stand is
gekomen, en dan wel kleiner dan een bepaalde grenswaarde a,
concluderen we dat het resultaat onder de aanname van geen verband
tussen de twee kenmerken zo onwaarschijnlijk is, dat we die aanname van
geen verband overboord zetten.
Interne validiteit
Er is een verband maar deze berust niet op een oorzakelijk verband
(Spurieus-/ schijnverband: het heeft niks met elkaar te maken,
methodologieonderwijs: meer ooievaars en meer baby’s door urbanisatie).
Er is dus een statisch significant verband, maar het verband is
nietszeggend omdat de variabelen niets met elkaar te maken hebben en
het verband door een derde variabele ontstaat.
VB. Als er veel ooievaars zijn in een gebied en er ook veel kinderen
worden geboren, betekent dit niet dat de ooievaars de kinderen brengen
(dan zou er sprake zijn van gebrekkige interne validiteit).
Externe validiteit
Zijn de gevonden resultaten in de onderzoeksgroep generaliseerbaar naar
de hele populatie?
- Gelden de bevindingen in de onderzochte groep ook buiten die
groep?
- We onderzoeken vaak een deel van de populatie (steekproef) en
reflecteren de uitkomsten over de gehele populatie (als de
onderzoeksgroep een willekeurige steekproef is, concluderen we
doorgaans dat het resultaat ook buiten de onderzoeksgroep geldt)
Als het verband geldt binnen de onderzochte groep, mag ik het resultaat
dan ook van toepassing verklaren op anderen buiten de onderzochte
groep?
Na stap 1 weten we dat we gemeten hebben wat we wilde meten, na stap
2 weten we dat de verbanden sterk zijn, na stap 3 weten we dat we geen
onzinverbanden aan het analyseren zijn en na stap 4 weten we dat we
onze conclusies zoals beoogt tot buiten de onderzochte groep alleen
mogen trekken
Analyse van de validiteit van de operationalisatie
1. Face validity (op-het-oog-validiteit)
Methode waarbij men grondig en met gezond verstand beschouwt of de
gestelde vragen en metingen een valide meting van het construct kan
opleveren.
