Hoorcollege 1
Bij Methoden B kijken we naar ontwerpen die horen bij fundamenteel onderzoek, dat
gericht is op het beantwoorden van kennisvragen. Praktijkgericht onderzoek
(ontwerpvragen, evaluatievragen) zijn meer gericht op praktijkproblemen, maar horen niet bij
de cursus.
Bij fundamenteel onderzoek heb je verschillende soorten vragen (vraagstelling sturend voor
welk ontwerp je gaat gebruiken):
Volgende beschrijvende vragen hebben we:
> cross-sectionele vragen, vraag waarbij je stand van zaken wil bekijken (doorsnede)
> longitudinale vragen, door de tijd heen kijken, dus ander onderzoeksontwerp dan cross-
sectioneel (meerdere metingen).
> vergelijkende vragen
Na de beschrijving ga je op zoek naar een verklaring van het antwoord op beschrijvende
vraag, dus als we op zoek gaan naar oorzaak van iets hebben we het over verklarend
onderzoek.
Na verklarende vragen ontstaan toetsende vragen. Dan heb je al ideeën over mogelijke
oorzaken. En de relaties die je denkt dat er zijn worden bij toetsende vragen getest (is het
waar dat en is de relatie sterk?)
Dit is de empirische cyclus, die beschrijft hoe de kennis in de wetenschap zich
vermeerdert, gebaseerd op zintuiglijke waarnemingen.
Het proces waar we vanuit een observatie, via patronen, tot een theorie komen. Veel
onderzoek stopt dan, en dat heet inductief onderzoek. Daarbij ontwikkelen we een theorie,
dat is een doel.
We gebruiken een theorie om de werkelijkheid te beschrijven, maar die moet dus getoetst
,worden en die theorie wordt sterker, robuuster, als die keer op keer getoetst wordt. Dat
gebeurt bij deductief onderzoek. Daarbij is theorie dus het beginpunt.
operante conditionering opzoeken
Een conceptueel model is grafische weergave van de theorie (vaak pijlenschema). Gaat
hier om de variabelen en de relaties daartussen (hypothesen). Er zijn verschillende soorten
relaties die er zijn:
- direct effect: oorzaak direct effect op gevolg. oorzaak is onafhankelijke variabele en gevolg
is afhankelijke variabele.
- indirect effect (mediatie): relatie tussen x en y, maar daar is een tussenliggende schakel
(t). x-->t--->y. Mediatie-hypothese herken je altijd vanwege woordje omdat. En hier is sprake
van een ketenredenering. t is dus de mediator. Samenhang tussen x en y wordt verklaard
door t. Mediator veroorzaakt relatie
- interactie (moderatie): de relatie tussen x en y wordt beïnvloedt door t (moderator).
Moderator nuanceert xy relatie. (voorbeeld: het effect van zien van geweld op televisie op
agressiviteit is bij jongens veel sterker dan bij meisjes, dus sekse is moderator (t)).
- schijnverband: ontstaat wanneer twee variabelen een gemeenschappelijke oorzaak
hebben, oorzaak is t. Maar t is hier confound (storende variabele).
Elk onderzoek begint met een onderzoeksplan. Bij deductief dus hoe je een theorie wil
toetsen en ook bij inductief begin je met onderzoeksplan. Onderzoeksplan bestaat uit
probleemstelling en onderzoeksopzet. En van belang is dat probleemstelling consistent is
met onderzoeksopzet.
En doelstelling moet ook bij vraagstelling passen. Doelstelling gaat over relevantie van een
onderzoek (kunnen). En vraagstelling is kennisvraag (kennen). Na probleemstelling dus
onderzoeksopzet, en die hangt af van probleemstelling.
,Retrospectieve vragen zijn vragen over vroeger. In het figuur staat waar je op moet letten
bij onderzoek, en bij de HOE? (onderzoeksontwerp) onder onderzoeksopzet kijk je vooral
naar operationalisering: hoe zijn de variabelen gemeten?
Beoordelen van onderzoek:
> letten op consistentie in onderzoeksplan
> beoordelingscriteria zijn betrouwbaarheid en validiteit
> na betrouwbaarheid en validiteit pas kijken naar bruikbaarheid (met wetenschappelijke of
maatschappelijke relevantie)
Betrouwbaarheid verwijst naar afwezigheid van toevalsfouten. Hoe minder toevalsfouten,
hoe betrouwbaarder. Validiteit verwijst naar systematische fouten. Dekt uitspraak wel de
werkelijkheid? Daarbij wordt vaak formule gebruikt x = t + e, t = truth score, e = toevallige
fout + systematische fout, x = gevonden score.
Hoe minder systematische fouten, hoe meer valide een meting
Betrouwbaarheid meten (meetbaar maken van begrippen, dus operationaliseren)
Herhaalde metingen, hetzelfde resultaat? Dat is de vraag. Dat kan je kijken met:
> test-hertest betrouwbaarheid: dezelfde test 2x afnemen en dan scores vergelijken, maar
daarbij kan je last hebben van herinneringseffect en leereffect (dan verandert truth score).
> test-paralleltest betrouwbaarheid: vergelijk testscores met scores op andere test die
zelfde beoogt te meten.
> split half betrouwbaarheid: test in tweeën, vergelijk scores op beide helften. Daarvoor
wel grote vragenlijst en eerlijke splitsing.
> interne consistentie: daarbij veel bijvoorbeeld enquete vragen die hetzelfde meten, en
dus veel parallelle operationaliseringen, waarbij elke vraag een meting is van eenzelfde
begrip. En de Cronbach's Alpha is een statistische maat die checkt of antwoordgedrag van
mensen consistent is. Tussen 0 en 1 ligt die altijd, en vanaf 0,8 goede interne consistentie.
> interbeoordelaars- of intercodeursbetrouwbaarheid: vergelijk de beoordelingen van
meerdere beoordelaars, wordt gemeten met Cohens Kappa en Krippendorff's Alpha.
Kwaliteit van beoordelingsinstrument van inhoudsanalyse wordt daarmee onderzocht.
Validiteit meten
Meet ik wat ik wil meten? Zit ik er niet systematisch naast?
Vaststellen met:
> inhoudsvaliditeit: Wordt begrip goed ‘afgedekt’ door meetinstrument? (bijvoorbeeld
letterlijk raadplegen of via de literatuur). Daarbij misschien dimensies toevoegen om begrip
goed te meten, Zodat je meetinstrument krijgt dat alle dimensies van begrip afdekt en binnen
alle dimensies alles goed afdekt. Vaak gebeurt dat ook met verwijzingen.
> soortgenootvaliditeit: Vergelijk testscores met scores op soortgelijke tests (vb 2x
schriftelijk). Lijkt een beetje op test-paralleltest.
> convergente validiteit: verschil met soortgenootvaliditeit dat je twee soortgelijke
instrumenten gebruikt en bij convergente twee verschillende type testen.
> constructvaliditeit: Verloopt met theorie, en dat moet een robuuste theorie zijn. Die zich
dus keer op keer heeft bewezen. Dat een begrip meerdere dimensies omvat en die
dimensies met elkaar samenhangen, volgens theorie. En dan meetinstrument afnemen bij
, doelgroep. En dan kijken bij metingen of dimensies samenhangen met elkaar zoals theorie
dat verwacht. Matcht de theorie met meetinstrumenten? Gedraagt meetinstrument zich zoals
theorie zegt dat dat zou moeten? Techniek die hiervoor wordt gebruikt heet factoranalyse.
(binnen het begripsdomein, kijken naar dimensies die samen dat begrip zijn) Je kan ook
kijken naar validiteit buiten begripsdomein. En dan relatie binnen onderzoeksgroep bekijken
en vergeljiken met hoe dat in theorie zou moeten zijn (vb van IQ koppelen aan iets totaal
anders).
> predictieve validiteit: bijna nooit relevant, gaat om voorspellende kracht. (voorbeeld is
CITO toets)
Kwaliteit van de steekproef beoordelen:
Kenmerken van kwaliteit steekproef liggen aan:
> statistische nauwkeurigheid: in hoeverre zijn onderzoeksresultaten onderhevig aan
toevalsfouten en ook afhankelijk van steekproefomvang (deze bepaalt de standaardfout)
> externe validiteit: is steekproef wel goede afspiegeling van doelpopulatie
(populatievaliditeit). Gaat daarbij altijd om representativiteit van steekproef. Of misschien
wil je verder generaliseren die buiten doelpopulatie zit, dus andere populaties. En dan moet
je afvragen of je groep goede afspiegeling is daar waar je naartoe wil generaliseren, dat heet
ecologische validiteit.
Hoe groter steekproefomvang, hoe nauywkeuriger je resultaten.
Hoorcollege 2 (survey)
Typische kenmerken van survey zijn:
> eenmalige meting
> grootschalig (veel onderzoekseenheden)
> cross-sectie; dwarsdoorsnede (representatief)
> gestandaardiseerde waarnemingsmethode (afname bij iedereen zelfde)
> statistisch generaliseren naar grotere populatie (als je kan generaliseren vanuit steekproef
heb je populatievaliditeit)
Wanneer kies je voor surveyonderzoek? Kan bij beschrijvende vragen (bij grote groep
nauwkeurige uitspraken en bij representatieve groep, ook juiste over populatie) Er zijn drie
soorten beschrijvende vragen: > cross-sectionele vragen, longitudinale vragen en
vergelijkende vragen. Longitudinale kan bij survey niet, want survey is eenmalige meting
(anders is het panelonderzoek, meerdere afnamemomenten)
Ook kan je survey doen bij verklarende vragen (hierbij ga je op zoek naar oorzaken van
bepaald fenomeen). Bij verklarende vragen kan je variabelen verklaren en ook relaties
verklaren.
Survey kan je ook doen bij toetsende vragen. Dus alles kan behalve longitudinaal.
Survey vaak zo gebruikt bij gedrag dat je niet kan observeren, want dat moet wel. (gedrag
uit verleden, toekomst, houdingen etc.) maar ook bij gedrag dat je wel kan observeren wordt
gedrag met survey onderzocht. Minder tijdrovend en goedkoper.
x= onafhankelijke variabele
Bij Methoden B kijken we naar ontwerpen die horen bij fundamenteel onderzoek, dat
gericht is op het beantwoorden van kennisvragen. Praktijkgericht onderzoek
(ontwerpvragen, evaluatievragen) zijn meer gericht op praktijkproblemen, maar horen niet bij
de cursus.
Bij fundamenteel onderzoek heb je verschillende soorten vragen (vraagstelling sturend voor
welk ontwerp je gaat gebruiken):
Volgende beschrijvende vragen hebben we:
> cross-sectionele vragen, vraag waarbij je stand van zaken wil bekijken (doorsnede)
> longitudinale vragen, door de tijd heen kijken, dus ander onderzoeksontwerp dan cross-
sectioneel (meerdere metingen).
> vergelijkende vragen
Na de beschrijving ga je op zoek naar een verklaring van het antwoord op beschrijvende
vraag, dus als we op zoek gaan naar oorzaak van iets hebben we het over verklarend
onderzoek.
Na verklarende vragen ontstaan toetsende vragen. Dan heb je al ideeën over mogelijke
oorzaken. En de relaties die je denkt dat er zijn worden bij toetsende vragen getest (is het
waar dat en is de relatie sterk?)
Dit is de empirische cyclus, die beschrijft hoe de kennis in de wetenschap zich
vermeerdert, gebaseerd op zintuiglijke waarnemingen.
Het proces waar we vanuit een observatie, via patronen, tot een theorie komen. Veel
onderzoek stopt dan, en dat heet inductief onderzoek. Daarbij ontwikkelen we een theorie,
dat is een doel.
We gebruiken een theorie om de werkelijkheid te beschrijven, maar die moet dus getoetst
,worden en die theorie wordt sterker, robuuster, als die keer op keer getoetst wordt. Dat
gebeurt bij deductief onderzoek. Daarbij is theorie dus het beginpunt.
operante conditionering opzoeken
Een conceptueel model is grafische weergave van de theorie (vaak pijlenschema). Gaat
hier om de variabelen en de relaties daartussen (hypothesen). Er zijn verschillende soorten
relaties die er zijn:
- direct effect: oorzaak direct effect op gevolg. oorzaak is onafhankelijke variabele en gevolg
is afhankelijke variabele.
- indirect effect (mediatie): relatie tussen x en y, maar daar is een tussenliggende schakel
(t). x-->t--->y. Mediatie-hypothese herken je altijd vanwege woordje omdat. En hier is sprake
van een ketenredenering. t is dus de mediator. Samenhang tussen x en y wordt verklaard
door t. Mediator veroorzaakt relatie
- interactie (moderatie): de relatie tussen x en y wordt beïnvloedt door t (moderator).
Moderator nuanceert xy relatie. (voorbeeld: het effect van zien van geweld op televisie op
agressiviteit is bij jongens veel sterker dan bij meisjes, dus sekse is moderator (t)).
- schijnverband: ontstaat wanneer twee variabelen een gemeenschappelijke oorzaak
hebben, oorzaak is t. Maar t is hier confound (storende variabele).
Elk onderzoek begint met een onderzoeksplan. Bij deductief dus hoe je een theorie wil
toetsen en ook bij inductief begin je met onderzoeksplan. Onderzoeksplan bestaat uit
probleemstelling en onderzoeksopzet. En van belang is dat probleemstelling consistent is
met onderzoeksopzet.
En doelstelling moet ook bij vraagstelling passen. Doelstelling gaat over relevantie van een
onderzoek (kunnen). En vraagstelling is kennisvraag (kennen). Na probleemstelling dus
onderzoeksopzet, en die hangt af van probleemstelling.
,Retrospectieve vragen zijn vragen over vroeger. In het figuur staat waar je op moet letten
bij onderzoek, en bij de HOE? (onderzoeksontwerp) onder onderzoeksopzet kijk je vooral
naar operationalisering: hoe zijn de variabelen gemeten?
Beoordelen van onderzoek:
> letten op consistentie in onderzoeksplan
> beoordelingscriteria zijn betrouwbaarheid en validiteit
> na betrouwbaarheid en validiteit pas kijken naar bruikbaarheid (met wetenschappelijke of
maatschappelijke relevantie)
Betrouwbaarheid verwijst naar afwezigheid van toevalsfouten. Hoe minder toevalsfouten,
hoe betrouwbaarder. Validiteit verwijst naar systematische fouten. Dekt uitspraak wel de
werkelijkheid? Daarbij wordt vaak formule gebruikt x = t + e, t = truth score, e = toevallige
fout + systematische fout, x = gevonden score.
Hoe minder systematische fouten, hoe meer valide een meting
Betrouwbaarheid meten (meetbaar maken van begrippen, dus operationaliseren)
Herhaalde metingen, hetzelfde resultaat? Dat is de vraag. Dat kan je kijken met:
> test-hertest betrouwbaarheid: dezelfde test 2x afnemen en dan scores vergelijken, maar
daarbij kan je last hebben van herinneringseffect en leereffect (dan verandert truth score).
> test-paralleltest betrouwbaarheid: vergelijk testscores met scores op andere test die
zelfde beoogt te meten.
> split half betrouwbaarheid: test in tweeën, vergelijk scores op beide helften. Daarvoor
wel grote vragenlijst en eerlijke splitsing.
> interne consistentie: daarbij veel bijvoorbeeld enquete vragen die hetzelfde meten, en
dus veel parallelle operationaliseringen, waarbij elke vraag een meting is van eenzelfde
begrip. En de Cronbach's Alpha is een statistische maat die checkt of antwoordgedrag van
mensen consistent is. Tussen 0 en 1 ligt die altijd, en vanaf 0,8 goede interne consistentie.
> interbeoordelaars- of intercodeursbetrouwbaarheid: vergelijk de beoordelingen van
meerdere beoordelaars, wordt gemeten met Cohens Kappa en Krippendorff's Alpha.
Kwaliteit van beoordelingsinstrument van inhoudsanalyse wordt daarmee onderzocht.
Validiteit meten
Meet ik wat ik wil meten? Zit ik er niet systematisch naast?
Vaststellen met:
> inhoudsvaliditeit: Wordt begrip goed ‘afgedekt’ door meetinstrument? (bijvoorbeeld
letterlijk raadplegen of via de literatuur). Daarbij misschien dimensies toevoegen om begrip
goed te meten, Zodat je meetinstrument krijgt dat alle dimensies van begrip afdekt en binnen
alle dimensies alles goed afdekt. Vaak gebeurt dat ook met verwijzingen.
> soortgenootvaliditeit: Vergelijk testscores met scores op soortgelijke tests (vb 2x
schriftelijk). Lijkt een beetje op test-paralleltest.
> convergente validiteit: verschil met soortgenootvaliditeit dat je twee soortgelijke
instrumenten gebruikt en bij convergente twee verschillende type testen.
> constructvaliditeit: Verloopt met theorie, en dat moet een robuuste theorie zijn. Die zich
dus keer op keer heeft bewezen. Dat een begrip meerdere dimensies omvat en die
dimensies met elkaar samenhangen, volgens theorie. En dan meetinstrument afnemen bij
, doelgroep. En dan kijken bij metingen of dimensies samenhangen met elkaar zoals theorie
dat verwacht. Matcht de theorie met meetinstrumenten? Gedraagt meetinstrument zich zoals
theorie zegt dat dat zou moeten? Techniek die hiervoor wordt gebruikt heet factoranalyse.
(binnen het begripsdomein, kijken naar dimensies die samen dat begrip zijn) Je kan ook
kijken naar validiteit buiten begripsdomein. En dan relatie binnen onderzoeksgroep bekijken
en vergeljiken met hoe dat in theorie zou moeten zijn (vb van IQ koppelen aan iets totaal
anders).
> predictieve validiteit: bijna nooit relevant, gaat om voorspellende kracht. (voorbeeld is
CITO toets)
Kwaliteit van de steekproef beoordelen:
Kenmerken van kwaliteit steekproef liggen aan:
> statistische nauwkeurigheid: in hoeverre zijn onderzoeksresultaten onderhevig aan
toevalsfouten en ook afhankelijk van steekproefomvang (deze bepaalt de standaardfout)
> externe validiteit: is steekproef wel goede afspiegeling van doelpopulatie
(populatievaliditeit). Gaat daarbij altijd om representativiteit van steekproef. Of misschien
wil je verder generaliseren die buiten doelpopulatie zit, dus andere populaties. En dan moet
je afvragen of je groep goede afspiegeling is daar waar je naartoe wil generaliseren, dat heet
ecologische validiteit.
Hoe groter steekproefomvang, hoe nauywkeuriger je resultaten.
Hoorcollege 2 (survey)
Typische kenmerken van survey zijn:
> eenmalige meting
> grootschalig (veel onderzoekseenheden)
> cross-sectie; dwarsdoorsnede (representatief)
> gestandaardiseerde waarnemingsmethode (afname bij iedereen zelfde)
> statistisch generaliseren naar grotere populatie (als je kan generaliseren vanuit steekproef
heb je populatievaliditeit)
Wanneer kies je voor surveyonderzoek? Kan bij beschrijvende vragen (bij grote groep
nauwkeurige uitspraken en bij representatieve groep, ook juiste over populatie) Er zijn drie
soorten beschrijvende vragen: > cross-sectionele vragen, longitudinale vragen en
vergelijkende vragen. Longitudinale kan bij survey niet, want survey is eenmalige meting
(anders is het panelonderzoek, meerdere afnamemomenten)
Ook kan je survey doen bij verklarende vragen (hierbij ga je op zoek naar oorzaken van
bepaald fenomeen). Bij verklarende vragen kan je variabelen verklaren en ook relaties
verklaren.
Survey kan je ook doen bij toetsende vragen. Dus alles kan behalve longitudinaal.
Survey vaak zo gebruikt bij gedrag dat je niet kan observeren, want dat moet wel. (gedrag
uit verleden, toekomst, houdingen etc.) maar ook bij gedrag dat je wel kan observeren wordt
gedrag met survey onderzocht. Minder tijdrovend en goedkoper.
x= onafhankelijke variabele
