College 1 Ethiek, steekproeftrekken, instrumentatie validiteit en
betrouwbaarheid
Voorbeeldvragen
› Zijn kleinere klassen op de basisschool beter voor kinderen dan grotere klassen?
› Is inclusief onderwijs beter voor leerlingen met ernstige leerproblemen dan aparte
vormen van onderwijs?
› Hangt motivatie samen met de leerprestaties van leerlingen in het voortgezet
onderwijs?
› Kunnen de communicatieve vaardigheden van doof-blinde kinderen verbeterd worden
door interventie X?
› In welke situaties kan gezinshulp vanuit jeugdzorg uithuisplaatsing van zeer moeilijk
opvoedbare kinderen voorkomen?
Waarom methodologie?
- Doorprikken van prietpraat, valse intuïtie en zogenaamde autoriteit
- Wetenschappelijk geschoolde levenslang lerende professional
- Zelfstandig uitvoeren van onderzoek
Wetenschappelijk geschoolde professional: vakgebied bijhouden, literatuur kunnen
beoordelen op zin / onzin.
De empirische cyclus
A.D. (Adriaan) de Groot, tevens oprichter van het Cito.
Van stap 1 naar 2, daar is geen wetenschappelijke methode voor.
Van stap 3 naar 4 wel, dat is de wetenschappelijke methode (dus van deductie naar toetsing).
De wetenschappelijke methode: een propositie/bewering wordt aan een empirische toets
onderworpen
Het basisprincipe van de wetenschappelijke methode is dat je beweringen moet kunnen
weerleggen.
Kennis is pas kennis als het aan de wetenschappelijke methode is blootgelegd (hypothese
toetsing, empirisch onderzoek)
,Hoofdstuk 1: Introductie op onderzoek
Er zijn verschillende soorten onderzoek te onderscheiden. De belangrijkste twee soorten
onderzoek zijn kwantitatief onderzoek en kwalitatief onderzoek.
- Kwantitatief: vooral met getallen, met behulp van getallen relaties proberen te
onderzoeken en te verklaren
o Gesloten onderzoeksvraag die vanaf het begin vastligt
o Doel: vaststellen feiten
o Steekproef is meestal groot en het liefst random
o Dataverzameling standaard, bijvoorbeeld via vaste vragenlijst
o Onderzoeksgegevens zijn cijfers
o De gegevens worden statistisch geanalyseerd
- Kwalitatief: vooral met woorden, met behulp van observaties, interviews of enquêtes
wordt geprobeerd een situatie / relatie te verklaren.
o open onderzoeksvraag, die tijdens het onderzoek nog kan wijzigen
o Doel: ontdekken, verzamelen
o Steekproef is meestal klein en meestal gericht samengesteld
o Dataverzameling is niet standaard, bijvoorbeeld verloop van een interview is
afhankelijk van wat de respondent zegt
o Onderzoeksgegevens zijn bijvoorbeeld gespreks- en observatieverslagen
o De gespreks- en observatieverslagen worden gereduceerd tot labels, die
gebruikt worden om een structuur te ontdekken
Daarnaast zijn er nog een aantal verschillende onderzoekstypen te onderscheiden:
- Experimenteel onderzoek: er zijn twee groepen (controlegroep en experimentele
groep). Deze twee groepen worden verschillend behandeld, de onderzoeker kan
manipuleren. Er is sprake van een interventie.
- Correlationeel onderzoek: tegenovergestelde van experimenteel onderzoek. Er zijn
opnieuw twee groepen, maar deze groepen bestaan al en kunnen niet worden
beïnvloed. Er wordt gekeken wat er van nature gebeurt en wat de correlaties zijn met
verschillende variabelen. (voorbeeld: correlatie onderzoeken tussen bewegen en
overgewicht, waarbij je een groep mensen selecteert met overgewicht en een groep
zonder overgewicht)
o Veel gegevens en je kijkt of er een verband is tussen twee variabelen (bijv.
motivatie en leerprestatie)
▪ Quasi experimenteel onderzoek: Mensen mogen zichzelf toewijzen aan de controle
of experimentele groep.
- Single subject onderzoek: één individu wordt intensief onderzocht/gevolgd voor een
langere periode
- Survey onderzoek: aan de hand van een vragenlijst, enquête, interview of observatie
wordt geprobeerd een aantal belangrijke eigenschappen / kenmerken van een groep
in beeld te krijgen. (voorbeeld: de mening van werknemers over de administratieve
taken)
- Case studies: Een gedetailleerde analyse van één of een paar individuen. Vaak
kwalitatief van aard.
o Etnografisch onderzoek: met behulp van een observatie of een interview
wordt geprobeerd de alledaagse ervaringen van individuen in beeld te brengen.
Je maakt als onderzoeker deel uit van de leefomgeving en probeert deze
leefomgeving in beeld te brengen. (VB: de sfeer in de klas)
o Historisch onderzoek: het verleden wordt bestudeerd aan de hand van
documenten uit die tijd of interviews met ‘overlevenden’.
- Praktijkkennis → VB: Actie onderzoek: al handelend wordt onderzocht en
geprobeerd een oplossing te vinden. Als een bepaalde methode niet werkt, wordt net
zo lang geprobeerd tot iets anders wel werkt (VB: een leraar probeert de leesprestaties
, van leerlingen omhoog te krijgen en probeert hierbij verschillende manieren /
methoden)
- Evaluatie onderzoek: de onderzoeker probeert vast te stellen of een ingreep /
interventie tot veranderingen heeft geleid. Twee soorten:
o Formatieve evaluatie: procesevaluatie. Welke factoren maken de interventie
al dan niet succesvol? Je kijkt al tijdens het proces welke factoren werkzaam
zijn en welke niet.
o Summatief: effectevaluatie. Je toetst na afloop de effectiviteit van een
interventie. Je kijkt dus pas op het einde of iets heeft gewerkt of niet.
Alleen experimenteel onderzoek geeft inzicht in oorzaak-gevolg relaties.
Scaling up:
▪ Small scale experimentation using theoretical insights
▪ Studying effects in case studies and correlational studies
▪ Studying effects in quasi-experiments
▪ Defining implementation conditions
▪ Scaling up the innovation
▪ Large scale randomized control trials
▪ Repeat in various relevant contexts
▪ Synthesize the results (in systematic reviews and/or meta-analyses)
Variabelen
Variabele = een kenmerk in meetbare termen
Een variabele wordt vaak gebruikt om groepen te vergelijken of om oorzaak-gevolgrelaties te
trekken. Als twee variabelen samenhangen, is er een verband tussen de twee variabelen /
groepen.
Onafhankelijke variabele = hebben zelf meestal gevolgen, maar zijn niet het gevolg van
andere kenmerken → vaak de oorzaak
Afhankelijke variabele = het gevolg
Er kan ook sprake zijn van een derde variabele = een vreemde variabele = een extraneous
variabele. Dit is een variabele die een rol speelt in de relatie tussen de onafhankelijke en
afhankelijke variabele (de twee variabelen die je in eerste instantie wilde onderzoeken) en dus
ook de invloed heeft op de uitkomst / het gedrag. Indien er sprake is van zo’n vreemde
variabele kan het gaan om een:
- Mediërende variabele: een tussenkomende variabele die de invloed op de
onafhankelijke variabele beïnvloed. Deze variabele hangt dus samen met zowel de
onafhankelijke als de afhankelijke variabele
, o VB: Het aantal uitgaansavonden van studenten hangt samen met de
studieresultaten. Echter de derde variabele in deze situatie is het aantal studie-
uren. Studenten die vaker op stap gaan, besteden over het algemeen minder
tijd aan hun studie. Als je minder tijd aan je studie besteedt, zullen ook de
resultaten minder zijn. Dit is dus een derde variabele die de relatie verklaart,
het is een soort tussenschakel.
o De reden voor het effect
o Is het causale resultaat van de onafhankelijke variabele en de oorzaak voor de
afhankelijke variabele.
- Moderator variabele: de derde variabele verandert het verband tussen de
onafhankelijke en de afhankelijke variabele. De relatie tussen de onafhankelijke en
afhankelijke variabele is anders voor iedere waarde van de moderator.
o VB: mannen en vrouwen moesten beide een stressvolle taak doen, waarbij ze
koffie kregen tussendoor. Dit was gewone koffie en decafeïne koffie. De
vrouwen op gewone koffie deden de taken veel beter dan mannen op gewone
koffie. Sekse is hier een moderator, het verstoort het effect tussen koffie en
verlaging van stress / prestaties.
o Contextualiseert het effect
o Is niet het causale resultaat van de onafhankelijke variabele.
Conclusie: Als de derde variabele het gevolg is van de onafhankelijke variabele, is het een
mediator. Als de derde variabele niet het gevolg is van de onafhankelijke variabele is het een
moderator.
Exercise Gewichtsverlies
Leerdoelen
Welgesteldheid
Exercise Gewichtsverlies
Leeftijd
Verdiepen van kennis en inzicht in methoden en technieken van empirisch onderzoek:
▪ verschillende onderzoeksmethoden en methoden voor gegevensverzameling;
▪ verschillende opzetten voor het uitvoeren van onderzoek en de vraagstellingen
waarvoor die opzetten het meest geëigend zijn;
▪ de voor- en nadelen in termen van interne en externe validiteit van de
verschillende onderzoeksontwerpen.
betrouwbaarheid
Voorbeeldvragen
› Zijn kleinere klassen op de basisschool beter voor kinderen dan grotere klassen?
› Is inclusief onderwijs beter voor leerlingen met ernstige leerproblemen dan aparte
vormen van onderwijs?
› Hangt motivatie samen met de leerprestaties van leerlingen in het voortgezet
onderwijs?
› Kunnen de communicatieve vaardigheden van doof-blinde kinderen verbeterd worden
door interventie X?
› In welke situaties kan gezinshulp vanuit jeugdzorg uithuisplaatsing van zeer moeilijk
opvoedbare kinderen voorkomen?
Waarom methodologie?
- Doorprikken van prietpraat, valse intuïtie en zogenaamde autoriteit
- Wetenschappelijk geschoolde levenslang lerende professional
- Zelfstandig uitvoeren van onderzoek
Wetenschappelijk geschoolde professional: vakgebied bijhouden, literatuur kunnen
beoordelen op zin / onzin.
De empirische cyclus
A.D. (Adriaan) de Groot, tevens oprichter van het Cito.
Van stap 1 naar 2, daar is geen wetenschappelijke methode voor.
Van stap 3 naar 4 wel, dat is de wetenschappelijke methode (dus van deductie naar toetsing).
De wetenschappelijke methode: een propositie/bewering wordt aan een empirische toets
onderworpen
Het basisprincipe van de wetenschappelijke methode is dat je beweringen moet kunnen
weerleggen.
Kennis is pas kennis als het aan de wetenschappelijke methode is blootgelegd (hypothese
toetsing, empirisch onderzoek)
,Hoofdstuk 1: Introductie op onderzoek
Er zijn verschillende soorten onderzoek te onderscheiden. De belangrijkste twee soorten
onderzoek zijn kwantitatief onderzoek en kwalitatief onderzoek.
- Kwantitatief: vooral met getallen, met behulp van getallen relaties proberen te
onderzoeken en te verklaren
o Gesloten onderzoeksvraag die vanaf het begin vastligt
o Doel: vaststellen feiten
o Steekproef is meestal groot en het liefst random
o Dataverzameling standaard, bijvoorbeeld via vaste vragenlijst
o Onderzoeksgegevens zijn cijfers
o De gegevens worden statistisch geanalyseerd
- Kwalitatief: vooral met woorden, met behulp van observaties, interviews of enquêtes
wordt geprobeerd een situatie / relatie te verklaren.
o open onderzoeksvraag, die tijdens het onderzoek nog kan wijzigen
o Doel: ontdekken, verzamelen
o Steekproef is meestal klein en meestal gericht samengesteld
o Dataverzameling is niet standaard, bijvoorbeeld verloop van een interview is
afhankelijk van wat de respondent zegt
o Onderzoeksgegevens zijn bijvoorbeeld gespreks- en observatieverslagen
o De gespreks- en observatieverslagen worden gereduceerd tot labels, die
gebruikt worden om een structuur te ontdekken
Daarnaast zijn er nog een aantal verschillende onderzoekstypen te onderscheiden:
- Experimenteel onderzoek: er zijn twee groepen (controlegroep en experimentele
groep). Deze twee groepen worden verschillend behandeld, de onderzoeker kan
manipuleren. Er is sprake van een interventie.
- Correlationeel onderzoek: tegenovergestelde van experimenteel onderzoek. Er zijn
opnieuw twee groepen, maar deze groepen bestaan al en kunnen niet worden
beïnvloed. Er wordt gekeken wat er van nature gebeurt en wat de correlaties zijn met
verschillende variabelen. (voorbeeld: correlatie onderzoeken tussen bewegen en
overgewicht, waarbij je een groep mensen selecteert met overgewicht en een groep
zonder overgewicht)
o Veel gegevens en je kijkt of er een verband is tussen twee variabelen (bijv.
motivatie en leerprestatie)
▪ Quasi experimenteel onderzoek: Mensen mogen zichzelf toewijzen aan de controle
of experimentele groep.
- Single subject onderzoek: één individu wordt intensief onderzocht/gevolgd voor een
langere periode
- Survey onderzoek: aan de hand van een vragenlijst, enquête, interview of observatie
wordt geprobeerd een aantal belangrijke eigenschappen / kenmerken van een groep
in beeld te krijgen. (voorbeeld: de mening van werknemers over de administratieve
taken)
- Case studies: Een gedetailleerde analyse van één of een paar individuen. Vaak
kwalitatief van aard.
o Etnografisch onderzoek: met behulp van een observatie of een interview
wordt geprobeerd de alledaagse ervaringen van individuen in beeld te brengen.
Je maakt als onderzoeker deel uit van de leefomgeving en probeert deze
leefomgeving in beeld te brengen. (VB: de sfeer in de klas)
o Historisch onderzoek: het verleden wordt bestudeerd aan de hand van
documenten uit die tijd of interviews met ‘overlevenden’.
- Praktijkkennis → VB: Actie onderzoek: al handelend wordt onderzocht en
geprobeerd een oplossing te vinden. Als een bepaalde methode niet werkt, wordt net
zo lang geprobeerd tot iets anders wel werkt (VB: een leraar probeert de leesprestaties
, van leerlingen omhoog te krijgen en probeert hierbij verschillende manieren /
methoden)
- Evaluatie onderzoek: de onderzoeker probeert vast te stellen of een ingreep /
interventie tot veranderingen heeft geleid. Twee soorten:
o Formatieve evaluatie: procesevaluatie. Welke factoren maken de interventie
al dan niet succesvol? Je kijkt al tijdens het proces welke factoren werkzaam
zijn en welke niet.
o Summatief: effectevaluatie. Je toetst na afloop de effectiviteit van een
interventie. Je kijkt dus pas op het einde of iets heeft gewerkt of niet.
Alleen experimenteel onderzoek geeft inzicht in oorzaak-gevolg relaties.
Scaling up:
▪ Small scale experimentation using theoretical insights
▪ Studying effects in case studies and correlational studies
▪ Studying effects in quasi-experiments
▪ Defining implementation conditions
▪ Scaling up the innovation
▪ Large scale randomized control trials
▪ Repeat in various relevant contexts
▪ Synthesize the results (in systematic reviews and/or meta-analyses)
Variabelen
Variabele = een kenmerk in meetbare termen
Een variabele wordt vaak gebruikt om groepen te vergelijken of om oorzaak-gevolgrelaties te
trekken. Als twee variabelen samenhangen, is er een verband tussen de twee variabelen /
groepen.
Onafhankelijke variabele = hebben zelf meestal gevolgen, maar zijn niet het gevolg van
andere kenmerken → vaak de oorzaak
Afhankelijke variabele = het gevolg
Er kan ook sprake zijn van een derde variabele = een vreemde variabele = een extraneous
variabele. Dit is een variabele die een rol speelt in de relatie tussen de onafhankelijke en
afhankelijke variabele (de twee variabelen die je in eerste instantie wilde onderzoeken) en dus
ook de invloed heeft op de uitkomst / het gedrag. Indien er sprake is van zo’n vreemde
variabele kan het gaan om een:
- Mediërende variabele: een tussenkomende variabele die de invloed op de
onafhankelijke variabele beïnvloed. Deze variabele hangt dus samen met zowel de
onafhankelijke als de afhankelijke variabele
, o VB: Het aantal uitgaansavonden van studenten hangt samen met de
studieresultaten. Echter de derde variabele in deze situatie is het aantal studie-
uren. Studenten die vaker op stap gaan, besteden over het algemeen minder
tijd aan hun studie. Als je minder tijd aan je studie besteedt, zullen ook de
resultaten minder zijn. Dit is dus een derde variabele die de relatie verklaart,
het is een soort tussenschakel.
o De reden voor het effect
o Is het causale resultaat van de onafhankelijke variabele en de oorzaak voor de
afhankelijke variabele.
- Moderator variabele: de derde variabele verandert het verband tussen de
onafhankelijke en de afhankelijke variabele. De relatie tussen de onafhankelijke en
afhankelijke variabele is anders voor iedere waarde van de moderator.
o VB: mannen en vrouwen moesten beide een stressvolle taak doen, waarbij ze
koffie kregen tussendoor. Dit was gewone koffie en decafeïne koffie. De
vrouwen op gewone koffie deden de taken veel beter dan mannen op gewone
koffie. Sekse is hier een moderator, het verstoort het effect tussen koffie en
verlaging van stress / prestaties.
o Contextualiseert het effect
o Is niet het causale resultaat van de onafhankelijke variabele.
Conclusie: Als de derde variabele het gevolg is van de onafhankelijke variabele, is het een
mediator. Als de derde variabele niet het gevolg is van de onafhankelijke variabele is het een
moderator.
Exercise Gewichtsverlies
Leerdoelen
Welgesteldheid
Exercise Gewichtsverlies
Leeftijd
Verdiepen van kennis en inzicht in methoden en technieken van empirisch onderzoek:
▪ verschillende onderzoeksmethoden en methoden voor gegevensverzameling;
▪ verschillende opzetten voor het uitvoeren van onderzoek en de vraagstellingen
waarvoor die opzetten het meest geëigend zijn;
▪ de voor- en nadelen in termen van interne en externe validiteit van de
verschillende onderzoeksontwerpen.
