Samenvatting Onderzoekspracticum
experimenteel onderzoek – PB0422
,Dit document bevat de belangrijkste informatie uit de cursus PB0422 –
Onderzoekspracticum experimenteel onderzoek van de Open Universiteit. Het werkt de
thema’s 1 t/m 6 en 8 uit. Het document is onderverdeeld in de verschillende
studietaken. Binnen deze studietaken worden de bijbehorende leerdoelen uitgewerkt en
beantwoord. Dit wordt gedaan aan de hand van de informatie uit de studietaken en het
boek ‘Open Methodologie en Statistiek’.
Het is belangrijk om te weten dat de studietaken waar alleen het rapporteren van
gegevens centraal staat uit deze samenvatting zijn gelaten.
Dik gedrukt Belangrijke begrippen
Bruin gekleurd Formules
1
,Thema 1 – Experimenten ............................................................................................................... 3
Studietaak 1.1 – Wat is een experiment ............................................................................................. 3
Studietaak 1.2 – Experimentele designs ............................................................................................ 7
Studietaak 1.3 – Validiteit bij experimenten ..................................................................................... 12
Studietaak 1.4 – Ethiek van experimenteel onderzoek ...................................................................... 16
Studietaak 1.5 – Power van experimentele designs .......................................................................... 19
Thema 2 – T-toets.........................................................................................................................24
Studietaak 2.1 – T-toets.................................................................................................................. 24
Studietaak 2.2 – Tutorial onafhankelijke t-toets ............................................................................... 35
Thema 3 – Variantieanalyse ..........................................................................................................36
Studietaak 3.1 – One-way ANOVA ................................................................................................... 36
Thema 4 – Experimentele controle: factoriële designs ...................................................................48
Studietaak 4.1 – Factoriële ANOVA ................................................................................................. 48
Studietaak 4.3 – Opdracht .............................................................................................................. 56
Thema 5 – Statistische controle ...................................................................................................57
Studietaak 5.1 – Covariantieanalyse (ANCOVA) ............................................................................... 57
Studietaak 5.2 – Tutorial ................................................................................................................. 64
Thema 6 – Herhaalde metingen ....................................................................................................65
Studietaak 6.1 – Single-case designs .............................................................................................. 65
Studietaak 6.2 – Herhaalde metingen ANOVA.................................................................................. 68
Studietaak 6.3 – Tutorial ................................................................................................................. 76
Thema 8 – Schrijven van een artikel ..............................................................................................78
Studietaak 8.1 – Doelstelling, vraagstelling en hypotheses formuleren ............................................. 78
Studietaak 8.2 – Een discussie schrijven ......................................................................................... 82
2
,Thema 1 – Experimenten
Studietaak 1.1 – Wat is een experiment
• Waarom experimentele designs geschikt zijn om causale verbanden vast te stellen:
o In experimentele designs houdt de onderzoeker strenge controle over
variabelen. Wanneer alleen de onafhankelijke variabele wordt gemanipuleerd en
alle andere variabelen worden constant gehouden, dan kan een geobserveerde
verandering in de afhankelijke variabele enkel resultaat zijn van de verandering
in de onafhankelijke variabele.
• Mills method of difference: om causaal effect van X op Y aan te tonen, moet je
aantonen dat in afwezigheid van X, Y niet voorkomt.
Experimentele groep: Als X, dan Y.
Controlegroep: Als niet-X, dan niet-Y.
Het verschil tussen een volledig gerandomiseerd, gedeeltelijk
gerandomiseerd en quasi-experimenteel design beschrijven
• Volledig gerandomiseerd ontwerp (completely randomised design): ofwel zuiver
experiment, randomisatie wordt gebruikt om deelnemers willekeurig toe te wijzen
aan experimentele condities of manipulaties.
• Randomisatie: zorgt ervoor dat elke waarnemingseenheid (vaak proefpersoon) een
gelijke kans heeft om in een van de experimentele condities terecht te komen.
Ø Let op: het is niet van belang hoe een proefpersoon in de steekproef terecht
komt, maar hoe ze worden toegewezen aan hun experimentele conditie.
o Proefpersonen uit eigen kring hoeft dus geen probleem te zijn, als ze maar
willekeurig worden gekoppeld aan condities
• Randomisatie garandeert niet dat alle verstorende factoren gelijk verdeeld worden
over alle condities.
- Bij voldoende proefpersonen zal het willekeurig toewijzen aan condities de
invloed van proefpersoonkenmerken genoeg verspreiden over de condities.
• Quasi-experiment: bestaande groepen worden geobserveerd en gemanipuleerd.
Proefpersonen worden niet willekeurig toegewezen aan groepen.
- Denk aan: onderwijsvernieuwing onderzoeken op een school waarin
vernieuwing wordt geïmplementeerd.
- Waar is dit quasi: leerlingen worden niet willekeurig toegewezen aan twee
condities (wel/geen onderwijsvernieuwing), want de reden dat een leerling op
een bepaalde school zit is niet willekeurig (heeft met praktisch of niveau
redenen te maken)
3
,• Quasi-experimenten zwakker in aantonen causale relaties dan volledig
gerandomiseerde ontwerpen.
- Het gemis van controle op verschillen in proefpersoonkenmerken en hun
invloed, betekent niet dat onderzoek fout gaat, maar betekent wel dat de
onderzoeker geen goede uitspraak over causaliteit kan doen.
• Oplossing: toewijzing aan condities zo gelijk mogelijk houden door middel van
matching (condities gelijk houden op basis van persoonskenmerken) en
achtergrondinformatie van proefpersonen verzamelen.
• Voordeel quasi-experiment: mogelijk om onderzoek in natuurlijke omgeving uit te
voeren. Waardoor onderzoek meer kan zeggen over alledaagse praktijk
- Ecologische validiteit neemt toe
• Nadeel volledig randomisatie: onnatuurlijk, waardoor minder over alledaagse
praktijk gezegd kan worden.
• Verlies van gelijke verdeling proefpersonen (quasi-experiment) kan soms
gecompenseerd worden door toename ecologische validiteit
Beschrijven wat een binnenproefpersoon-, tussenproefpersoon- en een
mixed-design inhouden
• Binnenproefpersoon-design = between-subjects designs
• Tussenproefpersoon-design = within-subjects designs
• Between-subject design: proefpersonen worden toegewezen aan één experimentele
conditie.
- Sprake van verschillende groepen proefpersonen die met elkaar worden
vergeleken
• Within-subjects design: alle proefpersonen worden blootgesteld aan alle
experimentele en controlecondities.
- Probleem: volgorde-effecten: reacties worden beïnvloed door de volgorde
waarin condities worden aangeboden.
- Oplossing: counterbalancing: variëren van de volgorde van aanbieden condities
• Mixed designs: combinatie van between-subjects en within-subjects.
- Klinisch onderzoek waarbij voortgang van twee groepen patiënten wordt
gemeten op drie verschillende tijdstippen.
Beschrijven welke manieren van experimentele controle er zijn om
gedeeltelijk te randomiseren
• Cluster randomisatie: bestaande clusters (schoolklas) worden random verdeeld
over de condities (gedeeltelijk randomiseren)
4
, - Niet volledig random, want reden voor bepaalde leerling in bepaalde klas. Vaak
zullen de deelnemers dan ook meer op de deelnemers in hun cluster lijken dan
op deelnemers uit andere clusters.
- Voordeel: maakt gebruik van natuurlijke groepen
- Nadeel: niet perfecte randomisatie, invloed van verstorende variabelen wordt
niet volledig uitgesloten
• Experimentele controle: er wordt rekening gehouden met kenmerken van
onderzoekseenheden (proefpersonen) die mogelijk een verstorende rol kunnen
spelen in het experiment
• Variabele is storend als deze het effect van de manipulatie op de afhankelijke
variabele kan beïnvloeden.
- Leeftijd: oudere mensen reageren anders dan jongere
• Verschillende manieren van experimentele controle:
- Blokontwerp
- Precisiecontrole
- Globale controle
• Gerandomiseerd blokontwerp: ontwerp waarbij proefpersonen voorafgaand aan het
experiment ingedeeld worden in homogene categorieën (bv mannen en vrouwen) op
basis van een veronderstelde verstorende variabele (gender).
- De proefpersonen binnen dit ‘blok’ worden vervolgens random toegewezen aan
de experimentele condities of controlegroep.
• Wanneer de selectie van proefpersonen uit de blokken en de toewijzing aan de
conditie beide willekeurig zijn, kunnen we ervan uitgaan dat de zowel de
experimentele groep als controle groep gelijk zijn op andere kenmerken die niet
gemeten worden in het onderzoek.
• Gerandomiseerd blokontwerp combineert de voordelen van randomisatie en
precieze experimentele controle door mensen met vergelijkbare kenmerken te
matchen en in groepen bij elkaar te plaatsen.
• Groepsgewijs matchen: methode van toewijzen van proefpersonen in groepen.
• Matchen: methode om ervoor te zorgen dat experimentele en controlegroep gelijk
zijn op externe bekende kenmerken die naar verwachting een belangrijke invloed
hebben op afhankelijke variabele.
• Twee vormen van matching:
1. Precisiecontrole: voor elke proefpersoon in experimentele groep een
bijpassende in de controlegroep vinden. Zo dicht mogelijk op exacte kloon
komen.
5
experimenteel onderzoek – PB0422
,Dit document bevat de belangrijkste informatie uit de cursus PB0422 –
Onderzoekspracticum experimenteel onderzoek van de Open Universiteit. Het werkt de
thema’s 1 t/m 6 en 8 uit. Het document is onderverdeeld in de verschillende
studietaken. Binnen deze studietaken worden de bijbehorende leerdoelen uitgewerkt en
beantwoord. Dit wordt gedaan aan de hand van de informatie uit de studietaken en het
boek ‘Open Methodologie en Statistiek’.
Het is belangrijk om te weten dat de studietaken waar alleen het rapporteren van
gegevens centraal staat uit deze samenvatting zijn gelaten.
Dik gedrukt Belangrijke begrippen
Bruin gekleurd Formules
1
,Thema 1 – Experimenten ............................................................................................................... 3
Studietaak 1.1 – Wat is een experiment ............................................................................................. 3
Studietaak 1.2 – Experimentele designs ............................................................................................ 7
Studietaak 1.3 – Validiteit bij experimenten ..................................................................................... 12
Studietaak 1.4 – Ethiek van experimenteel onderzoek ...................................................................... 16
Studietaak 1.5 – Power van experimentele designs .......................................................................... 19
Thema 2 – T-toets.........................................................................................................................24
Studietaak 2.1 – T-toets.................................................................................................................. 24
Studietaak 2.2 – Tutorial onafhankelijke t-toets ............................................................................... 35
Thema 3 – Variantieanalyse ..........................................................................................................36
Studietaak 3.1 – One-way ANOVA ................................................................................................... 36
Thema 4 – Experimentele controle: factoriële designs ...................................................................48
Studietaak 4.1 – Factoriële ANOVA ................................................................................................. 48
Studietaak 4.3 – Opdracht .............................................................................................................. 56
Thema 5 – Statistische controle ...................................................................................................57
Studietaak 5.1 – Covariantieanalyse (ANCOVA) ............................................................................... 57
Studietaak 5.2 – Tutorial ................................................................................................................. 64
Thema 6 – Herhaalde metingen ....................................................................................................65
Studietaak 6.1 – Single-case designs .............................................................................................. 65
Studietaak 6.2 – Herhaalde metingen ANOVA.................................................................................. 68
Studietaak 6.3 – Tutorial ................................................................................................................. 76
Thema 8 – Schrijven van een artikel ..............................................................................................78
Studietaak 8.1 – Doelstelling, vraagstelling en hypotheses formuleren ............................................. 78
Studietaak 8.2 – Een discussie schrijven ......................................................................................... 82
2
,Thema 1 – Experimenten
Studietaak 1.1 – Wat is een experiment
• Waarom experimentele designs geschikt zijn om causale verbanden vast te stellen:
o In experimentele designs houdt de onderzoeker strenge controle over
variabelen. Wanneer alleen de onafhankelijke variabele wordt gemanipuleerd en
alle andere variabelen worden constant gehouden, dan kan een geobserveerde
verandering in de afhankelijke variabele enkel resultaat zijn van de verandering
in de onafhankelijke variabele.
• Mills method of difference: om causaal effect van X op Y aan te tonen, moet je
aantonen dat in afwezigheid van X, Y niet voorkomt.
Experimentele groep: Als X, dan Y.
Controlegroep: Als niet-X, dan niet-Y.
Het verschil tussen een volledig gerandomiseerd, gedeeltelijk
gerandomiseerd en quasi-experimenteel design beschrijven
• Volledig gerandomiseerd ontwerp (completely randomised design): ofwel zuiver
experiment, randomisatie wordt gebruikt om deelnemers willekeurig toe te wijzen
aan experimentele condities of manipulaties.
• Randomisatie: zorgt ervoor dat elke waarnemingseenheid (vaak proefpersoon) een
gelijke kans heeft om in een van de experimentele condities terecht te komen.
Ø Let op: het is niet van belang hoe een proefpersoon in de steekproef terecht
komt, maar hoe ze worden toegewezen aan hun experimentele conditie.
o Proefpersonen uit eigen kring hoeft dus geen probleem te zijn, als ze maar
willekeurig worden gekoppeld aan condities
• Randomisatie garandeert niet dat alle verstorende factoren gelijk verdeeld worden
over alle condities.
- Bij voldoende proefpersonen zal het willekeurig toewijzen aan condities de
invloed van proefpersoonkenmerken genoeg verspreiden over de condities.
• Quasi-experiment: bestaande groepen worden geobserveerd en gemanipuleerd.
Proefpersonen worden niet willekeurig toegewezen aan groepen.
- Denk aan: onderwijsvernieuwing onderzoeken op een school waarin
vernieuwing wordt geïmplementeerd.
- Waar is dit quasi: leerlingen worden niet willekeurig toegewezen aan twee
condities (wel/geen onderwijsvernieuwing), want de reden dat een leerling op
een bepaalde school zit is niet willekeurig (heeft met praktisch of niveau
redenen te maken)
3
,• Quasi-experimenten zwakker in aantonen causale relaties dan volledig
gerandomiseerde ontwerpen.
- Het gemis van controle op verschillen in proefpersoonkenmerken en hun
invloed, betekent niet dat onderzoek fout gaat, maar betekent wel dat de
onderzoeker geen goede uitspraak over causaliteit kan doen.
• Oplossing: toewijzing aan condities zo gelijk mogelijk houden door middel van
matching (condities gelijk houden op basis van persoonskenmerken) en
achtergrondinformatie van proefpersonen verzamelen.
• Voordeel quasi-experiment: mogelijk om onderzoek in natuurlijke omgeving uit te
voeren. Waardoor onderzoek meer kan zeggen over alledaagse praktijk
- Ecologische validiteit neemt toe
• Nadeel volledig randomisatie: onnatuurlijk, waardoor minder over alledaagse
praktijk gezegd kan worden.
• Verlies van gelijke verdeling proefpersonen (quasi-experiment) kan soms
gecompenseerd worden door toename ecologische validiteit
Beschrijven wat een binnenproefpersoon-, tussenproefpersoon- en een
mixed-design inhouden
• Binnenproefpersoon-design = between-subjects designs
• Tussenproefpersoon-design = within-subjects designs
• Between-subject design: proefpersonen worden toegewezen aan één experimentele
conditie.
- Sprake van verschillende groepen proefpersonen die met elkaar worden
vergeleken
• Within-subjects design: alle proefpersonen worden blootgesteld aan alle
experimentele en controlecondities.
- Probleem: volgorde-effecten: reacties worden beïnvloed door de volgorde
waarin condities worden aangeboden.
- Oplossing: counterbalancing: variëren van de volgorde van aanbieden condities
• Mixed designs: combinatie van between-subjects en within-subjects.
- Klinisch onderzoek waarbij voortgang van twee groepen patiënten wordt
gemeten op drie verschillende tijdstippen.
Beschrijven welke manieren van experimentele controle er zijn om
gedeeltelijk te randomiseren
• Cluster randomisatie: bestaande clusters (schoolklas) worden random verdeeld
over de condities (gedeeltelijk randomiseren)
4
, - Niet volledig random, want reden voor bepaalde leerling in bepaalde klas. Vaak
zullen de deelnemers dan ook meer op de deelnemers in hun cluster lijken dan
op deelnemers uit andere clusters.
- Voordeel: maakt gebruik van natuurlijke groepen
- Nadeel: niet perfecte randomisatie, invloed van verstorende variabelen wordt
niet volledig uitgesloten
• Experimentele controle: er wordt rekening gehouden met kenmerken van
onderzoekseenheden (proefpersonen) die mogelijk een verstorende rol kunnen
spelen in het experiment
• Variabele is storend als deze het effect van de manipulatie op de afhankelijke
variabele kan beïnvloeden.
- Leeftijd: oudere mensen reageren anders dan jongere
• Verschillende manieren van experimentele controle:
- Blokontwerp
- Precisiecontrole
- Globale controle
• Gerandomiseerd blokontwerp: ontwerp waarbij proefpersonen voorafgaand aan het
experiment ingedeeld worden in homogene categorieën (bv mannen en vrouwen) op
basis van een veronderstelde verstorende variabele (gender).
- De proefpersonen binnen dit ‘blok’ worden vervolgens random toegewezen aan
de experimentele condities of controlegroep.
• Wanneer de selectie van proefpersonen uit de blokken en de toewijzing aan de
conditie beide willekeurig zijn, kunnen we ervan uitgaan dat de zowel de
experimentele groep als controle groep gelijk zijn op andere kenmerken die niet
gemeten worden in het onderzoek.
• Gerandomiseerd blokontwerp combineert de voordelen van randomisatie en
precieze experimentele controle door mensen met vergelijkbare kenmerken te
matchen en in groepen bij elkaar te plaatsen.
• Groepsgewijs matchen: methode van toewijzen van proefpersonen in groepen.
• Matchen: methode om ervoor te zorgen dat experimentele en controlegroep gelijk
zijn op externe bekende kenmerken die naar verwachting een belangrijke invloed
hebben op afhankelijke variabele.
• Twee vormen van matching:
1. Precisiecontrole: voor elke proefpersoon in experimentele groep een
bijpassende in de controlegroep vinden. Zo dicht mogelijk op exacte kloon
komen.
5
