Samenvatting Onderzoekspracticum
Experimenteel Onderzoek PB0422
Samenvatting van de gereviseerde cursus Onderzoekspracticum Experimenteel Onderzoek met
cursus nummer PB0422. Het bevat alle leerstof voor het tentamen (thema 1 t/m6).
- Samenvatting van de studietaken in Brightspace
- Bijbehorende hoofdstukken in OpenMens
- Aangevuld met aantekeningen uit hoorcolleges
- Overzicht van assumpties en effectmaten
- Stappenplan voor analyse in Jamovi voor factoriele ANCOVA
N.B. vanaf thema 2 zijn er steeds een studietaak en hoofdstuk(ken) samengevat omdat ze verder
bestaan uit tutorials en opdrachten. Wel is theorie uit de tutorials en opdrachten verweven in de
samenvatting.
Inhoudsopgave
Thema 1 Experimenten...........................................................................................................................................2
Studietaak 1.1 Wat is een experiment? en H6......................................................................................................2
Studietaak 1.2 Experimentele designs en H6.......................................................................................................5
Studietaak 1.3 Validiteit bij expermimenten en H6 + H9....................................................................................8
Studietaak 1.4 Ethiek van experimenteel onderzoek en H35.............................................................................10
Studietaak 1.5 Power van experimentele designs en H31 + H32......................................................................11
Thema 2 T-toets.....................................................................................................................................................12
Studietaak 2.1 T-toets (herhaling) en H18 + H22.............................................................................................12
Thema 3 Variantieanalyse....................................................................................................................................17
Studietaak 3.1 Variantieanalyse (one-way ANOVA) en H23.............................................................................17
Thema 4 Experimentele controle.........................................................................................................................19
Studietaak 4.1 Factoriele ANOVA en H26.........................................................................................................19
Thema 5 Statistische controle...............................................................................................................................22
Studietaak 5.1 Covariantieanalyse en H27........................................................................................................22
Thema 6 Herhaalde metingen..............................................................................................................................25
Studietaak 6.1 single-case designs en H28........................................................................................................25
6.2 Repeated measures design en H29...............................................................................................................26
Assumpties bij verschillende toetsen...................................................................................................................28
Effectmaten............................................................................................................................................................32
Filters in Jamovi....................................................................................................................................................33
Stappenplan eigen onderzoek doen (opdracht 5.3)............................................................................................33
1
, Thema 1 Experimenten
Studietaak 1.1 Wat is een experiment? en H6
Between vs Within
- Between-subject design: manipulatie tussen proefpersonen
o 2+ groepen (medicijn-placebo)
o 1 x meten
Meet je 2+ keer dan: mixed-design (between-within design)
- Within-subject design: manipulatie binnen proefpersonen
o 1 groep
Heb je 2+ groepen dan: mixed-design (between-within design)
o 2+ metingen (voor en nameting)
- Mixed-design: beide: medicijn-placebo en voor en nameting
Design Aantal groepen Aantal keer meten Toets
Between-subject 2 1 Onafh. T Toets of One way ANOVA
Between-subject 3+ 1 (factoriele) ANOVA
Within-subject 1 2 Afh. T toets
Within-subject 1 3+ RM ANOVA
Mixed-design 2+ 2+ Mixed design ANOVA
* Wanneer covariaat toegevoegd: ANOVA ANCOVA (zie studietaak 5)
Experimentele designs zijn geschikt om causale verbanden mee vast te stellen.
- Er is strenge controle op variabelen
- Doel van experiment: het testen van een hypothese en het beantwoorden van een
onderzoeksvraag.
- Je zet een manipulatie op de onafh variabele en de andere variabelen worden
constant gehouden. Resultaat: de verandering in de afh. Variabele is het resultaat
van de verandering in de onafh. variabele.
o Manipulatie: een variabele opzettelijk veranderen.
Voorbeeld: het toedienen van een pil met of zonder werkzame stof
In de psychologie is de manipulatie vaak het aanbieden van een
interventie
- Controlegroep nodig om effect van manipulatie te meten. Een controleconditie
betekent dus niet per se “niets doen”; een controle vertegenwoordigt een neutrale
situatie in brede zin. Soms is door ethische redenen het niet altijd mogelijk een
controlegroep toe te voegen.
- Ruis: Een veelvoorkomende uitdaging in de psychologie is het feit dat mensen van
elkaar verschillen, los van de manipulaties die de onderzoeker toepast. Dit leidt tot
een signaal dat verstoord wordt door ruis
o Oplossingen voor ruis:
o Randomisatie (volledig gerandomiseerd, quasi-experiment, cluster
randomisatie)
o (groepsgewijs-) matchen, homogeniseren (blokontwerp, precisiecontrole en
globale controle)
2
,Wanneer je wilt voorkomen dat er ruis in je ontwerp komt:
Verschillende experimentele ontwerpen die een oplossing bieden voor de ruis die wordt
veroorzaakt door de verschillen in individuen:
(Eerste 2 zijn de hoofdcategorieën)
- Volledig gerandomiseerd: willekeurige toewijzing aan groepen
o Grote groep nodig want verstorende factoren worden niet gelijk verdeeld in
kleine groepen
o Onnatuurlijke omgeving
- Quasi-experiment:
o Bestaande groepen vergelijken (leerlingen 2 verschillende scholen)
o Zwakker
o Doordat verstorende factoren niet gelijk verdeeld zijn omdat het niet random
is, heb je dus niet voldoende info om uitspraken te kunnen doen over
causaliteit
Wat helpt is om de condities zoveel mogelijk gelijk te houden
(matching) of door achtergrond info te verzamelen
o Meer natuurlijke omgeving
o Het verlies van een gelijke verdeling van achtergrondkenmerken van
proefpersonen in een quasi-experiment kan soms worden gecompenseerd
door een toename van ecologische validiteit
- Cluster randomisatie:
o Ligt tussen volledig en quasi in.
o Er wordt gebruik gemaakt van getaande clusters van deelnemers
(schoolklassen)
o De clusters worden random verdeeld over condities.
Heb je toch ruis? Bijvoorbeeld bij een queasi experiment. Dan kun je ruis
verwijderen/minimaliseren met Experimentele controle.
Experimentele controle: Wanneer er rekening wordt gehouden met kenmerken van
proefpersonen die mogelijk een verstorende rol kunnen spelen in het experiment.
Een aantal verschillende manieren om te homogeniseren:
- Blokontwerp
o Proefpersonen verdeeld in homogene categorieën (man, vrouw) op basis van
veronderstelde verstorende variabele (gender)
o Binnen elke categorie worden proefpersoenen random verdeeld in
experimentele of controle groep
o Voorbeeld:
Categorie man en vrouw (2 categorieën)
Condities experimenteel en controle groep (medicijn en placebo)
Totaal 2 x 2 = 4 onderzoeksgroepen
o Geschikt wanneer er een beperkt aantal verstorende variabelen zijn
o Veel proefpersonen nodig
- Precisiecontrole
3
, o Paren van proefpersonen maken die zo veel mogelijk op elkaar lijken in
achtergrondkenmerken
o 1 persoon wordt dan random controleconditie en de ander
interventieconditie
o Grote steekproef nodig om tot gelijke paren te komen
- Globale controle
o In alle condities het gemiddelde/frequentie van alle achtergrondkenmerken
gelijk laten zijn (zelfde aantal jongens en meisjes, zelfde gemiddelde IQ)
o Grovere wijze dan precisiecontrole
Mills method of difference stelt dat, om een causaal effect van X op Y aan te tonen, je ook
moet aantonen dat in afwezigheid van X, Y niet voorkomt. Hieruit volgt dat je een
experimentele groep én een controlegroep nodig hebt om causale claims te kunnen maken.
- Experimentele groep: Als X, dan Y
- Controlegroep: Als niet-X, dan niet-Y
4
, Studietaak 1.2 Experimentele designs en H6
O = observatie: een waarneming of meting van de afhankelijke variabele.
X = het ondergaan van de experimentele stimulus (treatment).
R = er is sprake van randomisatie.
NR = er is geen sprake van randomisatie.
Pre-experimentele designs
Pre-experimentele designs: geen voormeting en/of geen controle groep en geen
randomisatie
- bevatten een of meerdere elementen van experimenten (zoals bijvoorbeeld een
manipulatie of meerdere observaties), maar stellen de onderzoeker niet in staat
om voldoende controle te houden over externe invloeden om bij benadering
causale uitspraken te kunnen doen.
- Voorbeelden:
o One-shot case study (1 groep en nameting, niet random)
o One-group pre-post design (1 groep en voor en na meting, niet random)
o Posttest only met bestaande groepen (2 groepen(waarvan 1
controlegroep), nameting, niet random)
One-shot case study
- Eerst manipulatie daarna effect observeren
- Geen voormeting, randomisatie en controle groep
One-group pre-post design
- Manipulatie met voor en na meting
- Geen randomisatie en controle groep
- Verwant aan single case designs (verschil is dat daar een of enkele proefpersonen
meermaals gemeten worden. Dus meerdere O’s)
- Enkelvoudige tijdreeks (longitudinaal design) is een uitbreiding hierop
Posttest Only met bestaande groepen
- Eerst manipulatie en daarna een nameting bij 2 groepen
- Heeft een experimentele groep en controle groep
- Geen voormeting en geen randomisatie (was er wel randomisatie dan was het niet
pre-experimenteel maar een posttest-only control)
5
Experimenteel Onderzoek PB0422
Samenvatting van de gereviseerde cursus Onderzoekspracticum Experimenteel Onderzoek met
cursus nummer PB0422. Het bevat alle leerstof voor het tentamen (thema 1 t/m6).
- Samenvatting van de studietaken in Brightspace
- Bijbehorende hoofdstukken in OpenMens
- Aangevuld met aantekeningen uit hoorcolleges
- Overzicht van assumpties en effectmaten
- Stappenplan voor analyse in Jamovi voor factoriele ANCOVA
N.B. vanaf thema 2 zijn er steeds een studietaak en hoofdstuk(ken) samengevat omdat ze verder
bestaan uit tutorials en opdrachten. Wel is theorie uit de tutorials en opdrachten verweven in de
samenvatting.
Inhoudsopgave
Thema 1 Experimenten...........................................................................................................................................2
Studietaak 1.1 Wat is een experiment? en H6......................................................................................................2
Studietaak 1.2 Experimentele designs en H6.......................................................................................................5
Studietaak 1.3 Validiteit bij expermimenten en H6 + H9....................................................................................8
Studietaak 1.4 Ethiek van experimenteel onderzoek en H35.............................................................................10
Studietaak 1.5 Power van experimentele designs en H31 + H32......................................................................11
Thema 2 T-toets.....................................................................................................................................................12
Studietaak 2.1 T-toets (herhaling) en H18 + H22.............................................................................................12
Thema 3 Variantieanalyse....................................................................................................................................17
Studietaak 3.1 Variantieanalyse (one-way ANOVA) en H23.............................................................................17
Thema 4 Experimentele controle.........................................................................................................................19
Studietaak 4.1 Factoriele ANOVA en H26.........................................................................................................19
Thema 5 Statistische controle...............................................................................................................................22
Studietaak 5.1 Covariantieanalyse en H27........................................................................................................22
Thema 6 Herhaalde metingen..............................................................................................................................25
Studietaak 6.1 single-case designs en H28........................................................................................................25
6.2 Repeated measures design en H29...............................................................................................................26
Assumpties bij verschillende toetsen...................................................................................................................28
Effectmaten............................................................................................................................................................32
Filters in Jamovi....................................................................................................................................................33
Stappenplan eigen onderzoek doen (opdracht 5.3)............................................................................................33
1
, Thema 1 Experimenten
Studietaak 1.1 Wat is een experiment? en H6
Between vs Within
- Between-subject design: manipulatie tussen proefpersonen
o 2+ groepen (medicijn-placebo)
o 1 x meten
Meet je 2+ keer dan: mixed-design (between-within design)
- Within-subject design: manipulatie binnen proefpersonen
o 1 groep
Heb je 2+ groepen dan: mixed-design (between-within design)
o 2+ metingen (voor en nameting)
- Mixed-design: beide: medicijn-placebo en voor en nameting
Design Aantal groepen Aantal keer meten Toets
Between-subject 2 1 Onafh. T Toets of One way ANOVA
Between-subject 3+ 1 (factoriele) ANOVA
Within-subject 1 2 Afh. T toets
Within-subject 1 3+ RM ANOVA
Mixed-design 2+ 2+ Mixed design ANOVA
* Wanneer covariaat toegevoegd: ANOVA ANCOVA (zie studietaak 5)
Experimentele designs zijn geschikt om causale verbanden mee vast te stellen.
- Er is strenge controle op variabelen
- Doel van experiment: het testen van een hypothese en het beantwoorden van een
onderzoeksvraag.
- Je zet een manipulatie op de onafh variabele en de andere variabelen worden
constant gehouden. Resultaat: de verandering in de afh. Variabele is het resultaat
van de verandering in de onafh. variabele.
o Manipulatie: een variabele opzettelijk veranderen.
Voorbeeld: het toedienen van een pil met of zonder werkzame stof
In de psychologie is de manipulatie vaak het aanbieden van een
interventie
- Controlegroep nodig om effect van manipulatie te meten. Een controleconditie
betekent dus niet per se “niets doen”; een controle vertegenwoordigt een neutrale
situatie in brede zin. Soms is door ethische redenen het niet altijd mogelijk een
controlegroep toe te voegen.
- Ruis: Een veelvoorkomende uitdaging in de psychologie is het feit dat mensen van
elkaar verschillen, los van de manipulaties die de onderzoeker toepast. Dit leidt tot
een signaal dat verstoord wordt door ruis
o Oplossingen voor ruis:
o Randomisatie (volledig gerandomiseerd, quasi-experiment, cluster
randomisatie)
o (groepsgewijs-) matchen, homogeniseren (blokontwerp, precisiecontrole en
globale controle)
2
,Wanneer je wilt voorkomen dat er ruis in je ontwerp komt:
Verschillende experimentele ontwerpen die een oplossing bieden voor de ruis die wordt
veroorzaakt door de verschillen in individuen:
(Eerste 2 zijn de hoofdcategorieën)
- Volledig gerandomiseerd: willekeurige toewijzing aan groepen
o Grote groep nodig want verstorende factoren worden niet gelijk verdeeld in
kleine groepen
o Onnatuurlijke omgeving
- Quasi-experiment:
o Bestaande groepen vergelijken (leerlingen 2 verschillende scholen)
o Zwakker
o Doordat verstorende factoren niet gelijk verdeeld zijn omdat het niet random
is, heb je dus niet voldoende info om uitspraken te kunnen doen over
causaliteit
Wat helpt is om de condities zoveel mogelijk gelijk te houden
(matching) of door achtergrond info te verzamelen
o Meer natuurlijke omgeving
o Het verlies van een gelijke verdeling van achtergrondkenmerken van
proefpersonen in een quasi-experiment kan soms worden gecompenseerd
door een toename van ecologische validiteit
- Cluster randomisatie:
o Ligt tussen volledig en quasi in.
o Er wordt gebruik gemaakt van getaande clusters van deelnemers
(schoolklassen)
o De clusters worden random verdeeld over condities.
Heb je toch ruis? Bijvoorbeeld bij een queasi experiment. Dan kun je ruis
verwijderen/minimaliseren met Experimentele controle.
Experimentele controle: Wanneer er rekening wordt gehouden met kenmerken van
proefpersonen die mogelijk een verstorende rol kunnen spelen in het experiment.
Een aantal verschillende manieren om te homogeniseren:
- Blokontwerp
o Proefpersonen verdeeld in homogene categorieën (man, vrouw) op basis van
veronderstelde verstorende variabele (gender)
o Binnen elke categorie worden proefpersoenen random verdeeld in
experimentele of controle groep
o Voorbeeld:
Categorie man en vrouw (2 categorieën)
Condities experimenteel en controle groep (medicijn en placebo)
Totaal 2 x 2 = 4 onderzoeksgroepen
o Geschikt wanneer er een beperkt aantal verstorende variabelen zijn
o Veel proefpersonen nodig
- Precisiecontrole
3
, o Paren van proefpersonen maken die zo veel mogelijk op elkaar lijken in
achtergrondkenmerken
o 1 persoon wordt dan random controleconditie en de ander
interventieconditie
o Grote steekproef nodig om tot gelijke paren te komen
- Globale controle
o In alle condities het gemiddelde/frequentie van alle achtergrondkenmerken
gelijk laten zijn (zelfde aantal jongens en meisjes, zelfde gemiddelde IQ)
o Grovere wijze dan precisiecontrole
Mills method of difference stelt dat, om een causaal effect van X op Y aan te tonen, je ook
moet aantonen dat in afwezigheid van X, Y niet voorkomt. Hieruit volgt dat je een
experimentele groep én een controlegroep nodig hebt om causale claims te kunnen maken.
- Experimentele groep: Als X, dan Y
- Controlegroep: Als niet-X, dan niet-Y
4
, Studietaak 1.2 Experimentele designs en H6
O = observatie: een waarneming of meting van de afhankelijke variabele.
X = het ondergaan van de experimentele stimulus (treatment).
R = er is sprake van randomisatie.
NR = er is geen sprake van randomisatie.
Pre-experimentele designs
Pre-experimentele designs: geen voormeting en/of geen controle groep en geen
randomisatie
- bevatten een of meerdere elementen van experimenten (zoals bijvoorbeeld een
manipulatie of meerdere observaties), maar stellen de onderzoeker niet in staat
om voldoende controle te houden over externe invloeden om bij benadering
causale uitspraken te kunnen doen.
- Voorbeelden:
o One-shot case study (1 groep en nameting, niet random)
o One-group pre-post design (1 groep en voor en na meting, niet random)
o Posttest only met bestaande groepen (2 groepen(waarvan 1
controlegroep), nameting, niet random)
One-shot case study
- Eerst manipulatie daarna effect observeren
- Geen voormeting, randomisatie en controle groep
One-group pre-post design
- Manipulatie met voor en na meting
- Geen randomisatie en controle groep
- Verwant aan single case designs (verschil is dat daar een of enkele proefpersonen
meermaals gemeten worden. Dus meerdere O’s)
- Enkelvoudige tijdreeks (longitudinaal design) is een uitbreiding hierop
Posttest Only met bestaande groepen
- Eerst manipulatie en daarna een nameting bij 2 groepen
- Heeft een experimentele groep en controle groep
- Geen voormeting en geen randomisatie (was er wel randomisatie dan was het niet
pre-experimenteel maar een posttest-only control)
5
