Experimenteel onderzoek – Brightspace
Thema 1
Een oplossing voor dit probleem is: het experiment. Met een valide experiment ben je in staat om
valide conclusies te trekken. Validiteit wordt dikwijls droog samengevat als 'meten wat je wilt
meten'. In het geval van experimenten kun je dit vertalen naar 'je kunt de conclusies trekken die je
denkt te kunnen trekken'.
Studietaak 1.1 Wat is een experiment
Vraag 1.1.1.1
Waarom zijn experimentele designs geschikt om causale verbanden mee vast te stellen?
In experimentele designs houdt de onderzoeker strenge controle over de variabelen. Wanneer
alleen de onafhankelijke variabele wordt gemanipuleerd en alle andere variabelen worden
constant gehouden, dan kan een geobserveerde verandering in de afhankelijke variabele enkel het
resultaat zijn van de verandering in de onafhankelijke variabele.
Vraag 1.1.1.2
Wat is Mills method of difference?
Mills method of difference stelt dat, om een causaal effect van X op Y aan te tonen, je ook moet
aantonen dat in afwezigheid van X, Y niet voorkomt. Hieruit volgt dat je een experimentele groep
én een controlegroep nodig hebt om causale claims te kunnen maken.
Experimentele groep: Als X, dan Y.
Controlegroep: Als niet-X, dan niet-Y.
Vraag 1.1.1.3
Stel je wilt onderzoeken wat het effect is van het volgen van een bepaalde (wiskunde-)lesmethode
op de wiskundeprestaties van scholieren.
Wat is dan een geschikte controlegroep?
Een geschikte controlegroep bestaat uit leerlingen die wiskundeles krijgen volgens de gangb are
lesmethode.
NB Een geschikte controlegroep is niet een groep van leerlingen die helemaal géén wiskundeles
krijgt.
Vraag 1.1.1.4
Wat is het verschil tussen een volledig gerandomiseerde experimenteel ontwerp en een quasi-
experiment?
Het verschil zit in de manier van toewijzing van onderzoekseenheden (meestal proefpersonen) aan
de experimentele condities. Bij volledig gerandomiseerde ontwerpen gebeurt deze toewijzing
willekeurig (random): elke eenheid heeft dus dezelfde kans om in elk van de condities tere cht te
komen.
,In contrast hiermee ligt de toewijzing aan de condities bij quasi-experimentele designs volledig
buiten de controle van de onderzoeker. In een quasi-experiment worden bestaande groepen
onderzocht die op één aspect (variabele) verschillen en op de resterende aspecten (variabelen) zo
vergelijkbaar mogelijk zijn.
Vraag 1.1.1.5
Wat is experimentele controle?
Experimentele controle betekent dat er rekening wordt gehouden met (of ‘gecontroleerd wordt
voor’) kenmerken van onderzoekseenheden (meestal proefpersonen) die mogelijk een verstorende
rol kunnen spelen in het experiment.
Vraag 1.1.1.6
Welke verschillende manieren van experimentele controle worden in het OpenMenS-hoofdstuk
beschreven?
Blokontwerp – Bij dit ontwerp worden proefpersonen voorafgaand aan het experiment ingedeeld
in homogene categorieën (bijvoorbeeld mannen en vrouwen) op basis van een veronderstelde
verstorende variabele (gender). Binnen elke categorie worden de proefpersonen vervolgens
random toegewezen aan de experimentele condities of controlegroep. Bij een experiment met
twee condities (bijvoorbeeld medicijn en placebo) ontstaan zo dus 2 x 2, dus in totaal vier
onderzoeksgroepen. Dit design is geschikt wanneer er een beperkt aantal verstorende variabelen
zijn en vereist een groter aantal proefpersonen.
Precisiecontrole – Bij deze manier van experimentele controle worden paren van proefpersonen
die op basis van allerlei achtergrondkenmerken zo veel mogelijk op elkaar lijken, vooraf aan het
experiment geïdentificeerd. Van elk paar wordt er vervolgens (random) één proefpersoon in de
controleconditie ingedeeld en één proefpersoon in de interventieconditie. Als je op een groot
aantal achtergrondkenmerken wilt matchen, moet je over een grote steekproef beschikken om tot
gelijke paren te kunnen komen.
Globale controle – Hierbij wordt ernaar gestreefd om het gemiddelde en/of de frequentie van een
aantal achtergrondkenmerken in alle condities gelijk te laten zijn (bijvoorbeeld hetzelfde aantal
jongens en meisjes, hetzelfde gemiddelde IQ enzovoort). Omdat de condities slechts per
afzonderlijk kenmerk aan elkaar gelijk zijn en niet wat betreft de combinaties aan kenmerken, is dit
een grovere wijze van experimentele controle dan precisiecontrole.
Vraag 1.1.1.7
Wat is het verschil tussen een between-subject design en een within-subject design?
Bij een between-subject design vindt de manipulatie plaats tussen proefpersonen. Er worden
meerdere groepen van proefpersonen gevormd en elke groep ontvangt een andere manipulatie
(of treatment).
Bij een within-subject design vindt de manipulatie plaats binnen proefpersonen. Dat betekent dat
dezelfde proefpersonen aan alle condities worden blootgesteld. Hierin kan de volgorde gevarieerd
worden.
Vraag 1.1.1.8
Wat is een mixed-design?
,Een mixed-design is een combinatie van een between-subject en een within-subject design. De
manipulaties vinden dus zowel tussen als binnen proefpersonen plaats. Bijvoorbeeld, in een
medicijn-placebo-onderzoek met een voormeting en een nameting wordt er zowel tussen
proefpersonen (medicijn-placebo) als binnen proefpersonen (voormeting: geen pilletje genomen -
nameting wel pilletje genomen) gemanipuleerd.
Studietaak 1.2 Experimentele designs
Vraag 1.2.1.1
Wat zijn pre-experimentele designs?
Pre-experimentele designs bevatten een of meerdere elementen van experimenten (zoals
bijvoorbeeld een manipulatie of meerdere observaties), maar stellen de onderzoeker niet in staat
om voldoende controle te houden over externe invloeden om bij benadering causale uitspraken te
kunnen doen.
Voorbeelden van pre-experimentele designs zijn de one-shot case study, het one-group pre-post
design en een experiment in bestaande groepen met enkel een nameting.
Vraag 1.2.1.2
Bekijk het onderstaande experimentele design.
t1 t2
NR X O1
NR O2
Om welk experimenteel design gaat het hier?
Het gaat hier om een pre-experimenteel design met bestaande groepen en enkel een nameting. Er
wordt niet gerandomiseerd en er is geen voormeting.
Vraag 1.2.1.3
Bekijk de onderstaande experimentele designs.
Design 1
t1 t2
R X O1
R O2
Design 2
t1 t2
R O1 X O2
R O3 O3
Benoem beide designs. Wat is het belangrijkste verschil tussen deze twee designs?
, Design 1 is een posttest-only control design. Design 2 is een pretest-posttest control design.
Het verschil tussen de twee designs is dat een pretest-posttest control design (design 2) een
voormeting bevat. Door de randomisatie en door rekening te houden met een voormeting kun je
een verschil op de nameting vrijwel zeker toeschrijven aan de experimentele manipulatie. Maar,
een voormeting kan ook een validiteitsbedreiger van een experiment zijn (zie studietaak 1.3:
testeffect).
Vraag 1.2.1.4
Wat is de essentie van het Solomon vier-groepen-design?
Het Solomon vier-groepen-design combineert het posttest-only en het pre-test posttest control
design. Er zijn vier groepen, waarbij het experiment met twee groepen (experimentele en
controlegroep) twee keer wordt uitgevoerd, één keer met en één keer zonder voormeting.
Daardoor kan een mogelijk onbedoelde invloed van een voormeting in kaart worden gebracht.
Vraag 1.2.1.5
Noem een voorbeeld van een quasi-experimenteel design.
Een voorbeeld is het quasi-experimenteel pretest-posttest control design.
t1 t2
NR O1 X O2
NR O3 O4
De essentie van dit ontwerp is dat de groepen niet random zijn toegewezen aan de treatment- of
controleconditie.
Vraag 1.2.1.6
Wat is het belangrijkste kenmerk van longitudinale designs?
In een longitudinaal design zijn meerdere metingen over de tijd gedaan binnen dezelfde
proefpersonen.
Vraag 1.2.2.1
Lees de beschrijving van het eerste experiment, zoals beschreven in het artikel van Loftus en
Palmer (1974).
EXPERIMENT I
Method
Forty-five students participated in randomly allocated groups of various sizes. Seven films were
shown, each depicting a traffic accident. These films were segments from longer driver’s education
films borrowed from the Evergreen Safety Council and the Seattle Police Department. The length
of the film segments ranged from 5 to 30 sec. Following each film, the subjects received a
questionnaire asking them first to, “give an account of the accident you have just seen,” and then
to answer a series of specific questions about the accident. The critical question was the one that
interrogated the subject about the speed of the vehicles involved in the collision. Nine subjects
were asked, “About how fast were the cars going when they hit each other?” Equal numbers of the
remaining subjects were interrogated with the verbs smashed, collided, bumped, and contacted in
Thema 1
Een oplossing voor dit probleem is: het experiment. Met een valide experiment ben je in staat om
valide conclusies te trekken. Validiteit wordt dikwijls droog samengevat als 'meten wat je wilt
meten'. In het geval van experimenten kun je dit vertalen naar 'je kunt de conclusies trekken die je
denkt te kunnen trekken'.
Studietaak 1.1 Wat is een experiment
Vraag 1.1.1.1
Waarom zijn experimentele designs geschikt om causale verbanden mee vast te stellen?
In experimentele designs houdt de onderzoeker strenge controle over de variabelen. Wanneer
alleen de onafhankelijke variabele wordt gemanipuleerd en alle andere variabelen worden
constant gehouden, dan kan een geobserveerde verandering in de afhankelijke variabele enkel het
resultaat zijn van de verandering in de onafhankelijke variabele.
Vraag 1.1.1.2
Wat is Mills method of difference?
Mills method of difference stelt dat, om een causaal effect van X op Y aan te tonen, je ook moet
aantonen dat in afwezigheid van X, Y niet voorkomt. Hieruit volgt dat je een experimentele groep
én een controlegroep nodig hebt om causale claims te kunnen maken.
Experimentele groep: Als X, dan Y.
Controlegroep: Als niet-X, dan niet-Y.
Vraag 1.1.1.3
Stel je wilt onderzoeken wat het effect is van het volgen van een bepaalde (wiskunde-)lesmethode
op de wiskundeprestaties van scholieren.
Wat is dan een geschikte controlegroep?
Een geschikte controlegroep bestaat uit leerlingen die wiskundeles krijgen volgens de gangb are
lesmethode.
NB Een geschikte controlegroep is niet een groep van leerlingen die helemaal géén wiskundeles
krijgt.
Vraag 1.1.1.4
Wat is het verschil tussen een volledig gerandomiseerde experimenteel ontwerp en een quasi-
experiment?
Het verschil zit in de manier van toewijzing van onderzoekseenheden (meestal proefpersonen) aan
de experimentele condities. Bij volledig gerandomiseerde ontwerpen gebeurt deze toewijzing
willekeurig (random): elke eenheid heeft dus dezelfde kans om in elk van de condities tere cht te
komen.
,In contrast hiermee ligt de toewijzing aan de condities bij quasi-experimentele designs volledig
buiten de controle van de onderzoeker. In een quasi-experiment worden bestaande groepen
onderzocht die op één aspect (variabele) verschillen en op de resterende aspecten (variabelen) zo
vergelijkbaar mogelijk zijn.
Vraag 1.1.1.5
Wat is experimentele controle?
Experimentele controle betekent dat er rekening wordt gehouden met (of ‘gecontroleerd wordt
voor’) kenmerken van onderzoekseenheden (meestal proefpersonen) die mogelijk een verstorende
rol kunnen spelen in het experiment.
Vraag 1.1.1.6
Welke verschillende manieren van experimentele controle worden in het OpenMenS-hoofdstuk
beschreven?
Blokontwerp – Bij dit ontwerp worden proefpersonen voorafgaand aan het experiment ingedeeld
in homogene categorieën (bijvoorbeeld mannen en vrouwen) op basis van een veronderstelde
verstorende variabele (gender). Binnen elke categorie worden de proefpersonen vervolgens
random toegewezen aan de experimentele condities of controlegroep. Bij een experiment met
twee condities (bijvoorbeeld medicijn en placebo) ontstaan zo dus 2 x 2, dus in totaal vier
onderzoeksgroepen. Dit design is geschikt wanneer er een beperkt aantal verstorende variabelen
zijn en vereist een groter aantal proefpersonen.
Precisiecontrole – Bij deze manier van experimentele controle worden paren van proefpersonen
die op basis van allerlei achtergrondkenmerken zo veel mogelijk op elkaar lijken, vooraf aan het
experiment geïdentificeerd. Van elk paar wordt er vervolgens (random) één proefpersoon in de
controleconditie ingedeeld en één proefpersoon in de interventieconditie. Als je op een groot
aantal achtergrondkenmerken wilt matchen, moet je over een grote steekproef beschikken om tot
gelijke paren te kunnen komen.
Globale controle – Hierbij wordt ernaar gestreefd om het gemiddelde en/of de frequentie van een
aantal achtergrondkenmerken in alle condities gelijk te laten zijn (bijvoorbeeld hetzelfde aantal
jongens en meisjes, hetzelfde gemiddelde IQ enzovoort). Omdat de condities slechts per
afzonderlijk kenmerk aan elkaar gelijk zijn en niet wat betreft de combinaties aan kenmerken, is dit
een grovere wijze van experimentele controle dan precisiecontrole.
Vraag 1.1.1.7
Wat is het verschil tussen een between-subject design en een within-subject design?
Bij een between-subject design vindt de manipulatie plaats tussen proefpersonen. Er worden
meerdere groepen van proefpersonen gevormd en elke groep ontvangt een andere manipulatie
(of treatment).
Bij een within-subject design vindt de manipulatie plaats binnen proefpersonen. Dat betekent dat
dezelfde proefpersonen aan alle condities worden blootgesteld. Hierin kan de volgorde gevarieerd
worden.
Vraag 1.1.1.8
Wat is een mixed-design?
,Een mixed-design is een combinatie van een between-subject en een within-subject design. De
manipulaties vinden dus zowel tussen als binnen proefpersonen plaats. Bijvoorbeeld, in een
medicijn-placebo-onderzoek met een voormeting en een nameting wordt er zowel tussen
proefpersonen (medicijn-placebo) als binnen proefpersonen (voormeting: geen pilletje genomen -
nameting wel pilletje genomen) gemanipuleerd.
Studietaak 1.2 Experimentele designs
Vraag 1.2.1.1
Wat zijn pre-experimentele designs?
Pre-experimentele designs bevatten een of meerdere elementen van experimenten (zoals
bijvoorbeeld een manipulatie of meerdere observaties), maar stellen de onderzoeker niet in staat
om voldoende controle te houden over externe invloeden om bij benadering causale uitspraken te
kunnen doen.
Voorbeelden van pre-experimentele designs zijn de one-shot case study, het one-group pre-post
design en een experiment in bestaande groepen met enkel een nameting.
Vraag 1.2.1.2
Bekijk het onderstaande experimentele design.
t1 t2
NR X O1
NR O2
Om welk experimenteel design gaat het hier?
Het gaat hier om een pre-experimenteel design met bestaande groepen en enkel een nameting. Er
wordt niet gerandomiseerd en er is geen voormeting.
Vraag 1.2.1.3
Bekijk de onderstaande experimentele designs.
Design 1
t1 t2
R X O1
R O2
Design 2
t1 t2
R O1 X O2
R O3 O3
Benoem beide designs. Wat is het belangrijkste verschil tussen deze twee designs?
, Design 1 is een posttest-only control design. Design 2 is een pretest-posttest control design.
Het verschil tussen de twee designs is dat een pretest-posttest control design (design 2) een
voormeting bevat. Door de randomisatie en door rekening te houden met een voormeting kun je
een verschil op de nameting vrijwel zeker toeschrijven aan de experimentele manipulatie. Maar,
een voormeting kan ook een validiteitsbedreiger van een experiment zijn (zie studietaak 1.3:
testeffect).
Vraag 1.2.1.4
Wat is de essentie van het Solomon vier-groepen-design?
Het Solomon vier-groepen-design combineert het posttest-only en het pre-test posttest control
design. Er zijn vier groepen, waarbij het experiment met twee groepen (experimentele en
controlegroep) twee keer wordt uitgevoerd, één keer met en één keer zonder voormeting.
Daardoor kan een mogelijk onbedoelde invloed van een voormeting in kaart worden gebracht.
Vraag 1.2.1.5
Noem een voorbeeld van een quasi-experimenteel design.
Een voorbeeld is het quasi-experimenteel pretest-posttest control design.
t1 t2
NR O1 X O2
NR O3 O4
De essentie van dit ontwerp is dat de groepen niet random zijn toegewezen aan de treatment- of
controleconditie.
Vraag 1.2.1.6
Wat is het belangrijkste kenmerk van longitudinale designs?
In een longitudinaal design zijn meerdere metingen over de tijd gedaan binnen dezelfde
proefpersonen.
Vraag 1.2.2.1
Lees de beschrijving van het eerste experiment, zoals beschreven in het artikel van Loftus en
Palmer (1974).
EXPERIMENT I
Method
Forty-five students participated in randomly allocated groups of various sizes. Seven films were
shown, each depicting a traffic accident. These films were segments from longer driver’s education
films borrowed from the Evergreen Safety Council and the Seattle Police Department. The length
of the film segments ranged from 5 to 30 sec. Following each film, the subjects received a
questionnaire asking them first to, “give an account of the accident you have just seen,” and then
to answer a series of specific questions about the accident. The critical question was the one that
interrogated the subject about the speed of the vehicles involved in the collision. Nine subjects
were asked, “About how fast were the cars going when they hit each other?” Equal numbers of the
remaining subjects were interrogated with the verbs smashed, collided, bumped, and contacted in
