Vak KOM
Experimenteel onderzoek
Hoorcollege 8
Begrippen:
Gerandomiseerd experiment: en onderzoeksopzet waarin de onderzoeker en deelnemers
willekeurig toewijst aan groepen, één (onafhankelijke) variabele manipuleert zodat het effect
van die manipulatie op een (afhankelijke) variabele kan worden gemeten
Randomisatie: is het proces waarbij deelnemers willekeurig (at random) worden toegewezen
aan verschillende groepen of condities in een experiment, zodat de groepen vergelijkbaar
zijn en er geen systematische verschillen bestaan die het resultaat kunnen beïnvloeden.
Manipulerend: het bewust veranderen of variëren van één variabele (de onafhankelijke
variabele) door de onderzoeker om te onderzoeken wat het effect is op een andere
variabele (de afhankelijke variabele).
PICO: m.b.v. het acroniem PICO kan je een onderzoeksvraag van een experimenteel
onderzoek herkennen: Populatie, Intervention, Comparison, Outcome
Onafhankelijke variabele: oorzaak: is de variabele waarvan wordt verondersteld dat het een
effect heeft op een andere variabele. In experimenten wordt deze vaak gemanipuleerd.
Afhankelijke variabele: gevolg: is de variabele die wordt gemeten om te zien of deze
verandert als gevolg van de manipulatie van de (onafhankelijke) andere variabele.
Design confounds: Was de gemanipuleerde variabele wel het enige verschil in de behandeling
van de twee groepen? (Mogelijke alternatieve verklaringen voor de uitkomstmaat)
Selectie effect: Een bedreiging van interne validiteit die optreedt wanneer de deelnemers in
de verschillende condities al bij aanvang van het onderzoek van elkaar verschillen.
Contaminatie: Treedt op wanneer deelnemers uit de experimentele groep informatie of
ervaringen delen met de controlegroep, waardoor de groepen niet meer volledig
gescheiden zijn.
Statistische (hypothesen): een toetsbare uitspraak over een populatieparameter (zoals het
gemiddelde), die gebaseerd is op steekproefdata. Het geeft wiskundig weer wat je verwacht
te vinden of juist wat je niet verwacht.
Onafhankelijke groepen: groepen waarin de deelnemers in de ene groep volledig
onafhankelijk zijn van de deelnemers in de andere groep, zodat de uitkomsten van de ene
groep de uitkomsten van de andere groep niet beïnvloeden (de groepen staan volledig los
van elkaar).
T-toets voor onafhankelijke groepen: een statistische toets die het relatieve verschil tussen
de twee groepen berekent.
Waarom causale verbanden?
Waarom zijn onderzoekers geïnteresseerd in causale verbanden?
Begrijpen hoe de (sociale) werkelijkheid in elkaar zit
(VB. Effect van motivatie op leerprestaties, Effect van SES op toegang tot gezondheidszorg)
, Beïnvloeden van die werkelijkheid: hoe kan ik de variabele beïnvloeden?
(VB. Effect van inquiry-based learning op studiemotivatie van universitaire studenten,
Effectiviteit van anti-rookcampagne (“Samen op weg naar een rookvrije generatie”) op het
rookgedrag van jongeren en studenten)
Van correlatie -> causaal verband
VB.
Relatie tussen Facebook gebruik en depressieve klachten. Het een leidt tot het ander
Is dat causale verband er nu daadwerkelijk?
3 voorwaarden causaliteit: 1: Covariance: Er moet een relatie zijn tussen oorzaak en gevolg, 2:
Temporal precedence: De oorzaak moet in de tijd voorafgaan aan het gevolg, 3: Internal validity:
Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten
Hoe voldoen we aan de interne validiteit?
Interne validiteit is vaak lastig bij causaliteit. De 3 e manier van onderzoek komt hierbij kijken:
experimenteel onderzoek: gerandomiseerde experiment:
De beste manier om aan de 3 voorwaarden van causaliteit de voldoen is met een gerandomiseerd
experiment. Dit is een onderzoeksopzet waarbij deelnemers willekeurig (at random) worden
toegewezen aan één of meer groepen — meestal een experimentele groep en een controlegroep.
Gerandomiseerd experiment:
1. Door randomisatie de groepen hetzelfde worden verondersteld (groepen zijn vergelijkbaar,
geen systematische verschillen)
2. De onderzoeker één variabele manipuleert (varieert):
De onderzoeker verandert een factor (meestal onafhankelijke variabele) om vervolgens bij
het 3e punt te onderzoeken wat het effect is op een andere factor (meestal afhankelijke
variabele)
3. De onderzoeker het effect daarvan op een andere variabele meet (Nadat de onderzoeker één
variabele heeft gemanipuleerd, wordt er gemeten wat het gevolg is van die verandering
op een andere variabele — de afhankelijke variabele)
Gerandomiseerd experiment
Wanneer onderzoekers een gerandomiseerd experiment uitvoeren, maken zij gebruik van
willekeurige toewijzing (random assignment) van de subjecten in de steekproef aan de
,experimentele condities. Op deze manier worden alle factoren die mogelijk invloed hebben op het
resultaat van het onderzoek (confounding variables) door het toeval verdeeld over de condities.
Randomisatie geeft de onderzoeker het vertrouwen dat eventueel gevonden verschillen tussen
groepen op de afhankelijke variabele veroorzaakt zijn door de gemanipuleerde variabele en niet door
andere onafhankelijke variabelen.
Doel van randomisatie
Door de deelnemers aan het experiment op willekeur toe te wijzen aan de condities kunnen
onderzoekers ervoor zorgen dat de gemiddelde scores en spreiding in scores, op alle variabelen,
zowel gemeten als ongemeten, bij aanvang vergelijkbaar zijn tussen de groepen.
Het type effect dat men probeert te voorkomen met randomisatie: selection effect. Er is sprake van
selectie (of een selectie effect) wanneer de deelnemers in de ene experimentele conditie
systematisch verschillen van deelnemers in de andere experimentele conditie(s).
Door te randomiseren kan een onderzoeker alternatieve verklaringen uitsluiten. Dit verhoogt de
interne validiteit.
VB.
Een onderzoeker wil weten of koffiedrinken de concentratie verbetert
1. De deelnemers worden willekeurig in twee groepen verdeeld (zodat er geen systematische
verschillen zijn: zoals leeftijd, geslacht, motivatie)
2. Groep A: krijg koffie met cafeïne, Groep B: krijgt decaf (zonder cafeïne)
3. Daarna laat de onderzoeker beide groepen een concentratietest doen en meet hun
prestaties.
Je manipuleert de variabele, niet één specifieke groep.
De manipulatie zorgt ervoor dat de groepen van elkaar verschillen in dat ene aspect (hier: cafeïne).
Onderzoeksvraag (Datacyclus):
Een onderzoeksvraag van een experimenteel onderzoek kun je herkennen aan de volgende
elementen: PICO:
(PICO is net anders dan de andere acroniemen).
PICO:
- P: Populatie (de groep mensen die de onderzoeker wil onderzoeken)
, - I: Intervention (de experimentele conditie)
- C: Comparison (de controlegroep: de groep met wie je uiteindelijk gaat vergelijken)
- O: Outcome (de uitkomst/gemeten variabele (afhankelijke variabele)
- I en C zijn samen zijn de: gemanipuleerde variabelen (onafhankelijke variabelen)
- De O (uitkomst) dit is de uitkomst/gemeten variabele (afhankelijke variabelen)
Gemanipuleerde variabelen: zijn de variabelen die actief door de onderzoeker worden
veranderd of ingesteld om te onderzoeken of dit een effect heeft op een andere variabele.
Onafhankelijke variabele: oorzaak: is de variabele waarvan wordt verondersteld dat het een
effect heeft op een andere variabele. In experimenten wordt deze vaak gemanipuleerd.
Afhankelijke variabele: gevolg: is de variabele die wordt gemeten om te zien of deze
verandert als gevolg van de manipulatie van de (onafhankelijke) andere variabele.
VB.
“Heeft het tussentijds reviseren van aantekeningen effect op leerprestaties van studenten”
P: studenten
I: tussentijds reviseren van aantekeningen
C:?
O: leerprestaties
Aangepaste, betere vraag met de C, controlegroep erbij:
“Heeft het tussentijds reviseren van aantekeningen vergeleken met het niet reviseren effect op
leerprestaties van studenten”
Covariance:
Bij een gerandomiseerd experiment hebben we te maken met een variabele van nominaal
meetniveau. We kunnen dus geen scatterplot maken en we moeten anders nadenken over de
samenhang. Is er een verschil in leerprestaties tussen de ene en andere groep en het antwoord is ja.
Dan is er sprake van samenhang.
Temperol precedence:
Je zorgt ervoor dat eerst het een en dan het andere gebeurt: onafhankelijke variabele eerst en daarna
de afhankelijke variabele
Interne validiteit:
Is het wel de gemanipuleerde variabele die het verschil tussen de groepen verklaart of is er een
alternatieve verklaring?
Experimenteel onderzoek
Hoorcollege 8
Begrippen:
Gerandomiseerd experiment: en onderzoeksopzet waarin de onderzoeker en deelnemers
willekeurig toewijst aan groepen, één (onafhankelijke) variabele manipuleert zodat het effect
van die manipulatie op een (afhankelijke) variabele kan worden gemeten
Randomisatie: is het proces waarbij deelnemers willekeurig (at random) worden toegewezen
aan verschillende groepen of condities in een experiment, zodat de groepen vergelijkbaar
zijn en er geen systematische verschillen bestaan die het resultaat kunnen beïnvloeden.
Manipulerend: het bewust veranderen of variëren van één variabele (de onafhankelijke
variabele) door de onderzoeker om te onderzoeken wat het effect is op een andere
variabele (de afhankelijke variabele).
PICO: m.b.v. het acroniem PICO kan je een onderzoeksvraag van een experimenteel
onderzoek herkennen: Populatie, Intervention, Comparison, Outcome
Onafhankelijke variabele: oorzaak: is de variabele waarvan wordt verondersteld dat het een
effect heeft op een andere variabele. In experimenten wordt deze vaak gemanipuleerd.
Afhankelijke variabele: gevolg: is de variabele die wordt gemeten om te zien of deze
verandert als gevolg van de manipulatie van de (onafhankelijke) andere variabele.
Design confounds: Was de gemanipuleerde variabele wel het enige verschil in de behandeling
van de twee groepen? (Mogelijke alternatieve verklaringen voor de uitkomstmaat)
Selectie effect: Een bedreiging van interne validiteit die optreedt wanneer de deelnemers in
de verschillende condities al bij aanvang van het onderzoek van elkaar verschillen.
Contaminatie: Treedt op wanneer deelnemers uit de experimentele groep informatie of
ervaringen delen met de controlegroep, waardoor de groepen niet meer volledig
gescheiden zijn.
Statistische (hypothesen): een toetsbare uitspraak over een populatieparameter (zoals het
gemiddelde), die gebaseerd is op steekproefdata. Het geeft wiskundig weer wat je verwacht
te vinden of juist wat je niet verwacht.
Onafhankelijke groepen: groepen waarin de deelnemers in de ene groep volledig
onafhankelijk zijn van de deelnemers in de andere groep, zodat de uitkomsten van de ene
groep de uitkomsten van de andere groep niet beïnvloeden (de groepen staan volledig los
van elkaar).
T-toets voor onafhankelijke groepen: een statistische toets die het relatieve verschil tussen
de twee groepen berekent.
Waarom causale verbanden?
Waarom zijn onderzoekers geïnteresseerd in causale verbanden?
Begrijpen hoe de (sociale) werkelijkheid in elkaar zit
(VB. Effect van motivatie op leerprestaties, Effect van SES op toegang tot gezondheidszorg)
, Beïnvloeden van die werkelijkheid: hoe kan ik de variabele beïnvloeden?
(VB. Effect van inquiry-based learning op studiemotivatie van universitaire studenten,
Effectiviteit van anti-rookcampagne (“Samen op weg naar een rookvrije generatie”) op het
rookgedrag van jongeren en studenten)
Van correlatie -> causaal verband
VB.
Relatie tussen Facebook gebruik en depressieve klachten. Het een leidt tot het ander
Is dat causale verband er nu daadwerkelijk?
3 voorwaarden causaliteit: 1: Covariance: Er moet een relatie zijn tussen oorzaak en gevolg, 2:
Temporal precedence: De oorzaak moet in de tijd voorafgaan aan het gevolg, 3: Internal validity:
Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten
Hoe voldoen we aan de interne validiteit?
Interne validiteit is vaak lastig bij causaliteit. De 3 e manier van onderzoek komt hierbij kijken:
experimenteel onderzoek: gerandomiseerde experiment:
De beste manier om aan de 3 voorwaarden van causaliteit de voldoen is met een gerandomiseerd
experiment. Dit is een onderzoeksopzet waarbij deelnemers willekeurig (at random) worden
toegewezen aan één of meer groepen — meestal een experimentele groep en een controlegroep.
Gerandomiseerd experiment:
1. Door randomisatie de groepen hetzelfde worden verondersteld (groepen zijn vergelijkbaar,
geen systematische verschillen)
2. De onderzoeker één variabele manipuleert (varieert):
De onderzoeker verandert een factor (meestal onafhankelijke variabele) om vervolgens bij
het 3e punt te onderzoeken wat het effect is op een andere factor (meestal afhankelijke
variabele)
3. De onderzoeker het effect daarvan op een andere variabele meet (Nadat de onderzoeker één
variabele heeft gemanipuleerd, wordt er gemeten wat het gevolg is van die verandering
op een andere variabele — de afhankelijke variabele)
Gerandomiseerd experiment
Wanneer onderzoekers een gerandomiseerd experiment uitvoeren, maken zij gebruik van
willekeurige toewijzing (random assignment) van de subjecten in de steekproef aan de
,experimentele condities. Op deze manier worden alle factoren die mogelijk invloed hebben op het
resultaat van het onderzoek (confounding variables) door het toeval verdeeld over de condities.
Randomisatie geeft de onderzoeker het vertrouwen dat eventueel gevonden verschillen tussen
groepen op de afhankelijke variabele veroorzaakt zijn door de gemanipuleerde variabele en niet door
andere onafhankelijke variabelen.
Doel van randomisatie
Door de deelnemers aan het experiment op willekeur toe te wijzen aan de condities kunnen
onderzoekers ervoor zorgen dat de gemiddelde scores en spreiding in scores, op alle variabelen,
zowel gemeten als ongemeten, bij aanvang vergelijkbaar zijn tussen de groepen.
Het type effect dat men probeert te voorkomen met randomisatie: selection effect. Er is sprake van
selectie (of een selectie effect) wanneer de deelnemers in de ene experimentele conditie
systematisch verschillen van deelnemers in de andere experimentele conditie(s).
Door te randomiseren kan een onderzoeker alternatieve verklaringen uitsluiten. Dit verhoogt de
interne validiteit.
VB.
Een onderzoeker wil weten of koffiedrinken de concentratie verbetert
1. De deelnemers worden willekeurig in twee groepen verdeeld (zodat er geen systematische
verschillen zijn: zoals leeftijd, geslacht, motivatie)
2. Groep A: krijg koffie met cafeïne, Groep B: krijgt decaf (zonder cafeïne)
3. Daarna laat de onderzoeker beide groepen een concentratietest doen en meet hun
prestaties.
Je manipuleert de variabele, niet één specifieke groep.
De manipulatie zorgt ervoor dat de groepen van elkaar verschillen in dat ene aspect (hier: cafeïne).
Onderzoeksvraag (Datacyclus):
Een onderzoeksvraag van een experimenteel onderzoek kun je herkennen aan de volgende
elementen: PICO:
(PICO is net anders dan de andere acroniemen).
PICO:
- P: Populatie (de groep mensen die de onderzoeker wil onderzoeken)
, - I: Intervention (de experimentele conditie)
- C: Comparison (de controlegroep: de groep met wie je uiteindelijk gaat vergelijken)
- O: Outcome (de uitkomst/gemeten variabele (afhankelijke variabele)
- I en C zijn samen zijn de: gemanipuleerde variabelen (onafhankelijke variabelen)
- De O (uitkomst) dit is de uitkomst/gemeten variabele (afhankelijke variabelen)
Gemanipuleerde variabelen: zijn de variabelen die actief door de onderzoeker worden
veranderd of ingesteld om te onderzoeken of dit een effect heeft op een andere variabele.
Onafhankelijke variabele: oorzaak: is de variabele waarvan wordt verondersteld dat het een
effect heeft op een andere variabele. In experimenten wordt deze vaak gemanipuleerd.
Afhankelijke variabele: gevolg: is de variabele die wordt gemeten om te zien of deze
verandert als gevolg van de manipulatie van de (onafhankelijke) andere variabele.
VB.
“Heeft het tussentijds reviseren van aantekeningen effect op leerprestaties van studenten”
P: studenten
I: tussentijds reviseren van aantekeningen
C:?
O: leerprestaties
Aangepaste, betere vraag met de C, controlegroep erbij:
“Heeft het tussentijds reviseren van aantekeningen vergeleken met het niet reviseren effect op
leerprestaties van studenten”
Covariance:
Bij een gerandomiseerd experiment hebben we te maken met een variabele van nominaal
meetniveau. We kunnen dus geen scatterplot maken en we moeten anders nadenken over de
samenhang. Is er een verschil in leerprestaties tussen de ene en andere groep en het antwoord is ja.
Dan is er sprake van samenhang.
Temperol precedence:
Je zorgt ervoor dat eerst het een en dan het andere gebeurt: onafhankelijke variabele eerst en daarna
de afhankelijke variabele
Interne validiteit:
Is het wel de gemanipuleerde variabele die het verschil tussen de groepen verklaart of is er een
alternatieve verklaring?
