Hoorcollege 8:
Wanneer kunnen we afleiden dat Y veroorzaakt wordt door X?
Drie voorwaarden voor causaliteit:
(1) Relatie tussen X en Y
X en Y correleren, d.w.z. variëren gezamenlijk
(2) Tijdsvolgorde
X kan niet VOOR Y komen
(3) Elimineren van andere mogelijke oorzaken
Alle andere mogelijke oorzaken constant gehouden of gecontroleerd
Voorbeeld: waarom is schoenmaat gecorreleerd aan leesvaardigheid?
Voorbeeld: op middelbare scholen zijn scholieren die roken, vaak ook vrienden van elkaar. Waarom is dat?
Opm: het antwoord heeft grote gevolgen voor wat voor interventies je doet! Als roken een individuele
beslissing is doe je b.v. andere voorlichting dan wanneer roken vooral door groepsdruk van je (bestaande)
vrienden komt
Verschillende redenen waarom X en Y kunnen correleren:
- Valse correlatie (‘spurious correlation’)
- X veroorzaakt Y
roken → vrienden
- Y veroorzaakt X
vrienden → roken
- Z veroorzaakt zowel X als Y
groei (Z) dat zowel schoenmaat (X) als leesvaardigheid (Y) beïnvloedt
Omgekeerde causaliteit: X lijkt Y te veroorzaken, maar het is eigenlijk Y dat X veroorzaakt
Voorbeeld: De verkoop van bier is hoger tijdens weken van grote reclamecampagnes.
Advertenties worden echter toegewezen wanneer het belang het grootst is (bijvoorbeeld tijdens een WK
voetbal). Verwachte verkopen kunnen dus daadwerkelijk advertenties veroorzaken.
Derde Variabele: X lijkt Y te veroorzaken, maar zowel X als Y worden eigenlijk veroorzaakt door Z
Gemiddeld geldt: hoe meer speelgoed een kind heeft, hoe hoger zijn of haar IQ.
- Zowel de hoeveelheid speelgoed als het IQ kan worden veroorzaakt door omstandigheden zoals
gezinsinkomen (d.w.z. betere voeding en onderwijs).
Studenten die vooraan in de klas zitten, halen gemiddeld hogere cijfers.
- Studenten kiezen echter zelf waar ze zitten. Motivatie kan zowel de plaats van zitten als de cijfers
beïnvloeden.
Onafhankelijke variabele (IV) die wordt gemanipuleerd over verschillende groepen personen, d.w.z. ‘tussen-
proefpersonen’ (between-subject).
– één person wordt toegewezen aan één experimentele groep van de IV (bijv. advertentie A of advertentie B)
- Afhankelijke variabele (DV) die wordt gemeten
- Context: laboratorium, online survey, veld, etc.
- Gecontroleerd voor externe factoren: Alles behalve de onafhankelijke variabelen blijft constant
- Participanten worden willekeurig aan groepen toegewezen
- Meten van andere variabelen ter controle
- Bij het experiment horen twee of meer condities
Twee verschillende kortingsbonnen voor bestaande klanten
- Condities verschillen in één aspect (IV)
“Krijg 20 euro korting” vs. “Krijg 40 euro korting”
- De rest blijft constant voor alle condities
De kortingsbonnen zijn voor de rest precies hetzelfde
- Klanten worden willekeurig toegewezen aan een conditie
,50% van de klanten krijgen de ene kortingsbon, de overige 50% de andere
- Gedragen klanten zich anders over de verschillende condities?
DV: percentage van klanten die de kortingsbon hebben gebruikt
Prikkel: Een prikkel is de gebeurtenis of het object waarop een
reactie wordt gemeten. Prikkels kunnen visueel, tekstueel, verbaal,
ruimtelijk, enz. van aard zijn.
Wat zijn verstorende variabelen?
- Variabele(n) die de resultaten hebben beïnvloed (DV), en niet tot
de IV behoren.
Een verstorende variabele is een externe variabele die niet is
gecontroleerd.
- Dit kunnen variabelen zijn die te maken hebben met je
experimentele prikkel die niet voldoende gelijk is tussen de twee
groepen (voorbeeld op volgende slide)
Een verstorende variabele is een externe variabele die niet is
gecontroleerd.
Dit kunnen variabelen zijn die te maken hebben met je
experimentele prikkel die niet voldoende gelijk is tussen de
twee groepen
- Oplossing: maak beter experimenteel ontwerp
Dit kunnen variabelen zijn die relevant zijn, maar die je niet
gemeten hebt (b.v. al aanwezige kennis over voeding bij
proefpersonen in het chips-experiment)
- Oplossing: variabelen meten en statistisch rekening mee
houden (zie latere colleges)
Soms is het een variabele die een beetje van beiden kan zijn:
- Tijd van het experiment: 09:00 vs. 16:55 vs 17:05
- Of misschien is het wel wanneer een proefpersoon voor het laatst gegeten heeft i.p.v. tijdstip
Het is ‘best practice’ om je personen willekeurig toe te wijzen aan de experimentele condities, m.a.w. de
toewijzing te randomiseren
- In theorie zou je dan kunnen beargumenteren dat verstorende variabelen zoals b.v. aanwezige
voedingskennis of voor het laatst gegeten, zich zouden moeten uitmiddelen. In de praktijk ligt dit een stuk
ingewikkelder en is randomisering noodzakelijk, maar niet voldoende
- Goed nadenken over je ontwerp van tevoren: wat zijn mogelijke verstorende factoren en kun je die al vooraf
ondervangen in de je ontwerp?
- Zo niet, dan in ieder geval potentiële verstorende factoren meten en vergelijken tussen de verschillende
groepen (randomiserings-check)
, Interne validiteit
- Conclusies over de effecten van IVs op Dvs zijn valide
- Hoe hiervoor zorgen? Correcte implementatie van
principes
- Randomisatie, controle van externe factoren, etc.
- Lab studies zijn hoger in interne validiteit
Externe validiteit
- Conclusies zijn generaliseerbaar buiten het
experiment bijv., lab participanten → welke
consumenten?
- Veld studies zijn hoger in externe validiteit (Maar dit
gaat vaak ten koste van wat interne validiteit: waarom?
Waarom is het goed om te repliceren?
1) Beslissen of het effect daadwerkelijk bestaat (soms vindt je ‘toevallig’ een effect)
2) Bekijken of het effect robuust is over verschillende situaties (bijv. “geldt het alleen voor dit type product?”)
3) Voortborduren op eerdere experimenten en onderzoeken of de uitleg logisch is (bijv. “komen duurzame
keuzes door algemene sociale betrokkenheid of door eigenbelang?”)
A/B Testen:
A/B-testen (ook wel split-testen genoemd) verwijst naar een experimenteel proces waarbij twee versies (A en
B) van een webpagina/pagina-element/app/enz. met elkaar worden vergeleken om te bepalen welke versie
beter presteert (bijvoorbeeld door de antwoorden van deelnemers op versie A te vergelijken met versie B).
Bevestigen resultaten altijd de hypothese?
- Nee, soms vind je geen effect en dat is prima! Daarvoor test je
het: als je het antwoord als zeker zou weten, hoefde je het
experiment niet te doen. M.a.w. je hebt wat geleerd!
- Soms vind je tegenovergestelde effecten: iets wat positief zou
moeten werken, blijkt negatief te werken
B.v. kortingen op luxe artikelen kunnen soms een averechts
effect hebben omdat het nu een goedkoper imago krijgt
B.v. mensen betalen voor vrijwilligerswerk kan soms leiden tot
minder vrijwilligerswerk (‘crowding out’)
- Vaak verder onderzoek nodig (replicatie!) om beter te begrijpen
Wanneer kunnen we afleiden dat Y veroorzaakt wordt door X?
Drie voorwaarden voor causaliteit:
(1) Relatie tussen X en Y
X en Y correleren, d.w.z. variëren gezamenlijk
(2) Tijdsvolgorde
X kan niet VOOR Y komen
(3) Elimineren van andere mogelijke oorzaken
Alle andere mogelijke oorzaken constant gehouden of gecontroleerd
Voorbeeld: waarom is schoenmaat gecorreleerd aan leesvaardigheid?
Voorbeeld: op middelbare scholen zijn scholieren die roken, vaak ook vrienden van elkaar. Waarom is dat?
Opm: het antwoord heeft grote gevolgen voor wat voor interventies je doet! Als roken een individuele
beslissing is doe je b.v. andere voorlichting dan wanneer roken vooral door groepsdruk van je (bestaande)
vrienden komt
Verschillende redenen waarom X en Y kunnen correleren:
- Valse correlatie (‘spurious correlation’)
- X veroorzaakt Y
roken → vrienden
- Y veroorzaakt X
vrienden → roken
- Z veroorzaakt zowel X als Y
groei (Z) dat zowel schoenmaat (X) als leesvaardigheid (Y) beïnvloedt
Omgekeerde causaliteit: X lijkt Y te veroorzaken, maar het is eigenlijk Y dat X veroorzaakt
Voorbeeld: De verkoop van bier is hoger tijdens weken van grote reclamecampagnes.
Advertenties worden echter toegewezen wanneer het belang het grootst is (bijvoorbeeld tijdens een WK
voetbal). Verwachte verkopen kunnen dus daadwerkelijk advertenties veroorzaken.
Derde Variabele: X lijkt Y te veroorzaken, maar zowel X als Y worden eigenlijk veroorzaakt door Z
Gemiddeld geldt: hoe meer speelgoed een kind heeft, hoe hoger zijn of haar IQ.
- Zowel de hoeveelheid speelgoed als het IQ kan worden veroorzaakt door omstandigheden zoals
gezinsinkomen (d.w.z. betere voeding en onderwijs).
Studenten die vooraan in de klas zitten, halen gemiddeld hogere cijfers.
- Studenten kiezen echter zelf waar ze zitten. Motivatie kan zowel de plaats van zitten als de cijfers
beïnvloeden.
Onafhankelijke variabele (IV) die wordt gemanipuleerd over verschillende groepen personen, d.w.z. ‘tussen-
proefpersonen’ (between-subject).
– één person wordt toegewezen aan één experimentele groep van de IV (bijv. advertentie A of advertentie B)
- Afhankelijke variabele (DV) die wordt gemeten
- Context: laboratorium, online survey, veld, etc.
- Gecontroleerd voor externe factoren: Alles behalve de onafhankelijke variabelen blijft constant
- Participanten worden willekeurig aan groepen toegewezen
- Meten van andere variabelen ter controle
- Bij het experiment horen twee of meer condities
Twee verschillende kortingsbonnen voor bestaande klanten
- Condities verschillen in één aspect (IV)
“Krijg 20 euro korting” vs. “Krijg 40 euro korting”
- De rest blijft constant voor alle condities
De kortingsbonnen zijn voor de rest precies hetzelfde
- Klanten worden willekeurig toegewezen aan een conditie
,50% van de klanten krijgen de ene kortingsbon, de overige 50% de andere
- Gedragen klanten zich anders over de verschillende condities?
DV: percentage van klanten die de kortingsbon hebben gebruikt
Prikkel: Een prikkel is de gebeurtenis of het object waarop een
reactie wordt gemeten. Prikkels kunnen visueel, tekstueel, verbaal,
ruimtelijk, enz. van aard zijn.
Wat zijn verstorende variabelen?
- Variabele(n) die de resultaten hebben beïnvloed (DV), en niet tot
de IV behoren.
Een verstorende variabele is een externe variabele die niet is
gecontroleerd.
- Dit kunnen variabelen zijn die te maken hebben met je
experimentele prikkel die niet voldoende gelijk is tussen de twee
groepen (voorbeeld op volgende slide)
Een verstorende variabele is een externe variabele die niet is
gecontroleerd.
Dit kunnen variabelen zijn die te maken hebben met je
experimentele prikkel die niet voldoende gelijk is tussen de
twee groepen
- Oplossing: maak beter experimenteel ontwerp
Dit kunnen variabelen zijn die relevant zijn, maar die je niet
gemeten hebt (b.v. al aanwezige kennis over voeding bij
proefpersonen in het chips-experiment)
- Oplossing: variabelen meten en statistisch rekening mee
houden (zie latere colleges)
Soms is het een variabele die een beetje van beiden kan zijn:
- Tijd van het experiment: 09:00 vs. 16:55 vs 17:05
- Of misschien is het wel wanneer een proefpersoon voor het laatst gegeten heeft i.p.v. tijdstip
Het is ‘best practice’ om je personen willekeurig toe te wijzen aan de experimentele condities, m.a.w. de
toewijzing te randomiseren
- In theorie zou je dan kunnen beargumenteren dat verstorende variabelen zoals b.v. aanwezige
voedingskennis of voor het laatst gegeten, zich zouden moeten uitmiddelen. In de praktijk ligt dit een stuk
ingewikkelder en is randomisering noodzakelijk, maar niet voldoende
- Goed nadenken over je ontwerp van tevoren: wat zijn mogelijke verstorende factoren en kun je die al vooraf
ondervangen in de je ontwerp?
- Zo niet, dan in ieder geval potentiële verstorende factoren meten en vergelijken tussen de verschillende
groepen (randomiserings-check)
, Interne validiteit
- Conclusies over de effecten van IVs op Dvs zijn valide
- Hoe hiervoor zorgen? Correcte implementatie van
principes
- Randomisatie, controle van externe factoren, etc.
- Lab studies zijn hoger in interne validiteit
Externe validiteit
- Conclusies zijn generaliseerbaar buiten het
experiment bijv., lab participanten → welke
consumenten?
- Veld studies zijn hoger in externe validiteit (Maar dit
gaat vaak ten koste van wat interne validiteit: waarom?
Waarom is het goed om te repliceren?
1) Beslissen of het effect daadwerkelijk bestaat (soms vindt je ‘toevallig’ een effect)
2) Bekijken of het effect robuust is over verschillende situaties (bijv. “geldt het alleen voor dit type product?”)
3) Voortborduren op eerdere experimenten en onderzoeken of de uitleg logisch is (bijv. “komen duurzame
keuzes door algemene sociale betrokkenheid of door eigenbelang?”)
A/B Testen:
A/B-testen (ook wel split-testen genoemd) verwijst naar een experimenteel proces waarbij twee versies (A en
B) van een webpagina/pagina-element/app/enz. met elkaar worden vergeleken om te bepalen welke versie
beter presteert (bijvoorbeeld door de antwoorden van deelnemers op versie A te vergelijken met versie B).
Bevestigen resultaten altijd de hypothese?
- Nee, soms vind je geen effect en dat is prima! Daarvoor test je
het: als je het antwoord als zeker zou weten, hoefde je het
experiment niet te doen. M.a.w. je hebt wat geleerd!
- Soms vind je tegenovergestelde effecten: iets wat positief zou
moeten werken, blijkt negatief te werken
B.v. kortingen op luxe artikelen kunnen soms een averechts
effect hebben omdat het nu een goedkoper imago krijgt
B.v. mensen betalen voor vrijwilligerswerk kan soms leiden tot
minder vrijwilligerswerk (‘crowding out’)
- Vaak verder onderzoek nodig (replicatie!) om beter te begrijpen
