1 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
1. Discovering cause and effect
Experimenteel onderzoek: Wetenschappelijke toetsing van een hypothese/principe onder
gecontroleerde omstandigheden waarbij een causaal verband tussen 2 variabelen wordt gezocht
- Causaal verband: oorzaak – gevolgrelatie nagaan
- Hypothese toetsten onder gecontroleerde omstandigheden, waarbij je een causaal verband
tussen 2 variabelen (afh & onafh) wil onderzoeken
- Verschil met survey: kan geen causaal verband vaststellen, enkel correlatie
1.1. Causation
- Effect/gevolg = afhankelijke variabele (DV)
o = wat gebeurde
o Variabele die beïnvloed wordt, bijvoorbeeld
▪ Kennis (mediawijsheid, reclamewijsheid, …)
▪ Attitude (tov advertentie, film, artikel, …)
▪ Gedrag (click-through, kijkgedrag, eetgedrag, drinkgedrag, gokgedrag, …)
- Oorzaak/cause = onafhankelijke variabele (IV)
o = verklaring waarom deze dingen gebeurd zijn
o Variabele waarvan we het effect willen te weten komen
o Wordt gemanipuleerd of gemeten (bijv leeftijd)
Medische wereld: = randomized clinical trials (RCT’s), Web design & marktonderzoek: = A/B testing; in
sociale wetenschappen verschilt de taal een beetje, maar het doel blijft hetzelfde
De beste behandeling (of oorzaak) vinden voor een bepaald probleem
Mediatoren Causaliteit toont aan welk effect er optreedt, de vraag blijft waarom?
- Wat is de mogelijke verklaring voor de impact van gewelddadige
videogames?
o Kan geweld normaliseren
o Kan de gevolgen van geweld minimaliseren
Moderatoren = Onder welke omstandigheden treedt het effect op?
1.2. Experiments compared to other methods
Wat gebeurt er als er iets verandert, terwijl alle andere factoren constant blijven?
- Onafhankelijke variabele
o Experimentele conditie
o Controle conditie
o ! Manipuleer enkel de variabele die je wil manipuleren. Hou al de rest onder controle
Het grootste voordeel van de experimentele methode is dat het een krachtige tool om causation te
vinden biedt
,2 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
Minder dominant in communicatiewetenschappen?
- Hangt af van de subdiscipline (bijv media studies is zeer kwalitatief)
- Persuasieve communicatie en gezondheidscommunicatie dominanter
1.3. Basic criteria for experiments
Een echt experiment moet alle 3 bevatten!
1) De oorzaak moet het effect vooraf gaan
o De ooievaar komt inderdaad voor de baby
2) De oorzaak moet gerelateerd zijn aan het effect
o Er was geen logische/theoretische reden en geen empirisch bewijs dat suggereert dat ooievaars baby’s
brengen
3) Er mogen geen mogelijke alternatieve verklaringen zijn voor het effect
o Naoorlogse jaren waarin meer werd gebouwd in de steden omwille van grotere werkgelegenheid en
soldaten na de oorlog terug thuis kwamen
1.4. Elements of experiments
1.4.1. Variation
= Dingen veranderen/variëren; als niets verandert, is er niets om te bestuderen
Iets moet veranderen Dmv de onafhankelijke variabele (IV) te manipuleren
- = manipulation, treatment, interevention
- Researcher moet dit zorgvuldig controleren!
Slechts 1 iets per keer Anders is het onmogelijk om te zeggen wat nu de oorzaak was voor de
mag variëren uitkomst
- Wnr je toch meerdere dingen wilt testen, mogen deze niet
covariëren (mogen niet samen variëren)
- Overige informatie moet constant blijven
! In de realiteit is een oorzaak zelden univariaat, of veroorzaakt door 1 variabele
! Soms kan iets niet gemanipuleerd worden (bijv socio-demografie)
Case: Blootstelling aan media manipuleren of meten? (Jerit et al., 2016, Communication Methods and measures)
- Zeer moeilijk accuraat te herinneren:
o Hoeveel advertenties zie je dagelijks? Hoeveel uur kijk je TV? Hoeveel uur gebruik je je
smartphone?
- Maar ook delicaat om te manipuleren
o Bijv Laat je een kind gewelddadige videogame spelen of een reclame zien voor ongezonde
voeding?
- + bezorgdheid over het realisme (labsetting vs huisomgeving)
3 experimenten bij studenten uit de VS (total N= 296)
- 2 x 2 design:
o General: thinking about the past few days, do
you recall seeing any information about job
growth in the US? Yes/No
o Specific: Thinking about the survey you
completed a few days ago on campus, do you
recall seeing any information about job growth in the US? Yes/No
,3 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
Resultaten:
- Tendens dat mensen in de experimentele groep zeggen het artikel gelezen te hebben, maar…
o 57% van de respo’s in de controlegroep zegt foutief een artikel te hebben gelezen
o Ongeveer 1/3 in de experimentele groep zegt foutief zich geen artikel te herinneren.
- Blootstelling aan het artikel zorgt voor significant meer kennis over het topic.
o Opvallend: ‘measured exposure’ hangt negatief samen met kennis!
Foute recall te wijten aan algemene aandacht voor het topic
- Formulering van de vraag had geen impact op de accuraatheid van de antwoorden
- De specifieke vraag hielp mensen zich iets beter te herinneren wat er precies in het artikel stond
Conclusie:
- Herinnering wordt sterk beïnvloed door gewoontes
- Effectieve blootstelling beter – tracking van smartphone data de oplossing?
Case: Impact van cause-related marketing van gokmerken? (De
Jans, Hudders & Stanford, 2024, working paper)
- Zelfde visual
- Tekst zo gelijkaardig mogelijk
- Zelfde merknaam (fictief merk)
- Zelfde aantal likes, shares, comments
Conceptueel model:
1.4.2. Confounds
= Dingen die een mogelijks alternatieve uitleg kunnen bieden (belangrijk om in je onderzoek geen te
hebben!)
- Controleer goed voor externe invloeden die de uitkomst zouden kunnen veroorzaakt hebben
- = een mogelijks alternatieve uitleg waar niet op gecontroleerd werd
- Hoe tegengaan?
o Pas enkel de dingen aan die je wil onderzoeken, hoe de rest constant
▪ Bijv in een onderzoek naar racisme pas je in de foto enkel de huidskleur van
de persoon via photoshop aan; de achtergrond, camerapositie,
gezichtsuitdrukking, … blijven hetzelfde
o Wees in experimenten zo type A mogelijk (muggenziften, extreem letten op details)
Hoe vind je mogelijke confounds?
Logisch verstand gebruiken Het is belangrijk op potentiële confounds te controleren waarvan je
eigen gezonde verstand zegt dat het de uitkomst zou kunnen
beïnvloeden
- Het is niet omdat je iets niet in de literatuur vindt, dat je het
mogelijkse effect waaraan je denkt moet links laten liggen
- Bouw het in je experiment, test het en je zal het zien
,4 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
Andere studies lezen Het is belangrijk om de literatuur te lezen om dingen te ontdekken
die gecontroleerd moeten worden;
- Niet alles waarvan men zou denken dat het een potentiële
ongewenste relatie zou hebben tussen een onafhankelijke
en afhankelijke variabele, heeft dat daadwerkelijk
- Er zijn al zodanig veel onderzoeken geweest over hoe je iets
nu het best onderzoekt, en welke dingen wel of geen invloed
kunnen hebben. Gebruik ze dan en probeer niet telkens
weer het warm water uit te vinden
= > Experimental control: controleren voor deze potentiële confounds dmv stimuli creëren die niet
impliciet of expliciet aanduiden; de verschillende variabelen zorgvuldig managen
= > Confounds die je niet kunt vermijden (bijv Politieke ideologie) meemeten, zodat je hiervoor kunt
controleren (= covariaat)
1.4.3. Control groups
Wat is je vergelijkingsbasis?
- Cruciale beslissing
- Geen ‘behandeling’/ ‘blootstelling’ is geen optie (cf. placebo)
o Vreemd voor participanten
o Cognitieve belasting verschillend vragen die je niet kunt beantwoorden
o Vragen die je niet kunt beantwoorden
- Normaal/neutraal – wat is neutraal?
o Positieve emoties vs negatieve emoties? Rationele ad?
o Reclamewijsheid les vs les over duurzaamheid
Het is nuttig om te weten wat gebeurt met de mensen die een stimulus toegediend krijgen, maar het
is ook interessant om te weten wat zou gebeuren moest iemand dit niet krijgen (placebo, effect
meten, …) ; dit kan adhv een groep die geen behandeling krijgt = controle groep
- Geeft ons een manier om in te grijpen in wat de uitkomst zou geweest zijn, moest er geen
behandeling geweest zijn
- Het effect is het verschil tussen wat effectief gebeurde wanneer mensen een behandeling
kregen, en wat zou gebeurd zijn moesten ze dit niet gekregen hebben
- Waarom?
o Staat toe de effecten van 1 variabele per keer te isoleren en testen
o Biedt een grotere zekerheid dat het effect ontstaat door de variabele en niet door
iets anders (sluit confounds uit)
Placebo: (denk medisch onderzoek) lijkt op de behandeling (pilletje, spuitje, …), maar is alleen
bedoeld om mensen te laten denken dat ze iets gehad hebben
- De kracht van suggestie is erg belangrijk dat het niet genoeg is om niets te doen met de
mensen in de controle groep
,5 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
o Ze moeten denken dat ze een behandeling gehad hebben
o Soms is de kracht van suggestie al genoeg om een effect te merken (= placebo-effect)
- Sociale wetenschappen: kan soms een probleem vormen!
o Je kan de controle groep in bijvoorbeeld een marketing onderzoek niet gewoon laten
komen om de vragenlijst in te vullen, zonder dat ze de reclame gezien hebben… zo
zouden ze de studie als te artificieel zien
- ! ≠ Hawthorne-effect: respondenten reageren/handelen anders omdat ze weten dat ze
geobserveerd worden
Experimenten hebben een manier nodig om te vergelijken wat gebeurd met mensen die de
behandeling krijgen vs wat gebeurd met mensen die dit niet krijgen.
1.4.4. Assignment
Toewijzing = Hoe mensen worden toegewezen tot verschillende interventies in een experiment
De gouden standaard is (toevallige) random assignment: respondenten in groepen plaatsen op zo
een manier dat individuele verschillen gelijk verdeeld zijn over de verschillende groepen
- Belangrijk om te garanderen dat individuele karakteristieken van respondenten geen
confounds zijn
- Vermijd systematische vertekening doordat bepaalde kenmerken meer voorkomen in de ene
dan de andere groep
- Groepen moeten gelijk zijn – toevallige (random) toewijzing
o Geen verschillen tussen groepen op individuele kenmerken
o = elk individu moet gelijke kans hebben in de experimentele groep terecht te komen
o Wanneer kenmerken ‘random’ verspreid zitten: uitersten zullen elkaar opheffen
o Ethisch soms moeilijk (bijv geneeskunde)
1.5. Starting a study of your own
1) Schrijf een duidelijk en consistente statement van
het research probleem
2) Bepalen van OV + opbouwen hypotheses
o Concrete verwachtingen formuleren die je
dan gaat toetsen in je experiment
o Literatuurstudie
3) Bepalen experimenteel design
o Wat is je experimenteel design? Wat zijn je
condities? Hoe gaat je experiment eruit
zien?
o Zie H4 en H6
4) Opzetten experimenteel design
o Ontwikkelen en pretesten van stimulus materiaal (het creatieve in een experiment)
▪ Wat zien je respondenten?
▪ Stimuli design, stimuli aanmaken (televisiefragment, laten inleven, …)
o Respondenten verzamelen/ steekproef bepalen
▪ Wie gaat er deelnemen? Hoeveel respondenten hebben we nodig?
,6 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
o Opstellen meetinstrument
▪ Een van de belangrijkste zaken in experimenteel onderzoek
▪ Beslissingen over hoe we kunnen nagaan wat nu de impact is van onze
manipulaties
▪ Hoe weet je hoe de respondent daardoor beïnvloed is?
5) Verzamelen data
6) Analyse + rapportering data
Genesis van alle studies: “Veroorzaakt A B?”
1.5.1. Writing a statement of the problem
Een goede manier op te starten is met de zin: “Het doel van deze studie is…”
Elke probleem-statement bevat 3 dingen;
1) Wat is de interventie, manipulatie, of oorzaak? Wat ga je manipuleren?
o = onafhankelijke variabelen
2) Bevat een werkwoord; Wat zal de cause doen?
o Beschrijft de verwachte actie van de cause op de uitkomst
o Wat een ding verwacht wordt te doen op een ander ding
o ! Blijf weg van de minder precieze woorden (“explore”, “understand”, “examine”), en
gebruik in de plaats meer specifieke, casual taal (“improves”, “differs”, …)
3) Wat is het effect/ de uitkomst? Met welke uitkomst?
o = afhankelijke variabelen
1.5.2. Answering the “So What” question
Duidelijk maken waarom deze studie belangrijk is; moeten het voor de hand liggende verklaren
Denk aan de reden waarom deze studie belangrijk is op 3 levels;
1) Aan andere academici
2) Aan professionals in het veld
3) Aan de maatschappij/mensen in het algemen
Vaak duiden onderzoekers het belang aan andere academici, maar vergeten ze de 2 andere groepen.
Voor elke soort studie is duidelijk kunnen maken waarom jouw bevindingen betekenisvol zijn buiten
het academische cruciaal voor onderzoek dat een verschil maakt. Kunnen zeggen waarom de gehele
maatschappij voordeel heeft aan de resultaten is betekenisvollere wetenschap
Beantwoord de “So What”-vraag: zal het gelijk wie helpen/sociale problemen verbeteren? Niet elke
studie zal voor wereldvrede zorgen, maar het zou kunnen helpen de racial profiling te verminderen,
een moreel verwerpelijke praktijken veranderen, of beleidsmakers de nodige informatie geven om
een wet te stemmen
,7 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
1.6. Studies uit de les
1.6.1. Kinderen tonen op je sociale media
Kinderen die een eigen profiel hebben of ouders die hun kind vaak afbeelden? Waarom zou je dat
doen?
Als iemand komt aanbellen voor een foto van je kind, zal je die toch ook niet tonen. Influencers
kennen heel wat mensen niet persoonlijk, maar die krijgen toch inzicht in het leven van je kind.
Grootste risico’s volgens experts:
1) Identiteit 3) Welzijn
2) Privacy 4) Economische exploitatie
= > Recap Dirk: website om bewustwording te creëren (omatje die haar volwassen zoon evenveel
deelt zoals sommige ouders hun kleine kinderen delen; in bad, …) https://magditonline.ugent.be/#/home
Wat als je je kinderen wel wilt delen, maar op anonieme manier zoals bijvoorbeeld door een emoji op
hun gezicht te plakken?
Kwalitatief onderzoek: exploratief te werk gaan
Kwantitatief onderzoek: je hebt al concrete verwachtingen obv voorafgaand onderzoek, of theorieën
!! Je mag maar 1 iets manipuleren; anders weet je niet goed wat nu het effect veroorzaakt heeft
- Presence child = onafhankelijke variabele
- Reclame effectiviteit = afhankelijke variabele
o Moet dat operationaliseren, meetbaar maken
1.6.2. Studie 1
Hypotheses:
Zal het aan-/afwezig zijn van het kind een
positief effect hebben op engagement?
,8 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
Design + stimuli:
Is er een effect + waarom is er een effect?
En idealiter: in welke omstandigheden is het effect er wel/niet,
positief/negatief (boundary)
Resultaten:
- 154 moeders tussen 23-54 jaar
o Zwanger of minstens 1 kind jonger dan 13
o Actief op instagram
o Mleeftijd = 33.04
o 86.4% volgt momfluencers
- Resultaten:
o Geen significante verschillen
CONCLUSIE Het al dan niet afbeelden van een kind heeft geen invloed op reclame-effectiviteit
- Manipulatie niet sterk genoeg?
o > 20% zei een kind gezien te hebben in de foto wanneer er geen kind
in de foto te zien was
- Te grote focus op ‘reclame’?
Onderliggende mechanismen?
1.6.3. Studie 2: ook onderliggende mechanismen proberen meenemen
<Hypothese
Stimulus materiaal >
Resultaten:
- 144 moeders tussen 22-54 jaar:
o Zwanger of minstens 1 kind jonger dan 13
o Actief op instagram
o Mleeftijd = 33 jaar
o 84% volgt momfluencers
- Manipulatiecheck:
o 95% correct wanneer afwezig, 97% correct
wanneer aanwezig
- Resultaten:
o Geen significante verschillen
! Geen verschil op authenticiteit, wel op cuteness
,9 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
Effect on engagement via cuteness:
Cuteness was blijkbaar ook een mediator, meer
engagement, omdat ze de foto met het kind schattiger
vonden en dat zorgde ook voor minder irritatie
Leidde niet tot hogere aankoopintentie, maar wel tot
hogere merkattitude
CONCLUSIE - Cf. studie 1
o Geen direct effect van het al dan niet afbeelden van een kind op
reclame effectiviteit
- Maar cuteness sells
o Indirect effect via schattigheid op engagement, advertising value,
merk attitude
o Niet op aankoopintentie
- Maar: ook een direct negatief effect → minder leuk, minder engagement en
minder nuttig
- Kan privacy bewustzijn deze negatieve effecten verklaren?
1.6.4. Studie 3
170 moeders tussen 23-43 jaar:
o Zwanger of minstens 1 kind jonger dan 13
o Actief op instagram
o Mleeftijd = 33 jaar
o 83% volgt momfluencers
- Manipulatiecheck:
o 94% correct wanneer afwezig, 86% correct wanneer
aanwezig
- Resultaten:
o Significante verschillen
1.6.5. Algemene conclusie
Kind aanwezig in gesponsorde content:
- Verhoogt gepercipieerde schattigheid
o => meer engagement, hogere ad value, positievere merkattitude
- Zorgt niet voor hogere authenticiteitsperceptie
- ! Verhoogt privacy bezorgdheid, wat zorgt voor kritische houding tov de advertentie en
aanleiding geeft tot negatieve reclame-effecten
, 10 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
1.7. Vaak gemaakte fouten
- Niet duidelijk zeggen wat het doel van het onderzoek is, en het niet consistent houden
doorheen de paper
- Niet alle dingen die je wilt bestuderen in 1 plaats zetten, maar de doelen van de studie
geleidelijk aan doorheen de paper laten ontplooien
- Geen statement van het doel bovenaan de paper, in de introductie en voor pagina 3 plaatsen
- Niet zeggen waarom de studie belangrijk is voor theorie, andere researchers, het vak en
normale mensen
o “Omdat het nooit gedaan is” is geen reden waarom een studie belangrijk is op
zichzelf
Zelftest cursus: pp. 17-19
2. Ethics and famous experiments in history
Impact vrouwen onderschat!
Mary Whiton Calkins - Geheugentaak: Paired Associates Task: hoe encoderen
(experimenteel psychologe) mensen nieuwe info en hoe halen ze die terug op –
associatie tussen twee (ongerelateerde) woorden (bijv.
Brief – kachel)
- Kreeg geen PhD-titel van Harvard
- Bekritiseerde Jastrow – confounds!
o Schrijf snel woorden op
▪ Mannen: constructief, nuttig, abstract
▪ Vrouwen: herhalend, individueel, concreet
o Confounding effecten van omgeving, opvoeding en
educatieverschillen
Mamie Phipps Clark - Eerste Afrikaans-Amerikaanse vrouw met een PhD aan de
(psychologe) Universiteit van Columbia
- Clark doll test:
o “Show me the doll that you like to play with … the
doll that’s a nice doll… the doll that’s a bad doll.”
o Meerderheid van de Afrikaans-Amerikaanse
kinderen in gesegregeerde scholen wezen de
zwarte pop af.
o Toonde aan dat kinderen emotioneel en
psychologisch beschadigd zijn door segregatie in
scholen
- Gebruikt in een rechtszaak en zorgde ervoor dat er niet
langer een strikte scheiding was tussen zwarte en witte
scholen
Mary Ainsworth - ‘Strange Situation’ – begrip over hoe kinderen zich hechten
aan verzorgers
- Kinderen geobserveerd door een spiegel
- Elke 15 seconden werd de observatie geregistreerd op een
7-punten schaal
1. Discovering cause and effect
Experimenteel onderzoek: Wetenschappelijke toetsing van een hypothese/principe onder
gecontroleerde omstandigheden waarbij een causaal verband tussen 2 variabelen wordt gezocht
- Causaal verband: oorzaak – gevolgrelatie nagaan
- Hypothese toetsten onder gecontroleerde omstandigheden, waarbij je een causaal verband
tussen 2 variabelen (afh & onafh) wil onderzoeken
- Verschil met survey: kan geen causaal verband vaststellen, enkel correlatie
1.1. Causation
- Effect/gevolg = afhankelijke variabele (DV)
o = wat gebeurde
o Variabele die beïnvloed wordt, bijvoorbeeld
▪ Kennis (mediawijsheid, reclamewijsheid, …)
▪ Attitude (tov advertentie, film, artikel, …)
▪ Gedrag (click-through, kijkgedrag, eetgedrag, drinkgedrag, gokgedrag, …)
- Oorzaak/cause = onafhankelijke variabele (IV)
o = verklaring waarom deze dingen gebeurd zijn
o Variabele waarvan we het effect willen te weten komen
o Wordt gemanipuleerd of gemeten (bijv leeftijd)
Medische wereld: = randomized clinical trials (RCT’s), Web design & marktonderzoek: = A/B testing; in
sociale wetenschappen verschilt de taal een beetje, maar het doel blijft hetzelfde
De beste behandeling (of oorzaak) vinden voor een bepaald probleem
Mediatoren Causaliteit toont aan welk effect er optreedt, de vraag blijft waarom?
- Wat is de mogelijke verklaring voor de impact van gewelddadige
videogames?
o Kan geweld normaliseren
o Kan de gevolgen van geweld minimaliseren
Moderatoren = Onder welke omstandigheden treedt het effect op?
1.2. Experiments compared to other methods
Wat gebeurt er als er iets verandert, terwijl alle andere factoren constant blijven?
- Onafhankelijke variabele
o Experimentele conditie
o Controle conditie
o ! Manipuleer enkel de variabele die je wil manipuleren. Hou al de rest onder controle
Het grootste voordeel van de experimentele methode is dat het een krachtige tool om causation te
vinden biedt
,2 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
Minder dominant in communicatiewetenschappen?
- Hangt af van de subdiscipline (bijv media studies is zeer kwalitatief)
- Persuasieve communicatie en gezondheidscommunicatie dominanter
1.3. Basic criteria for experiments
Een echt experiment moet alle 3 bevatten!
1) De oorzaak moet het effect vooraf gaan
o De ooievaar komt inderdaad voor de baby
2) De oorzaak moet gerelateerd zijn aan het effect
o Er was geen logische/theoretische reden en geen empirisch bewijs dat suggereert dat ooievaars baby’s
brengen
3) Er mogen geen mogelijke alternatieve verklaringen zijn voor het effect
o Naoorlogse jaren waarin meer werd gebouwd in de steden omwille van grotere werkgelegenheid en
soldaten na de oorlog terug thuis kwamen
1.4. Elements of experiments
1.4.1. Variation
= Dingen veranderen/variëren; als niets verandert, is er niets om te bestuderen
Iets moet veranderen Dmv de onafhankelijke variabele (IV) te manipuleren
- = manipulation, treatment, interevention
- Researcher moet dit zorgvuldig controleren!
Slechts 1 iets per keer Anders is het onmogelijk om te zeggen wat nu de oorzaak was voor de
mag variëren uitkomst
- Wnr je toch meerdere dingen wilt testen, mogen deze niet
covariëren (mogen niet samen variëren)
- Overige informatie moet constant blijven
! In de realiteit is een oorzaak zelden univariaat, of veroorzaakt door 1 variabele
! Soms kan iets niet gemanipuleerd worden (bijv socio-demografie)
Case: Blootstelling aan media manipuleren of meten? (Jerit et al., 2016, Communication Methods and measures)
- Zeer moeilijk accuraat te herinneren:
o Hoeveel advertenties zie je dagelijks? Hoeveel uur kijk je TV? Hoeveel uur gebruik je je
smartphone?
- Maar ook delicaat om te manipuleren
o Bijv Laat je een kind gewelddadige videogame spelen of een reclame zien voor ongezonde
voeding?
- + bezorgdheid over het realisme (labsetting vs huisomgeving)
3 experimenten bij studenten uit de VS (total N= 296)
- 2 x 2 design:
o General: thinking about the past few days, do
you recall seeing any information about job
growth in the US? Yes/No
o Specific: Thinking about the survey you
completed a few days ago on campus, do you
recall seeing any information about job growth in the US? Yes/No
,3 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
Resultaten:
- Tendens dat mensen in de experimentele groep zeggen het artikel gelezen te hebben, maar…
o 57% van de respo’s in de controlegroep zegt foutief een artikel te hebben gelezen
o Ongeveer 1/3 in de experimentele groep zegt foutief zich geen artikel te herinneren.
- Blootstelling aan het artikel zorgt voor significant meer kennis over het topic.
o Opvallend: ‘measured exposure’ hangt negatief samen met kennis!
Foute recall te wijten aan algemene aandacht voor het topic
- Formulering van de vraag had geen impact op de accuraatheid van de antwoorden
- De specifieke vraag hielp mensen zich iets beter te herinneren wat er precies in het artikel stond
Conclusie:
- Herinnering wordt sterk beïnvloed door gewoontes
- Effectieve blootstelling beter – tracking van smartphone data de oplossing?
Case: Impact van cause-related marketing van gokmerken? (De
Jans, Hudders & Stanford, 2024, working paper)
- Zelfde visual
- Tekst zo gelijkaardig mogelijk
- Zelfde merknaam (fictief merk)
- Zelfde aantal likes, shares, comments
Conceptueel model:
1.4.2. Confounds
= Dingen die een mogelijks alternatieve uitleg kunnen bieden (belangrijk om in je onderzoek geen te
hebben!)
- Controleer goed voor externe invloeden die de uitkomst zouden kunnen veroorzaakt hebben
- = een mogelijks alternatieve uitleg waar niet op gecontroleerd werd
- Hoe tegengaan?
o Pas enkel de dingen aan die je wil onderzoeken, hoe de rest constant
▪ Bijv in een onderzoek naar racisme pas je in de foto enkel de huidskleur van
de persoon via photoshop aan; de achtergrond, camerapositie,
gezichtsuitdrukking, … blijven hetzelfde
o Wees in experimenten zo type A mogelijk (muggenziften, extreem letten op details)
Hoe vind je mogelijke confounds?
Logisch verstand gebruiken Het is belangrijk op potentiële confounds te controleren waarvan je
eigen gezonde verstand zegt dat het de uitkomst zou kunnen
beïnvloeden
- Het is niet omdat je iets niet in de literatuur vindt, dat je het
mogelijkse effect waaraan je denkt moet links laten liggen
- Bouw het in je experiment, test het en je zal het zien
,4 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
Andere studies lezen Het is belangrijk om de literatuur te lezen om dingen te ontdekken
die gecontroleerd moeten worden;
- Niet alles waarvan men zou denken dat het een potentiële
ongewenste relatie zou hebben tussen een onafhankelijke
en afhankelijke variabele, heeft dat daadwerkelijk
- Er zijn al zodanig veel onderzoeken geweest over hoe je iets
nu het best onderzoekt, en welke dingen wel of geen invloed
kunnen hebben. Gebruik ze dan en probeer niet telkens
weer het warm water uit te vinden
= > Experimental control: controleren voor deze potentiële confounds dmv stimuli creëren die niet
impliciet of expliciet aanduiden; de verschillende variabelen zorgvuldig managen
= > Confounds die je niet kunt vermijden (bijv Politieke ideologie) meemeten, zodat je hiervoor kunt
controleren (= covariaat)
1.4.3. Control groups
Wat is je vergelijkingsbasis?
- Cruciale beslissing
- Geen ‘behandeling’/ ‘blootstelling’ is geen optie (cf. placebo)
o Vreemd voor participanten
o Cognitieve belasting verschillend vragen die je niet kunt beantwoorden
o Vragen die je niet kunt beantwoorden
- Normaal/neutraal – wat is neutraal?
o Positieve emoties vs negatieve emoties? Rationele ad?
o Reclamewijsheid les vs les over duurzaamheid
Het is nuttig om te weten wat gebeurt met de mensen die een stimulus toegediend krijgen, maar het
is ook interessant om te weten wat zou gebeuren moest iemand dit niet krijgen (placebo, effect
meten, …) ; dit kan adhv een groep die geen behandeling krijgt = controle groep
- Geeft ons een manier om in te grijpen in wat de uitkomst zou geweest zijn, moest er geen
behandeling geweest zijn
- Het effect is het verschil tussen wat effectief gebeurde wanneer mensen een behandeling
kregen, en wat zou gebeurd zijn moesten ze dit niet gekregen hebben
- Waarom?
o Staat toe de effecten van 1 variabele per keer te isoleren en testen
o Biedt een grotere zekerheid dat het effect ontstaat door de variabele en niet door
iets anders (sluit confounds uit)
Placebo: (denk medisch onderzoek) lijkt op de behandeling (pilletje, spuitje, …), maar is alleen
bedoeld om mensen te laten denken dat ze iets gehad hebben
- De kracht van suggestie is erg belangrijk dat het niet genoeg is om niets te doen met de
mensen in de controle groep
,5 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
o Ze moeten denken dat ze een behandeling gehad hebben
o Soms is de kracht van suggestie al genoeg om een effect te merken (= placebo-effect)
- Sociale wetenschappen: kan soms een probleem vormen!
o Je kan de controle groep in bijvoorbeeld een marketing onderzoek niet gewoon laten
komen om de vragenlijst in te vullen, zonder dat ze de reclame gezien hebben… zo
zouden ze de studie als te artificieel zien
- ! ≠ Hawthorne-effect: respondenten reageren/handelen anders omdat ze weten dat ze
geobserveerd worden
Experimenten hebben een manier nodig om te vergelijken wat gebeurd met mensen die de
behandeling krijgen vs wat gebeurd met mensen die dit niet krijgen.
1.4.4. Assignment
Toewijzing = Hoe mensen worden toegewezen tot verschillende interventies in een experiment
De gouden standaard is (toevallige) random assignment: respondenten in groepen plaatsen op zo
een manier dat individuele verschillen gelijk verdeeld zijn over de verschillende groepen
- Belangrijk om te garanderen dat individuele karakteristieken van respondenten geen
confounds zijn
- Vermijd systematische vertekening doordat bepaalde kenmerken meer voorkomen in de ene
dan de andere groep
- Groepen moeten gelijk zijn – toevallige (random) toewijzing
o Geen verschillen tussen groepen op individuele kenmerken
o = elk individu moet gelijke kans hebben in de experimentele groep terecht te komen
o Wanneer kenmerken ‘random’ verspreid zitten: uitersten zullen elkaar opheffen
o Ethisch soms moeilijk (bijv geneeskunde)
1.5. Starting a study of your own
1) Schrijf een duidelijk en consistente statement van
het research probleem
2) Bepalen van OV + opbouwen hypotheses
o Concrete verwachtingen formuleren die je
dan gaat toetsen in je experiment
o Literatuurstudie
3) Bepalen experimenteel design
o Wat is je experimenteel design? Wat zijn je
condities? Hoe gaat je experiment eruit
zien?
o Zie H4 en H6
4) Opzetten experimenteel design
o Ontwikkelen en pretesten van stimulus materiaal (het creatieve in een experiment)
▪ Wat zien je respondenten?
▪ Stimuli design, stimuli aanmaken (televisiefragment, laten inleven, …)
o Respondenten verzamelen/ steekproef bepalen
▪ Wie gaat er deelnemen? Hoeveel respondenten hebben we nodig?
,6 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
o Opstellen meetinstrument
▪ Een van de belangrijkste zaken in experimenteel onderzoek
▪ Beslissingen over hoe we kunnen nagaan wat nu de impact is van onze
manipulaties
▪ Hoe weet je hoe de respondent daardoor beïnvloed is?
5) Verzamelen data
6) Analyse + rapportering data
Genesis van alle studies: “Veroorzaakt A B?”
1.5.1. Writing a statement of the problem
Een goede manier op te starten is met de zin: “Het doel van deze studie is…”
Elke probleem-statement bevat 3 dingen;
1) Wat is de interventie, manipulatie, of oorzaak? Wat ga je manipuleren?
o = onafhankelijke variabelen
2) Bevat een werkwoord; Wat zal de cause doen?
o Beschrijft de verwachte actie van de cause op de uitkomst
o Wat een ding verwacht wordt te doen op een ander ding
o ! Blijf weg van de minder precieze woorden (“explore”, “understand”, “examine”), en
gebruik in de plaats meer specifieke, casual taal (“improves”, “differs”, …)
3) Wat is het effect/ de uitkomst? Met welke uitkomst?
o = afhankelijke variabelen
1.5.2. Answering the “So What” question
Duidelijk maken waarom deze studie belangrijk is; moeten het voor de hand liggende verklaren
Denk aan de reden waarom deze studie belangrijk is op 3 levels;
1) Aan andere academici
2) Aan professionals in het veld
3) Aan de maatschappij/mensen in het algemen
Vaak duiden onderzoekers het belang aan andere academici, maar vergeten ze de 2 andere groepen.
Voor elke soort studie is duidelijk kunnen maken waarom jouw bevindingen betekenisvol zijn buiten
het academische cruciaal voor onderzoek dat een verschil maakt. Kunnen zeggen waarom de gehele
maatschappij voordeel heeft aan de resultaten is betekenisvollere wetenschap
Beantwoord de “So What”-vraag: zal het gelijk wie helpen/sociale problemen verbeteren? Niet elke
studie zal voor wereldvrede zorgen, maar het zou kunnen helpen de racial profiling te verminderen,
een moreel verwerpelijke praktijken veranderen, of beleidsmakers de nodige informatie geven om
een wet te stemmen
,7 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
1.6. Studies uit de les
1.6.1. Kinderen tonen op je sociale media
Kinderen die een eigen profiel hebben of ouders die hun kind vaak afbeelden? Waarom zou je dat
doen?
Als iemand komt aanbellen voor een foto van je kind, zal je die toch ook niet tonen. Influencers
kennen heel wat mensen niet persoonlijk, maar die krijgen toch inzicht in het leven van je kind.
Grootste risico’s volgens experts:
1) Identiteit 3) Welzijn
2) Privacy 4) Economische exploitatie
= > Recap Dirk: website om bewustwording te creëren (omatje die haar volwassen zoon evenveel
deelt zoals sommige ouders hun kleine kinderen delen; in bad, …) https://magditonline.ugent.be/#/home
Wat als je je kinderen wel wilt delen, maar op anonieme manier zoals bijvoorbeeld door een emoji op
hun gezicht te plakken?
Kwalitatief onderzoek: exploratief te werk gaan
Kwantitatief onderzoek: je hebt al concrete verwachtingen obv voorafgaand onderzoek, of theorieën
!! Je mag maar 1 iets manipuleren; anders weet je niet goed wat nu het effect veroorzaakt heeft
- Presence child = onafhankelijke variabele
- Reclame effectiviteit = afhankelijke variabele
o Moet dat operationaliseren, meetbaar maken
1.6.2. Studie 1
Hypotheses:
Zal het aan-/afwezig zijn van het kind een
positief effect hebben op engagement?
,8 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
Design + stimuli:
Is er een effect + waarom is er een effect?
En idealiter: in welke omstandigheden is het effect er wel/niet,
positief/negatief (boundary)
Resultaten:
- 154 moeders tussen 23-54 jaar
o Zwanger of minstens 1 kind jonger dan 13
o Actief op instagram
o Mleeftijd = 33.04
o 86.4% volgt momfluencers
- Resultaten:
o Geen significante verschillen
CONCLUSIE Het al dan niet afbeelden van een kind heeft geen invloed op reclame-effectiviteit
- Manipulatie niet sterk genoeg?
o > 20% zei een kind gezien te hebben in de foto wanneer er geen kind
in de foto te zien was
- Te grote focus op ‘reclame’?
Onderliggende mechanismen?
1.6.3. Studie 2: ook onderliggende mechanismen proberen meenemen
<Hypothese
Stimulus materiaal >
Resultaten:
- 144 moeders tussen 22-54 jaar:
o Zwanger of minstens 1 kind jonger dan 13
o Actief op instagram
o Mleeftijd = 33 jaar
o 84% volgt momfluencers
- Manipulatiecheck:
o 95% correct wanneer afwezig, 97% correct
wanneer aanwezig
- Resultaten:
o Geen significante verschillen
! Geen verschil op authenticiteit, wel op cuteness
,9 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
Effect on engagement via cuteness:
Cuteness was blijkbaar ook een mediator, meer
engagement, omdat ze de foto met het kind schattiger
vonden en dat zorgde ook voor minder irritatie
Leidde niet tot hogere aankoopintentie, maar wel tot
hogere merkattitude
CONCLUSIE - Cf. studie 1
o Geen direct effect van het al dan niet afbeelden van een kind op
reclame effectiviteit
- Maar cuteness sells
o Indirect effect via schattigheid op engagement, advertising value,
merk attitude
o Niet op aankoopintentie
- Maar: ook een direct negatief effect → minder leuk, minder engagement en
minder nuttig
- Kan privacy bewustzijn deze negatieve effecten verklaren?
1.6.4. Studie 3
170 moeders tussen 23-43 jaar:
o Zwanger of minstens 1 kind jonger dan 13
o Actief op instagram
o Mleeftijd = 33 jaar
o 83% volgt momfluencers
- Manipulatiecheck:
o 94% correct wanneer afwezig, 86% correct wanneer
aanwezig
- Resultaten:
o Significante verschillen
1.6.5. Algemene conclusie
Kind aanwezig in gesponsorde content:
- Verhoogt gepercipieerde schattigheid
o => meer engagement, hogere ad value, positievere merkattitude
- Zorgt niet voor hogere authenticiteitsperceptie
- ! Verhoogt privacy bezorgdheid, wat zorgt voor kritische houding tov de advertentie en
aanleiding geeft tot negatieve reclame-effecten
, 10 EXPERIMENTELE DESIGNS 2024 (Liselot Hudders) | Camille V.
1.7. Vaak gemaakte fouten
- Niet duidelijk zeggen wat het doel van het onderzoek is, en het niet consistent houden
doorheen de paper
- Niet alle dingen die je wilt bestuderen in 1 plaats zetten, maar de doelen van de studie
geleidelijk aan doorheen de paper laten ontplooien
- Geen statement van het doel bovenaan de paper, in de introductie en voor pagina 3 plaatsen
- Niet zeggen waarom de studie belangrijk is voor theorie, andere researchers, het vak en
normale mensen
o “Omdat het nooit gedaan is” is geen reden waarom een studie belangrijk is op
zichzelf
Zelftest cursus: pp. 17-19
2. Ethics and famous experiments in history
Impact vrouwen onderschat!
Mary Whiton Calkins - Geheugentaak: Paired Associates Task: hoe encoderen
(experimenteel psychologe) mensen nieuwe info en hoe halen ze die terug op –
associatie tussen twee (ongerelateerde) woorden (bijv.
Brief – kachel)
- Kreeg geen PhD-titel van Harvard
- Bekritiseerde Jastrow – confounds!
o Schrijf snel woorden op
▪ Mannen: constructief, nuttig, abstract
▪ Vrouwen: herhalend, individueel, concreet
o Confounding effecten van omgeving, opvoeding en
educatieverschillen
Mamie Phipps Clark - Eerste Afrikaans-Amerikaanse vrouw met een PhD aan de
(psychologe) Universiteit van Columbia
- Clark doll test:
o “Show me the doll that you like to play with … the
doll that’s a nice doll… the doll that’s a bad doll.”
o Meerderheid van de Afrikaans-Amerikaanse
kinderen in gesegregeerde scholen wezen de
zwarte pop af.
o Toonde aan dat kinderen emotioneel en
psychologisch beschadigd zijn door segregatie in
scholen
- Gebruikt in een rechtszaak en zorgde ervoor dat er niet
langer een strikte scheiding was tussen zwarte en witte
scholen
Mary Ainsworth - ‘Strange Situation’ – begrip over hoe kinderen zich hechten
aan verzorgers
- Kinderen geobserveerd door een spiegel
- Elke 15 seconden werd de observatie geregistreerd op een
7-punten schaal
