Samenvatting TOE experimenteel

Literatuur hoorcollege 1
p. 277-282 Two examples of simple experiments. Independent and dependent
variables
- Voor causale claims zijn experimenten nodig
- Experimentele variabelen
o Gemanipuleerde variabele = onafhankelijke variabele: wordt
gecontroleerd/toegewezen.
o Gemeten variabele = afhankelijke variabele: geregistreerde uitkomst.
o Controlevariabelen: factoren die gelijk worden gehouden om alternatieve
verklaringen uit te sluiten (verhoogt interne validiteit)

p. 292-294 Independent groups designs
Experimenten kunnen op verschillende manieren worden opgezet.
1. Between-groups design (Independent-groups design) = verschillen tussen groepen
o Deelnemers zitten in verschillende condities onafhankelijke variabele
(verschillende groepen)
 2 soorten
Posttest-Only Design: afhankelijke variabele NA manipulatie gemeten
- Als pretest moeilijk, ongewenst of beïnvloedend op resultaten is
- Voordelen
o Voldoet aan 3 voorwaarden voor causaliteit: covariantie (verband),
temporele volgorde (oorzaak vóór gevolg), interne validiteit (alternatieve
verklaringen uitgesloten)
o Random assignment vermindert selectie-effecten.

Pretest/Posttest Design: afhankelijke variabele wordt VOOR en NA manipulatie
gemeten
- Als je veranderingen over tijd wilt meten, pretest geen nadelige effecten heeft
en je wil controleren of groepen aanvankelijk vergelijkbaar zijn.
- Voordelen
o Onderzoekers kunnen controleren of groepen vóór manipulatie gelijk
waren.
o Veranderingen in prestaties kunnen nauwkeurig worden gevolgd.
o Geeft extra zekerheid dat verschillen niet door selectie-effecten komen.
2. Within-groups design = verschillen tussen personen in groep
o Elke deelnemer ervaart alle niveaus van de onafhankelijke variabele.
p. 323-359 More on experiments: confounding and obscuring variables
Bedreigingen interne validiteit (heeft onafhankelijke variabele het echt veroorzaakt?) (slide
hc 2)
- Design Confound: naast onafhankelijke variabele verandert er andere variabele
waardoor onduidelijk is welke variabele effect veroorzaakt.
- Selection Effect: groepen verschillen al vóór experiment.
- Order Effect: resultaten kunnen worden beïnvloed door volgorde effecten(vooral within-
groups designs)
- Maturation Threat (Rijping): verandering ontstaat vanzelf door verstrijken tijd
o Oplossing = controle groep (vergelijk veranderingen tussen groepen)
- History Threat: externe gebeurtenis beïnvloedt resultaten.
o Oplossing = controlegroep (vergelijkbare groep die dezelfde gebeurtenissen
meemaakt)
- Regression Threat: extreme scores worden bij 2e meting minder extreem (zijn ontstaan
door toeval, toeval herhaalt meestal niet)
o Oplossing = controlegroep (die even extreme beginscores heeft)
- Attrition Threat: deelnemers stoppen voortijdig met onderzoek (probleem wanneer
bepaald type deelnemer uitvalt)
o Oplossingen = analyseer alleen deelnemers die beide metingen hebben
voltooid, controleer uitvallers op extreme scores.
- Testing Threat: maken pretest beïnvloedt posttest  deelnemer verandert

, o Oplossingen = controlegroep, posttest-only design, gebruik verschillende versies
van zelfde test
- Instrumentation Threat: meetinstrument verandert tussen 1 e en 2e meting 
instrument verandert
o Oplossingen = meetinstrumenten kalibreren, observatoren opnieuw trainen,
tegen gebalanceerde testversies gebruiken, evt. posttest-only design gebruiken.

Gecombineerde bedreigingen(slide hc 2)
- Selection-History Threat: externe gebeurtenis beïnvloedt slechts 1 groep.
- Selection-Attrition Threat: uitval gebeurt alleen in 1 groep.
Extra interne validiteitsbedreigingen (ook met controlegroep) (slide hc 2)
- Observer Bias: verwachting onderzoeker beïnvloedt beoordeling resultaten (ook
construct validiteit)
o Oplossing = double-blind design; deelnemers/onderzoekers weten niet in welke
groep deelnemers zitten.
- Demand Characteristics: deelnemers raden doel onderzoek en passen hun gedrag
daarop aan.
o Oplossing = double-blind design of blind/masked design; onderzoeker weet niet
wie in welke groep zit.
- Placebo-effect: mensen verbeteren omdat ze geloven dat de behandeling werkt.
o Oplossing = double-blind placebo-onderzoek: deelnemers/onderzoekers weten
niet wie wat krijgt of extra controlegroep zonder behandeling die helpt bepalen
of er verbetering komt

Null Effects (Nulresultaten) = onafhankelijke variabele veroorzaakt geen duidelijk verschil ,
verklaringen;
- Er is echt geen effect
- Het effect werd niet gevonden, kan komen door;
o Obscuring Factor 1: te weinig verschil tussen groepen door;
 Zwakke manipulatie
 oplossing = sterkere manipulatie
 oplossing = manipulation check (extra meting) voordeel  laat zien
of onafhankelijke variabele daadwerkelijk is veranderd
 Ongevoelige metingen
 oplossing = gedetailleerde meetinstrumenten gebruiken
 Ceiling effects (iedereen scoort bijna maximaal)
 Floor effects (iedereen scoort heel laag)
 Reverse design confounds: confound werkt echte effect tegen
o Obscuring Factor 2: te veel variatie binnen groepen door;
 Meetfouten (Measurement Error): willekeurige fouten in meting.
 Oplossing = betrouwbare instrumenten, meer metingen, grotere
steekproef
 Individuele verschillen: mensen verschillen van nature van elkaar.
 Oplossing = Within-groups design (deelnemers worden met zichzelf
vergeleken en minder invloed individuele verschillen), meer
deelnemers gebruiken.
 Situation Noise: omgevingsfactoren die afleiden.
 Oplossing = gestandaardiseerde laboratoriumomstandigheden.

Meer power (kans dat onderzoek werkelijk bestaand effect ontdekt) door:
- Sterkere manipulaties.
- Betere metingen.
- Minder ruis.
- Within-groups designs.
- Meer deelnemers.

Waarom zijn grote steekproeven belangrijk?
- Nauwkeurigere schattingen (kleinere BI)
- Betere replicatie (Minder invloed toevallige uitschieters)

, Nulresultaten waardevol omdat ze laten zien:
- Welke interventies niet werken.
- Welke theorieën moeten worden aangepast.
- Welke effecten klein of afwezig zijn.




Hoorcollege 1
Doel experimenteel onderzoek = causaliteit aantonen  interne validiteit belangrijk, want
alternatieve verklaringen uitsluiten  kan door randomiseren (groepen gelijk, iedereen gelijke
kans op groep)

Vergelijken 2 groepen: t-toets onafhankelijke groepen (a.d.h.v. voorbeeld onderzoek mixed
emotions)
- Idee/theorie: Wanneer er op bepaald moment aandacht is voor feestelijke kant van
afsluiten fase, als aandacht voor verdriet van afsluiten fase, levert dat wellicht mixed
emotions op.
- Onderzoeksvraag: Hebben studenten die eraan herinnerd worden dat ze hun
studententijd gaan afsluiten een andere mate van mixed emotions dan studenten die
daar niet aan herinnerd worden?
- Onderzoeksontwerp
o Variabelen
 Onafhankelijke variabele: groep (wel/niet herinnerd)
 Afhankelijke variabele: mate van mixed emotions (Gebaseerd op
happiness met een 7-puntsschaal en sadness met een 7 puntsschaal)
 Mixed emotion score > lage score = niet blij en bedroefd, hoge
score = zowel blij als bedroefd
- Hypothesen (vergelijken gemiddeldes van 2 groepen op mixed emotions)
o H0 : wel = niet
o H1 : wel ≠ niet
 Geen verwachting welke groep hoger zou scoren = exploratieve onderzoek
 Wel verwachting vooraf = confirmatief onderzoek
- Dataverzameling
o Steekproef: studenten op Stanford University
o Procedure
 Respondenten at random ingedeeld in 2 groepen.
 Groep 1 (‘wel’): tekst die ze wel herinnert dat ze periode in leven
gaan afsluiten.
 Groep 2 (‘niet’): tekst die ze niet herinnert dat ze periode in leven
gaan afsluiten.
 Vervolgens vullen ze een vragenlijst in die hun mate van ‘mixed emotions’
meet.
- Data-analyse
o Hypothese toetsen volgens Null Hypothesis Significance Testing (NHST)
 Stap 1: toetskeuze, hypotheses bepalen en significantieniveau kiezen (t-
toets voor onafhankelijke groepen)
 Stap 2: assumpties controleren (kunnen we deze test uitvoeren)
 Stap 3: toetsingsgrootheid en p-waarde bepalen
 Stap 4: conclusie trekken over H0
 Stap 5: inhoudelijke conclusie en effectgrootte bepalen
- Resultaten in JASP