APPLIED RESEARCH METHODS
COLLEGE 1: INTRODUCTIE
Typen van wetenschappelijk onderzoek:
Observaties: fenomenen vinden
Correlaties en quasi-experimenten: relaties vinden
Experimenten: causale verklaringen vinden
Ze zijn allemaal voor het ontwikkelen en testen van theorieën over ervaring en gedrag
Hoe bepaal je of een theorie goed of slecht is?:
- Precisie
- Spaarzaamheid
- Testbaarheid en falsifieerbaarheid
Soorten validiteit:
Interne validiteit: was het de interventie die voor het resultaat zorgde? (geen storende
variabelen)
Externe validiteit: generaliseerbaarheid van de resultaten
Construct validiteit: welk aspect van de interventie zorgde voor het resultaat?
Statistische validiteit: zijn de statistische conclusies correct?
Als er correlatie is, is er ook causaliteit. Niet andersom.
Volgorde in tijd bewijs geen causaliteit
De enige manier om causaliteit aan te tonen, is door een experiment te doen
Onafhankelijke variabele:
- Gemanipuleerd door de onderzoeker
- Er moet reden zijn om aan te nemen dat het effect heeft
- Het moet mogelijk zijn om te manipuleren
- Aantal levels kiezen
Afhankelijke variabele:
- Wat je wil meten
- Moet betrouwbaar te meten zijn
- Constructvaliditeit
Controle variabele: de variabele die mogelijk invloed hebben
- Constant houden (zelfde tijd van de dag meten bijv.)
- Er onafhankelijke variabelen van maken (bijv. man/vrouw)
Between-subjects design (onafhankelijke groepen)
- Elke subject krijg 1 level van de onafhankelijke variabele: random!
Within-subjects design (repeated measures)
- Elke subject krijgt elk leven van de onafhankelijke variabele (invloed van volgorde?)
,Problemen experimentele designs:
Quasi-experimenten in plaats van random
Externe validiteit: labratorium vs. Dagelijks leven & patiënten vs. Populatie (lage
generaliseerbaarheid)
Weinig participanten -> lage statistische power
POWER
Effect size en statistische power zijn van belang voor:
- Weten hoeveel participanten nodig zijn in het onderzoek
- Weten waarom zoveel experimenten in psychologie niet significant zijn
- Begrijpen waarom je veel significante resultaten niet moet geloven
Problemen in het generaliseren van klein experiment naar de populatie, 2 soorten error:
Effect in de populatie
Effect in het Bestaand Niet- bestaand
experiment Significant Power, 1-β Vals positief: α - error
Niet- significant Vals negatief, β - error 1- α
Effect size: hoe groot is een verschil/correlatie/relatie tussen groepen
Cohen’s d: bij het vergelijken van twee groepen bij een T-test
D= (gemiddelde1 – gemiddelde 2)/ standaarddeviatie
0.2 is klein, 0.5 is medium (wordt gevonden als er een echt effect is gevonden) en boven 0.8
is groot
Statistische power: wat is de waarschijnlijkheid dat dit effect statistisch significant is in een
experiment? (tegenovergestelde van beta power)
In verschillende situaties van belang:
- Wanneer experiment wordt voorbereid en de steekproefgrootte bepaald moet worden
- Wanneer het experiment af is de power van het experiment bepalen (posthoc)
- Evalueren van gepubliceerde studies of de effecten echt zijn
Wat heeft invloed op power?
- De grootte van het effect (grotere effecten zijn makkelijker te vinden)
- Steekproefgrootte (effecten zijn makkelijker te vinden met veel participanten)
- Grotere alpha error (max 5%) verkleint de beta error
Voorbeeld: vergelijking van 2 groepen met een t-test. Welke steekproefgrootte is er nodig voor elke
groep om een power van .75 te behalen? (75% om effect te vinden)
Verschillende metingen van effect size:
T-test: d
ANOVA: f (d/2) of eta^2 (percentage verklaarde variantie)
Correlatie: r (Pearson’s correlation coefficient) dichtbij 1 of -1 indiceert een sterke relatie
Waarom zijn er zoveel kleine studies met grote effecten gepubliceerd?
- Er is random fluctuatie van effecten in steekproeven, in een kleinere steekproef is er meer
fluctuatie
- Publicatie bias: bladen vinden het niet interessant om niet-significante onderzoeken te
plaatsen
, Van kleine steekproef studies kan je bijna niks leren
- Vaak blijven ze ongepubliceerd
- Gepubliceerde inflated studies (kan je niet repliceren omdat hetzelfde effect waarschijnlijk
niet zal optreden)
- Soms is het effect inderdaad groot, maar hoe weet je dit?
Geloof niet in gepubliceerde under-powered studies, ongeacht hoe groot het gerapporteerde effect
is
Praktische suggesties:
- Bepaal de power en benodigde steekproefgrootte VOOR het experiment (door bijv. g power
of cohen)
- Niet te optimistisch zijn met het bepalen van je verwachte effect size
- Power laten toenemen
o Vergroten van steekproef
o Vergroten van effect size
Vergroten van systematische variantie
Verminderen error variantie
Overwegen van within-subjects in plaats van between-subjects
COLLEGE 2: KWANTITATIEF ONDERZOEKSDESIGNS
Experimenteel onderzoek: onderzoeker manipuleert de
onafhankelijke variabele
Randomized controlled trials
Non-randomized controlled trials (quasi
experiment)
Observationeel onderzoek: onderzoeker observeert de
participanten zonder manipulatie
EXPERIMENTELE ONDERZOEKEN
Randomiseren is belangrijk omdat:
- Vermindert biases (selection en allocation biases)
- Blinderen (van participanten en onderzoekers):
verminderen van performance bias
Behandel werkzaamheid (efficacy)
Efficacy: het resultaat dat behaald wordt onder ideale
behandel omstandigheden
Escertainment bias: uitsluiting van hen wie behandeld werden volgens plan
Consolidation of the Standard of Reporting Trials (CONSORT):
- Verbeteren van de standaard van geschreven reports van randomized controlled
trials (RCT)
- Checklist van 25 items en een flow diagram
COLLEGE 1: INTRODUCTIE
Typen van wetenschappelijk onderzoek:
Observaties: fenomenen vinden
Correlaties en quasi-experimenten: relaties vinden
Experimenten: causale verklaringen vinden
Ze zijn allemaal voor het ontwikkelen en testen van theorieën over ervaring en gedrag
Hoe bepaal je of een theorie goed of slecht is?:
- Precisie
- Spaarzaamheid
- Testbaarheid en falsifieerbaarheid
Soorten validiteit:
Interne validiteit: was het de interventie die voor het resultaat zorgde? (geen storende
variabelen)
Externe validiteit: generaliseerbaarheid van de resultaten
Construct validiteit: welk aspect van de interventie zorgde voor het resultaat?
Statistische validiteit: zijn de statistische conclusies correct?
Als er correlatie is, is er ook causaliteit. Niet andersom.
Volgorde in tijd bewijs geen causaliteit
De enige manier om causaliteit aan te tonen, is door een experiment te doen
Onafhankelijke variabele:
- Gemanipuleerd door de onderzoeker
- Er moet reden zijn om aan te nemen dat het effect heeft
- Het moet mogelijk zijn om te manipuleren
- Aantal levels kiezen
Afhankelijke variabele:
- Wat je wil meten
- Moet betrouwbaar te meten zijn
- Constructvaliditeit
Controle variabele: de variabele die mogelijk invloed hebben
- Constant houden (zelfde tijd van de dag meten bijv.)
- Er onafhankelijke variabelen van maken (bijv. man/vrouw)
Between-subjects design (onafhankelijke groepen)
- Elke subject krijg 1 level van de onafhankelijke variabele: random!
Within-subjects design (repeated measures)
- Elke subject krijgt elk leven van de onafhankelijke variabele (invloed van volgorde?)
,Problemen experimentele designs:
Quasi-experimenten in plaats van random
Externe validiteit: labratorium vs. Dagelijks leven & patiënten vs. Populatie (lage
generaliseerbaarheid)
Weinig participanten -> lage statistische power
POWER
Effect size en statistische power zijn van belang voor:
- Weten hoeveel participanten nodig zijn in het onderzoek
- Weten waarom zoveel experimenten in psychologie niet significant zijn
- Begrijpen waarom je veel significante resultaten niet moet geloven
Problemen in het generaliseren van klein experiment naar de populatie, 2 soorten error:
Effect in de populatie
Effect in het Bestaand Niet- bestaand
experiment Significant Power, 1-β Vals positief: α - error
Niet- significant Vals negatief, β - error 1- α
Effect size: hoe groot is een verschil/correlatie/relatie tussen groepen
Cohen’s d: bij het vergelijken van twee groepen bij een T-test
D= (gemiddelde1 – gemiddelde 2)/ standaarddeviatie
0.2 is klein, 0.5 is medium (wordt gevonden als er een echt effect is gevonden) en boven 0.8
is groot
Statistische power: wat is de waarschijnlijkheid dat dit effect statistisch significant is in een
experiment? (tegenovergestelde van beta power)
In verschillende situaties van belang:
- Wanneer experiment wordt voorbereid en de steekproefgrootte bepaald moet worden
- Wanneer het experiment af is de power van het experiment bepalen (posthoc)
- Evalueren van gepubliceerde studies of de effecten echt zijn
Wat heeft invloed op power?
- De grootte van het effect (grotere effecten zijn makkelijker te vinden)
- Steekproefgrootte (effecten zijn makkelijker te vinden met veel participanten)
- Grotere alpha error (max 5%) verkleint de beta error
Voorbeeld: vergelijking van 2 groepen met een t-test. Welke steekproefgrootte is er nodig voor elke
groep om een power van .75 te behalen? (75% om effect te vinden)
Verschillende metingen van effect size:
T-test: d
ANOVA: f (d/2) of eta^2 (percentage verklaarde variantie)
Correlatie: r (Pearson’s correlation coefficient) dichtbij 1 of -1 indiceert een sterke relatie
Waarom zijn er zoveel kleine studies met grote effecten gepubliceerd?
- Er is random fluctuatie van effecten in steekproeven, in een kleinere steekproef is er meer
fluctuatie
- Publicatie bias: bladen vinden het niet interessant om niet-significante onderzoeken te
plaatsen
, Van kleine steekproef studies kan je bijna niks leren
- Vaak blijven ze ongepubliceerd
- Gepubliceerde inflated studies (kan je niet repliceren omdat hetzelfde effect waarschijnlijk
niet zal optreden)
- Soms is het effect inderdaad groot, maar hoe weet je dit?
Geloof niet in gepubliceerde under-powered studies, ongeacht hoe groot het gerapporteerde effect
is
Praktische suggesties:
- Bepaal de power en benodigde steekproefgrootte VOOR het experiment (door bijv. g power
of cohen)
- Niet te optimistisch zijn met het bepalen van je verwachte effect size
- Power laten toenemen
o Vergroten van steekproef
o Vergroten van effect size
Vergroten van systematische variantie
Verminderen error variantie
Overwegen van within-subjects in plaats van between-subjects
COLLEGE 2: KWANTITATIEF ONDERZOEKSDESIGNS
Experimenteel onderzoek: onderzoeker manipuleert de
onafhankelijke variabele
Randomized controlled trials
Non-randomized controlled trials (quasi
experiment)
Observationeel onderzoek: onderzoeker observeert de
participanten zonder manipulatie
EXPERIMENTELE ONDERZOEKEN
Randomiseren is belangrijk omdat:
- Vermindert biases (selection en allocation biases)
- Blinderen (van participanten en onderzoekers):
verminderen van performance bias
Behandel werkzaamheid (efficacy)
Efficacy: het resultaat dat behaald wordt onder ideale
behandel omstandigheden
Escertainment bias: uitsluiting van hen wie behandeld werden volgens plan
Consolidation of the Standard of Reporting Trials (CONSORT):
- Verbeteren van de standaard van geschreven reports van randomized controlled
trials (RCT)
- Checklist van 25 items en een flow diagram
