Hoorcollege 1 experimenteel
Stappen empirische cirkel:
1. Theorie en onderzoeksvraag
2. Onderzoeksvraag
3. Hypothese formulering en preregistratie (voor dat je de data verzameld vertellen wat je gaat
doen)
4. Steekproeftekking, randomizeren en causaliteit, data verzameling en data controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
Bij experimenteel onderzoek steeds een continue variabele gebruikt (bijvoorbeeld leeftijd of
likertschaal)
manieren om hypotheses te evalueren:
1. Nul Hypothese Significantie Toetsing (NHST)
2. Bayesiaanse hypothese evaluatie
type I fout: kans op onterecht verwerpen
nulhypothese
type II fout: kans op onterecht aanhouden
nulhypothese
Power: kans op terecht nulhypothese
verwerken
Welke steekproefgrootte nodig voor een
power van 0.80 en met een bepaalde alfa en
cohen’s d:
De replicatiecrisis gaat erom dat bij
een onderzoek heel vaak nadoen er
niet hetzelfde uitkomt (komt bijv.
door questionable research
methods of publicatie bias (alleen
significante dingen publiceren))
Bayesiaanse hypothese evaluatie:
, f0 = fit (fit van H0 is steeds
kleiner naarmate gemiddeldes
uit elkaar liggen)
c0= complexiteit / specificiteit
(rangorde complexiteit
hypothese van zeer naar niet
specifiek: = < of > ≠)
De waarde van de Bayes factor geeft aan hoeveel keer meer steun voor H0 in verhouding met Ha
Bij de Bayes factor is er geen grenswaarde, je geeft de waarde en wat dat getal voor jou betekend.
De nulhypothese is meestal van de vorm H0 : het effect is nul
en de alternatieve hypothese van de vorm Ha : niet H0
Coditionele type 1 en type 2 fouten: Posterior model kansen:
De kans dat H0 waar is gegeven de informatie in de data noemen we PMK 0
De kans dat Ha waar is gegeven de informatie in de data noemen we PMK a
Beide kansen tellen op tot 1.0
1. PMK0 = .8 is de conditionele Type I fout, want, als we voor Ha kiezen is de
kans dat we dat ten onrechte doen gelijk aan .8
2. PMKa = .2 is de conditionele Type II fout, want, als we voor H0 kiezen is de kans dat we dat
ten onrechte doen gelijk aan .2
Bij gepaarde t-toets (situatie voor en na heb je dan):
Threaths bij gepaarde t-toets (experimenteel design):
1. maturation threat: we zien een natuurlijke ontwikkeling
2. history threat: een externe gebeurtenis beinvloedt alle deelnemers
3. regression to the mean: alle patienten waren behoorlijk ziek, ze konden niet verslechteren
maar wel verbeteren
4. observer bias: therapeuten vinden de patienten aan het begin van de behandeling erg ziek
maar na "hun" behandeling natuurlijk veel beter
5. demand characteristics: patienten "willen" dat de behandeling effectief is en voelen zich dus
beter na de behandeling
6. placebo effect: het is niet de behandeling die effect heeft maar puur dat er een therapeut is
die warme aandacht voor de patiënt heeft
Een controlegroep toevoegen helpt tegen deze maturatior threat, history threat, regression to the
mean
, Observer en demand theat tegengaan:
je het experiment blind uitvoeren, onderzoeker weet niet wie in de controle en experimentele groep
zit. Dubbelblind is als de onderzoeker en de participanten (placebo of niet) niet weten in welke groep
Placebo-effect tegen gaan: bedenken wat het placebo effect zou kunnen zijn. Dan doe je een groep
met de echte therapie (1), een groep met de placebo therapie, bijv. warme aandacht (2) en een
controle groep zonder iets (3). Als er geen verschil is tussen 1 en 2 is er een placebo effect
Het kan ook zijn dat er geen behandeleffect wordt gevonden. Ook daarvoor kunnen meerdere
verklaringen zijn:
1. weak manipulations, bijvoorbeeld, de therapie wordt slecht uitgevoerd, hier kun je alleen
goed mee omgaan door de therapeuten adequaat te trainen.
2. power problem, er is wel degelijk een effect, maar er zijn te weinig patienten in de controle
en experimentele groep om het effect statistisch significant te krijgen (p-waarde benadering)
of om een Bayes factor te krijgen die het effect steunt (Bayesiaanse benadering). Dit
probleem kan door het uitvoeren van een power analyse danwel Bayesian updating worden
ondervangen.
3. er is daadwerkelijk geen effect.
Stappen empirische cirkel:
1. Theorie en onderzoeksvraag
2. Onderzoeksvraag
3. Hypothese formulering en preregistratie (voor dat je de data verzameld vertellen wat je gaat
doen)
4. Steekproeftekking, randomizeren en causaliteit, data verzameling en data controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie onderzoek
Bij experimenteel onderzoek steeds een continue variabele gebruikt (bijvoorbeeld leeftijd of
likertschaal)
manieren om hypotheses te evalueren:
1. Nul Hypothese Significantie Toetsing (NHST)
2. Bayesiaanse hypothese evaluatie
type I fout: kans op onterecht verwerpen
nulhypothese
type II fout: kans op onterecht aanhouden
nulhypothese
Power: kans op terecht nulhypothese
verwerken
Welke steekproefgrootte nodig voor een
power van 0.80 en met een bepaalde alfa en
cohen’s d:
De replicatiecrisis gaat erom dat bij
een onderzoek heel vaak nadoen er
niet hetzelfde uitkomt (komt bijv.
door questionable research
methods of publicatie bias (alleen
significante dingen publiceren))
Bayesiaanse hypothese evaluatie:
, f0 = fit (fit van H0 is steeds
kleiner naarmate gemiddeldes
uit elkaar liggen)
c0= complexiteit / specificiteit
(rangorde complexiteit
hypothese van zeer naar niet
specifiek: = < of > ≠)
De waarde van de Bayes factor geeft aan hoeveel keer meer steun voor H0 in verhouding met Ha
Bij de Bayes factor is er geen grenswaarde, je geeft de waarde en wat dat getal voor jou betekend.
De nulhypothese is meestal van de vorm H0 : het effect is nul
en de alternatieve hypothese van de vorm Ha : niet H0
Coditionele type 1 en type 2 fouten: Posterior model kansen:
De kans dat H0 waar is gegeven de informatie in de data noemen we PMK 0
De kans dat Ha waar is gegeven de informatie in de data noemen we PMK a
Beide kansen tellen op tot 1.0
1. PMK0 = .8 is de conditionele Type I fout, want, als we voor Ha kiezen is de
kans dat we dat ten onrechte doen gelijk aan .8
2. PMKa = .2 is de conditionele Type II fout, want, als we voor H0 kiezen is de kans dat we dat
ten onrechte doen gelijk aan .2
Bij gepaarde t-toets (situatie voor en na heb je dan):
Threaths bij gepaarde t-toets (experimenteel design):
1. maturation threat: we zien een natuurlijke ontwikkeling
2. history threat: een externe gebeurtenis beinvloedt alle deelnemers
3. regression to the mean: alle patienten waren behoorlijk ziek, ze konden niet verslechteren
maar wel verbeteren
4. observer bias: therapeuten vinden de patienten aan het begin van de behandeling erg ziek
maar na "hun" behandeling natuurlijk veel beter
5. demand characteristics: patienten "willen" dat de behandeling effectief is en voelen zich dus
beter na de behandeling
6. placebo effect: het is niet de behandeling die effect heeft maar puur dat er een therapeut is
die warme aandacht voor de patiënt heeft
Een controlegroep toevoegen helpt tegen deze maturatior threat, history threat, regression to the
mean
, Observer en demand theat tegengaan:
je het experiment blind uitvoeren, onderzoeker weet niet wie in de controle en experimentele groep
zit. Dubbelblind is als de onderzoeker en de participanten (placebo of niet) niet weten in welke groep
Placebo-effect tegen gaan: bedenken wat het placebo effect zou kunnen zijn. Dan doe je een groep
met de echte therapie (1), een groep met de placebo therapie, bijv. warme aandacht (2) en een
controle groep zonder iets (3). Als er geen verschil is tussen 1 en 2 is er een placebo effect
Het kan ook zijn dat er geen behandeleffect wordt gevonden. Ook daarvoor kunnen meerdere
verklaringen zijn:
1. weak manipulations, bijvoorbeeld, de therapie wordt slecht uitgevoerd, hier kun je alleen
goed mee omgaan door de therapeuten adequaat te trainen.
2. power problem, er is wel degelijk een effect, maar er zijn te weinig patienten in de controle
en experimentele groep om het effect statistisch significant te krijgen (p-waarde benadering)
of om een Bayes factor te krijgen die het effect steunt (Bayesiaanse benadering). Dit
probleem kan door het uitvoeren van een power analyse danwel Bayesian updating worden
ondervangen.
3. er is daadwerkelijk geen effect.
