Samenvatting - Methodologie 3: Pedagogische wetenschappen (P_BM3PEDA)

Replicatiecrisis
 We hebben veel overschatte effectmaten, lage replicatiepercentages en veel statistische
fouten
Oorzaken;
 Wrm zou een studie niet-repliceerbaar zijn? Bijv een hoge p-waarde
 P-waarde: significant of niet > moet lager zijn dan je gekozen p (0.05)
 Harking: je dataset je hypothese laten bepalen
o Zou mogen bij exploratief onderzoek en niet dat je een nulhypothese test
o P-hacking: blijven uitvoeren toetsen en steeds iets veranderen tot je significant
resultaat vindt
o Meer vals positieven
 Lage effectsizes: je wil hoog
 Researchers degrees of freedom: de ruimte die een onderzoeker zelf heeft zoals filteren data
 Publicatiebias: iedereen wil baanbrekend publiceren
 Publicatiedruk: Slordigheid, onwetendheid, onbewust cognitieve biases, maar ook fraude
Open science
 Onderzoeksproces en data toegankelijk en transparant maken
o Data en softwares openbaar en hergebruik toestaan
o Open, transparant, reproduceerbaarheid en repliceerbaarheid
 Toegankelijk voor breed publiek (open access)
 Transparant (navolgbaar)
o Reproduceerbaarheid: zelfde resultaten in zelfde situatie (precies zelfde)
o Repliceerbaarheid: zelfde resultaten in een vergelijkbare situaties
Good research practices
Voor dataverzameling
 Preregistratie: alles plannen voor je data ziet of verzamelt en openbaar maken
o Hypotheses, protocollen, data-analytische aanpak, beslisprocedures etc
o Stel een hypothese op als je toetsend onderzoek wil doen
 Minder focus op p-waarden, meer aandacht effect sizes?
 Voldoende power?
 Registered reports: pre-registratie naar tijdschrift, peer-review, als jij je hieraan houdt dan
gaan we publiceren: minder publicatiebias

Tijdens dataverwerking
 Analyseplan volgen en alles navolgbaar maken: rapportage en syntax
 Multi-analyst approach: meerdere onderzoekers die data beoordelen of analyses uitvoeren
 Multi-verse analyse: meerdere mogelijkheden uitzoeken, subsets etc, wat als ik een andere
stap had genomen?

Bij publicatie
 Checken van gerapporteerde resultaten ?
 Open acces delen alle materialen: protocollen, syntax, data, preprints (eerdere versies)
 Volgens FAIR: vindbaar, accesible, interoperable (zonder beperking kunnen samenwerken),
reusible
Obstakels
 Preregistraties: Data kan ongeschikt zijn voor vooraf geplande analyses
 Eigen onderzoek eerst, data stelen
 Hoe om te gaan met delen gevoelige data? POW voorbeeld: closed box
 Preprints: financiele barrières, copy-rights van tijdschriften, Blind reviews
Aanmoediging open science

,  Voorwaarden van onderzoeksbeurzen: open access publiceren
 Gold route: in een open access tijdsschrift
 Green route: gesloten journal, goedkoper
 Beurzen voor replicatieonderzoek
 Tijdschriften doen open science badges
 Center for open science

Single case study
 Geen manipulatie
 In-depth
 Gedetailleerd
 Langetermijn, meer meetmomenten: je wil verandering over tijd zien (stabiliteitseffect)
 Specifieke casus
 Kwalitatieve data
 Systematische observatie
 1 of meer afhankelijke variabelen (bijv uren huilen)
 Context gelijk! Echte wereld
Single case experiment
 Wel manipulatie
 In-depth
 Gedetailleerd
 Meer meetmomenten: je wil verandering over tijd zien (stabiliteitseffect)
 Specifieke casus
 Kwalitatieve data
 Systematische observatie
 1 of meer afhankelijke variabelen (bijv uren huilen)
 Context zvm gelijk op manipulatie na: real world of lab
Doelen
o Effectconstatering: Heeft interventie effect: Wat zijn de consequenties?
o Oorzaaktoeschrijving: Is interventie de oorzaak: Zijn de veranderingen van gedrag echt toe te
wijzen aan de interventie?
o Werkzaamheid begrijpen: Wat maakt die (EMDR)interventie zo effectief? Hoe werkt het?
o Kan ook om bijv diagnose te stellen
RCT VS Single case experiment
 RCT: interventie-effecten toetsen in een grote groep, langdurig
 Volgen elkaar vaak op
 Nomothetisch: focus op grote groep, groepsgemiddelde uitspraken, vergelijken
controlegroep, strenge inclusie en exclusie
 Ideografisch: focus op 1 kind, uitspraken individueel niveau, vergelijken met zelf, brede
inclusie en exclusie
 RCT is generaliseerbaar naar grote populaties, single case is specifiek
Single case experiment: soorten interventies
 Manipulatie
AB: 1 baseline en 1 interventie
o Baseline en interventie
ABA(B) reversal
o Baseline, interventie, baseline, interventie
o Stabiele baseline belangrijk, anders door laten lopen: kijken naar andere factoren
ABC(B): alternating treatments
o Baseline, interventie 1, interventie 2 (anders), interventie 1