Onderzoeksmethoden
1 Module 1
2 Module 2: reproduceerbaarheid van wetenschappelijk
onderzoek
2.1 Kwaliteit van wetenschappelijk onderzoek
Wetenschappelijk onderzoek = de meest betrouwbare bron van informate
<--> reclame: minst betrouwbare bron
Hoe komt het dat dit zo betrouwbaar is?
Er gebeurt heel wat voordat een paper wordt gepubliceerd (paar jaar)
Desk reject: auteurs worden binnen een paar dagen gecontacteerd dat hun paper niet zal
worden gepubliceerd (grote journals = desk reject van 50-60%, bij absolute toptijdschriften
wordt slechts 6-7% van de ingezonden papers gepubliceerd)
Reject: als er geen potentiële meerwaarde in de paper zit
Herwerken op basis van reviews: kan soms paar maanden duren => vaak een grote/ bijna
volledige herwerking van de paper
Publicatie: paper is van een goed niveau, bevat geen fouten meer & heeft een meerwaarde
DUS: wetenschappelijk review = lang en intens proces, met als hoofddoel het detecteren en
verwijderen van fouten, overdreven claims en persoonlijke/ subjectieve standpunten
,2.1.1 Ideaal wetenschappelijk proces
Ideaal versus huidig:
1) Exploratief onderzoek:
Zoektocht naar nieuwe
verbanden of concepten
2) Confirmatorisch
onderzoek: Hier worden de
nieuwe hypotheses getest
3) Replicatieonderzoek:
Bevestigen van de
bevindingen uit vorige
stappen. Je moet dus
hetzelfde resultaat kunnen
vinden
4) Empirische generalisatie:
wanneer men genoeg
empirische evidentie heeft
verzameld (niet id context
van dit vak)
MAAR incentives van de eerste te
zijn, zijn veel groter dan die om
iets te checken
VRAAG: is het wel zo dat alles wat wordt gepubliceerd, waarheid bevat?
Het is niet zo goed gesteld met de wetenschap, onderzoekers kunnen resultaten
manipuleren zodat er een grotere kans is op publicatie.
Vb. P-hacking = veel gegevens worden verzameld en de onderzoeker speelt ermee tot er een
resultaat komt dat statistisch gezien correct is (ook al is dat niet zo)
2.2 Reproduceerbaarheid
Het is de bedoeling dat wetenschappers resultaten zo transparant mogelijk publiceren,
zodat anderen dezelfde resultaten kunnen bekomen/ verifiëren. Dus bevindingen moeten
,ook met andere steekproeven en bij andere wetenschappers gevonden worden
(gereproduceerd).
= De mate waarin consistente resultaten worden behaald (of kunnen worden behaald)
wanneer hetzelfde fenomeen of dezelfde relatie onderzocht wordt.
2.2.1 Een manifesto voor reproduceerbare wetenschap: verschillende
problemen
Er zijn heel wat studies die niet gereproduceerd kunnen worden…
Uitgangspunt: wetenschappelijk
proces
Doel: hypotheses toetsen en
daarna overgaan naar het
interpreteren van de studie
Rood => dingen die fout kunnen
lopen
2.2.1.1 Gebrek aan controle voor vertekeningen
Er is een gebrek aan controle voor vertekeningen, er zijn veel factoren die de kwaliteit
kunnen beïnvloeden:
Vraageffecten, orde-effecten
Zie volgende sessies
2.2.1.2 Te weinig statistische power
Er is te weinig statistische power = kans dat onderzoek sterk genoeg is, om het effect dat je
wil zien ook effectief te zien => door gebruik van een te kleine steekproef, waardoor het niet
mogelijk is om betrouwbare resultaten te krijgen
Omgekeerd gerelateerd aan de kans op het maken van een type2-fout: 1-beta
De kans om de nulhypothese te verwerpen wanneer de alternatieve
hypothese juist is
Zeer grote rol bij het trekken van conclusies op basis van steekproef
Wanneer we met kleine steekproeven testen, is er een groter risico op het
nemen van foute conclusies
Grotere steekproef = meer statistische power => meer correcte uitspraken
, Realiteit = werkelijke wereld, dit is
iedereen. Maar je gaat de resultaten
uit de steekproef halen en daarop
een beslissing voor de realiteit
maken
Vak 1= Correcte beslissing (1-a)
Vak 4= correcte beslissing (1-B)
Vak 3= Foute beslissing (type 1 fout)
(a) -> vals positief
Vak 2= Foute beslissing (type 2 fout)
(B) -> vals negatief effect
A (alpha)= kans waarmee we iets dat toch waar is gaan verwerpen
1-B: power= mate waarin statistische test iets id realiteit kan gaan veriefiëren
VOORBEELD:
Resultaten => p-waarden
in de grafiek: technisch
gezien kan een p-waarde
nooit 0 zijn, maar dat laten
we hier buiten beschouwing.
Links van de rode rechte =
aantal significante testen
(63,9%), dus in 36,1% van de
gevallen is er kans op type-2
fout.
Hoe kunnen we dat oplossen? Je kan een grotere steekproef nemen, hierdoor verkleint de
kans op type-2 fout.
1 Module 1
2 Module 2: reproduceerbaarheid van wetenschappelijk
onderzoek
2.1 Kwaliteit van wetenschappelijk onderzoek
Wetenschappelijk onderzoek = de meest betrouwbare bron van informate
<--> reclame: minst betrouwbare bron
Hoe komt het dat dit zo betrouwbaar is?
Er gebeurt heel wat voordat een paper wordt gepubliceerd (paar jaar)
Desk reject: auteurs worden binnen een paar dagen gecontacteerd dat hun paper niet zal
worden gepubliceerd (grote journals = desk reject van 50-60%, bij absolute toptijdschriften
wordt slechts 6-7% van de ingezonden papers gepubliceerd)
Reject: als er geen potentiële meerwaarde in de paper zit
Herwerken op basis van reviews: kan soms paar maanden duren => vaak een grote/ bijna
volledige herwerking van de paper
Publicatie: paper is van een goed niveau, bevat geen fouten meer & heeft een meerwaarde
DUS: wetenschappelijk review = lang en intens proces, met als hoofddoel het detecteren en
verwijderen van fouten, overdreven claims en persoonlijke/ subjectieve standpunten
,2.1.1 Ideaal wetenschappelijk proces
Ideaal versus huidig:
1) Exploratief onderzoek:
Zoektocht naar nieuwe
verbanden of concepten
2) Confirmatorisch
onderzoek: Hier worden de
nieuwe hypotheses getest
3) Replicatieonderzoek:
Bevestigen van de
bevindingen uit vorige
stappen. Je moet dus
hetzelfde resultaat kunnen
vinden
4) Empirische generalisatie:
wanneer men genoeg
empirische evidentie heeft
verzameld (niet id context
van dit vak)
MAAR incentives van de eerste te
zijn, zijn veel groter dan die om
iets te checken
VRAAG: is het wel zo dat alles wat wordt gepubliceerd, waarheid bevat?
Het is niet zo goed gesteld met de wetenschap, onderzoekers kunnen resultaten
manipuleren zodat er een grotere kans is op publicatie.
Vb. P-hacking = veel gegevens worden verzameld en de onderzoeker speelt ermee tot er een
resultaat komt dat statistisch gezien correct is (ook al is dat niet zo)
2.2 Reproduceerbaarheid
Het is de bedoeling dat wetenschappers resultaten zo transparant mogelijk publiceren,
zodat anderen dezelfde resultaten kunnen bekomen/ verifiëren. Dus bevindingen moeten
,ook met andere steekproeven en bij andere wetenschappers gevonden worden
(gereproduceerd).
= De mate waarin consistente resultaten worden behaald (of kunnen worden behaald)
wanneer hetzelfde fenomeen of dezelfde relatie onderzocht wordt.
2.2.1 Een manifesto voor reproduceerbare wetenschap: verschillende
problemen
Er zijn heel wat studies die niet gereproduceerd kunnen worden…
Uitgangspunt: wetenschappelijk
proces
Doel: hypotheses toetsen en
daarna overgaan naar het
interpreteren van de studie
Rood => dingen die fout kunnen
lopen
2.2.1.1 Gebrek aan controle voor vertekeningen
Er is een gebrek aan controle voor vertekeningen, er zijn veel factoren die de kwaliteit
kunnen beïnvloeden:
Vraageffecten, orde-effecten
Zie volgende sessies
2.2.1.2 Te weinig statistische power
Er is te weinig statistische power = kans dat onderzoek sterk genoeg is, om het effect dat je
wil zien ook effectief te zien => door gebruik van een te kleine steekproef, waardoor het niet
mogelijk is om betrouwbare resultaten te krijgen
Omgekeerd gerelateerd aan de kans op het maken van een type2-fout: 1-beta
De kans om de nulhypothese te verwerpen wanneer de alternatieve
hypothese juist is
Zeer grote rol bij het trekken van conclusies op basis van steekproef
Wanneer we met kleine steekproeven testen, is er een groter risico op het
nemen van foute conclusies
Grotere steekproef = meer statistische power => meer correcte uitspraken
, Realiteit = werkelijke wereld, dit is
iedereen. Maar je gaat de resultaten
uit de steekproef halen en daarop
een beslissing voor de realiteit
maken
Vak 1= Correcte beslissing (1-a)
Vak 4= correcte beslissing (1-B)
Vak 3= Foute beslissing (type 1 fout)
(a) -> vals positief
Vak 2= Foute beslissing (type 2 fout)
(B) -> vals negatief effect
A (alpha)= kans waarmee we iets dat toch waar is gaan verwerpen
1-B: power= mate waarin statistische test iets id realiteit kan gaan veriefiëren
VOORBEELD:
Resultaten => p-waarden
in de grafiek: technisch
gezien kan een p-waarde
nooit 0 zijn, maar dat laten
we hier buiten beschouwing.
Links van de rode rechte =
aantal significante testen
(63,9%), dus in 36,1% van de
gevallen is er kans op type-2
fout.
Hoe kunnen we dat oplossen? Je kan een grotere steekproef nemen, hierdoor verkleint de
kans op type-2 fout.
