SAMENVATTING
Science Fictions
Hoe fraude, vooringenomenheid, nalatigheid en hype de wetenschap ondermijnen — en hoe we dit
kunnen herstellen
Auteur van het boek: Stuart Ritchie
Tentamensamenvatting
Vak: Psychologie als Wetenschap
Universiteit Utrecht — Bachelor Psychologie
Behandelde hoofdstukken: Preface, 1, 2, 4, 5, 6, 7 en 8
,Inhoudsopgave
Preface — Inleiding De Bem- en Stapel-affaires en het probleem van replicatie
Hoofdstuk 1 — Hoe Wetenschap Werkt De Mertonian Norms en het publicatieproces
Hoofdstuk 2 — De Replicatiecrisis Priming-onderzoek en de Replication Project Psychology
Hoofdstuk 4 — Bias Vooringenomenheid in onderzoeksopzet, analyse en rapportage
Hoofdstuk 5 — Negligence (Nalatigheid) Statistische fouten, p-hacking en slechte methodologie
Hoofdstuk 6 — Hype Mediaoverdrijving en de wetenschapscommunicatie-keten
Hoofdstuk 7 — Perverse Incentives Publish-or-perish, impact factor en het Matthew-effect
Hoofdstuk 8 — Fixing Science Open science, preregistratie en hervormingen
Studietip: Alle kernbegrippen en theorieën staan in de tekst vetgedrukt. Gebruik de bijbehorende
begrippenlijst om je kennis te toetsen voordat je het tentamen maakt.
,PREFACE
Inleiding
Het boek opent met twee schokkende voorbeelden die laten zien hoe het wetenschappelijke systeem
ernstige gebreken vertoont. Beide gevallen draaien om hetzelfde fundamentele probleem: replicatie.
Het Bem-geval (2011)
Daryl Bem, een vermaarde hoogleraar psychologie aan Cornell University, publiceerde een artikel in het
gerenommeerde, peer-reviewed Journal of Personality and Social Psychology. Hij claimde bewijs te hebben
gevonden voor psychische precognitie — het vermogen om met behulp van extrasensorische waarneming
(ESP) in de toekomst te kijken.
In één experiment kozen studenten welk gordijn een afbeelding verborg. Bij neutrale plaatjes was de score
ongeveer 50% (kans), maar bij erotische plaatjes scoorden studenten 53,1% — net statistisch significant.
Bem suggereerde dat een onbewust, 'psychisch' seksueel verlangen de keuzes had beïnvloed.
De auteur (Stuart Ritchie) en twee collega's voerden Bem's experiment driemaal opnieuw uit. Zij vonden
geen enkel effect. Toen zij hun replicatiestudie naar dezelfde journal stuurden, werd deze direct geweigerd
— het journal had namelijk een beleid om geen replicatiestudies te publiceren, ongeacht de uitkomst.
Het Stapel-geval (2011)
Diederik Stapel, een prominent sociaal psycholoog aan Tilburg University, publiceerde tientallen invloedrijke
papers met opvallend 'perfecte' resultaten (bijvoorbeeld dat mensen in een rommelige omgeving meer
vooroordelen vertonen). Collega's werden achterdochtig, en een onderzoek wees uit dat Stapel zijn data
volledig had verzonnen — hij typte 's avonds laat zelf de cijfers in een spreadsheet, zonder ooit echt
onderzoek te doen.
Stapel werd ontslagen en uiteindelijk werden 58 van zijn publicaties ingetrokken (geretracteerd) uit de
wetenschappelijke literatuur.
Het centrale probleem: replicatie
In beide gevallen draaide het om hetzelfde: niemand had de bevindingen voldoende gecontroleerd door ze
te repliceren. Replicatie betekent dat een ander onderzoeksteam, met dezelfde of vergelijkbare methoden,
ongeveer dezelfde resultaten moet kunnen vinden. Zonder replicatie kun je niet onderscheiden tussen een
echt effect, toeval, een meetfout of fraude.
, ⭐ Kernidee van het boek
De auteur stelt dat de wetenschappelijke cultuur wordt aangetast door vier soorten problemen, die de
structuur van het hele boek vormen: fraude (opzettelijk bedrog), bias (onbewuste vooringenomenheid),
negligence/nalatigheid (slordige methoden) en hype (overdrijving). Het boek introduceert ook het begrip
meta-wetenschap: wetenschappelijk onderzoek dat zich richt op het wetenschappelijke proces zelf —
wetenschap die naar zichzelf kijkt.
Belangrijk: dit is geen aanval op wetenschap als zodanig. De auteur benadrukt juist dat wetenschap onze
beste methode is om de waarheid te benaderen — maar dat het huidige systeem (peer review,
publicatiedruk, prikkels) die methode ondermijnt. De oplossingen die in latere hoofdstukken aan bod komen,
komen bovendien vaak uit de wetenschap zelf, wat hoop geeft.
, HOOFDSTUK 1
Hoe Wetenschap Werkt
Dit hoofdstuk legt het fundament: hoe zou het wetenschappelijke systeem idealiter moeten functioneren?
Het draait om twee kernideeën: wetenschap als sociaal construct en de vier Mertonian Norms.
Wetenschap als sociaal construct
Met 'wetenschap is een sociaal construct' bedoelt de auteur niet dat er geen objectieve werkelijkheid
bestaat (zoals extreme relativisten beweren). Wetenschap is wél de beste methode die we hebben om de
waarheid te benaderen. Maar een individuele waarneming alleen is niet genoeg: een bevinding wordt pas
'wetenschappelijke kennis' nadat andere wetenschappers ervan overtuigd zijn via een collectief proces van
controle, kritiek en consensus. Dit sociale proces geeft wetenschap precies haar objectiviteit — maar maakt
haar ook gevoelig voor menselijke fouten zoals irrationaliteit, vooringenomenheid en zelfs bedrog.
De Mertonian Norms (Robert Merton, 1942)
Robert Merton formuleerde vier ongeschreven kernwaarden die het gedrag van wetenschappers zouden
moeten sturen:
1. Universalisme — Wetenschappelijke kennis is kennis, ongeacht wie de ontdekking deed. Iemands ras,
geslacht, leeftijd, nationaliteit, populariteit of persoonlijkheid mag geen rol spelen bij het beoordelen
van hun bevindingen.
2. Disinterestedness (onbaatzuchtigheid) — Wetenschappers handelen niet uit eigenbelang, geld,
ideologie of ego, maar puur om de waarheid te ontdekken. Darwin omschreef de ideale wetenschapper
als iemand met 'geen wensen, geen genegenheden — slechts een hart van steen'.
3. Communality (gemeenschappelijkheid) — Wetenschappers moeten kennis met elkaar delen,
bijvoorbeeld door publicatie in journals, zodat anderen het werk kunnen beoordelen en erop kunnen
voortbouwen.
4. Organised scepticism (georganiseerde scepsis) — Niets mag zomaar voor waar worden aangenomen;
elke claim moet kritisch worden onderzocht. Peer review is hiervan de meest zichtbare uiting.
Het wetenschappelijke publicatieproces (stap voor stap)
Het 'normale' pad van een onderzoek naar publicatie verloopt als volgt:
Je leest de bestaande literatuur en formuleert een onderzoeksvraag of hypothese (een toetsbare
voorspelling).
Je vraagt financiering aan bij een subsidieverstrekker (overheid, universiteit, charitatieve fondsen zoals
de Wellcome Trust).
Je verzamelt data — dit kan dagen tot decennia duren.
Science Fictions
Hoe fraude, vooringenomenheid, nalatigheid en hype de wetenschap ondermijnen — en hoe we dit
kunnen herstellen
Auteur van het boek: Stuart Ritchie
Tentamensamenvatting
Vak: Psychologie als Wetenschap
Universiteit Utrecht — Bachelor Psychologie
Behandelde hoofdstukken: Preface, 1, 2, 4, 5, 6, 7 en 8
,Inhoudsopgave
Preface — Inleiding De Bem- en Stapel-affaires en het probleem van replicatie
Hoofdstuk 1 — Hoe Wetenschap Werkt De Mertonian Norms en het publicatieproces
Hoofdstuk 2 — De Replicatiecrisis Priming-onderzoek en de Replication Project Psychology
Hoofdstuk 4 — Bias Vooringenomenheid in onderzoeksopzet, analyse en rapportage
Hoofdstuk 5 — Negligence (Nalatigheid) Statistische fouten, p-hacking en slechte methodologie
Hoofdstuk 6 — Hype Mediaoverdrijving en de wetenschapscommunicatie-keten
Hoofdstuk 7 — Perverse Incentives Publish-or-perish, impact factor en het Matthew-effect
Hoofdstuk 8 — Fixing Science Open science, preregistratie en hervormingen
Studietip: Alle kernbegrippen en theorieën staan in de tekst vetgedrukt. Gebruik de bijbehorende
begrippenlijst om je kennis te toetsen voordat je het tentamen maakt.
,PREFACE
Inleiding
Het boek opent met twee schokkende voorbeelden die laten zien hoe het wetenschappelijke systeem
ernstige gebreken vertoont. Beide gevallen draaien om hetzelfde fundamentele probleem: replicatie.
Het Bem-geval (2011)
Daryl Bem, een vermaarde hoogleraar psychologie aan Cornell University, publiceerde een artikel in het
gerenommeerde, peer-reviewed Journal of Personality and Social Psychology. Hij claimde bewijs te hebben
gevonden voor psychische precognitie — het vermogen om met behulp van extrasensorische waarneming
(ESP) in de toekomst te kijken.
In één experiment kozen studenten welk gordijn een afbeelding verborg. Bij neutrale plaatjes was de score
ongeveer 50% (kans), maar bij erotische plaatjes scoorden studenten 53,1% — net statistisch significant.
Bem suggereerde dat een onbewust, 'psychisch' seksueel verlangen de keuzes had beïnvloed.
De auteur (Stuart Ritchie) en twee collega's voerden Bem's experiment driemaal opnieuw uit. Zij vonden
geen enkel effect. Toen zij hun replicatiestudie naar dezelfde journal stuurden, werd deze direct geweigerd
— het journal had namelijk een beleid om geen replicatiestudies te publiceren, ongeacht de uitkomst.
Het Stapel-geval (2011)
Diederik Stapel, een prominent sociaal psycholoog aan Tilburg University, publiceerde tientallen invloedrijke
papers met opvallend 'perfecte' resultaten (bijvoorbeeld dat mensen in een rommelige omgeving meer
vooroordelen vertonen). Collega's werden achterdochtig, en een onderzoek wees uit dat Stapel zijn data
volledig had verzonnen — hij typte 's avonds laat zelf de cijfers in een spreadsheet, zonder ooit echt
onderzoek te doen.
Stapel werd ontslagen en uiteindelijk werden 58 van zijn publicaties ingetrokken (geretracteerd) uit de
wetenschappelijke literatuur.
Het centrale probleem: replicatie
In beide gevallen draaide het om hetzelfde: niemand had de bevindingen voldoende gecontroleerd door ze
te repliceren. Replicatie betekent dat een ander onderzoeksteam, met dezelfde of vergelijkbare methoden,
ongeveer dezelfde resultaten moet kunnen vinden. Zonder replicatie kun je niet onderscheiden tussen een
echt effect, toeval, een meetfout of fraude.
, ⭐ Kernidee van het boek
De auteur stelt dat de wetenschappelijke cultuur wordt aangetast door vier soorten problemen, die de
structuur van het hele boek vormen: fraude (opzettelijk bedrog), bias (onbewuste vooringenomenheid),
negligence/nalatigheid (slordige methoden) en hype (overdrijving). Het boek introduceert ook het begrip
meta-wetenschap: wetenschappelijk onderzoek dat zich richt op het wetenschappelijke proces zelf —
wetenschap die naar zichzelf kijkt.
Belangrijk: dit is geen aanval op wetenschap als zodanig. De auteur benadrukt juist dat wetenschap onze
beste methode is om de waarheid te benaderen — maar dat het huidige systeem (peer review,
publicatiedruk, prikkels) die methode ondermijnt. De oplossingen die in latere hoofdstukken aan bod komen,
komen bovendien vaak uit de wetenschap zelf, wat hoop geeft.
, HOOFDSTUK 1
Hoe Wetenschap Werkt
Dit hoofdstuk legt het fundament: hoe zou het wetenschappelijke systeem idealiter moeten functioneren?
Het draait om twee kernideeën: wetenschap als sociaal construct en de vier Mertonian Norms.
Wetenschap als sociaal construct
Met 'wetenschap is een sociaal construct' bedoelt de auteur niet dat er geen objectieve werkelijkheid
bestaat (zoals extreme relativisten beweren). Wetenschap is wél de beste methode die we hebben om de
waarheid te benaderen. Maar een individuele waarneming alleen is niet genoeg: een bevinding wordt pas
'wetenschappelijke kennis' nadat andere wetenschappers ervan overtuigd zijn via een collectief proces van
controle, kritiek en consensus. Dit sociale proces geeft wetenschap precies haar objectiviteit — maar maakt
haar ook gevoelig voor menselijke fouten zoals irrationaliteit, vooringenomenheid en zelfs bedrog.
De Mertonian Norms (Robert Merton, 1942)
Robert Merton formuleerde vier ongeschreven kernwaarden die het gedrag van wetenschappers zouden
moeten sturen:
1. Universalisme — Wetenschappelijke kennis is kennis, ongeacht wie de ontdekking deed. Iemands ras,
geslacht, leeftijd, nationaliteit, populariteit of persoonlijkheid mag geen rol spelen bij het beoordelen
van hun bevindingen.
2. Disinterestedness (onbaatzuchtigheid) — Wetenschappers handelen niet uit eigenbelang, geld,
ideologie of ego, maar puur om de waarheid te ontdekken. Darwin omschreef de ideale wetenschapper
als iemand met 'geen wensen, geen genegenheden — slechts een hart van steen'.
3. Communality (gemeenschappelijkheid) — Wetenschappers moeten kennis met elkaar delen,
bijvoorbeeld door publicatie in journals, zodat anderen het werk kunnen beoordelen en erop kunnen
voortbouwen.
4. Organised scepticism (georganiseerde scepsis) — Niets mag zomaar voor waar worden aangenomen;
elke claim moet kritisch worden onderzocht. Peer review is hiervan de meest zichtbare uiting.
Het wetenschappelijke publicatieproces (stap voor stap)
Het 'normale' pad van een onderzoek naar publicatie verloopt als volgt:
Je leest de bestaande literatuur en formuleert een onderzoeksvraag of hypothese (een toetsbare
voorspelling).
Je vraagt financiering aan bij een subsidieverstrekker (overheid, universiteit, charitatieve fondsen zoals
de Wellcome Trust).
Je verzamelt data — dit kan dagen tot decennia duren.
