PaW aantekeningen boek – Preface
Hoe illustreren het voorbeeld van Bem’s en Stapel’s onderzoek wat er mis is in de
wetenschap?
Het centrale probleem in beide zaken had te maken met replicatie. Om een resultaat
wetenschappelijk waardig te noemen en serieus te kunnen nemen, moet je er zeker van zijn
dat het resultaat niet veroorzaakt is door geluk, een fout in het materiaal, of fouten/leugens
van de wetenschapper. Het resultaat moet echt gebeurd zijn en om daar zeker van te
worden, zouden andere wetenschappers hetzelfde resultaat moeten vinden.
Bem’s zaak: toen onderzoekers hele andere resultaten vonden, was het tijdschrift waarin het
oorspronkelijk onderzoek gepubliceerd was, niet eens bereid om het replicatieonderzoek te
publiceren: ze gingen geen replicatieonderzoeken publiceren, ongeacht of de resultaten
gerepliceerd waren of niet.
De wetenschappelijke kringen maakten duidelijk dat het oké was om dramatische claims
te maken, zonder een check hoe duurzaam de resultaten überhaupt zijn. Zonder
dubbelchecken of replicaties, hoe weten we dan of resultaten niet gewoon toevallig of fout
zijn?
De vraag of resultaten repliceren of niet, is niet een optionele vraag: het is de spirit van
wetenschap, wat gemanifesteerd zou moeten worden in een systeem van peer review en
tijdschriftpublicatie, wat zou moeten beschermen tegen valse resultaten, foute experimenten
en vage resultaten.
Maar dit is niet de realiteit: er zit een diepe corruptie in wetenschap – een corruptie die
de cultuur aantast waarin wetenschap wordt uitgeoefend en gepubliceerd. Het centrale doel
om dichterbij de waarheid te komen, wordt ondermijnd.
Wat is het gevolg van de setting waarin wetenschap plaatsvindt?
Wetenschap is een sociaal en menselijk ding wetenschap is gevoelig voor wat andere
onderzoekers, mensen en de maatschappij willen en het is gevoelig voor menselijke
karakteristieken.
De eerste stap in het verbeteren van de wetenschap, is leren om fouten te zien en te
corrigeren. Van fouten kun je leren: het kan je veel vertellen over het proces waarin wij
komen tot onze kennis.
Welke hoop kunnen we houden?
Wetenschap kan verbeterd worden en heeft de potentie om een robuust en betrouwbaar
systeem te worden. Vele fouten die zijn ontdekt in de wetenschap, zijn ontdekt door andere
wetenschappers. Het zelfkritische karakter van oprechte wetenschap blijft.
Aantekeningen boek – H1 Science Fictions
In welk opzicht is de wetenschap een sociaal construct?
,De wetenschap is een sociaal construct je kan niet alleen met de wetenschappelijke
methoden de waarheid ontdekken; je moet ook andere wetenschappers weten te overtuigen
van je ontdekkingen. Het is daarom erg belangrijk dat wetenschappers laten zien hoe ze bij
hun conclusies gekomen zijn.
Deze sociale aspecten van wetenschap zijn wetenschap in actie: een doorgaand proces
van gezamenlijk kritisch onderzoek, doorvragen, herzien, verfijnen en consensus –
overeenstemming. Deze sociale processen leiden tot de hoge mate van objectiviteit in
wetenschap.
Wat is het voornaamste doel van het gemeenschappelijke proces in de wetenschap?
Doel van gemeenschappelijke proces in wetenschap = errors en fouten uit de
wetenschappelijke kennis filteren en andere wetenschappers de kans geven om te
beoordelen of de kennis betrouwbaar, sterk en belangrijk is.
Er zitten valkuilen in deze sociale natuur van wetenschap – onderzoekers zijn zo erg bezig
om andere onderzoekers te verleiden, dat ze het echte doel van wetenschap uit het oog
kunnen verliezen: bewegen richting de waarheid. De verleidingstechnieken zijn niet altijd
rationeel of objectief. Zo is gebleken dat peer review echt niet accuraatheid en
betrouwbaarheid garandeert zoals gedacht wordt en het publicatiesysteem is ook enorm
gevallen voor biases.
Om te weten wat er fout is gegaan in wetenschap weten hoe wetenschap in z’n werk gaat
als het goed gaat:
1) Wetenschappelijke literatuur lezen – wat vroeger een soort korte rapporten waren
van de bevindingen, is wetenschap tegenwoordig uitgegroeid tot tienduizenden
artikelen, van heel breed tot heel specifiek.
Recentelijke verbetering: alles is online, dus alles is – met geld of via een
instituut – makkelijk toegankelijk.
2) Het bedenken van een onderzoeksvraag – dit kan inductief gebaseerd zijn, of
deductief.
voordat je dit doet, moet je wel gefinancierd worden en is het essentieel dat je
die financiering vindt (dit kan lang duren of zelfs niet lukken).
3) Data verzamelen – dit kan dagen, maanden of jaren duren.
4) Data analyse m.b.v. statistiek.
5) Alle bevindingen opschrijven in een wetenschappelijke paper – meestal heeft zo’n
paper de vorm van resp. introductie, methode, resultaten en discussie. Dit vat je
allemaal samen in de abstract.
6) Paper is klaar; ervoor zorgen dat die gepubliceerd wordt – dit is een hele lastige
stap en hier vindt veel concurrentie plaats. De meeste wetenschappelijke
tijdschriften accepteren namelijk maar een fractie van de ingediende papers.
Desk rejection – een ingediende paper wordt niet geaccepteerd door een
tijdschrift en wordt teruggestuurd naar de onderzoeker.
7) Wel geaccepteerd; paper moet het peer review proces doorlopen – de assumptie
heerst dat peer review altijd al een essentieel onderdeel is geweest van de
wetenschap, maar pas sinds de jaren ’70 is de moderne manier van peer review
, toegepast op alle tijdschriften.
Dat peer reviewers anoniem zijn is beide een zegen en een vloek – het is een
voordeel dat onderzoekers echt kunnen zeggen wat ze denken zonder dat ze zich
zorgen hoeven te maken over hun imago etc., maar ze kunnen dus zonder zorgen
zeggen wat ze denken; de kritiek kan heel hard geformuleerd worden.
Als o.b.v. de peer review een paper afgewezen wordt, kun je het opgeven, of je
probeert het bij een ander tijdschrift (dit proces kan zich meermaals herhalen),
maar als de reviewers iets meer onder de indruk zijn, kun je ook hun kritieken
verwerken en het na herziening nog een keer indienen.
8) De peer reviewers zijn tevreden en het tijdschrift paper wordt gepubliceerd.
Wat zijn de Mertoniaanse waarden die betrouwbaarheid en integriteit proberen te
waarborgen?
De vraag die heerst in dit proces hierboven: wat verzekert dat alle participanten in dit proces
(de onderzoeker, de peer reviewers, het tijdschrift etc.) integer en betrouwbaar handelen
zoals dat vereist wordt van wetenschap?
Robert Merton heeft een goede poging gedaan om deze nodige ongeschreven regels op te
stellen met de vier wetenschappelijke waarden van Merton – Mertoniaanse waarden:
o Universalisme – wetenschappelijke kennis kan door iedereen verkregen worden.
Het gaat om de methoden die gebruikt zijn en niet om de persoon, wat bepaalt of
kennis wetenschappelijk is.
o Disinterestedness – wetenschappers doen onderzoek om ons begrip te verbreden
en nieuwe fenomenen te ontdekken, niet vanwege geld, ego of reputatie.
o Communality – wetenschappers moeten de wetenschappelijke kennis delen en
kenbaar maken voor iedereen (daarom worden artikelen gepubliceerd in
tijdschriften).
o Georganiseerde scepticisme – niets is heilig en niets wordt geaccepteerd alleen op
basis van uiterlijk. Alle data en methodologie moet grondig beoordeeld worden,
voordat we iets als waarheid accepteren (daarom peer review).
Theoretisch gezien ziet dit er goed uit: we eindigen met betrouwbare,
wetenschappelijke kennis. Maar in de praktijk zit het publicatiesysteem handelen
volgens deze waarden in de weg.
Wat goed is voor de wetenschap = zelfcorrectie – de kracht van een wetenschapper om zijn
gedachten te veranderen en eerder gedaan onderzoek als onjuist te beoordelen; dit laat
wetenschap groeien.
Het huidige publicatiesysteem zit deze zelfcorrectie in de weg. Er is een competitie tussen
het verkrijgen van prestige en vele publicaties aan de ene kant, en het open, gepassioneerde
en sceptische karakter van wetenschap aan de andere kant.
Resultaten betrouwbaar maken ze moeten repliceerbaar zijn: zo weet je zeker dat je niet
dealt met toeval, maar dat de bevinding echt zo is. Replicatie is een cruciaal onderdeel van
wetenschap, maar vele onderzoekers lijken het belang hiervan vergeten te zijn.
Hoe illustreren het voorbeeld van Bem’s en Stapel’s onderzoek wat er mis is in de
wetenschap?
Het centrale probleem in beide zaken had te maken met replicatie. Om een resultaat
wetenschappelijk waardig te noemen en serieus te kunnen nemen, moet je er zeker van zijn
dat het resultaat niet veroorzaakt is door geluk, een fout in het materiaal, of fouten/leugens
van de wetenschapper. Het resultaat moet echt gebeurd zijn en om daar zeker van te
worden, zouden andere wetenschappers hetzelfde resultaat moeten vinden.
Bem’s zaak: toen onderzoekers hele andere resultaten vonden, was het tijdschrift waarin het
oorspronkelijk onderzoek gepubliceerd was, niet eens bereid om het replicatieonderzoek te
publiceren: ze gingen geen replicatieonderzoeken publiceren, ongeacht of de resultaten
gerepliceerd waren of niet.
De wetenschappelijke kringen maakten duidelijk dat het oké was om dramatische claims
te maken, zonder een check hoe duurzaam de resultaten überhaupt zijn. Zonder
dubbelchecken of replicaties, hoe weten we dan of resultaten niet gewoon toevallig of fout
zijn?
De vraag of resultaten repliceren of niet, is niet een optionele vraag: het is de spirit van
wetenschap, wat gemanifesteerd zou moeten worden in een systeem van peer review en
tijdschriftpublicatie, wat zou moeten beschermen tegen valse resultaten, foute experimenten
en vage resultaten.
Maar dit is niet de realiteit: er zit een diepe corruptie in wetenschap – een corruptie die
de cultuur aantast waarin wetenschap wordt uitgeoefend en gepubliceerd. Het centrale doel
om dichterbij de waarheid te komen, wordt ondermijnd.
Wat is het gevolg van de setting waarin wetenschap plaatsvindt?
Wetenschap is een sociaal en menselijk ding wetenschap is gevoelig voor wat andere
onderzoekers, mensen en de maatschappij willen en het is gevoelig voor menselijke
karakteristieken.
De eerste stap in het verbeteren van de wetenschap, is leren om fouten te zien en te
corrigeren. Van fouten kun je leren: het kan je veel vertellen over het proces waarin wij
komen tot onze kennis.
Welke hoop kunnen we houden?
Wetenschap kan verbeterd worden en heeft de potentie om een robuust en betrouwbaar
systeem te worden. Vele fouten die zijn ontdekt in de wetenschap, zijn ontdekt door andere
wetenschappers. Het zelfkritische karakter van oprechte wetenschap blijft.
Aantekeningen boek – H1 Science Fictions
In welk opzicht is de wetenschap een sociaal construct?
,De wetenschap is een sociaal construct je kan niet alleen met de wetenschappelijke
methoden de waarheid ontdekken; je moet ook andere wetenschappers weten te overtuigen
van je ontdekkingen. Het is daarom erg belangrijk dat wetenschappers laten zien hoe ze bij
hun conclusies gekomen zijn.
Deze sociale aspecten van wetenschap zijn wetenschap in actie: een doorgaand proces
van gezamenlijk kritisch onderzoek, doorvragen, herzien, verfijnen en consensus –
overeenstemming. Deze sociale processen leiden tot de hoge mate van objectiviteit in
wetenschap.
Wat is het voornaamste doel van het gemeenschappelijke proces in de wetenschap?
Doel van gemeenschappelijke proces in wetenschap = errors en fouten uit de
wetenschappelijke kennis filteren en andere wetenschappers de kans geven om te
beoordelen of de kennis betrouwbaar, sterk en belangrijk is.
Er zitten valkuilen in deze sociale natuur van wetenschap – onderzoekers zijn zo erg bezig
om andere onderzoekers te verleiden, dat ze het echte doel van wetenschap uit het oog
kunnen verliezen: bewegen richting de waarheid. De verleidingstechnieken zijn niet altijd
rationeel of objectief. Zo is gebleken dat peer review echt niet accuraatheid en
betrouwbaarheid garandeert zoals gedacht wordt en het publicatiesysteem is ook enorm
gevallen voor biases.
Om te weten wat er fout is gegaan in wetenschap weten hoe wetenschap in z’n werk gaat
als het goed gaat:
1) Wetenschappelijke literatuur lezen – wat vroeger een soort korte rapporten waren
van de bevindingen, is wetenschap tegenwoordig uitgegroeid tot tienduizenden
artikelen, van heel breed tot heel specifiek.
Recentelijke verbetering: alles is online, dus alles is – met geld of via een
instituut – makkelijk toegankelijk.
2) Het bedenken van een onderzoeksvraag – dit kan inductief gebaseerd zijn, of
deductief.
voordat je dit doet, moet je wel gefinancierd worden en is het essentieel dat je
die financiering vindt (dit kan lang duren of zelfs niet lukken).
3) Data verzamelen – dit kan dagen, maanden of jaren duren.
4) Data analyse m.b.v. statistiek.
5) Alle bevindingen opschrijven in een wetenschappelijke paper – meestal heeft zo’n
paper de vorm van resp. introductie, methode, resultaten en discussie. Dit vat je
allemaal samen in de abstract.
6) Paper is klaar; ervoor zorgen dat die gepubliceerd wordt – dit is een hele lastige
stap en hier vindt veel concurrentie plaats. De meeste wetenschappelijke
tijdschriften accepteren namelijk maar een fractie van de ingediende papers.
Desk rejection – een ingediende paper wordt niet geaccepteerd door een
tijdschrift en wordt teruggestuurd naar de onderzoeker.
7) Wel geaccepteerd; paper moet het peer review proces doorlopen – de assumptie
heerst dat peer review altijd al een essentieel onderdeel is geweest van de
wetenschap, maar pas sinds de jaren ’70 is de moderne manier van peer review
, toegepast op alle tijdschriften.
Dat peer reviewers anoniem zijn is beide een zegen en een vloek – het is een
voordeel dat onderzoekers echt kunnen zeggen wat ze denken zonder dat ze zich
zorgen hoeven te maken over hun imago etc., maar ze kunnen dus zonder zorgen
zeggen wat ze denken; de kritiek kan heel hard geformuleerd worden.
Als o.b.v. de peer review een paper afgewezen wordt, kun je het opgeven, of je
probeert het bij een ander tijdschrift (dit proces kan zich meermaals herhalen),
maar als de reviewers iets meer onder de indruk zijn, kun je ook hun kritieken
verwerken en het na herziening nog een keer indienen.
8) De peer reviewers zijn tevreden en het tijdschrift paper wordt gepubliceerd.
Wat zijn de Mertoniaanse waarden die betrouwbaarheid en integriteit proberen te
waarborgen?
De vraag die heerst in dit proces hierboven: wat verzekert dat alle participanten in dit proces
(de onderzoeker, de peer reviewers, het tijdschrift etc.) integer en betrouwbaar handelen
zoals dat vereist wordt van wetenschap?
Robert Merton heeft een goede poging gedaan om deze nodige ongeschreven regels op te
stellen met de vier wetenschappelijke waarden van Merton – Mertoniaanse waarden:
o Universalisme – wetenschappelijke kennis kan door iedereen verkregen worden.
Het gaat om de methoden die gebruikt zijn en niet om de persoon, wat bepaalt of
kennis wetenschappelijk is.
o Disinterestedness – wetenschappers doen onderzoek om ons begrip te verbreden
en nieuwe fenomenen te ontdekken, niet vanwege geld, ego of reputatie.
o Communality – wetenschappers moeten de wetenschappelijke kennis delen en
kenbaar maken voor iedereen (daarom worden artikelen gepubliceerd in
tijdschriften).
o Georganiseerde scepticisme – niets is heilig en niets wordt geaccepteerd alleen op
basis van uiterlijk. Alle data en methodologie moet grondig beoordeeld worden,
voordat we iets als waarheid accepteren (daarom peer review).
Theoretisch gezien ziet dit er goed uit: we eindigen met betrouwbare,
wetenschappelijke kennis. Maar in de praktijk zit het publicatiesysteem handelen
volgens deze waarden in de weg.
Wat goed is voor de wetenschap = zelfcorrectie – de kracht van een wetenschapper om zijn
gedachten te veranderen en eerder gedaan onderzoek als onjuist te beoordelen; dit laat
wetenschap groeien.
Het huidige publicatiesysteem zit deze zelfcorrectie in de weg. Er is een competitie tussen
het verkrijgen van prestige en vele publicaties aan de ene kant, en het open, gepassioneerde
en sceptische karakter van wetenschap aan de andere kant.
Resultaten betrouwbaar maken ze moeten repliceerbaar zijn: zo weet je zeker dat je niet
dealt met toeval, maar dat de bevinding echt zo is. Replicatie is een cruciaal onderdeel van
wetenschap, maar vele onderzoekers lijken het belang hiervan vergeten te zijn.
