KOM – samenvatting integriteit en vergelijking onderzoeksmethoden
WEEK 1
Wetenschappelijke integriteit
De Nederlandse gedragscode wetenschappelijke integriteit stelt dat eerlijkheid, zorgvuldigheid,
transparantie, onafhankelijkheid en verantwoordelijkheid van groot belang zijn. Bewust en onbewust
kan integriteit geschonden worden, het is dus belangrijk om op de hoogte te zijn van wat goede
onderzoekspraktijken zijn. Eerlijkheid kan geschonden worden door fabricage: het verzinnen van
data, of plagiaat: werk van anderen kopiëren. Falsifying is het bewust niet rapporteren van bepaalde
bevindingen, aanpassen van data of foutief interpreteren van data en dus oneerlijk zijn. Als deze
zaken onbewust gebeuren, kan er sprake zijn van een zorgvuldigheidsfout. Niet rapporteren van niet
significante bevindingen wordt onder andere vanwege publication bias gedaan.
Afhankelijk van hoeveel studies er gedaan worden en hoeveel hypothesen die onderzocht worden
waar zijn, kunnen we er vanuit gaan dat er een degelijk aantal foute resultaten gepubliceerd worden,
omdat er een type 1 fout gemaakt is. Daarnaast worden er soms ook type 2 fouten gemaakt omdat
de power te laag is, waardoor niet alle ware bevindingen gerapporteerd worden. Er kan vanuit
gegaan worden dat 1/3 van het gepubliceerde onderzoek niet klopt. Vaak als studies gerepliceerd
worden, blijkt dat ze niet helemaal klopten. Naast publication bias, willen onderzoekers ook zo veel
mogelijk in zo goed mogelijke tijdschriften publiceren, om zo hun carrière veilig te stellen, wat tot
questionable research practices of QRP kan leiden.
- Uitschieters mogen alleen met reden en transparant verwijdert worden.
- Niet om significantie te verhogen
p-hacking is zoeken naar significante verbanden in de data zonder vooraf hypotheses op te stellen en
schendt transparantie, je p-waarde is namelijk onjuist, geen hypothese hebben kan alleen bij
exploratief onderzoek. Achteraf een hypothese opstellen bij het gevonden resultaat is harking.
(hypothesizing after results are known). Een veel voorkomende soort QRP is het zo aanpassen van de
resultaten dat de p net significant is. Mogelijke oplossingen zijn:
- Retractie: een gepubliceerd artikel wat fout blijkt wordt teruggetrokken.
o Schaadt reputatie onderzoeker, ook als fout onbewust was
o Schaadt reputatie wetenschap
o In de tijd voor retractie kan al schade aangericht zijn
- Post-publication peer review: publicaties worden online besproken door anderen, is heel
transparant en zorgt voor gedeelde verantwoordelijkheid auteurs en wetenschappelijke
gemeenschap
- Pre-registratie: voorafgaand aan het onderzoek moeten de hypothese,
onderzoeksmethodologie en verwachtte bevindingen gerapporteerd worden. Als het
protocol wordt goedgekeurd, wordt het artikel altijd gepubliceerd, ongeacht de uitkomsten.
- Replicatie
- Research Ethics for students in the social sciences p 117 – 144
Een gebrek aan openheid en transparantie wordt ‘sloppy science’ genoemd, waarbij er bedoelde en
onbedoelde schendingen van wetenschappelijke normen zijn. Een extreme vorm is vervalsing.
Vormen van vervalsing zijn trimming en massaging, weglaten en veranderen, misinterpretatie en het
, weglaten van bepaalde bevindingen. Het wordt minder erg gevonden dan fabricatie en plagiaat,
maar kan de wetenschappelijke literatuur toch sterk vervuilen. Er moet wel onderscheid gemaakt
worden tussen bewuste manipulatie en oprechte fouten.
Wetenschappers moeten actief op zoek gaan naar weerleggingen voor hun hypothesen. Onder
andere door confirmation bias is dit lastig. Dit vormt een grote bedreiging voor de wetenschap,
omdat het mensen minder kritisch, open-minded en creatief maakt. Actief sturen op een evenwichtig
beeld kan hier wellicht bij helpen.
Omdat tijdschriften vooral onderzoeken met lage p-waardes publiceren, is een lage p-waarde een
soort doel op zich geworden en heerst er publication bias. Ook leidt het tot QRP, zoals het onterecht
verwijderen van uitschieters, niet alles rapporteren en data aanpassen om significantie te verhogen.
Vooral met moderne technologie, zoals het gebruik van afbeeldingen in onderzoek, moet er scherp
gekeken worden. Er is een regelgeving voor het gepast en ongepast gebruik van digitale
afbeeldingen. Zo moeten ze op een juiste manier verworven worden, mogen aanpassingen alleen op
een kopie gedaan worden en mag er niks aan toegevoegd worden.
Vaak wordt ons begrip gekleurd door het feit dat tegenbewijs niet gepubliceerd wordt, het kan dus
altijd zo zijn dat een studie een type 1 fout is. Het gebrek aan tegenbewijs omdat dit niet
gepubliceerd wordt, wordt het file-drawer probleem genoemd. Er is een obsessie met lage p-
waardes die ons beeld vertekent. Het peer-review systeem is niet goed in het voorkomen van dit
soort fouten. Reviewers kunnen te conservatief zijn en een vooroordeel hebben tegen nieuwe
bevindingen en ideeën. Ook hebben ze een voorkeur voor hoog aangeschreven instellingen en
auteurs. Zo kunnen redacteurs een vooroordeel hebben tegen replicaties, terwijl die juist cruciaal zijn
voor goede wetenschap. Er is sprake van editorial bias tegen replicatie studies.
Hoewel falsyfing anders is dan een oprechte fout, is er een oprechte fout die een doodzonde is,
namelijk zelf-deceptie. Een onderzoeker is zo overtuigd van een theorie of model dat ze
tegensprekend bewijs niet accepteren. Zo kan er informatie die niet bestaat ontdekt worden. Een
veelgebruikte oplossing voor de ontdekking van foute studies, is ze intrekken. Daarbij blijven ze
online wel zichtbaar en besmetten ze de reputatie van de auteur dus voor goed. Steeds meer
artikelen worden teruggetrokken, maar je kan je af vragen of dit iets goeds is. Het kan ook enkel
betekenen dat de wetenschappelijke gemeenschap beter oplet en strenger straft. Wetenschappers
zouden alerter moeten zijn op fouten van hun collega’s. PPPR zorgt voor een hogere
aansprakelijkheid, maar vooral als het anoniem is roept het vervolgens vragen op over de
betrouwbaarheid van de review.
- hoofdstuk 2 uit de Nederlandse Gedragscode voor wetenschappelijke integriteit
Er zijn 5 principes voor wetenschappelijke integriteit:
- eerlijkheid houdt in dat men geen ongefundeerde claims doet, over het onderzoeksproces
correct rapporteert, geen dingen verzint of vervalst, tegenargumenten serieus neemt en
resultaten niet gunstiger voorstelt dan ze zijn
- zorgvuldigheid, precisie in de uitvoering van het onderzoek
- transparantie houdt in dat het helder is op welke data je je baseert, hoe het verkregen is,
welke resultaten hoe bereikt zijn, waarom sommige data niet toegankelijk is. Het moet te
volgen zijn voor vakgenoten.
- Onafhankelijkheid houdt in dat bij keuze voor methode, beoordeling van data en wegen van
alternatieve verklaringen men zich niet laat leiden door buiten-wetenschappelijke
overwegingen. Onpartijdigheid.
WEEK 1
Wetenschappelijke integriteit
De Nederlandse gedragscode wetenschappelijke integriteit stelt dat eerlijkheid, zorgvuldigheid,
transparantie, onafhankelijkheid en verantwoordelijkheid van groot belang zijn. Bewust en onbewust
kan integriteit geschonden worden, het is dus belangrijk om op de hoogte te zijn van wat goede
onderzoekspraktijken zijn. Eerlijkheid kan geschonden worden door fabricage: het verzinnen van
data, of plagiaat: werk van anderen kopiëren. Falsifying is het bewust niet rapporteren van bepaalde
bevindingen, aanpassen van data of foutief interpreteren van data en dus oneerlijk zijn. Als deze
zaken onbewust gebeuren, kan er sprake zijn van een zorgvuldigheidsfout. Niet rapporteren van niet
significante bevindingen wordt onder andere vanwege publication bias gedaan.
Afhankelijk van hoeveel studies er gedaan worden en hoeveel hypothesen die onderzocht worden
waar zijn, kunnen we er vanuit gaan dat er een degelijk aantal foute resultaten gepubliceerd worden,
omdat er een type 1 fout gemaakt is. Daarnaast worden er soms ook type 2 fouten gemaakt omdat
de power te laag is, waardoor niet alle ware bevindingen gerapporteerd worden. Er kan vanuit
gegaan worden dat 1/3 van het gepubliceerde onderzoek niet klopt. Vaak als studies gerepliceerd
worden, blijkt dat ze niet helemaal klopten. Naast publication bias, willen onderzoekers ook zo veel
mogelijk in zo goed mogelijke tijdschriften publiceren, om zo hun carrière veilig te stellen, wat tot
questionable research practices of QRP kan leiden.
- Uitschieters mogen alleen met reden en transparant verwijdert worden.
- Niet om significantie te verhogen
p-hacking is zoeken naar significante verbanden in de data zonder vooraf hypotheses op te stellen en
schendt transparantie, je p-waarde is namelijk onjuist, geen hypothese hebben kan alleen bij
exploratief onderzoek. Achteraf een hypothese opstellen bij het gevonden resultaat is harking.
(hypothesizing after results are known). Een veel voorkomende soort QRP is het zo aanpassen van de
resultaten dat de p net significant is. Mogelijke oplossingen zijn:
- Retractie: een gepubliceerd artikel wat fout blijkt wordt teruggetrokken.
o Schaadt reputatie onderzoeker, ook als fout onbewust was
o Schaadt reputatie wetenschap
o In de tijd voor retractie kan al schade aangericht zijn
- Post-publication peer review: publicaties worden online besproken door anderen, is heel
transparant en zorgt voor gedeelde verantwoordelijkheid auteurs en wetenschappelijke
gemeenschap
- Pre-registratie: voorafgaand aan het onderzoek moeten de hypothese,
onderzoeksmethodologie en verwachtte bevindingen gerapporteerd worden. Als het
protocol wordt goedgekeurd, wordt het artikel altijd gepubliceerd, ongeacht de uitkomsten.
- Replicatie
- Research Ethics for students in the social sciences p 117 – 144
Een gebrek aan openheid en transparantie wordt ‘sloppy science’ genoemd, waarbij er bedoelde en
onbedoelde schendingen van wetenschappelijke normen zijn. Een extreme vorm is vervalsing.
Vormen van vervalsing zijn trimming en massaging, weglaten en veranderen, misinterpretatie en het
, weglaten van bepaalde bevindingen. Het wordt minder erg gevonden dan fabricatie en plagiaat,
maar kan de wetenschappelijke literatuur toch sterk vervuilen. Er moet wel onderscheid gemaakt
worden tussen bewuste manipulatie en oprechte fouten.
Wetenschappers moeten actief op zoek gaan naar weerleggingen voor hun hypothesen. Onder
andere door confirmation bias is dit lastig. Dit vormt een grote bedreiging voor de wetenschap,
omdat het mensen minder kritisch, open-minded en creatief maakt. Actief sturen op een evenwichtig
beeld kan hier wellicht bij helpen.
Omdat tijdschriften vooral onderzoeken met lage p-waardes publiceren, is een lage p-waarde een
soort doel op zich geworden en heerst er publication bias. Ook leidt het tot QRP, zoals het onterecht
verwijderen van uitschieters, niet alles rapporteren en data aanpassen om significantie te verhogen.
Vooral met moderne technologie, zoals het gebruik van afbeeldingen in onderzoek, moet er scherp
gekeken worden. Er is een regelgeving voor het gepast en ongepast gebruik van digitale
afbeeldingen. Zo moeten ze op een juiste manier verworven worden, mogen aanpassingen alleen op
een kopie gedaan worden en mag er niks aan toegevoegd worden.
Vaak wordt ons begrip gekleurd door het feit dat tegenbewijs niet gepubliceerd wordt, het kan dus
altijd zo zijn dat een studie een type 1 fout is. Het gebrek aan tegenbewijs omdat dit niet
gepubliceerd wordt, wordt het file-drawer probleem genoemd. Er is een obsessie met lage p-
waardes die ons beeld vertekent. Het peer-review systeem is niet goed in het voorkomen van dit
soort fouten. Reviewers kunnen te conservatief zijn en een vooroordeel hebben tegen nieuwe
bevindingen en ideeën. Ook hebben ze een voorkeur voor hoog aangeschreven instellingen en
auteurs. Zo kunnen redacteurs een vooroordeel hebben tegen replicaties, terwijl die juist cruciaal zijn
voor goede wetenschap. Er is sprake van editorial bias tegen replicatie studies.
Hoewel falsyfing anders is dan een oprechte fout, is er een oprechte fout die een doodzonde is,
namelijk zelf-deceptie. Een onderzoeker is zo overtuigd van een theorie of model dat ze
tegensprekend bewijs niet accepteren. Zo kan er informatie die niet bestaat ontdekt worden. Een
veelgebruikte oplossing voor de ontdekking van foute studies, is ze intrekken. Daarbij blijven ze
online wel zichtbaar en besmetten ze de reputatie van de auteur dus voor goed. Steeds meer
artikelen worden teruggetrokken, maar je kan je af vragen of dit iets goeds is. Het kan ook enkel
betekenen dat de wetenschappelijke gemeenschap beter oplet en strenger straft. Wetenschappers
zouden alerter moeten zijn op fouten van hun collega’s. PPPR zorgt voor een hogere
aansprakelijkheid, maar vooral als het anoniem is roept het vervolgens vragen op over de
betrouwbaarheid van de review.
- hoofdstuk 2 uit de Nederlandse Gedragscode voor wetenschappelijke integriteit
Er zijn 5 principes voor wetenschappelijke integriteit:
- eerlijkheid houdt in dat men geen ongefundeerde claims doet, over het onderzoeksproces
correct rapporteert, geen dingen verzint of vervalst, tegenargumenten serieus neemt en
resultaten niet gunstiger voorstelt dan ze zijn
- zorgvuldigheid, precisie in de uitvoering van het onderzoek
- transparantie houdt in dat het helder is op welke data je je baseert, hoe het verkregen is,
welke resultaten hoe bereikt zijn, waarom sommige data niet toegankelijk is. Het moet te
volgen zijn voor vakgenoten.
- Onafhankelijkheid houdt in dat bij keuze voor methode, beoordeling van data en wegen van
alternatieve verklaringen men zich niet laat leiden door buiten-wetenschappelijke
overwegingen. Onpartijdigheid.
