Kennismaking met Onderzoeksmethoden en Statistiek
Wetenschappelijke integriteit
▸Vijf principes die de grondslag vormen van integer onderzoek:
▪Eerlijkheid
▪Correct rapporteren, data of bronnen niet verzinnen/vervalsen
▪Zorgvuldigheid
▪Wetenschappelijke methoden gebruiken, optimale precisie etc.
▪Transparantie
▪Gebaseerd op welke data, hoe verkregen, rol van externe belanghebbenden
▪Onafhankelijkheid
▪Niet laat leiden door buiten-wetenschappelijke overwegingen, onpartijdigheid
▪Verantwoordelijkheid
▪Rekening houden met de legitieme belangen van bij het onderzoek betrokken
personen, dieren, opdrachtgevers, etc.
▸Falsifying is het bewust niet rapporteren van bepaalde bevindingen, het aanpassen van data of
het foutief interpreteren van data.
▸In een meta-analyse wordt het gemiddelde berekend van de effectgroottes van studies waarin
dezelfde onderzoeksvraag wordt geëvalueerd met een vergelijkbare onderzoeksopzet. Dit heeft
twee redenen:
1. Het gecombineerde resultaat levert sterker wetenschappelijk bewijs dan een enkel onderzoek;
2. Wanneer er grote verschillen zijn tussen de onderzoekresultaten kan onderzocht worden of
deze verklaard kunnen worden door bepaalde onderzoekskenmerken.
Questionable Research Practices / QRP
▸Onderzoekers gaan ‘bedenkelijke dingen’ doen om er voor te zorgen dat zij significante
resultaten vinden. Deze activiteiten zijn niet altijd duidelijk aan te merken als fraude, maar zijn
op zijn minst dubieus
▸P-hacking: alles wat een onderzoeker onderneemt om van een niet-significant resultaat een
significant resultaat te maken.
▪Het weglaten van data
▪Het kiezen van een bepaalde transformatie van de data
▪Het weglaten van parameters in een statistisch model
▸HARKing: Achteraf formuleren van hypotheses en doen alsof deze vooraf waren opgesteld.
▸Kans op type I fout wordt groter door het vaker trekken van een steekproef.
Oplossingen:
▸Retractie: terugtrekken van publicatie
▪Vorm van zelfcorrectie achteraf
▪Heeft nadelen: reputatieschade onderzoeker en wetenschap, vaak lange tijd tussen
publicatie en retractie
▸Post-publication peer review
▪Online discussieplatform over publicaties (auteurs, redacteuren, peers)
▪Transparantie, verantwoordelijkheid
▸Pre-registratie
▪Vooraf verplicht indienen onderzoeksprotocol (hypothesen, methodologie,
verwachting)
▪Vindt plaats tussen hypothesen en dataverzameling
▪Publicatie onafhankelijk van uitkomst
▸Replicatie
▪Vast onderdeel van onderzoekscyclus
Wetenschappelijke integriteit
▸Vijf principes die de grondslag vormen van integer onderzoek:
▪Eerlijkheid
▪Correct rapporteren, data of bronnen niet verzinnen/vervalsen
▪Zorgvuldigheid
▪Wetenschappelijke methoden gebruiken, optimale precisie etc.
▪Transparantie
▪Gebaseerd op welke data, hoe verkregen, rol van externe belanghebbenden
▪Onafhankelijkheid
▪Niet laat leiden door buiten-wetenschappelijke overwegingen, onpartijdigheid
▪Verantwoordelijkheid
▪Rekening houden met de legitieme belangen van bij het onderzoek betrokken
personen, dieren, opdrachtgevers, etc.
▸Falsifying is het bewust niet rapporteren van bepaalde bevindingen, het aanpassen van data of
het foutief interpreteren van data.
▸In een meta-analyse wordt het gemiddelde berekend van de effectgroottes van studies waarin
dezelfde onderzoeksvraag wordt geëvalueerd met een vergelijkbare onderzoeksopzet. Dit heeft
twee redenen:
1. Het gecombineerde resultaat levert sterker wetenschappelijk bewijs dan een enkel onderzoek;
2. Wanneer er grote verschillen zijn tussen de onderzoekresultaten kan onderzocht worden of
deze verklaard kunnen worden door bepaalde onderzoekskenmerken.
Questionable Research Practices / QRP
▸Onderzoekers gaan ‘bedenkelijke dingen’ doen om er voor te zorgen dat zij significante
resultaten vinden. Deze activiteiten zijn niet altijd duidelijk aan te merken als fraude, maar zijn
op zijn minst dubieus
▸P-hacking: alles wat een onderzoeker onderneemt om van een niet-significant resultaat een
significant resultaat te maken.
▪Het weglaten van data
▪Het kiezen van een bepaalde transformatie van de data
▪Het weglaten van parameters in een statistisch model
▸HARKing: Achteraf formuleren van hypotheses en doen alsof deze vooraf waren opgesteld.
▸Kans op type I fout wordt groter door het vaker trekken van een steekproef.
Oplossingen:
▸Retractie: terugtrekken van publicatie
▪Vorm van zelfcorrectie achteraf
▪Heeft nadelen: reputatieschade onderzoeker en wetenschap, vaak lange tijd tussen
publicatie en retractie
▸Post-publication peer review
▪Online discussieplatform over publicaties (auteurs, redacteuren, peers)
▪Transparantie, verantwoordelijkheid
▸Pre-registratie
▪Vooraf verplicht indienen onderzoeksprotocol (hypothesen, methodologie,
verwachting)
▪Vindt plaats tussen hypothesen en dataverzameling
▪Publicatie onafhankelijk van uitkomst
▸Replicatie
▪Vast onderdeel van onderzoekscyclus
