STATISTIEK DEEL II
Tip: what’s the P-value anyway?
BIOMEDISCHE LITERATUUR
PROBLEMEN IN DE LITERATUUR DOOR GEBREKKIGE METHODOLOGIE
De literatuur zit vol slordigheden, vaagheden, fouten, suboptimale methodologie en statistieken, en onvolledige/selectieve
rapportage. Dus, als een artikel na peer review is gepubliceerd, betekent dit niet dat alles wat is gedaan correct, optimaal of
gepast was.
_ Houd altijd een kritische blik, denk logisch na, en gebruik gezond verstand!
û Onvoldoende voorbereiding van studies:
Veel onderzoekers bereiden hun studies niet zorgvuldig voor, wat leidt tot methodologische fouten.
û Onjuist onderzoeksdesign:
Er wordt vaak een niet-passend design gekozen voor het onderzoek, wat de resultaten beïnvloedt.
û Gebruik van ongeschikte data:
Onderzoekers gebruiken soms beschikbare data zonder te beoordelen of deze geschikt is voor hun onderzoeksvragen.
û Knoeien met data en statistieken:
o P-hacking: Onderzoekers herhalen analyses of voegen extra patiënten toe om de resultaten significant te maken.
o Dit leidt tot overschatting van effecten in de literatuur.
û Onvolledige rapportage of selective reporting:
o Onderzoekers laten soms gegevens of resultaten weg die hun hypothese tegenspreken.
û Primaire uitkomstmaat en rapportage
o Belang van de primaire uitkomstmaat: Deze maat bepaalt het succes van een studie en wordt vooraf in het
protocol vastgelegd.
o Probleem: Sommige onderzoekers rapporteren een andere uitkomstmaat dan de primaire, omdat de
oorspronkelijke meting minder positieve resultaten gaf. Dit vervormt het beeld van de resultaten.
û Spin en sterke conclusies
o "Spin" in conclusies: Onderzoekers kunnen de resultaten overdreven of te positief presenteren, wat leidt tot
misleidende conclusies.
o Rol van peer-review: Peer-review moet ervoor zorgen dat conclusies realistisch blijven en niet te enthousiast zijn.
Het doel is om overhaaste conclusies en overdreven claims te vermijden.
o Publicatiedruk: Artikelen met sterke, opvallende conclusies hebben een grotere kans op publicatie, wat
onderzoekers kan aansporen om hun resultaten te overdrijven.
û Publicatiebias
o Selectieve publicatie: Studies zonder significante of gewenste resultaten worden vaak niet gepubliceerd. Dit
creëert een scheef beeld, omdat negatieve of neutrale bevindingen verloren gaan.
o Belang van volledige publicatie: Het is cruciaal dat alle resultaten, ongeacht hun uitkomst, bekend worden
gemaakt om een volledig en evenwichtig beeld van de wetenschap te behouden.
û HARKing (Hypothesising After Results are Known)
o Verandering van hypothese na de resultaten: Sommige onderzoekers passen hun hypothese aan op basis van de
reeds bekende resultaten, wat leidt tot een schijnbaar "succesvolle" studie.
o Gevolgen: Dit kan een vertekening van de waarheid veroorzaken, omdat het lijkt alsof de hypothese altijd wordt
bevestigd.
o Oplossing: Het is belangrijk om vast te houden aan de oorspronkelijke hypothese en uitkomstmaat, zoals
vastgelegd in het protocol.
1
, Correctie van fouten in de literatuur
û
o Moeilijkheid om fouten te corrigeren: Na publicatie is het lastig om fouten in artikelen te corrigeren. Dit kan
ertoe leiden dat onnauwkeurige informatie lang in de literatuur blijft staan.
o Gevoelig onderwerp: Het erkennen van fouten of het corrigeren ervan kan gevoelig liggen, waardoor correcties
vaak worden uitgesteld of niet plaatsvinden.
CONCLUSIE: BLIJF KRITISCH
• Onnauwkeurigheden in de literatuur: Zelfs peer-reviewed studies kunnen fouten bevatten of overdreven conclusies
trekken.
• Kritisch lezen: Het is belangrijk om literatuur altijd kritisch te beoordelen, ook al komt deze uit gerenommeerde bronnen.
Hoe zijn we hier beland?
› De ‘methodologieparadox’: een degelijke methodologie is cruciaal, maar blijft toch breed ondergewaardeerd in de
academische wereld (die vooral waarde hecht aan ranglijsten, citaties, enz.).
› Statistiek is niet eenvoudig, en goede statistici (of breder: datawetenschappers) of methodologen zijn niet makkelijk
beschikbaar voor de grote hoeveelheid onderzoek die plaatsvindt.
› Statistiekcursussen richten zich misschien iets te veel op simpele "recepten" (“in deze situatie doe je dit”) en op de
wiskunde.
› De wetenschappelijke prikkels: publiceren of vergaan (zie het eerste argument hierboven).
NOT: Methodologie is de kern van goed onderzoek doen, krijgt toch niet de aandacht die het zou moeten krijgen. Men is meer
bezig met meer oppervlakkige metingen die reflexteren hoe goed een onderzoeker,… is.
NOT: Statistiek is complex, kan je niet vereenvoudigen om tot een receptenboek te komen (≠ indien dit à moet je dit doen)
NOT: wetenschappelijke literatuur is bandwerk geworden, we doen het om papers te hebben, niet om de maatschappij vooruit
te helpen.
“We need less research, better research, and research done for the right reasons” -Altman (BMJ 1994)
Voorbeeld: DANISH PEDIATRIC LONG COVID STUDY
Hier wilden ze nagaan welke evidentie ze hebben voor longcovid symptomen bij kinderen en hoelang ze duren.
Doel: symptomen en duur documenteren bij kinderen met covid en vergelijken met non-covid kinderen.
Electronische vragenlijst opgestuurd naar ouders en/of kinderen.
Te zien dat in ± 15.000 kinderen geantwoord hebben en
die een positieve PCR test hadden minstens 4 weken
voordat survey werd uitgestuurd
Exposed groep: gebaseerd op bewijs van + PCR test
(opmerking (1): enkel kinderen met erge symptomen
werden getest à belangrijk voor design)
Opmerking (2): Laag responspercentage:
Exposed groep: minder dan de helft van de
aangeschreven kinderen heeft gereageerd, wat een belangrijk punt is om te benadrukken.
Controlegroep: In de controlegroep was het responspercentage ongeveer 20%.
Gevolg: De helft van de kinderen is dus uit de dataset verdwenen _ altijd belangrijk is om op te merken in de analyse _ Wie is er
verdwenen uit de groep en hoe gaat dit de resultaten beinvloeden?
2
Tip: what’s the P-value anyway?
BIOMEDISCHE LITERATUUR
PROBLEMEN IN DE LITERATUUR DOOR GEBREKKIGE METHODOLOGIE
De literatuur zit vol slordigheden, vaagheden, fouten, suboptimale methodologie en statistieken, en onvolledige/selectieve
rapportage. Dus, als een artikel na peer review is gepubliceerd, betekent dit niet dat alles wat is gedaan correct, optimaal of
gepast was.
_ Houd altijd een kritische blik, denk logisch na, en gebruik gezond verstand!
û Onvoldoende voorbereiding van studies:
Veel onderzoekers bereiden hun studies niet zorgvuldig voor, wat leidt tot methodologische fouten.
û Onjuist onderzoeksdesign:
Er wordt vaak een niet-passend design gekozen voor het onderzoek, wat de resultaten beïnvloedt.
û Gebruik van ongeschikte data:
Onderzoekers gebruiken soms beschikbare data zonder te beoordelen of deze geschikt is voor hun onderzoeksvragen.
û Knoeien met data en statistieken:
o P-hacking: Onderzoekers herhalen analyses of voegen extra patiënten toe om de resultaten significant te maken.
o Dit leidt tot overschatting van effecten in de literatuur.
û Onvolledige rapportage of selective reporting:
o Onderzoekers laten soms gegevens of resultaten weg die hun hypothese tegenspreken.
û Primaire uitkomstmaat en rapportage
o Belang van de primaire uitkomstmaat: Deze maat bepaalt het succes van een studie en wordt vooraf in het
protocol vastgelegd.
o Probleem: Sommige onderzoekers rapporteren een andere uitkomstmaat dan de primaire, omdat de
oorspronkelijke meting minder positieve resultaten gaf. Dit vervormt het beeld van de resultaten.
û Spin en sterke conclusies
o "Spin" in conclusies: Onderzoekers kunnen de resultaten overdreven of te positief presenteren, wat leidt tot
misleidende conclusies.
o Rol van peer-review: Peer-review moet ervoor zorgen dat conclusies realistisch blijven en niet te enthousiast zijn.
Het doel is om overhaaste conclusies en overdreven claims te vermijden.
o Publicatiedruk: Artikelen met sterke, opvallende conclusies hebben een grotere kans op publicatie, wat
onderzoekers kan aansporen om hun resultaten te overdrijven.
û Publicatiebias
o Selectieve publicatie: Studies zonder significante of gewenste resultaten worden vaak niet gepubliceerd. Dit
creëert een scheef beeld, omdat negatieve of neutrale bevindingen verloren gaan.
o Belang van volledige publicatie: Het is cruciaal dat alle resultaten, ongeacht hun uitkomst, bekend worden
gemaakt om een volledig en evenwichtig beeld van de wetenschap te behouden.
û HARKing (Hypothesising After Results are Known)
o Verandering van hypothese na de resultaten: Sommige onderzoekers passen hun hypothese aan op basis van de
reeds bekende resultaten, wat leidt tot een schijnbaar "succesvolle" studie.
o Gevolgen: Dit kan een vertekening van de waarheid veroorzaken, omdat het lijkt alsof de hypothese altijd wordt
bevestigd.
o Oplossing: Het is belangrijk om vast te houden aan de oorspronkelijke hypothese en uitkomstmaat, zoals
vastgelegd in het protocol.
1
, Correctie van fouten in de literatuur
û
o Moeilijkheid om fouten te corrigeren: Na publicatie is het lastig om fouten in artikelen te corrigeren. Dit kan
ertoe leiden dat onnauwkeurige informatie lang in de literatuur blijft staan.
o Gevoelig onderwerp: Het erkennen van fouten of het corrigeren ervan kan gevoelig liggen, waardoor correcties
vaak worden uitgesteld of niet plaatsvinden.
CONCLUSIE: BLIJF KRITISCH
• Onnauwkeurigheden in de literatuur: Zelfs peer-reviewed studies kunnen fouten bevatten of overdreven conclusies
trekken.
• Kritisch lezen: Het is belangrijk om literatuur altijd kritisch te beoordelen, ook al komt deze uit gerenommeerde bronnen.
Hoe zijn we hier beland?
› De ‘methodologieparadox’: een degelijke methodologie is cruciaal, maar blijft toch breed ondergewaardeerd in de
academische wereld (die vooral waarde hecht aan ranglijsten, citaties, enz.).
› Statistiek is niet eenvoudig, en goede statistici (of breder: datawetenschappers) of methodologen zijn niet makkelijk
beschikbaar voor de grote hoeveelheid onderzoek die plaatsvindt.
› Statistiekcursussen richten zich misschien iets te veel op simpele "recepten" (“in deze situatie doe je dit”) en op de
wiskunde.
› De wetenschappelijke prikkels: publiceren of vergaan (zie het eerste argument hierboven).
NOT: Methodologie is de kern van goed onderzoek doen, krijgt toch niet de aandacht die het zou moeten krijgen. Men is meer
bezig met meer oppervlakkige metingen die reflexteren hoe goed een onderzoeker,… is.
NOT: Statistiek is complex, kan je niet vereenvoudigen om tot een receptenboek te komen (≠ indien dit à moet je dit doen)
NOT: wetenschappelijke literatuur is bandwerk geworden, we doen het om papers te hebben, niet om de maatschappij vooruit
te helpen.
“We need less research, better research, and research done for the right reasons” -Altman (BMJ 1994)
Voorbeeld: DANISH PEDIATRIC LONG COVID STUDY
Hier wilden ze nagaan welke evidentie ze hebben voor longcovid symptomen bij kinderen en hoelang ze duren.
Doel: symptomen en duur documenteren bij kinderen met covid en vergelijken met non-covid kinderen.
Electronische vragenlijst opgestuurd naar ouders en/of kinderen.
Te zien dat in ± 15.000 kinderen geantwoord hebben en
die een positieve PCR test hadden minstens 4 weken
voordat survey werd uitgestuurd
Exposed groep: gebaseerd op bewijs van + PCR test
(opmerking (1): enkel kinderen met erge symptomen
werden getest à belangrijk voor design)
Opmerking (2): Laag responspercentage:
Exposed groep: minder dan de helft van de
aangeschreven kinderen heeft gereageerd, wat een belangrijk punt is om te benadrukken.
Controlegroep: In de controlegroep was het responspercentage ongeveer 20%.
Gevolg: De helft van de kinderen is dus uit de dataset verdwenen _ altijd belangrijk is om op te merken in de analyse _ Wie is er
verdwenen uit de groep en hoe gaat dit de resultaten beinvloeden?
2
