1
Les 1 (24/09)
Examen op 10/01: meerkeuzevragen, open boek met GIS-correctie
Deel 1: Getting started
1. The biomedical literature
Methodologie in het onderzoek zou
iets meer aandacht moeten
krijgen. Doordat er weinig focus is
op de methodologie zie je dat er
dingen misgaan in de literatuur:
- mensen bereiden hun studie
niet goed voor
- gebruiken geen optimaal design,
we gebruiken de data die we
hebben of die nu geschikt zijn of
niet (zolang er maar publicaties
komen)
- p-hacking = analyse opnieuw doen en mensen eruit halen → als je dat doet gaan
de effecten die je in de literatuur ziet overschat zijn
- mensen rapporteren niet volledig (selective reporting)
- spin = een term dat mensen de conclusie van een artikel sterk gaan verwoorden
- publication bias = studies die niet het gewenste resultaat geven dan niet
gepubliceerd worden mogelijks omdat men niet probeert om ze te publiceren
- harcking = hypothetising after the results are known = je doet het experiment, je
ziet wat de resultaten zijn en je schrijft in de inleiding je hypothese die bevestigd
werd door de resultaten. Dus eerst bekijk je de resultaten en pas dan geef je de
hypothese.
Als we problemen vinden in artikels, is het moeilijk om te zorgen dat de fouten
gecorrigeerd worden. Als een artikel gepubliceerd is, geven de auteurs geven dat ook
niet graag toe.
1
, 2
The literature is full of carelessness, vagueness, errors, suboptimal methodology and
statistics, and incomplete/selective reporting.
So, if a paper is published after peer review, this does not mean that everything that was
done was correct/optimal/appropriate.
Always have a critical eye, think logically, and use common sense.
De literatuur is vol van onzorgvuldigheden, vaagheden, fouten, suboptimale
methodologie en statistieken, en onvolledige/selectieve rapportages. Dus als een paper
wordt gepubliceerd na peer review, betekent dit niet dat alles wat is gedaan
correct/optimaal/gepast was.
Heb altijd een kritische blik, denk logisch na en gebruik je gezond verstand.
How did we get here?
- The ‘methodology paradox’: secure methodology is crucial, but still remains
undervalued quite broadly in the academic world (which likes rankings,
citations, etc)
- Statistics is not easy, and good statisticians (or more broadly: data scientists)
or methodologists are not easily available for the large amount of research that
is taking place
- Statistics courses may focus a bit too much on simple cookbook recipes (“in
this situation, do that”) and on the math
- The scientific incentives: publish or perish (cf first argument above)
“We need less research, better research, and research done for the right
reasons”
Altman (BMJ 1994)
Hoe zijn we hier terechtgekomen?
- De ‘methodologieparadox’: veilige methodologie is cruciaal, maar wordt nog
steeds behoorlijk ondergewaardeerd in de academische wereld (die van
ranglijsten, citaties, etc. houdt)
- Statistiek is niet makkelijk, en goede statistici (of breder: datawetenschappers)
of methodologen zijn niet makkelijk beschikbaar voor de grote hoeveelheid
onderzoek die plaatsvindt
- Statistiekcursussen richten zich misschien iets te veel op simpele recepten uit
kookboeken (‘doe dat in deze situatie’) en op de wiskunde
- De wetenschappelijke prikkels: publiceer of verdwijn (vergelijk het eerste
argument hierboven)
2
, 3
- Methodologie is de kern van goed onderzoek doen: een studie moet goed
voorbereid zijn. Toch krijgt dat niet de aandacht in de wetenschap. Men is bezig
met andere metingen die zouden moeten reflecteren, hoe goed een
universiteit/wetenschapper/artikel/tijdschrift is…
- Omdat statistiek moeilijk is wordt het te gemakkelijk voorgesteld, alsof het een
receptenboek is (bv heb je zo een data moet je het zo doen). Terwijl het
gecompliceerder is.
- Als je niet publiceert dan is het moeilijk om te blijven overleven.
Danish pediatric long covid study
Ze willen nagaan welke
evidentie ze hebben voor long
covid symptomen en hoe lang
ze duren.
Doel: om de symptomen en
de duur van die symptomen te
documenteren bij kinderen die covid infectie hadden in Denemarken en dat te
vergelijken met een controlegroep van kinderen die de infectie niet hadden.
Inclusie van alle kinderen in Denemarken die een positieve PCR test hadden tussen
januari en maart 2020
Voor de controlegroep keken ze naar 78000 kinderen uit 5 gemeenten.
In die periode was niemand gevaccineerd. Men had een elektronische vragenlijst
opgesteld en opgestuurd.
In beide groepen hadden ze 15000 kinderen die volledig geantwoord hadden op de
vragenlijst. Die 15000 kinderen hadden een positieve PCR test minstens 4 weken
voordat de survey werd uitgestuurd.
Bij de controlegroep waren er kinderen zonder infectie
De kinderen met covid was gebaseerd op bewijs van een positieve PCR test.
Vraag bij geïnfecteerde kinderen (blootgesteld):
- Heeft uw kind 4 weken of langer na de positieve test een van de volgende
symptomen gehad?
- Hoe lang duurden die symptomen?
Vraag bij niet-geïnfecteerde kinderen:
- Heeft uw kind in het afgelopen jaar een van de volgende symptomen gehad die 4
weken of langer duurden?
- Hoe lang duurden die symptomen?
Kunt u de resultaten tussen groepen vergelijken?
Ivermectin
3
, 4
Ivermectin: middelen die helpen bij
covid-infectie
Er werden twee systematic reviews
gepubliceerd in 2021. Ivermectin kan
positief zijn bij het beschermen van
patiënten met covid positieve infectie.
Dat zijn 2 artikels die veel aandacht
kregen in de media:
Er is een probleem: veel van de studies die in de systematic review samengevat worden
is er iets mis mee. De studies waar het meest mis mee lijkt te zijn hebben perongeluk de
beste resultaten in Ivermectine.
Er was een studie waardat in de groep van patiënten zonder ivermectine, overlijdens
includeerden die gebeurde voordat de studie begon. Dat klopt niet.
Er was ook een studie waar ze deelnemers rekruteerde van ziekenhuizen die nadien
zeiden ‘we weten niets van die studie, we hebben er niet aan deelgenomen’.
Ook studies waar data copy-paste werden.
4
Les 1 (24/09)
Examen op 10/01: meerkeuzevragen, open boek met GIS-correctie
Deel 1: Getting started
1. The biomedical literature
Methodologie in het onderzoek zou
iets meer aandacht moeten
krijgen. Doordat er weinig focus is
op de methodologie zie je dat er
dingen misgaan in de literatuur:
- mensen bereiden hun studie
niet goed voor
- gebruiken geen optimaal design,
we gebruiken de data die we
hebben of die nu geschikt zijn of
niet (zolang er maar publicaties
komen)
- p-hacking = analyse opnieuw doen en mensen eruit halen → als je dat doet gaan
de effecten die je in de literatuur ziet overschat zijn
- mensen rapporteren niet volledig (selective reporting)
- spin = een term dat mensen de conclusie van een artikel sterk gaan verwoorden
- publication bias = studies die niet het gewenste resultaat geven dan niet
gepubliceerd worden mogelijks omdat men niet probeert om ze te publiceren
- harcking = hypothetising after the results are known = je doet het experiment, je
ziet wat de resultaten zijn en je schrijft in de inleiding je hypothese die bevestigd
werd door de resultaten. Dus eerst bekijk je de resultaten en pas dan geef je de
hypothese.
Als we problemen vinden in artikels, is het moeilijk om te zorgen dat de fouten
gecorrigeerd worden. Als een artikel gepubliceerd is, geven de auteurs geven dat ook
niet graag toe.
1
, 2
The literature is full of carelessness, vagueness, errors, suboptimal methodology and
statistics, and incomplete/selective reporting.
So, if a paper is published after peer review, this does not mean that everything that was
done was correct/optimal/appropriate.
Always have a critical eye, think logically, and use common sense.
De literatuur is vol van onzorgvuldigheden, vaagheden, fouten, suboptimale
methodologie en statistieken, en onvolledige/selectieve rapportages. Dus als een paper
wordt gepubliceerd na peer review, betekent dit niet dat alles wat is gedaan
correct/optimaal/gepast was.
Heb altijd een kritische blik, denk logisch na en gebruik je gezond verstand.
How did we get here?
- The ‘methodology paradox’: secure methodology is crucial, but still remains
undervalued quite broadly in the academic world (which likes rankings,
citations, etc)
- Statistics is not easy, and good statisticians (or more broadly: data scientists)
or methodologists are not easily available for the large amount of research that
is taking place
- Statistics courses may focus a bit too much on simple cookbook recipes (“in
this situation, do that”) and on the math
- The scientific incentives: publish or perish (cf first argument above)
“We need less research, better research, and research done for the right
reasons”
Altman (BMJ 1994)
Hoe zijn we hier terechtgekomen?
- De ‘methodologieparadox’: veilige methodologie is cruciaal, maar wordt nog
steeds behoorlijk ondergewaardeerd in de academische wereld (die van
ranglijsten, citaties, etc. houdt)
- Statistiek is niet makkelijk, en goede statistici (of breder: datawetenschappers)
of methodologen zijn niet makkelijk beschikbaar voor de grote hoeveelheid
onderzoek die plaatsvindt
- Statistiekcursussen richten zich misschien iets te veel op simpele recepten uit
kookboeken (‘doe dat in deze situatie’) en op de wiskunde
- De wetenschappelijke prikkels: publiceer of verdwijn (vergelijk het eerste
argument hierboven)
2
, 3
- Methodologie is de kern van goed onderzoek doen: een studie moet goed
voorbereid zijn. Toch krijgt dat niet de aandacht in de wetenschap. Men is bezig
met andere metingen die zouden moeten reflecteren, hoe goed een
universiteit/wetenschapper/artikel/tijdschrift is…
- Omdat statistiek moeilijk is wordt het te gemakkelijk voorgesteld, alsof het een
receptenboek is (bv heb je zo een data moet je het zo doen). Terwijl het
gecompliceerder is.
- Als je niet publiceert dan is het moeilijk om te blijven overleven.
Danish pediatric long covid study
Ze willen nagaan welke
evidentie ze hebben voor long
covid symptomen en hoe lang
ze duren.
Doel: om de symptomen en
de duur van die symptomen te
documenteren bij kinderen die covid infectie hadden in Denemarken en dat te
vergelijken met een controlegroep van kinderen die de infectie niet hadden.
Inclusie van alle kinderen in Denemarken die een positieve PCR test hadden tussen
januari en maart 2020
Voor de controlegroep keken ze naar 78000 kinderen uit 5 gemeenten.
In die periode was niemand gevaccineerd. Men had een elektronische vragenlijst
opgesteld en opgestuurd.
In beide groepen hadden ze 15000 kinderen die volledig geantwoord hadden op de
vragenlijst. Die 15000 kinderen hadden een positieve PCR test minstens 4 weken
voordat de survey werd uitgestuurd.
Bij de controlegroep waren er kinderen zonder infectie
De kinderen met covid was gebaseerd op bewijs van een positieve PCR test.
Vraag bij geïnfecteerde kinderen (blootgesteld):
- Heeft uw kind 4 weken of langer na de positieve test een van de volgende
symptomen gehad?
- Hoe lang duurden die symptomen?
Vraag bij niet-geïnfecteerde kinderen:
- Heeft uw kind in het afgelopen jaar een van de volgende symptomen gehad die 4
weken of langer duurden?
- Hoe lang duurden die symptomen?
Kunt u de resultaten tussen groepen vergelijken?
Ivermectin
3
, 4
Ivermectin: middelen die helpen bij
covid-infectie
Er werden twee systematic reviews
gepubliceerd in 2021. Ivermectin kan
positief zijn bij het beschermen van
patiënten met covid positieve infectie.
Dat zijn 2 artikels die veel aandacht
kregen in de media:
Er is een probleem: veel van de studies die in de systematic review samengevat worden
is er iets mis mee. De studies waar het meest mis mee lijkt te zijn hebben perongeluk de
beste resultaten in Ivermectine.
Er was een studie waardat in de groep van patiënten zonder ivermectine, overlijdens
includeerden die gebeurde voordat de studie begon. Dat klopt niet.
Er was ook een studie waar ze deelnemers rekruteerde van ziekenhuizen die nadien
zeiden ‘we weten niets van die studie, we hebben er niet aan deelgenomen’.
Ook studies waar data copy-paste werden.
4
