PRINCIPES VAN LITERATUURONDERZOEK – METHODOLOGISCHE STAPPEN
NOOD AAN SYSTEMATISCH LITERATUURONDEROZEK
− Om kwaliteitsvolle zorg te garanderen is er nood aan evidentie voor:
o Veilige zorg
o Effectieve zorg (= interventies waarvan het effect bewezen is)
o Tijdige zorg
o Gelijkheid in de zorg
o Patiënt moet centraal staan
o Om aan alle elementen van kwaliteitsvolle zorg te doen moeten we op een evidence
based manier te werken.
− Exponentiële toename in aantal publicaties
− Resultaten van meerdere studies combineren verhoogt de betrouwbaarheid en precisie
− Betere toegankelijkheid tot onderzoeksresultaten voor clinici, patiënten en beleidsmakers
− Identificatie van lacunes / gaps in de huidige kennis
− Identificatie van routes voor toekomstig onderzoek
WAT IS EEN LITERATUURSTUDIE?
− Een literatuurstudie tracht om alle evidentie (van hoge kwaliteit) met betrekking tot een
onderzoeksvraag te identificeren, selecteren, beoordelen en synthetiseren.
− Gebruikt een (systematische) methodologie om een doorgedreven literatuuronderzoek en
kritische beoordeling van individuele studies te maken, om zo tot een samenvatting van valide en
relevante evidentie te komen.
− Gebruikt een objectieve en transparante aanpak om te synthetiseren, met het minimaliseren van
bias tot doel.
− Kan een secundaire analyse omvatten (meta-analyse of meta-synthese), maar dit moet niet.
− “Gathering research, getting rid of rubbish and summarizing the best of what remains captures
the essence of science of systematic review.” (Grant, 2009)
1
,REVIEWS
− Er bestaan verschillende soorten van reviews bv. scoping review, rapid review, cochrane review,
narrative review, systematic review, …
NARRATIEVE LITERATUURSTUDIE (NARRATIVE REVIEW)
− Doel:
o Zoeken naar literatuur aangaande een topic om een beeld te krijgen over welke literatuur
er voorhande is
o Reflecteren over de stand van de wetenschap, verhalend opgesteld
− Sterktes:
o Comprehensief, dekt een brede lading aan zaken gerelateerd aan het topic
− Zwakten:
o Geen transparantie over de methodologie (bronnen, selectiecriteria, flowchart, etc.)
o Niet herhaalbaar
o Geen kwaliteitsbeoordeling
o Vaak geleid door expertise van de onderzoekers
SCOPING LITERATUURSTUDIE (SCOPING REVIEW)
− Doel:
o Een eerste, voorlopige inschatting maken van de reikwijdte en grootte (landschap)
aangaande de literatuur rond een topic.
− Sterktes:
o Geeft een heel brede ‘view’ over een topic en kan daardoor informatief zijn (voor verder
onderzoek)
o Is systematich, transparant en herhaalbaar
− Zwakten:
o Geeft geen finale output; is eerder een startpunt voor verder (literatuur)onderzoek
o Geen kwaliteitsbeoordeling
o Bevindingen kunnen niet rechtstreeks in de praktijk geïmplementeerd worden
SNELLE LITERATUURSTUDIE (RAPID REVIEW)
− Je gaat gebruik maken van een beperkte zoekstrategie.
− Doel:
o Nood aan evidence-based beslissing maar weinig tijd
o Een beoordeling geven wat er reeds geweten is rond een topic
o Systematische aanpak en kwaliteitsbeoordeling
− Sterktes:
o “Quick but not dirty”
o Tijdsbesparend, maar met systematiek en transparantie!
− Zwakten:
o Beperkte tijd → mogelijke bias
o Beperkte kwaliteitsbeoordeling
o Beperkte synthese van resultaten
2
,SYSTEMATISCHE LITERATUURSTUDIE (SYSTEMATIC REVIEW)
− Doel:
o Identificeren van alle relevante literatuur op een
doorgedreven wijze
o Selectie van publicaties a.d.h.v. gestandaardiseerd
systematisch proces
o Beoordelen methodologische kwaliteit geïncludeerde
studies
o Synthese inhoud publicaties
− Methode:
o Diepgaand en intensief qua tijd en inspanning
o Systematisch / gestructureerd
o Transparant en herhaalbaar
o A priori vastgelegd in protocol
− Eindproduct:
o Samenvatting: beschrijvend + synthese + conclusie
o Mogelijks herevaluatie studieresultaten van individuele studies
▪ Kwantitatief: meta-analyse
▪ Kwalitatief: meta-synthese
− Proces:
1. Plannen: plan van aanpak opstellen
2. Vraag formuleren: onderzoeksvraag definiëren
3. Zoekstrategie: definieer de reikwijdte en zoekstrategie
4. Selectieproces: bepaal hoe relevante artikels maximaal geïncludeerd worden
5. Sterkte van evidentie: definieer wat literatuur van een hoge kwaliteit is
6. Analyse: haal de antwoorden uit de geselecteerde literatuur
7. Synthese: structureer de evidentie om conclusies te trekken
SYSTEMATIC REVIEW PROCES
PLAN VAN AANPAK
− Vooraf een review protocol opstellen:
o Betrouwbare leidraad kan gebruikt worden bv. Prisma-P of Cochrane
o Omvat een omschrijving van minimaal:
▪ Onderzoeksvraag
3
, ▪ Bronnen
▪ Selectieproces van artikels (in- en exclusiecriteria)
▪ Data-extractie proces
▪ Manier van kwaliteitsbeoordeling
▪ Methodologie van data-analyse en -synthese
▪ Wie doet mee en wat is de taakverdeling?
▪ Output?
− Om de bias te minimaliseren.
− Gaat de lezer in staat stellen om het hele review proces kritisch te bekekijken en te herhalen
− Transparantie!
− Wordt soms apart gepubliceerd als een method paper
− Best geregistreerd bv. op PROSPERO
DEFINIËREN VAN DE ONDERZOEKSVRAAG
− Een goede onderzoeksvraag:
o Is goed afgebakend (kan ook verder afgebakend worden via in- en exclusiecriteria)
o Bevat geen richting bv. ‘is beter dan’, ‘is minder dan’, …
o Vraagt niet ‘waarom’ iets is
o Bestaat uit duidelijke, goed gedefinieerde concepten
o Is een open vraag (kan niet met ‘ja’ of ‘neen’ beantwoord worden)
− PICO-methode
o P = patient, population or problem
o I = intervention
o C = comparison
o O = outcome
− Problem – gap – hook
o Problem = identificeer een probleem waar mensen over praten of over wakker liggen
o Gap = haal de lacune aanin de huidige kennis of denken omtrent dat probleem
o Hook = sla de lezer aan de haak, overtuig de lezer dat deze gap van belang is opgevuld te
worden
DEFNIEER DE REIKWIJDTE EN ZOEKSTRATEGIE
− PICO kan gebruikt worden om een zoekstrategie en zoekstring te creëren.
− Bepaal in welke elektronische databanken er zal gezocht worden bv. Medline/Pubmed, Embase,
CINAHL, Web of Science
− Bepaal evt. bijkomende zoekstrategieën:
o Screenen van referentielijsten van relevante artikels nl. ‘sneeuwbalmethode’
o Manueel zoeken in relevante tijdschriften
o Grijze literatuur
o Relevante onderzoekers of onderzoeksinstellingen contacteren
− Systematische zoekstrategie
o Focus op de onderzoeksvraag
o Nauw? Breed? → gebalanceerd
o Bepalen van de in- en exclusiecriteria:
▪ Onderzoeksdesign?
• Kwalitatief: grounded theory, fenomenologisch, etc.
• Kwantitatief: observationeel, (quasi-)experimenteel, etc.
4
, ▪ Populatie
▪ Setting
▪ Details rond interventie?
▪ Details rond uitkomsten?
▪ Taal?
▪ Publicatiejaar – goed argumenteren rond het gekozen jaartal
▪ Publicatietype?
o Elk criterium is een valide argument!
BEPALEN HOE RELEVANTE ARTIKELS GEÏNCLUDEERD WORDEN
− In 2 fasen:
o Kijken naar de titel en het abstract van het artikel om te kijken of het relevant lijkt
o De full tekst lezen en kijken of het een artikel een antwoord biedt op de onderzoeksvraag
− Dubbels verwijderen
o In de hits en resultaten gaan heel wat dubbels zijn wanneer er gebruik gemaakt wordt van
meerdere databanken.
o Dubbels kunnen verwijderd worden via Endnote.
− Fase 1: Screening op basis van titel en abstract
o Door ≥2 onderzoekers, onafhankelijk
o Ieder begrijpt de in- en exclusiecriteria goed!
o Ontwikkel een scoringssysteem of gebruik Rayyan bv:
▪ Score 1 = zeker of mogelijk relevant voor de onderzoeksvraag
▪ Score 0 = zeker niet relevant voor de onderzoeksvraag
▪ (Score 2 = zeker niet relevant voor de onderzoeksvraag, maar kan interessante
informatie bevatten om bv. te gebruiken bij het schrijven van de introductie of
discussie)
o Lees de titel en het abstract (nog niet de volledige tekst) en geef een score
o In deze fase moet er nog geen reden voor exclusie gegeven worden!
o In deze fase meot er nog geen consensus zijn tussen de ≥2 onderzoekers (van zodra
iemand het artikel een mogelijks relevant artikel vindt, gaat het artikel mee naar de
volgende fase)
− Fase 2: Screening op basis van volledige tekst
o = Alle referenties die een score van 1 hebben gekregen.
o Door ≥2 onderzoekers, onafhankelijik
o Volledige artikels moeten gescreend worden tegen de vooropgestelde in- en
exclusiecriteria.
o Best a.d.h.v. een screeningsformulier dat hiervoor is opgesteld of Rayyan.
o In deze fase moet er wel een reden voor exclusie gegeven worden.
5
, o In deze fase moet er wel een consensus zijn tussen de 2 onderzoekers om het artikel
mee te nemen (indien niet mogelijk moet een 3e onderzoeker de knoop doorhakken).
o Voorbeeld screeningsformulier:
− Visuele weergave van het selectieproces via de PRISMA-flowchart
o Manier om te duiden in welke fase je hoeveel artikels meegenomen hebt en hoeveel je er
geëxcludeerd hebt.
DEFINIËREN VAN LITERATUUR MET HOGE KWALITEIT
− De validiteit, betrouwbaarheid en waarde / relevantie van de artikels bepalen.
− Kritische beoordeling van de kwaliteit van de geïncludeerde studies:
o Indicatie van sterkte van evidentie: Is deze studie ‘robuust’ genoeg om therapeutische,
diagnostische, beleids- of preventiebeslissingen op te baseren?
o Wordt gedaan op basis van formele criteria uit tools, instrumenten of checklists
o Omvatten beoordeling van het risico op bias, gegeven het doel van de studie;
geschiktheid onderzoeksdesign, kwaliteit interventie, keuze en meting outcomes,
steekproefgrootte, statistiek, generaliseerbaarheid, etc.
o Is niet (altijd) hetzelfde als een reporting guide!
o Er worden geen papers geëxcludeerd enkel op basis van de kwaliteit.
− Tools voor een kwaliteitsbeoordeling:
o Verschillende tools voorhanden, bijvoorbeeld:
▪ Tools van het National Insitute of Health (NIH)
▪ A measurement tool to assess systematic reviews (AMSTAR)
▪ Risk of bias in randomized trails (ROB_2) en Risk of bias in non-randomized
studies of interventions (ROBINS-I)
o Keuze voor een tool moet begeleid worden door:
▪ Onderzoeksdesign (meest gebruikt)
▪ Mate van detail dat verwacht wordt
▪ Het vermogen om interne validiteit (risico op bias) en externe validiteit
(gerealiseerbaarheid) te onderscheiden
o Verschillende onderzoeksdesigns = verschillende tools, Mixed Methods Appraisal Tool
(MMAT) of zelf een geïntegreerde tool maken
6
, o Gebruik van ‘kwaliteitsscores’ is omstreden; best kijken naar individuele aspecten van
de beoordeling
ANALYSE VAN RESULTATEN
− Data-extractie = proces waarbij onderzoekers de noodzakelijke informatie uit de geïncludeerde
artikels halen om de onderzoeksvraag te beantwoorden.
− Wordt gedaan a.d.h.v. een data-extractie formulier:
o A priori bepalen welke informatie nodig is en dus in de studies aanwezig moet zijn (link
met de in- en exclusiecriteria)
o Er dient voldoende tijd te gaan naar het ontwikkelen, piloteren en verfijnen van het
formulier.
− Door ≥2 onderzoekers, onafhankelijk (als aanvaard minimum: één onderzoeker haalt de data uit
de studies, tweede onderzoeker kijkt de formulieren na)
− Meestal wordt hierna een literatuurtabel gemaakt.
SYNTHESE VAN DE EVIDENTIE
− Data-synthese = proces waarbij onderzoekers de informatie uit de geïncludeerde artikels
samenvoegen om tot een antwoord op de onderzoeksvraag te komen.
− Wordt gedaan a.d.h.v. tekst, grafieken, figuren en/of tabellen.
− Een meta-analyse kan een onderdeel zijn van een systematische review
o Via statistische technieken worden resultaten van individuele studies samengenomen
(poolen) om tot sterkere conclusies te komen.
o Strikte voorwaarden aan verbonden.
o Vaak als er niet veel heterogeniteit is.
− Rapport / artikel schrijven
o Een belangrijk onderdeel van het systematic review proces
o Het manuscript dient voldoende en duidelijke info en details omtrent de systematic
review methodologie te bevatten, zodat anderen ze (zouden) kunnen herhalen.
o Tijdschriften (journals) hebben meestal specifieke richtlijnen die men dient te volgen
omtrent het rapporteren (presentatie, lay-out, aantal woorden, etc.) om het bij hen in te
dienen.
o PRISMA-guideline is hiervoor een goede algemene richtlijn.
▪ ‘Preferred reporting items for systematic reviews and meta-analyses’
▪ De onderdelen die in een systematische reveiw of meta-analyse gerapporteerd
moeten worden (= de indicatie van de kwaliteit)
▪ Bestaat uit:
• Geschreven tekst met checklist van 27 items om af te vinken
• Flowchart om het selectieproces te beschrijven
CONCLUSIE
− Een systematische literatuurstudie is een uitgebreide, maar sterke manier om tot betrouwbare
antwoorden te komen.
− Kan een grote meerwaarde betekenen voor klinische praktijk, onderzoek en beleid.
− Dient hiervoor goed doordacht, systematisch en transparant te worden.
7
,PRINCIPES VAN LITERATUURONDERZOEK – INFORMATIEVAARDIGHEDEN
OPBOUW ZOEKSTRATEGIE
ANALYSEER JE ONDERWERP
− Wat is het onderwerp?
− Achtergrond lezen:
o Creëer een overzicht over wat er al geweten is.
o Identificeer belangrijke termen/sleutelwoorden.
o Bekijk bv. tekstboeken
− Zoek naar definities bv. tekstboeken, woordenboeken, …
− Wat wordt er van je verwacht?
IDENTIFICEER DE CONCEPTEN
− Splits je onderwerp op in concepten
− PICO:
o P = population – patiënt, patiënt populatie of ziekte, leeftijd, geslacht, …
o I = intervention – interventie / behandeling (geneesmiddel, …), diagnostische test,
blootstelling aan risicofactor, …
o C = comparison – vergelijkende behandeling, alternatief geneesmiddel, placebo, …
o O = outcome – effect van de behandeling, pijnvermindering, mortaliteit, …
SLEUTELWOORDEN, SYNONIEMEN EN GERELATEERDE TERMEN
− De concepten zijn de sleutelwoorden
− Maar zijn ze voldoende → je kan gebruik maken van FOREST LOG schema
o FOrms of varianten van de sleutelwoorden
o RElated terms
o Synonymous Terms
o Ladder Of Generalization
SYNTAX DATABANK
− Frasen: 2 of meer woorden die één begrip vormen
o Sommige databanken zoeken automatisch op de frase of zin, anderen op de afzondelijke
woorden
o Gebruik van ‘ of “ of – afhankelijk van de databank om verplicht op frase te zoeken
o Helpt je de zoekstrategie te vernauwen
− Truncatie: afkorting van een zoekterm tot de stam
o Meest gebruikte truncatiesymbool is *
o * vertegenwoordigt geen, één of meerdere letters
o Databank-afhanklijk!
o Rechtshandige truncatie bv. diabet*
o Linkshandige truncatie bv *biosis
o Gebruikt om de zoekstrategie te verbreden
o Je kan geen indextermen bv. MESH-termen trunceren
o Interne truncatie = gebruikt om verschillen in spelling te dekken
8
, ▪ Databank afhanklijk
▪ ? vertegenwoordigt een enkele letter bv. l?chee
▪ $ vertegenwoordigt één of geen leter bv. colo$r
o Let op voor verschillen in terminologie bv. primary / elementary school, midwifery /
obstetrics / tocology, …
BOOLEAANSE OPERATOREN
− Combineren van zoektermen of concepten tot een zoekstrategie
− 3 Booleaanse operatoren nl. ‘AND’, ‘OR’, ‘NOT’
o ‘AND’ gaat concepten verbinden
o ‘OR’ gaat synoniemen, gerelateerde termen, … combineren binnen 1 concept
o ‘NOT’ gaat een term excluderen
PROXIMITY OPERATOREN
− Databank afhankelijk
− NEAR/n of NEXT/n
o n-1 is het maximaal aantal woorden tussen de zoektermen.
VOORRANGSREGELS
− Zijn databankafhankelijk
1. NEAR/n
2. NOT
3. AND
9
, 4. OR
− Gebruiken van nesting om de voorrang zelf te kiezen → door met haakjes te werken!
ALGEMENE RICHTLIJNEN
− Hou een logboek bij
− Registreer je voor iedere databank en log in
− Blijf sleutelwoorden, synoniemen, frasen, … toevoegen gebaseed op eerdere zoekresultaten
− Zoek in een databank relevant voor je onderwerp
− Citation searching (= Snowball)!
o Backwards in time: bekijken van de referentielijst van de publicatie
o Forward in time: bekijk door wie de publicatie geciteerd is.
− Tips:
o Teveel resultaten:
▪ Creëer zoekfrasen van twee tot zes woorden
▪ Wees niet meer algemeen dan nodig
▪ Beperk via datum, document type, study type
▪ Verwijder een (twijfel)term
▪ Voeg een extra concept toe met AND
▪ (Gebruik NOT voor eliminatie van een aspect waarin je niet geïnteresseerd bent)
o Te weinig resultaten:
▪ Is de databank relevant voor je onderwerp?
▪ Controleer op (spellings)fouten tijdens het zoeken
▪ Voeg een synoniem / gerelateerde term toe met OR
▪ Zijn de Booleaanse operatoren correct gebruikt?
▪ Gebruik een concept minder
▪ Gebruik truncatie / jokers
▪ Snowball backwards en forward in de tijd → verzamel hieruit ook
sleutelwoorden
ZOEKEN NAAR EEN DATABANK
− Bibliografische databanken: PubMed, Embase, CINAHL
o Bevat bibliografische informatie over artikels in wetenschappelijke tijdscrhiften.
o PubMed (algemeen biomedisch)
o CINAHL (verpleeg- en vroedkunde, paramedisch)
− Citatie databank: Web Of Science, Scopus
o Bevat relaties tussen referenties: wie citeert wie?
o Bevat ook bibliografische informatie over artikels in wetenschappelijke tijdschriften
− Catalogus: Limo
o O.a. raadplegen van collectie aan KU Leuven
PUBMED
− De meest gebruikte bibliografische zoekmachine om te zoeken naar biomedische artikels
(referenties) die gepubliceerd staan in wetenschappelijke tijdschriften of journals
− Meer Amerikaans gefocust
10
NOOD AAN SYSTEMATISCH LITERATUURONDEROZEK
− Om kwaliteitsvolle zorg te garanderen is er nood aan evidentie voor:
o Veilige zorg
o Effectieve zorg (= interventies waarvan het effect bewezen is)
o Tijdige zorg
o Gelijkheid in de zorg
o Patiënt moet centraal staan
o Om aan alle elementen van kwaliteitsvolle zorg te doen moeten we op een evidence
based manier te werken.
− Exponentiële toename in aantal publicaties
− Resultaten van meerdere studies combineren verhoogt de betrouwbaarheid en precisie
− Betere toegankelijkheid tot onderzoeksresultaten voor clinici, patiënten en beleidsmakers
− Identificatie van lacunes / gaps in de huidige kennis
− Identificatie van routes voor toekomstig onderzoek
WAT IS EEN LITERATUURSTUDIE?
− Een literatuurstudie tracht om alle evidentie (van hoge kwaliteit) met betrekking tot een
onderzoeksvraag te identificeren, selecteren, beoordelen en synthetiseren.
− Gebruikt een (systematische) methodologie om een doorgedreven literatuuronderzoek en
kritische beoordeling van individuele studies te maken, om zo tot een samenvatting van valide en
relevante evidentie te komen.
− Gebruikt een objectieve en transparante aanpak om te synthetiseren, met het minimaliseren van
bias tot doel.
− Kan een secundaire analyse omvatten (meta-analyse of meta-synthese), maar dit moet niet.
− “Gathering research, getting rid of rubbish and summarizing the best of what remains captures
the essence of science of systematic review.” (Grant, 2009)
1
,REVIEWS
− Er bestaan verschillende soorten van reviews bv. scoping review, rapid review, cochrane review,
narrative review, systematic review, …
NARRATIEVE LITERATUURSTUDIE (NARRATIVE REVIEW)
− Doel:
o Zoeken naar literatuur aangaande een topic om een beeld te krijgen over welke literatuur
er voorhande is
o Reflecteren over de stand van de wetenschap, verhalend opgesteld
− Sterktes:
o Comprehensief, dekt een brede lading aan zaken gerelateerd aan het topic
− Zwakten:
o Geen transparantie over de methodologie (bronnen, selectiecriteria, flowchart, etc.)
o Niet herhaalbaar
o Geen kwaliteitsbeoordeling
o Vaak geleid door expertise van de onderzoekers
SCOPING LITERATUURSTUDIE (SCOPING REVIEW)
− Doel:
o Een eerste, voorlopige inschatting maken van de reikwijdte en grootte (landschap)
aangaande de literatuur rond een topic.
− Sterktes:
o Geeft een heel brede ‘view’ over een topic en kan daardoor informatief zijn (voor verder
onderzoek)
o Is systematich, transparant en herhaalbaar
− Zwakten:
o Geeft geen finale output; is eerder een startpunt voor verder (literatuur)onderzoek
o Geen kwaliteitsbeoordeling
o Bevindingen kunnen niet rechtstreeks in de praktijk geïmplementeerd worden
SNELLE LITERATUURSTUDIE (RAPID REVIEW)
− Je gaat gebruik maken van een beperkte zoekstrategie.
− Doel:
o Nood aan evidence-based beslissing maar weinig tijd
o Een beoordeling geven wat er reeds geweten is rond een topic
o Systematische aanpak en kwaliteitsbeoordeling
− Sterktes:
o “Quick but not dirty”
o Tijdsbesparend, maar met systematiek en transparantie!
− Zwakten:
o Beperkte tijd → mogelijke bias
o Beperkte kwaliteitsbeoordeling
o Beperkte synthese van resultaten
2
,SYSTEMATISCHE LITERATUURSTUDIE (SYSTEMATIC REVIEW)
− Doel:
o Identificeren van alle relevante literatuur op een
doorgedreven wijze
o Selectie van publicaties a.d.h.v. gestandaardiseerd
systematisch proces
o Beoordelen methodologische kwaliteit geïncludeerde
studies
o Synthese inhoud publicaties
− Methode:
o Diepgaand en intensief qua tijd en inspanning
o Systematisch / gestructureerd
o Transparant en herhaalbaar
o A priori vastgelegd in protocol
− Eindproduct:
o Samenvatting: beschrijvend + synthese + conclusie
o Mogelijks herevaluatie studieresultaten van individuele studies
▪ Kwantitatief: meta-analyse
▪ Kwalitatief: meta-synthese
− Proces:
1. Plannen: plan van aanpak opstellen
2. Vraag formuleren: onderzoeksvraag definiëren
3. Zoekstrategie: definieer de reikwijdte en zoekstrategie
4. Selectieproces: bepaal hoe relevante artikels maximaal geïncludeerd worden
5. Sterkte van evidentie: definieer wat literatuur van een hoge kwaliteit is
6. Analyse: haal de antwoorden uit de geselecteerde literatuur
7. Synthese: structureer de evidentie om conclusies te trekken
SYSTEMATIC REVIEW PROCES
PLAN VAN AANPAK
− Vooraf een review protocol opstellen:
o Betrouwbare leidraad kan gebruikt worden bv. Prisma-P of Cochrane
o Omvat een omschrijving van minimaal:
▪ Onderzoeksvraag
3
, ▪ Bronnen
▪ Selectieproces van artikels (in- en exclusiecriteria)
▪ Data-extractie proces
▪ Manier van kwaliteitsbeoordeling
▪ Methodologie van data-analyse en -synthese
▪ Wie doet mee en wat is de taakverdeling?
▪ Output?
− Om de bias te minimaliseren.
− Gaat de lezer in staat stellen om het hele review proces kritisch te bekekijken en te herhalen
− Transparantie!
− Wordt soms apart gepubliceerd als een method paper
− Best geregistreerd bv. op PROSPERO
DEFINIËREN VAN DE ONDERZOEKSVRAAG
− Een goede onderzoeksvraag:
o Is goed afgebakend (kan ook verder afgebakend worden via in- en exclusiecriteria)
o Bevat geen richting bv. ‘is beter dan’, ‘is minder dan’, …
o Vraagt niet ‘waarom’ iets is
o Bestaat uit duidelijke, goed gedefinieerde concepten
o Is een open vraag (kan niet met ‘ja’ of ‘neen’ beantwoord worden)
− PICO-methode
o P = patient, population or problem
o I = intervention
o C = comparison
o O = outcome
− Problem – gap – hook
o Problem = identificeer een probleem waar mensen over praten of over wakker liggen
o Gap = haal de lacune aanin de huidige kennis of denken omtrent dat probleem
o Hook = sla de lezer aan de haak, overtuig de lezer dat deze gap van belang is opgevuld te
worden
DEFNIEER DE REIKWIJDTE EN ZOEKSTRATEGIE
− PICO kan gebruikt worden om een zoekstrategie en zoekstring te creëren.
− Bepaal in welke elektronische databanken er zal gezocht worden bv. Medline/Pubmed, Embase,
CINAHL, Web of Science
− Bepaal evt. bijkomende zoekstrategieën:
o Screenen van referentielijsten van relevante artikels nl. ‘sneeuwbalmethode’
o Manueel zoeken in relevante tijdschriften
o Grijze literatuur
o Relevante onderzoekers of onderzoeksinstellingen contacteren
− Systematische zoekstrategie
o Focus op de onderzoeksvraag
o Nauw? Breed? → gebalanceerd
o Bepalen van de in- en exclusiecriteria:
▪ Onderzoeksdesign?
• Kwalitatief: grounded theory, fenomenologisch, etc.
• Kwantitatief: observationeel, (quasi-)experimenteel, etc.
4
, ▪ Populatie
▪ Setting
▪ Details rond interventie?
▪ Details rond uitkomsten?
▪ Taal?
▪ Publicatiejaar – goed argumenteren rond het gekozen jaartal
▪ Publicatietype?
o Elk criterium is een valide argument!
BEPALEN HOE RELEVANTE ARTIKELS GEÏNCLUDEERD WORDEN
− In 2 fasen:
o Kijken naar de titel en het abstract van het artikel om te kijken of het relevant lijkt
o De full tekst lezen en kijken of het een artikel een antwoord biedt op de onderzoeksvraag
− Dubbels verwijderen
o In de hits en resultaten gaan heel wat dubbels zijn wanneer er gebruik gemaakt wordt van
meerdere databanken.
o Dubbels kunnen verwijderd worden via Endnote.
− Fase 1: Screening op basis van titel en abstract
o Door ≥2 onderzoekers, onafhankelijk
o Ieder begrijpt de in- en exclusiecriteria goed!
o Ontwikkel een scoringssysteem of gebruik Rayyan bv:
▪ Score 1 = zeker of mogelijk relevant voor de onderzoeksvraag
▪ Score 0 = zeker niet relevant voor de onderzoeksvraag
▪ (Score 2 = zeker niet relevant voor de onderzoeksvraag, maar kan interessante
informatie bevatten om bv. te gebruiken bij het schrijven van de introductie of
discussie)
o Lees de titel en het abstract (nog niet de volledige tekst) en geef een score
o In deze fase moet er nog geen reden voor exclusie gegeven worden!
o In deze fase meot er nog geen consensus zijn tussen de ≥2 onderzoekers (van zodra
iemand het artikel een mogelijks relevant artikel vindt, gaat het artikel mee naar de
volgende fase)
− Fase 2: Screening op basis van volledige tekst
o = Alle referenties die een score van 1 hebben gekregen.
o Door ≥2 onderzoekers, onafhankelijik
o Volledige artikels moeten gescreend worden tegen de vooropgestelde in- en
exclusiecriteria.
o Best a.d.h.v. een screeningsformulier dat hiervoor is opgesteld of Rayyan.
o In deze fase moet er wel een reden voor exclusie gegeven worden.
5
, o In deze fase moet er wel een consensus zijn tussen de 2 onderzoekers om het artikel
mee te nemen (indien niet mogelijk moet een 3e onderzoeker de knoop doorhakken).
o Voorbeeld screeningsformulier:
− Visuele weergave van het selectieproces via de PRISMA-flowchart
o Manier om te duiden in welke fase je hoeveel artikels meegenomen hebt en hoeveel je er
geëxcludeerd hebt.
DEFINIËREN VAN LITERATUUR MET HOGE KWALITEIT
− De validiteit, betrouwbaarheid en waarde / relevantie van de artikels bepalen.
− Kritische beoordeling van de kwaliteit van de geïncludeerde studies:
o Indicatie van sterkte van evidentie: Is deze studie ‘robuust’ genoeg om therapeutische,
diagnostische, beleids- of preventiebeslissingen op te baseren?
o Wordt gedaan op basis van formele criteria uit tools, instrumenten of checklists
o Omvatten beoordeling van het risico op bias, gegeven het doel van de studie;
geschiktheid onderzoeksdesign, kwaliteit interventie, keuze en meting outcomes,
steekproefgrootte, statistiek, generaliseerbaarheid, etc.
o Is niet (altijd) hetzelfde als een reporting guide!
o Er worden geen papers geëxcludeerd enkel op basis van de kwaliteit.
− Tools voor een kwaliteitsbeoordeling:
o Verschillende tools voorhanden, bijvoorbeeld:
▪ Tools van het National Insitute of Health (NIH)
▪ A measurement tool to assess systematic reviews (AMSTAR)
▪ Risk of bias in randomized trails (ROB_2) en Risk of bias in non-randomized
studies of interventions (ROBINS-I)
o Keuze voor een tool moet begeleid worden door:
▪ Onderzoeksdesign (meest gebruikt)
▪ Mate van detail dat verwacht wordt
▪ Het vermogen om interne validiteit (risico op bias) en externe validiteit
(gerealiseerbaarheid) te onderscheiden
o Verschillende onderzoeksdesigns = verschillende tools, Mixed Methods Appraisal Tool
(MMAT) of zelf een geïntegreerde tool maken
6
, o Gebruik van ‘kwaliteitsscores’ is omstreden; best kijken naar individuele aspecten van
de beoordeling
ANALYSE VAN RESULTATEN
− Data-extractie = proces waarbij onderzoekers de noodzakelijke informatie uit de geïncludeerde
artikels halen om de onderzoeksvraag te beantwoorden.
− Wordt gedaan a.d.h.v. een data-extractie formulier:
o A priori bepalen welke informatie nodig is en dus in de studies aanwezig moet zijn (link
met de in- en exclusiecriteria)
o Er dient voldoende tijd te gaan naar het ontwikkelen, piloteren en verfijnen van het
formulier.
− Door ≥2 onderzoekers, onafhankelijk (als aanvaard minimum: één onderzoeker haalt de data uit
de studies, tweede onderzoeker kijkt de formulieren na)
− Meestal wordt hierna een literatuurtabel gemaakt.
SYNTHESE VAN DE EVIDENTIE
− Data-synthese = proces waarbij onderzoekers de informatie uit de geïncludeerde artikels
samenvoegen om tot een antwoord op de onderzoeksvraag te komen.
− Wordt gedaan a.d.h.v. tekst, grafieken, figuren en/of tabellen.
− Een meta-analyse kan een onderdeel zijn van een systematische review
o Via statistische technieken worden resultaten van individuele studies samengenomen
(poolen) om tot sterkere conclusies te komen.
o Strikte voorwaarden aan verbonden.
o Vaak als er niet veel heterogeniteit is.
− Rapport / artikel schrijven
o Een belangrijk onderdeel van het systematic review proces
o Het manuscript dient voldoende en duidelijke info en details omtrent de systematic
review methodologie te bevatten, zodat anderen ze (zouden) kunnen herhalen.
o Tijdschriften (journals) hebben meestal specifieke richtlijnen die men dient te volgen
omtrent het rapporteren (presentatie, lay-out, aantal woorden, etc.) om het bij hen in te
dienen.
o PRISMA-guideline is hiervoor een goede algemene richtlijn.
▪ ‘Preferred reporting items for systematic reviews and meta-analyses’
▪ De onderdelen die in een systematische reveiw of meta-analyse gerapporteerd
moeten worden (= de indicatie van de kwaliteit)
▪ Bestaat uit:
• Geschreven tekst met checklist van 27 items om af te vinken
• Flowchart om het selectieproces te beschrijven
CONCLUSIE
− Een systematische literatuurstudie is een uitgebreide, maar sterke manier om tot betrouwbare
antwoorden te komen.
− Kan een grote meerwaarde betekenen voor klinische praktijk, onderzoek en beleid.
− Dient hiervoor goed doordacht, systematisch en transparant te worden.
7
,PRINCIPES VAN LITERATUURONDERZOEK – INFORMATIEVAARDIGHEDEN
OPBOUW ZOEKSTRATEGIE
ANALYSEER JE ONDERWERP
− Wat is het onderwerp?
− Achtergrond lezen:
o Creëer een overzicht over wat er al geweten is.
o Identificeer belangrijke termen/sleutelwoorden.
o Bekijk bv. tekstboeken
− Zoek naar definities bv. tekstboeken, woordenboeken, …
− Wat wordt er van je verwacht?
IDENTIFICEER DE CONCEPTEN
− Splits je onderwerp op in concepten
− PICO:
o P = population – patiënt, patiënt populatie of ziekte, leeftijd, geslacht, …
o I = intervention – interventie / behandeling (geneesmiddel, …), diagnostische test,
blootstelling aan risicofactor, …
o C = comparison – vergelijkende behandeling, alternatief geneesmiddel, placebo, …
o O = outcome – effect van de behandeling, pijnvermindering, mortaliteit, …
SLEUTELWOORDEN, SYNONIEMEN EN GERELATEERDE TERMEN
− De concepten zijn de sleutelwoorden
− Maar zijn ze voldoende → je kan gebruik maken van FOREST LOG schema
o FOrms of varianten van de sleutelwoorden
o RElated terms
o Synonymous Terms
o Ladder Of Generalization
SYNTAX DATABANK
− Frasen: 2 of meer woorden die één begrip vormen
o Sommige databanken zoeken automatisch op de frase of zin, anderen op de afzondelijke
woorden
o Gebruik van ‘ of “ of – afhankelijk van de databank om verplicht op frase te zoeken
o Helpt je de zoekstrategie te vernauwen
− Truncatie: afkorting van een zoekterm tot de stam
o Meest gebruikte truncatiesymbool is *
o * vertegenwoordigt geen, één of meerdere letters
o Databank-afhanklijk!
o Rechtshandige truncatie bv. diabet*
o Linkshandige truncatie bv *biosis
o Gebruikt om de zoekstrategie te verbreden
o Je kan geen indextermen bv. MESH-termen trunceren
o Interne truncatie = gebruikt om verschillen in spelling te dekken
8
, ▪ Databank afhanklijk
▪ ? vertegenwoordigt een enkele letter bv. l?chee
▪ $ vertegenwoordigt één of geen leter bv. colo$r
o Let op voor verschillen in terminologie bv. primary / elementary school, midwifery /
obstetrics / tocology, …
BOOLEAANSE OPERATOREN
− Combineren van zoektermen of concepten tot een zoekstrategie
− 3 Booleaanse operatoren nl. ‘AND’, ‘OR’, ‘NOT’
o ‘AND’ gaat concepten verbinden
o ‘OR’ gaat synoniemen, gerelateerde termen, … combineren binnen 1 concept
o ‘NOT’ gaat een term excluderen
PROXIMITY OPERATOREN
− Databank afhankelijk
− NEAR/n of NEXT/n
o n-1 is het maximaal aantal woorden tussen de zoektermen.
VOORRANGSREGELS
− Zijn databankafhankelijk
1. NEAR/n
2. NOT
3. AND
9
, 4. OR
− Gebruiken van nesting om de voorrang zelf te kiezen → door met haakjes te werken!
ALGEMENE RICHTLIJNEN
− Hou een logboek bij
− Registreer je voor iedere databank en log in
− Blijf sleutelwoorden, synoniemen, frasen, … toevoegen gebaseed op eerdere zoekresultaten
− Zoek in een databank relevant voor je onderwerp
− Citation searching (= Snowball)!
o Backwards in time: bekijken van de referentielijst van de publicatie
o Forward in time: bekijk door wie de publicatie geciteerd is.
− Tips:
o Teveel resultaten:
▪ Creëer zoekfrasen van twee tot zes woorden
▪ Wees niet meer algemeen dan nodig
▪ Beperk via datum, document type, study type
▪ Verwijder een (twijfel)term
▪ Voeg een extra concept toe met AND
▪ (Gebruik NOT voor eliminatie van een aspect waarin je niet geïnteresseerd bent)
o Te weinig resultaten:
▪ Is de databank relevant voor je onderwerp?
▪ Controleer op (spellings)fouten tijdens het zoeken
▪ Voeg een synoniem / gerelateerde term toe met OR
▪ Zijn de Booleaanse operatoren correct gebruikt?
▪ Gebruik een concept minder
▪ Gebruik truncatie / jokers
▪ Snowball backwards en forward in de tijd → verzamel hieruit ook
sleutelwoorden
ZOEKEN NAAR EEN DATABANK
− Bibliografische databanken: PubMed, Embase, CINAHL
o Bevat bibliografische informatie over artikels in wetenschappelijke tijdscrhiften.
o PubMed (algemeen biomedisch)
o CINAHL (verpleeg- en vroedkunde, paramedisch)
− Citatie databank: Web Of Science, Scopus
o Bevat relaties tussen referenties: wie citeert wie?
o Bevat ook bibliografische informatie over artikels in wetenschappelijke tijdschriften
− Catalogus: Limo
o O.a. raadplegen van collectie aan KU Leuven
PUBMED
− De meest gebruikte bibliografische zoekmachine om te zoeken naar biomedische artikels
(referenties) die gepubliceerd staan in wetenschappelijke tijdschriften of journals
− Meer Amerikaans gefocust
10
