Samenvatting: Zicht op effectiviteit
1. Wat is praktijkgestuurd effectonderzoek?
1.1 Zicht op effectiviteit: hard nodig
De vraag naar wetenschappelijke onderbouwing van de effectiviteit van interventies in de
jeugdzorg wordt steeds groter. In de GGZ wordt al enige tijd gesproken over DBC’s,
diagnose-behandelcombinaties, die zowel de indicatie als de financiering van de zorg
moeten sturen. Het inzetten van evidence-based behandelingen speelt hierbij een
belangrijke rol.
Het Kenniscentrum van het Nederlands Jeugdinstituut (NJI) heeft een databank over
effectieve jeugdinterventies opgezet. Een interventie is in dat kader gedefinieerd als een
aanpak die:
- Gericht is op de vermindering, de compensatie of het draaglijk maken van een risico
of een probleem in de ontwikkeling van een jeugdige dat een gezonde, evenwichtige
uitgroei tot volwassenheid belemmert.
- Bestemd is voor een doelgroep die wordt gekenmerkt door de aanwezigheid van een
of meerdere van deze risico’s of problemen.
- Geleid wordt door een theoretisch en praktisch weldoordachte, doelgerichte en
systematische werkwijze (een methodiek).
- Gericht is op de jeugdige zelf, zijn opvoeders en/of zijn opvoedingsomgeving.
- Afgebakend is in de tijd, met een nader omschreven tijdsduur en frequentie.
Vakinhoudelijk motief voor effectonderzoek = hulpverleners voelen de noodzaak te moeten
streven naar zorg van zo hoog mogelijke kwaliteit, en kwaliteit moet onder meer blijken uit
wetenschappelijk verantwoord effectonderzoek.
Maatschappelijk motief voor effectonderzoek = hulpverleners zijn de overheid en
zorgverzekeraars verschuldigd te laten zien dat het geld goed besteed is, en indirect dienen
zij dat ook aan de belastingbetaler te laten zien.
Interventie effectief (vanuit de praktijk) = als de gestelde doelen worden gerealiseerd en
cliënten tevreden zijn.
Interventie effectief (vanuit wetenschap) = als is aangetoond dat er geen andere factoren in
het spel zijn die het effect ook hadden kunnen veroorzaken.
Het ideale model van effectonderzoek:
- Een experimentele groep die de interventie krijgt die men op zijn effect wil
onderzoeken en een controlegroep die geen interventie krijgt, een placebo-
interventie of een alternatieve interventie.
- Cliënten worden willekeurig toegewezen aan de experimentele of controlegroep.
,1.2 Wat weten we uit effectonderzoek?
De bewijzen die de wetenschap levert over de effectiviteit van de jeugdzorginterventies
zeggen ons:
- Dat het aantal experimenteel onderzochte interventies maar een fractie is van wat
gewoonlijk wordt aangeboden.
- Dat het aantal interventies dat op deze wijze onderzocht is voor het grootste deel uit
interventies bestaat die in de praktijk nauwelijks in die vorm voorkomen.
- Dat de weinige wel in de praktijk uitgevoerde experimentele onderzoeken over het
algemeen kleine tot matige effecten laten zien.
- Dat veel interventies in de praktijk nog niet genoeg geëxpliciteerd zijn om aan een
goed effectonderzoek worden onderworpen.
1.3 Hoe verder?
Twee wegen om meer kennis over effecten van jeugdzorg te verkrijgen:
- Top-down implementeren van de interventies die hun effect in beperkt onderzoek
bewezen hebben, om vervolgens de werkzaamheid in een bredere praktijkstudie te
toetsen.
- Bottom-up onderzoeken van interventies die vandaag de dag in de praktijk worden
uitgevoerd.
Wetenschap geeft voorkeur aan top-down eerst op kleine schaal experimenteel
onderzoeken en daarna op grotere schaal in de praktijk implementeren. Het gaat hierbij om
een methodegestuurde benadering waarbij de realisering van eisen waar het
effectonderzoek aan moet voldoen voorop staat.
evidence-based practice = de wetenschap informeert de praktijk naar beste kunnen.
De definitie van effect is hierbij het verschil tussen de experimentele en de
controlegroep aan het eind van de interventie.
Bottom-up beginnen bij wat er is en dat uitbouwen. Deze wordt nog veel te weinig benut
om wetenschappelijke kennis over effectieve interventies te verkrijgen.
Practice-based evidence = de definitie van effect is hier minder eenduidig en de
bewijsvoering is minder hard dan met zou willen.
Onder praktijkgestuurd effectonderzoek verstaan we onderzoek waarin onderzoekers en
behandelingsfunctionarissen gezamenlijk optrekken, met het doel informatie e verzamelen
waarmee het effect van het praktisch handelen van een individuele behandelfunctionaris,
een groep van behandelfunctionarissen, een instelling of groep van instellingen nader
verhelderd en getoetst worde, waardoor vervolgens het werk van de betrokken
behandelfunctionarissen of instellingen verbetert en ten opzichte van buitenstaanders te
legitimeren is.
Kenmerken praktijkgestuurd onderzoek (werkzame principes):
- Aansluiting: aansluiten bij het ontwikkelingsniveau van de interventie
- Inbedding: onderzoek dient procedureel ingebed te zijn in de uitvoering van de
interventie.
- Benutting: de verzamelde gegevens dienen benut te worden.
, 1.4 Contouren van een praktijkgestuurd onderzoeksprogramma
Praktijkgestuurd effectonderzoek gaat niet uit van één ideaalmodel van effectonderzoek,
maar kan verschillende vormen aannemen.
Een model met vier niveaus van bewijskracht in praktijkgestuurd effectonderzoek:
Bewijskracht Omschrijving Soorten onderzoek Kwalificatieniveau
interventie
Causaal Als 1 tot en met 3, maar nu is er Experimenteel onderzoek 4. Werkzaam
evidentie dat positieve uitkomsten Herhaalde casestudies
veroorzaakt worden door de -----------------------------------------------
interventie en is er zich op de
Quasi-experimenteel onderzoek
werkzame ingrediënten.
Veranderingstheoretisch onderzoek
Indicatief Als 1 en 2, maar nu kan empirisch 3. Doeltreffend
worden aangetoond dat de Normgerelateerd onderzoek
gestelde doelen zijn bereikt, ------------------------------------------------
problemen afgenomen en Veranderingsonderzoek
competenties toegenomen en Doelrealisatie onderzoek
cliënten tevreden zijn. Cliënttevredenheidsonderzoek
Theoretisch Als 1, maar nu is er ook een Meta-analyse 2. Veelbelovend
geloofwaardige interventietheorie Literatuurstudie
over welke factoren met de Kennis ontlokkend onderzoek
problemen van de doelgroep
samenhangen en waarom de
interventie de beoogde
uitkomsten bereikt.
Descriptief De kernelementen van een Descriptief onderzoek 1. Potentieel
interventie (doelgroep, Observationeel onderzoek
interventie, uitkomsten) en de Documentanalyse
personele, organisatorische en
Interviews
materiele context en
randvoorwaarden zijn duidelijk en
begrijpelijk beschreven.
Niveau 0 = beginpunt
Niveau 1 = descriptieve bewijskracht, potentieel effectieve interventies
Niveau 2 = theoretische bewijskracht, veelbelovende interventies
Niveau 3 = indicatieve bewijskracht, doeltreffende interventies
Niveau 4 = causale bewijskracht, werkzame interventies
1.5 Conclusie en discussie
1. Wat is praktijkgestuurd effectonderzoek?
1.1 Zicht op effectiviteit: hard nodig
De vraag naar wetenschappelijke onderbouwing van de effectiviteit van interventies in de
jeugdzorg wordt steeds groter. In de GGZ wordt al enige tijd gesproken over DBC’s,
diagnose-behandelcombinaties, die zowel de indicatie als de financiering van de zorg
moeten sturen. Het inzetten van evidence-based behandelingen speelt hierbij een
belangrijke rol.
Het Kenniscentrum van het Nederlands Jeugdinstituut (NJI) heeft een databank over
effectieve jeugdinterventies opgezet. Een interventie is in dat kader gedefinieerd als een
aanpak die:
- Gericht is op de vermindering, de compensatie of het draaglijk maken van een risico
of een probleem in de ontwikkeling van een jeugdige dat een gezonde, evenwichtige
uitgroei tot volwassenheid belemmert.
- Bestemd is voor een doelgroep die wordt gekenmerkt door de aanwezigheid van een
of meerdere van deze risico’s of problemen.
- Geleid wordt door een theoretisch en praktisch weldoordachte, doelgerichte en
systematische werkwijze (een methodiek).
- Gericht is op de jeugdige zelf, zijn opvoeders en/of zijn opvoedingsomgeving.
- Afgebakend is in de tijd, met een nader omschreven tijdsduur en frequentie.
Vakinhoudelijk motief voor effectonderzoek = hulpverleners voelen de noodzaak te moeten
streven naar zorg van zo hoog mogelijke kwaliteit, en kwaliteit moet onder meer blijken uit
wetenschappelijk verantwoord effectonderzoek.
Maatschappelijk motief voor effectonderzoek = hulpverleners zijn de overheid en
zorgverzekeraars verschuldigd te laten zien dat het geld goed besteed is, en indirect dienen
zij dat ook aan de belastingbetaler te laten zien.
Interventie effectief (vanuit de praktijk) = als de gestelde doelen worden gerealiseerd en
cliënten tevreden zijn.
Interventie effectief (vanuit wetenschap) = als is aangetoond dat er geen andere factoren in
het spel zijn die het effect ook hadden kunnen veroorzaken.
Het ideale model van effectonderzoek:
- Een experimentele groep die de interventie krijgt die men op zijn effect wil
onderzoeken en een controlegroep die geen interventie krijgt, een placebo-
interventie of een alternatieve interventie.
- Cliënten worden willekeurig toegewezen aan de experimentele of controlegroep.
,1.2 Wat weten we uit effectonderzoek?
De bewijzen die de wetenschap levert over de effectiviteit van de jeugdzorginterventies
zeggen ons:
- Dat het aantal experimenteel onderzochte interventies maar een fractie is van wat
gewoonlijk wordt aangeboden.
- Dat het aantal interventies dat op deze wijze onderzocht is voor het grootste deel uit
interventies bestaat die in de praktijk nauwelijks in die vorm voorkomen.
- Dat de weinige wel in de praktijk uitgevoerde experimentele onderzoeken over het
algemeen kleine tot matige effecten laten zien.
- Dat veel interventies in de praktijk nog niet genoeg geëxpliciteerd zijn om aan een
goed effectonderzoek worden onderworpen.
1.3 Hoe verder?
Twee wegen om meer kennis over effecten van jeugdzorg te verkrijgen:
- Top-down implementeren van de interventies die hun effect in beperkt onderzoek
bewezen hebben, om vervolgens de werkzaamheid in een bredere praktijkstudie te
toetsen.
- Bottom-up onderzoeken van interventies die vandaag de dag in de praktijk worden
uitgevoerd.
Wetenschap geeft voorkeur aan top-down eerst op kleine schaal experimenteel
onderzoeken en daarna op grotere schaal in de praktijk implementeren. Het gaat hierbij om
een methodegestuurde benadering waarbij de realisering van eisen waar het
effectonderzoek aan moet voldoen voorop staat.
evidence-based practice = de wetenschap informeert de praktijk naar beste kunnen.
De definitie van effect is hierbij het verschil tussen de experimentele en de
controlegroep aan het eind van de interventie.
Bottom-up beginnen bij wat er is en dat uitbouwen. Deze wordt nog veel te weinig benut
om wetenschappelijke kennis over effectieve interventies te verkrijgen.
Practice-based evidence = de definitie van effect is hier minder eenduidig en de
bewijsvoering is minder hard dan met zou willen.
Onder praktijkgestuurd effectonderzoek verstaan we onderzoek waarin onderzoekers en
behandelingsfunctionarissen gezamenlijk optrekken, met het doel informatie e verzamelen
waarmee het effect van het praktisch handelen van een individuele behandelfunctionaris,
een groep van behandelfunctionarissen, een instelling of groep van instellingen nader
verhelderd en getoetst worde, waardoor vervolgens het werk van de betrokken
behandelfunctionarissen of instellingen verbetert en ten opzichte van buitenstaanders te
legitimeren is.
Kenmerken praktijkgestuurd onderzoek (werkzame principes):
- Aansluiting: aansluiten bij het ontwikkelingsniveau van de interventie
- Inbedding: onderzoek dient procedureel ingebed te zijn in de uitvoering van de
interventie.
- Benutting: de verzamelde gegevens dienen benut te worden.
, 1.4 Contouren van een praktijkgestuurd onderzoeksprogramma
Praktijkgestuurd effectonderzoek gaat niet uit van één ideaalmodel van effectonderzoek,
maar kan verschillende vormen aannemen.
Een model met vier niveaus van bewijskracht in praktijkgestuurd effectonderzoek:
Bewijskracht Omschrijving Soorten onderzoek Kwalificatieniveau
interventie
Causaal Als 1 tot en met 3, maar nu is er Experimenteel onderzoek 4. Werkzaam
evidentie dat positieve uitkomsten Herhaalde casestudies
veroorzaakt worden door de -----------------------------------------------
interventie en is er zich op de
Quasi-experimenteel onderzoek
werkzame ingrediënten.
Veranderingstheoretisch onderzoek
Indicatief Als 1 en 2, maar nu kan empirisch 3. Doeltreffend
worden aangetoond dat de Normgerelateerd onderzoek
gestelde doelen zijn bereikt, ------------------------------------------------
problemen afgenomen en Veranderingsonderzoek
competenties toegenomen en Doelrealisatie onderzoek
cliënten tevreden zijn. Cliënttevredenheidsonderzoek
Theoretisch Als 1, maar nu is er ook een Meta-analyse 2. Veelbelovend
geloofwaardige interventietheorie Literatuurstudie
over welke factoren met de Kennis ontlokkend onderzoek
problemen van de doelgroep
samenhangen en waarom de
interventie de beoogde
uitkomsten bereikt.
Descriptief De kernelementen van een Descriptief onderzoek 1. Potentieel
interventie (doelgroep, Observationeel onderzoek
interventie, uitkomsten) en de Documentanalyse
personele, organisatorische en
Interviews
materiele context en
randvoorwaarden zijn duidelijk en
begrijpelijk beschreven.
Niveau 0 = beginpunt
Niveau 1 = descriptieve bewijskracht, potentieel effectieve interventies
Niveau 2 = theoretische bewijskracht, veelbelovende interventies
Niveau 3 = indicatieve bewijskracht, doeltreffende interventies
Niveau 4 = causale bewijskracht, werkzame interventies
1.5 Conclusie en discussie
