Week 3: Van interventieonderzoek naar richtlijnen
Literatuur
Veerman H1: Wat is praktijkgestuurd effectonderzoek?
De vraag naar de wetenschappelijke onderbouwing van effectiviteit van interventies in de
jeugdzorg klinkt de laatste jaren steeds luider. Voorbeelden van effectieve interventies:
Systematische Desensitisatie, verschillende vormen van CGT al dan niet in combinatie met
medicatie, Oudertraining, Treatment Foster Care en Multisysteem Therapie. Echter is het aantal
behandelvormen dat is onderzocht gering (niet meer dan 50, waar wel 550 tot 1500
behandelvormen aangeboden kunnen worden in de jeugdzorg). In Nederland werden in een
recente inventarisatie echter slechts 92 methodieken gevonden in de intensieve pedagogische
thuiszorg. Het aantal onderzochte interventies in Nederland is nog geringer: 1990-2002 54,
waarvan er 22 volgens het ideale onderzoeksmodel waren uitgevoerd. Bovendien wordt het
positieve beeld vertekend door interventies die niet in de praktijk van de jeugdzorg worden
uitgevoerd, maar die speciaal voor onderzoeksdoeleinden zijn ontworpen en alleen in het kader
van onderzoek zijn uitgevoerd (onderzoeksinterventies). Deze interventies zijn altijd
kortdurend en op niet al te ingewikkelde problematiek gericht. Klinische interventies worden
wel in de praktijk uitgevoerd. In studies die wel in de praktijk van de zorg zijn uitgevoerd
worden voor klinische interventies vaak geen effecten of kleine effecten gevonden. Voor
interventies in de thuissituatie zijn matige effecten gevonden. Tot slot zijn voor het uitvoeren
van een goed effectonderzoek verregaande specificaties van beoogde doelgroep, bedoelde
interventie en gewenste uitkomsten nodig.
Dus de bewijzen die de wetenschap levert over de effectiviteit van jeugdzorginterventie zeggen:
1. Het aantal experimenteel onderzochte interventies is maar een fractie van wat
gewoonlijk wordt aangeboden;
2. Het aantal interventies dat op deze wijze is onderzocht bestaat voor het grootste deel uit
interventies die in de praktijk nauwelijks voorkomen;
3. De weinige wel in de praktijk uitgevoerde experimentele onderzoeken laten kleine
effecten zien;
4. Veel interventies in de praktijk zijn nog niet genoeg geëxpliciteerd om deze aan een goed
effectonderzoek te onderwerpen.
Dit betekent niet dat interventies in de jeugdzorg niet effectief zijn, maar er is te weinig kennis.
Er zijn twee wegen begaanbaar om meer kennis over effecten van jeugdzorg te verkrijgen:
- Het top down implementeren van de interventies die hun effect in onderzoek bewezen
hebben (naar de klinische praktijk) op kleine schaal experimenteel onderzoeken en
daarna op grotere schaal in de praktijk implementeren = methodegestuurde benadering:
de realisering van eisen waar het effectonderzoek idealiter aan moet voldoen staat
voorop. Alleen op die manier ontstaat maximale zekerheid dat de onderzochte
interventie effect heeft; draagt bij aan evidence-based practice.
- Het bottom-up onderzoeken van interventies die vandaag de dag in de praktijk worden
uitgevoerd (effectonderzoek). Deze weg is minder uitgewerkt dan de eerste optie, maar
wordt te weinig benut om wetenschappelijke kennis over effectieve interventies te
verkrijgen. Het gaat hier niet zozeer om het creëren van een evidence-based practice,
maar om het ontwikkelen van practice-based evidence. De definitie van het effect is hier
minder eenduidig of ‘hard’ (= nadeel). Daar staat als voordeel tegenover dat deze weg
snel is in te slaan en dat gaande weg zal blijken dat de bewijzen minder ‘zacht’ zijn dan
critici soms doen geloven.
Deze weg wordt ook wel praktijkgestuurd onderzoek genoemd. Onder praktijkgestuurd
effectonderzoek verstaan we onderzoek waarin onderzoekers en behandelingsfunctionarissen
gezamenlijk optrekken, met het doel informatie te verzamelen waarmee het effect van het
praktisch handelen van een individuele behandelingsfunctionaris, een groep van
,behandelingsfunctionarissen, een instelling of groep van instellingen nader verhelderd en
getoetst wordt, waardoor vervolgens het werk van de betrokken behandelfunctionarissen of
instellingen verbeterd en tevens ten opzichte van buitenstaanders gelegitimeerd kan worden.
Kenmerken/werkzame principes praktijkgestuurd effectonderzoek:
Aansluiting onderzoek naar het effect van interventies moet aansluiten bij het
ontwikkelingsniveau van die interventies. Ontwikkelingsniveau wordt gegeven door de
mate waarin de te onderzoeken interventie een te onderscheiden ‘ding’ is: in hoeverre te
omschrijven, te onderbouwen en over te dragen.
Inbedding onderzoek naar het effect van interventies dient procedureel ingebed te
zijn in de uitvoering van de interventie, dient er niet nog eens ‘bij’ te komen; het gebruik
van onderzoeksinstrumenten dient deel uit te maken van het hulpverlenend handelen.
En de instrumenten moeten operationaliseringen zijn van concepten die op de werkvloer
worden gehanteerd.
Benutting de verzamelde gegevens van het onderzoek naar het effect van interventies
dienen benut te worden.
Praktijkgestuurd effectonderzoek gaat niet uit van één ideaal model van effectonderzoek, maar
kan verschillende vormen aannemen. Elke vorm kan bijdragen aan de ontwikkeling van kennis
over effectiviteit van de jeugdzorg. De bewijskracht van sommige vormen van onderzoek biedt
meer zekerheid. In de tabel zijn een viertal niveaus van effectonderzoek onderscheiden. Het
startpunt (niveau 0); je
weet weinig over de
effecten van interventies.
Gaandeweg kan je meer te
weten te komen: van
potentieel, via veel-
belovend en effectief naar
werkzaam. Op elk hoger
niveau kan met meer
graden van zekerheid het
effectbewijs geleverd
worden. Geen kennis
ware kennis. Via het
leveren van practice-based evidence gaandeweg ontwikkelen tot een evidence-based practice;
ontwikkelingsmodel dat aanzet tot praktijkontwikkeling. Op alle niveaus gaat het om het effect
van een interventie. Het gaat om een verzameling gecoördineerde en geplande activiteiten
gericht op het bereiken van bepaalde doelen.
Niveau 1: specificeren onderdelen interventie. De nieuwsgierigheid gaat uit naar de aard van de
interventie. Aandacht voor: het doel, de doelgroep, de aanpak en de randvoorwaarden.
Niveau 2: theoretisch onderbouwen werking interventie. Een volgende stap is van elke
behandelvorm die geboden wordt aannemelijk maken dat deze werkt: hoe wordt dor het
inzetten van de bedoelde interventie de gewenste uitkomst bij de beoogde doelgroep bereikt?
Een interventietheorie (program theory) wordt geëxpliciteerd die intern een rationale en extern
een legitimatie voor het uitvoeren van een interventie geeft. Hiermee wordt een
(interventie)theorie die zowel praktijkervaringen als wetenschappelijke beweringen integreert
bedoeld.
Niveau 3: het aantonen van gewenste veranderingen bij een interventie. Wordt de interventie
uitgevoerd zoals bedoeld? In feite komt dit neer op het inrichten van de praktijk als een
meetlaboratorium of het op gang brengen van praktijkontwikkelend effectonderzoek. Welke
kenmerken van de doelgroep, de interventies en de uitkomsten moeten gemeten worden, met
welke instrumenten. De interventietheorie biedt hier steun; geeft klinisch en theoretisch
relevante concepten. Middels het meten worden deze concepten en daarmee de
interventietheorie geoperationaliseerd. Het optimum van dit niveau wordt bereikt als het
, afnemen van de bedoelde meetinstrumenten volledig ingebed is in het hulpverlenend handelen,
in de vorm van: (1) voor- en nametingen, (2) evalueren mate waarin gestelde doelen worden
bereikt en (3) vaststellen tevredenheid cliënten over geboden hulp. Hiermee wordt
veranderingsonderzoek, doelrealisatie-onderzoek of cliënttevredenheidsonderzoek uitgevoerd.
Niveau 4: het aantonen van de causaliteit van een interventie. Idealiter wordt bewezen dat de
onderzochte interventie beter is dan ‘geen’ of een ‘andere’ interventie. Dit impliceert een
vergelijking met een controlegroep.
De effectladder geeft in feite een
beweging van practice-based evidence
naar evidence-based practice aan, en
omgekeerd. Praktijk wetenschap en
omgekeerd. Op termijn mag het
niveau ‘doeltreffend’ voor de meeste
interventies in de praktijk van de zorg
gevraagd worden. Echter dient nog het
nodige werk op de onderliggende
niveaus plaats te vinden. Op elk niveau
is men bezig met het verbeteren van
de kwaliteit van de praktijk.
Veerman H2: Op weg naar veelbelovend
Een interventie is ‘potentieel’ als er een goede beschrijving van de belangrijkste elementen
beschikbaar is. Een ‘veelbelovende’ interventie is theoretisch goed onderbouwd. Als er
effectonderzoek is gedaan, kan de interventie, afhankelijk van het type onderzoek en de
resultaten, als ‘doeltreffend’ of ‘werkzaam’ worden aangeduid. In dit hoofdstuk ligt de nadruk op
de niveaus ‘potentieel’ en ‘veelbelovend’. Het goed omschrijven en theoretisch onderbouwen
van een interventie blijkt niet gemakkelijk, maar wel zeer belangrijk. Hoe komt een interventie
tot dit niveau? Ten eerste moet er een goede omschrijving van de interventie zijn. Afhankelijk
van welke informatie daaruit voorhanden is, kan beslist worden van welk niveau er sprake is.
Specificaties potentieel:
- Duidelijkheid van de naam van de interventie (in
geval van dubbele namen)
- De omschrijving van de interventie dient altijd in
expliciete doelen aan te geven wat de beoogde
uitkomsten zijn (SMART). Evt. in subdoelen.
- Doelgroep: voor wie is de interventie effectief
(geschikt) en voor wie niet. Demografische
kenmerken, kenmerken problematiek en
hulpvragen. Gebruikelijk doelgroep weergeven
in indicaties en contra-indicaties.
- Aanpak: methodiek (beschrijving activiteiten,
fasering, aantal contacten, duur, frequentie,
intensiteit en locatie) & uitvoeringseisen
(specifieke eisen t.a.v. de opleiding en
supervisie). Evt. ook belangrijkste kenmerken
van het risico of probleem waarop de interventie
is gericht en welke mechanismen het
risico/probleem veroorzaken of instandhouden.
- Context: organisatorische randvoorwaarden.
- Uitvoerende organisaties & Waar is het aanbod te vinden?
- Overeenkomsten andere interventies; veel interventies behoren tot een groep.
- Bronvermelding
Literatuur
Veerman H1: Wat is praktijkgestuurd effectonderzoek?
De vraag naar de wetenschappelijke onderbouwing van effectiviteit van interventies in de
jeugdzorg klinkt de laatste jaren steeds luider. Voorbeelden van effectieve interventies:
Systematische Desensitisatie, verschillende vormen van CGT al dan niet in combinatie met
medicatie, Oudertraining, Treatment Foster Care en Multisysteem Therapie. Echter is het aantal
behandelvormen dat is onderzocht gering (niet meer dan 50, waar wel 550 tot 1500
behandelvormen aangeboden kunnen worden in de jeugdzorg). In Nederland werden in een
recente inventarisatie echter slechts 92 methodieken gevonden in de intensieve pedagogische
thuiszorg. Het aantal onderzochte interventies in Nederland is nog geringer: 1990-2002 54,
waarvan er 22 volgens het ideale onderzoeksmodel waren uitgevoerd. Bovendien wordt het
positieve beeld vertekend door interventies die niet in de praktijk van de jeugdzorg worden
uitgevoerd, maar die speciaal voor onderzoeksdoeleinden zijn ontworpen en alleen in het kader
van onderzoek zijn uitgevoerd (onderzoeksinterventies). Deze interventies zijn altijd
kortdurend en op niet al te ingewikkelde problematiek gericht. Klinische interventies worden
wel in de praktijk uitgevoerd. In studies die wel in de praktijk van de zorg zijn uitgevoerd
worden voor klinische interventies vaak geen effecten of kleine effecten gevonden. Voor
interventies in de thuissituatie zijn matige effecten gevonden. Tot slot zijn voor het uitvoeren
van een goed effectonderzoek verregaande specificaties van beoogde doelgroep, bedoelde
interventie en gewenste uitkomsten nodig.
Dus de bewijzen die de wetenschap levert over de effectiviteit van jeugdzorginterventie zeggen:
1. Het aantal experimenteel onderzochte interventies is maar een fractie van wat
gewoonlijk wordt aangeboden;
2. Het aantal interventies dat op deze wijze is onderzocht bestaat voor het grootste deel uit
interventies die in de praktijk nauwelijks voorkomen;
3. De weinige wel in de praktijk uitgevoerde experimentele onderzoeken laten kleine
effecten zien;
4. Veel interventies in de praktijk zijn nog niet genoeg geëxpliciteerd om deze aan een goed
effectonderzoek te onderwerpen.
Dit betekent niet dat interventies in de jeugdzorg niet effectief zijn, maar er is te weinig kennis.
Er zijn twee wegen begaanbaar om meer kennis over effecten van jeugdzorg te verkrijgen:
- Het top down implementeren van de interventies die hun effect in onderzoek bewezen
hebben (naar de klinische praktijk) op kleine schaal experimenteel onderzoeken en
daarna op grotere schaal in de praktijk implementeren = methodegestuurde benadering:
de realisering van eisen waar het effectonderzoek idealiter aan moet voldoen staat
voorop. Alleen op die manier ontstaat maximale zekerheid dat de onderzochte
interventie effect heeft; draagt bij aan evidence-based practice.
- Het bottom-up onderzoeken van interventies die vandaag de dag in de praktijk worden
uitgevoerd (effectonderzoek). Deze weg is minder uitgewerkt dan de eerste optie, maar
wordt te weinig benut om wetenschappelijke kennis over effectieve interventies te
verkrijgen. Het gaat hier niet zozeer om het creëren van een evidence-based practice,
maar om het ontwikkelen van practice-based evidence. De definitie van het effect is hier
minder eenduidig of ‘hard’ (= nadeel). Daar staat als voordeel tegenover dat deze weg
snel is in te slaan en dat gaande weg zal blijken dat de bewijzen minder ‘zacht’ zijn dan
critici soms doen geloven.
Deze weg wordt ook wel praktijkgestuurd onderzoek genoemd. Onder praktijkgestuurd
effectonderzoek verstaan we onderzoek waarin onderzoekers en behandelingsfunctionarissen
gezamenlijk optrekken, met het doel informatie te verzamelen waarmee het effect van het
praktisch handelen van een individuele behandelingsfunctionaris, een groep van
,behandelingsfunctionarissen, een instelling of groep van instellingen nader verhelderd en
getoetst wordt, waardoor vervolgens het werk van de betrokken behandelfunctionarissen of
instellingen verbeterd en tevens ten opzichte van buitenstaanders gelegitimeerd kan worden.
Kenmerken/werkzame principes praktijkgestuurd effectonderzoek:
Aansluiting onderzoek naar het effect van interventies moet aansluiten bij het
ontwikkelingsniveau van die interventies. Ontwikkelingsniveau wordt gegeven door de
mate waarin de te onderzoeken interventie een te onderscheiden ‘ding’ is: in hoeverre te
omschrijven, te onderbouwen en over te dragen.
Inbedding onderzoek naar het effect van interventies dient procedureel ingebed te
zijn in de uitvoering van de interventie, dient er niet nog eens ‘bij’ te komen; het gebruik
van onderzoeksinstrumenten dient deel uit te maken van het hulpverlenend handelen.
En de instrumenten moeten operationaliseringen zijn van concepten die op de werkvloer
worden gehanteerd.
Benutting de verzamelde gegevens van het onderzoek naar het effect van interventies
dienen benut te worden.
Praktijkgestuurd effectonderzoek gaat niet uit van één ideaal model van effectonderzoek, maar
kan verschillende vormen aannemen. Elke vorm kan bijdragen aan de ontwikkeling van kennis
over effectiviteit van de jeugdzorg. De bewijskracht van sommige vormen van onderzoek biedt
meer zekerheid. In de tabel zijn een viertal niveaus van effectonderzoek onderscheiden. Het
startpunt (niveau 0); je
weet weinig over de
effecten van interventies.
Gaandeweg kan je meer te
weten te komen: van
potentieel, via veel-
belovend en effectief naar
werkzaam. Op elk hoger
niveau kan met meer
graden van zekerheid het
effectbewijs geleverd
worden. Geen kennis
ware kennis. Via het
leveren van practice-based evidence gaandeweg ontwikkelen tot een evidence-based practice;
ontwikkelingsmodel dat aanzet tot praktijkontwikkeling. Op alle niveaus gaat het om het effect
van een interventie. Het gaat om een verzameling gecoördineerde en geplande activiteiten
gericht op het bereiken van bepaalde doelen.
Niveau 1: specificeren onderdelen interventie. De nieuwsgierigheid gaat uit naar de aard van de
interventie. Aandacht voor: het doel, de doelgroep, de aanpak en de randvoorwaarden.
Niveau 2: theoretisch onderbouwen werking interventie. Een volgende stap is van elke
behandelvorm die geboden wordt aannemelijk maken dat deze werkt: hoe wordt dor het
inzetten van de bedoelde interventie de gewenste uitkomst bij de beoogde doelgroep bereikt?
Een interventietheorie (program theory) wordt geëxpliciteerd die intern een rationale en extern
een legitimatie voor het uitvoeren van een interventie geeft. Hiermee wordt een
(interventie)theorie die zowel praktijkervaringen als wetenschappelijke beweringen integreert
bedoeld.
Niveau 3: het aantonen van gewenste veranderingen bij een interventie. Wordt de interventie
uitgevoerd zoals bedoeld? In feite komt dit neer op het inrichten van de praktijk als een
meetlaboratorium of het op gang brengen van praktijkontwikkelend effectonderzoek. Welke
kenmerken van de doelgroep, de interventies en de uitkomsten moeten gemeten worden, met
welke instrumenten. De interventietheorie biedt hier steun; geeft klinisch en theoretisch
relevante concepten. Middels het meten worden deze concepten en daarmee de
interventietheorie geoperationaliseerd. Het optimum van dit niveau wordt bereikt als het
, afnemen van de bedoelde meetinstrumenten volledig ingebed is in het hulpverlenend handelen,
in de vorm van: (1) voor- en nametingen, (2) evalueren mate waarin gestelde doelen worden
bereikt en (3) vaststellen tevredenheid cliënten over geboden hulp. Hiermee wordt
veranderingsonderzoek, doelrealisatie-onderzoek of cliënttevredenheidsonderzoek uitgevoerd.
Niveau 4: het aantonen van de causaliteit van een interventie. Idealiter wordt bewezen dat de
onderzochte interventie beter is dan ‘geen’ of een ‘andere’ interventie. Dit impliceert een
vergelijking met een controlegroep.
De effectladder geeft in feite een
beweging van practice-based evidence
naar evidence-based practice aan, en
omgekeerd. Praktijk wetenschap en
omgekeerd. Op termijn mag het
niveau ‘doeltreffend’ voor de meeste
interventies in de praktijk van de zorg
gevraagd worden. Echter dient nog het
nodige werk op de onderliggende
niveaus plaats te vinden. Op elk niveau
is men bezig met het verbeteren van
de kwaliteit van de praktijk.
Veerman H2: Op weg naar veelbelovend
Een interventie is ‘potentieel’ als er een goede beschrijving van de belangrijkste elementen
beschikbaar is. Een ‘veelbelovende’ interventie is theoretisch goed onderbouwd. Als er
effectonderzoek is gedaan, kan de interventie, afhankelijk van het type onderzoek en de
resultaten, als ‘doeltreffend’ of ‘werkzaam’ worden aangeduid. In dit hoofdstuk ligt de nadruk op
de niveaus ‘potentieel’ en ‘veelbelovend’. Het goed omschrijven en theoretisch onderbouwen
van een interventie blijkt niet gemakkelijk, maar wel zeer belangrijk. Hoe komt een interventie
tot dit niveau? Ten eerste moet er een goede omschrijving van de interventie zijn. Afhankelijk
van welke informatie daaruit voorhanden is, kan beslist worden van welk niveau er sprake is.
Specificaties potentieel:
- Duidelijkheid van de naam van de interventie (in
geval van dubbele namen)
- De omschrijving van de interventie dient altijd in
expliciete doelen aan te geven wat de beoogde
uitkomsten zijn (SMART). Evt. in subdoelen.
- Doelgroep: voor wie is de interventie effectief
(geschikt) en voor wie niet. Demografische
kenmerken, kenmerken problematiek en
hulpvragen. Gebruikelijk doelgroep weergeven
in indicaties en contra-indicaties.
- Aanpak: methodiek (beschrijving activiteiten,
fasering, aantal contacten, duur, frequentie,
intensiteit en locatie) & uitvoeringseisen
(specifieke eisen t.a.v. de opleiding en
supervisie). Evt. ook belangrijkste kenmerken
van het risico of probleem waarop de interventie
is gericht en welke mechanismen het
risico/probleem veroorzaken of instandhouden.
- Context: organisatorische randvoorwaarden.
- Uitvoerende organisaties & Waar is het aanbod te vinden?
- Overeenkomsten andere interventies; veel interventies behoren tot een groep.
- Bronvermelding
