Samenvatting literatuur college 1. Effectiviteit.
- Van Yperen, T., & Veerman, J.W. (2008). Zicht op effectiviteit. Handboek
voor praktijkgestuurd effectonderzoek in de jeugdzorg. Delft: Eburon.
Hoofdstuk 1 t/m 6, 13.
- Van Yperen, T. (Red.) (2010). 55 vragen over effectiviteit. Antwoorden voor
de jeugdzorg. Utrecht: NJI. http://www.nji.nl/nl/Publicaties/55-Vragen-over-
effectiviteit.
Van Yperen, T., & Veerman, J.W. (2008). Zicht op
effectiviteit. Handboek voor praktijkgestuurd
effectonderzoek in de jeugdzorg. Delft: Eburon. Hoofdstuk 1
t/m 6 + 13
Hoofdstuk 1. Wat is praktijkgestuurd effectonderzoek?
1.1 Zicht op effectiviteit: hard nodig
In de GGZ wordt al enige tijd gesproken over DBC’s: diagnose-
behandelcombinaties, die zowel de indicatie als de financiering van de zorg
moeten sturen. Het inzetten van evidence-based behandelingen speelt hierbij
een belangrijke rol.
Het NJI heeft een databank over effectieve jeugdinterventies opgezet om meer
bekendheid te geven. Het is een aanpak die:
1. Gericht is op vermindering, de compensatie of het draaglijk maken van
een risico of een probleem in de ontwikkeling van een jeugdige dat een
gezonde, evenwichtige uitgroei tot volwassenheid belemmert;
2. Bestemd is voor doelgroep van een of meerdere van deze risico’s of
problemen;
3. Geleid door een methodiek;
4. Gericht is op jeugdige/opvoeders/omgeving zelf;
5. Duidelijk omschreven tijdsduur en frequentie.
Het bijzondere van deze ontwikkelingen is dat deze vraag nu niet alleen bij
onderzoekers, maar ook bij uitvoerend hulpverleners en directies in de jeugdzorg
een rol speelt. Vakinhoudelijk voelen zij de noodzaak te moeten streven naar
zorg van zo hoog mogelijke kwaliteit, en kwaliteit moet onder meer blijken uit
wetenschappelijk verantwoord effectonderzoek.
Definitie effectonderzoek:
Vanuit praktijkperspectief: een interventie effectief te noemen als
gestelde doelen worden gerealiseerd en cliënten tevreden zijn.
Vanuit wetenschappelijk perspectief: een interventie is pas effectief als
is aangetoond dat er geen andere factoren in het spel zijn die het effect
ook hadden kunnen veroorzaken.
1.2 Wat weten we uit effectonderzoek?
Rond de 20e eeuw waren wereldwijd zo’n 1500 experimentele onderzoeken naar
effecten van jeugdzorginterventies gepubliceerd. De resultaten van die
onderzoeken laten zien dat jeugdzorginterventies gemiddeld genomen effectief
zijn. Dit lijkt goed nieuws, behandelaars in de jeugdzorg kunnen kiezen uit
,effectieve interventies. Echter zijn er de nodige vraagtekens bij dit goede nieuws
te zetten:
1. In de eerste plaats is het aantal onderzochte en effectief bevonden
behandelvormen gering (schatting niet meer dan 50).
2. Daarnaast is het overgrote deel van het bewijs dat er is, uit het buitenland
afkomstig.
De afbeelding hiernaast geeft een belangrijke conclusie:
1. Het aantal onderzochte interventies is dus maar een fractie van wat er
gewoonlijk wordt aangeboden (van het grootste deel van de interventies
ontbreekt het experimenteel wetenschappelijk bewijs over effectiviteit).
2. In de tweede plaats hebben John Weisz en zijn collega’s laten zien dat het
positieve beeld vertekend wordt door interventies die niet in de praktijk van de
jeugdzorg werden uitgevoerd, maar die speciaal voor onderzoeksdoeleinden
ontworpen zijn en alleen in het kader van een onderzoek zijn uitgevoerd.
Het geringe aantal interventies dat onderzocht is bestaat ook nog eens voor het
grootste deel uit interventies die in de praktijk van de jeugdzorg nauwelijks in die
vorm voorkomen.
3. In de derde plaats worden in experimentele studies die wel in de praktijk van
de zorg zijn uitgevoerd voor interventies vaak geen effecten gevonden. De
weinige wel in de praktijk van de zorg uitgevoerde experimentele onderzoeken
laten over het algemeen slechte kleine tot matige effecten zien.
4. In de vierde plaats zijn voor het uitvoeren van een goed effectonderzoek
verregaande specificaties van de beoogde doelgroep, bedoelde interventie en
gewenste uitkomsten nodig (liefst behandelprotocollen, die zowel een gedegen
theoretische onderbouwing als een hechte organisatorisch inbedding laten zien).
Hoe dan ook zien we dat op dit moment veel interventies die in de praktijk van
de jeugdzorg worden uitgevoerd onvoldoende geëxpliciteerd zijn om aan een
goed effectonderzoek onderworpen te worden.
Samengevat:
De bewijzen die de wetenschap levert over de effectiviteit van
jeugdzorginterventies zeggen ons:
Dat het aantal experimenteel onderzochte interventies maar een fractie is
van wat gewoonlijk wordt aangeboden;
Dat het aantal interventies dat op deze wijze onderzocht is voor het
grootste deel uit interventies bestaat die in de praktijk nauwelijks in die
vorm voorkomen;
Dat de weinige wel in de praktijk uitgevoerde experimentele onderzoeken
over het algemeen kleine tot matige effecten
laten zien;
Dat veel interventies in de praktijk nog niet
genoeg geëxpliciteerd zijn om aan een goed
effectonderzoek worden onderworpen.
1.3 Hoe nu verder?
Er zijn twee wegen om meer kennis over effecten
van jeugdzorg te verkrijgen:
Top-down: het top-down implementeren van de
interventies die hun effect in beperkt onderzoek
,bewezen hebben, om vervolgens de werkzaamheid in een bredere praktijkstudie
te toetsen.
Bottom-up: het bottom-up onderzoeken van interventies die vandaag de dag in
de praktijk worden uitgevoerd (praktijkgestuurd effectonderzoek)
Beide wegen zijn begaanbaar. Wetenschappelijke literatuur over effectonderzoek
beveelt meestal top-down aan (dus op kleine schaal experimenteel onderzoek
doen en daarna op grotere schaal in de praktijk implementeren). Het gaat om
een methodegestuurde benadering waarbij realisering van eisen waar het
effectonderzoek aan moet voldoen voorop staan. Het idee is dat alleen op die
manier maximale zekerheid ontstaat dat de onderzochte interventie effect heeft
(evidence-based practice).
De tweede weg (bottom-up), beginnen bij wat er is en dan uitbouwen, is veel
minder uitgewerkt. Het gaat hier meer om het ontwikkelen van practice-based
evidence. De definitie van het effect is minder eenduidig en de bewijsvoering is
minder ‘hard’ dan men wellicht zou willen. Dat is een nadeel van deze tweede
weg. Daar staat wel tegenover dat deze weg snel is in te slaan (gemakkelijk).
Op weg naar praktijkgestuurd effectonderzoek
Praktijkgestuurd effectonderzoek: onderzoek waarin onderzoekers en
behandelingsfunctionarissen gezamenlijk optrekken, met het doel informatie te
verzamelen waarmee het effect van het praktisch handelen van een individuele
behandelingsfunctionaris, een groep van behandelingsfunctionarissen, een
instelling of groep van instelling nader verhelderd en getoetst wordt, waardoor
vervolgens het werk van de betrokken behandelfunctionarissen of instellingen
verbetert t.o.v. buitenstaanders te legitimeren is.
We kennen drie kenmerken toe (zijn de werkzame principes van
praktijkgestuurd effectonderzoek)
1. Aansluiting: het moet aansluiten bij het ontwikkelingsniveau van die
interventies;
2. Inbedding: onderzoek naar effect dient procedureel ingebed te zijn in de
uitvoering van de interventie, is hier onderdeel van en ‘komt er niet nog
eens bij’.
3. Benutting: de verzamelde gegevens moeten worden benut. Het begint op
uitvoeringsniveau (primaire proces) bij individuele diagnostiek en
behandelingsplannen en evaluatie van de voortgang.
1.4 Contouren van een praktijkgestuurd onderzoeksprogramma
Praktijkgestuurd effectonderzoek gaat niet uit van één ideaalmodel, maar kan
verschillende vormen aannemen. Het kent verschillende niveaus van
bewijskracht, die elk ook een bepaalde definitie van effect impliceren. Het gaat
om het verzamelen van practice-based evidence. Op elk hoger niveau kan met
meer graden van zekerheid het bewijs van een causale relatie tussen interventie
en uitkomsten geleverd worden.
, Via het leveren van practice-based evidence ontwikkelen zich gaandeweg tot
evidence-based practice. We spreken dan ook van een ontwikkelingsmodel, het
zet aan tot praktijkontwikkeling. Van belang is te beseffen dat we het op alle
niveaus hebben over het effect van een interventie. Hoe hoger de ladder, hoe
meer zekerheid dat de betreffende interventie is toe te rekenen aan het effect.
Niveau 1: descriptieve bewijskracht, potentieel effectieve interventies
De aandacht gaat uit naar:
- Het doel van de interventie
- De doelgroep
- De aanpak
- De context
Niveau 2: theoretische bewijskracht, veelbelovende interventies
Het aannemelijk maken dat de interventie werkt: hoe wordt door het inzetten
door het inzetten van de bedoelde interventie de gewenste uitkomst bij de
beoogde doelgroep bereikt? De interventietheorie (program theory)
geëxpliciteerd die intern een rationele en extern een legitimatie voor het
uitvoeren van een interventie geeft.
Niveau 3: indicatieve bewijskracht, doeltreffende interventies
Hier gaat de nieuwsgierigheid uit naar empirische gegevens over de elementen
van de interventie: wordt deze uitgevoerd zoals bedoeld? Wordt de beoogde
doelgroep bereikt en worden de gewenste uitkomsten behaald? Door te gaan
meten worden deze concepten en daarmee de interventietheorie
- Van Yperen, T., & Veerman, J.W. (2008). Zicht op effectiviteit. Handboek
voor praktijkgestuurd effectonderzoek in de jeugdzorg. Delft: Eburon.
Hoofdstuk 1 t/m 6, 13.
- Van Yperen, T. (Red.) (2010). 55 vragen over effectiviteit. Antwoorden voor
de jeugdzorg. Utrecht: NJI. http://www.nji.nl/nl/Publicaties/55-Vragen-over-
effectiviteit.
Van Yperen, T., & Veerman, J.W. (2008). Zicht op
effectiviteit. Handboek voor praktijkgestuurd
effectonderzoek in de jeugdzorg. Delft: Eburon. Hoofdstuk 1
t/m 6 + 13
Hoofdstuk 1. Wat is praktijkgestuurd effectonderzoek?
1.1 Zicht op effectiviteit: hard nodig
In de GGZ wordt al enige tijd gesproken over DBC’s: diagnose-
behandelcombinaties, die zowel de indicatie als de financiering van de zorg
moeten sturen. Het inzetten van evidence-based behandelingen speelt hierbij
een belangrijke rol.
Het NJI heeft een databank over effectieve jeugdinterventies opgezet om meer
bekendheid te geven. Het is een aanpak die:
1. Gericht is op vermindering, de compensatie of het draaglijk maken van
een risico of een probleem in de ontwikkeling van een jeugdige dat een
gezonde, evenwichtige uitgroei tot volwassenheid belemmert;
2. Bestemd is voor doelgroep van een of meerdere van deze risico’s of
problemen;
3. Geleid door een methodiek;
4. Gericht is op jeugdige/opvoeders/omgeving zelf;
5. Duidelijk omschreven tijdsduur en frequentie.
Het bijzondere van deze ontwikkelingen is dat deze vraag nu niet alleen bij
onderzoekers, maar ook bij uitvoerend hulpverleners en directies in de jeugdzorg
een rol speelt. Vakinhoudelijk voelen zij de noodzaak te moeten streven naar
zorg van zo hoog mogelijke kwaliteit, en kwaliteit moet onder meer blijken uit
wetenschappelijk verantwoord effectonderzoek.
Definitie effectonderzoek:
Vanuit praktijkperspectief: een interventie effectief te noemen als
gestelde doelen worden gerealiseerd en cliënten tevreden zijn.
Vanuit wetenschappelijk perspectief: een interventie is pas effectief als
is aangetoond dat er geen andere factoren in het spel zijn die het effect
ook hadden kunnen veroorzaken.
1.2 Wat weten we uit effectonderzoek?
Rond de 20e eeuw waren wereldwijd zo’n 1500 experimentele onderzoeken naar
effecten van jeugdzorginterventies gepubliceerd. De resultaten van die
onderzoeken laten zien dat jeugdzorginterventies gemiddeld genomen effectief
zijn. Dit lijkt goed nieuws, behandelaars in de jeugdzorg kunnen kiezen uit
,effectieve interventies. Echter zijn er de nodige vraagtekens bij dit goede nieuws
te zetten:
1. In de eerste plaats is het aantal onderzochte en effectief bevonden
behandelvormen gering (schatting niet meer dan 50).
2. Daarnaast is het overgrote deel van het bewijs dat er is, uit het buitenland
afkomstig.
De afbeelding hiernaast geeft een belangrijke conclusie:
1. Het aantal onderzochte interventies is dus maar een fractie van wat er
gewoonlijk wordt aangeboden (van het grootste deel van de interventies
ontbreekt het experimenteel wetenschappelijk bewijs over effectiviteit).
2. In de tweede plaats hebben John Weisz en zijn collega’s laten zien dat het
positieve beeld vertekend wordt door interventies die niet in de praktijk van de
jeugdzorg werden uitgevoerd, maar die speciaal voor onderzoeksdoeleinden
ontworpen zijn en alleen in het kader van een onderzoek zijn uitgevoerd.
Het geringe aantal interventies dat onderzocht is bestaat ook nog eens voor het
grootste deel uit interventies die in de praktijk van de jeugdzorg nauwelijks in die
vorm voorkomen.
3. In de derde plaats worden in experimentele studies die wel in de praktijk van
de zorg zijn uitgevoerd voor interventies vaak geen effecten gevonden. De
weinige wel in de praktijk van de zorg uitgevoerde experimentele onderzoeken
laten over het algemeen slechte kleine tot matige effecten zien.
4. In de vierde plaats zijn voor het uitvoeren van een goed effectonderzoek
verregaande specificaties van de beoogde doelgroep, bedoelde interventie en
gewenste uitkomsten nodig (liefst behandelprotocollen, die zowel een gedegen
theoretische onderbouwing als een hechte organisatorisch inbedding laten zien).
Hoe dan ook zien we dat op dit moment veel interventies die in de praktijk van
de jeugdzorg worden uitgevoerd onvoldoende geëxpliciteerd zijn om aan een
goed effectonderzoek onderworpen te worden.
Samengevat:
De bewijzen die de wetenschap levert over de effectiviteit van
jeugdzorginterventies zeggen ons:
Dat het aantal experimenteel onderzochte interventies maar een fractie is
van wat gewoonlijk wordt aangeboden;
Dat het aantal interventies dat op deze wijze onderzocht is voor het
grootste deel uit interventies bestaat die in de praktijk nauwelijks in die
vorm voorkomen;
Dat de weinige wel in de praktijk uitgevoerde experimentele onderzoeken
over het algemeen kleine tot matige effecten
laten zien;
Dat veel interventies in de praktijk nog niet
genoeg geëxpliciteerd zijn om aan een goed
effectonderzoek worden onderworpen.
1.3 Hoe nu verder?
Er zijn twee wegen om meer kennis over effecten
van jeugdzorg te verkrijgen:
Top-down: het top-down implementeren van de
interventies die hun effect in beperkt onderzoek
,bewezen hebben, om vervolgens de werkzaamheid in een bredere praktijkstudie
te toetsen.
Bottom-up: het bottom-up onderzoeken van interventies die vandaag de dag in
de praktijk worden uitgevoerd (praktijkgestuurd effectonderzoek)
Beide wegen zijn begaanbaar. Wetenschappelijke literatuur over effectonderzoek
beveelt meestal top-down aan (dus op kleine schaal experimenteel onderzoek
doen en daarna op grotere schaal in de praktijk implementeren). Het gaat om
een methodegestuurde benadering waarbij realisering van eisen waar het
effectonderzoek aan moet voldoen voorop staan. Het idee is dat alleen op die
manier maximale zekerheid ontstaat dat de onderzochte interventie effect heeft
(evidence-based practice).
De tweede weg (bottom-up), beginnen bij wat er is en dan uitbouwen, is veel
minder uitgewerkt. Het gaat hier meer om het ontwikkelen van practice-based
evidence. De definitie van het effect is minder eenduidig en de bewijsvoering is
minder ‘hard’ dan men wellicht zou willen. Dat is een nadeel van deze tweede
weg. Daar staat wel tegenover dat deze weg snel is in te slaan (gemakkelijk).
Op weg naar praktijkgestuurd effectonderzoek
Praktijkgestuurd effectonderzoek: onderzoek waarin onderzoekers en
behandelingsfunctionarissen gezamenlijk optrekken, met het doel informatie te
verzamelen waarmee het effect van het praktisch handelen van een individuele
behandelingsfunctionaris, een groep van behandelingsfunctionarissen, een
instelling of groep van instelling nader verhelderd en getoetst wordt, waardoor
vervolgens het werk van de betrokken behandelfunctionarissen of instellingen
verbetert t.o.v. buitenstaanders te legitimeren is.
We kennen drie kenmerken toe (zijn de werkzame principes van
praktijkgestuurd effectonderzoek)
1. Aansluiting: het moet aansluiten bij het ontwikkelingsniveau van die
interventies;
2. Inbedding: onderzoek naar effect dient procedureel ingebed te zijn in de
uitvoering van de interventie, is hier onderdeel van en ‘komt er niet nog
eens bij’.
3. Benutting: de verzamelde gegevens moeten worden benut. Het begint op
uitvoeringsniveau (primaire proces) bij individuele diagnostiek en
behandelingsplannen en evaluatie van de voortgang.
1.4 Contouren van een praktijkgestuurd onderzoeksprogramma
Praktijkgestuurd effectonderzoek gaat niet uit van één ideaalmodel, maar kan
verschillende vormen aannemen. Het kent verschillende niveaus van
bewijskracht, die elk ook een bepaalde definitie van effect impliceren. Het gaat
om het verzamelen van practice-based evidence. Op elk hoger niveau kan met
meer graden van zekerheid het bewijs van een causale relatie tussen interventie
en uitkomsten geleverd worden.
, Via het leveren van practice-based evidence ontwikkelen zich gaandeweg tot
evidence-based practice. We spreken dan ook van een ontwikkelingsmodel, het
zet aan tot praktijkontwikkeling. Van belang is te beseffen dat we het op alle
niveaus hebben over het effect van een interventie. Hoe hoger de ladder, hoe
meer zekerheid dat de betreffende interventie is toe te rekenen aan het effect.
Niveau 1: descriptieve bewijskracht, potentieel effectieve interventies
De aandacht gaat uit naar:
- Het doel van de interventie
- De doelgroep
- De aanpak
- De context
Niveau 2: theoretische bewijskracht, veelbelovende interventies
Het aannemelijk maken dat de interventie werkt: hoe wordt door het inzetten
door het inzetten van de bedoelde interventie de gewenste uitkomst bij de
beoogde doelgroep bereikt? De interventietheorie (program theory)
geëxpliciteerd die intern een rationele en extern een legitimatie voor het
uitvoeren van een interventie geeft.
Niveau 3: indicatieve bewijskracht, doeltreffende interventies
Hier gaat de nieuwsgierigheid uit naar empirische gegevens over de elementen
van de interventie: wordt deze uitgevoerd zoals bedoeld? Wordt de beoogde
doelgroep bereikt en worden de gewenste uitkomsten behaald? Door te gaan
meten worden deze concepten en daarmee de interventietheorie
