Van Yperen, T., & Veerman, J.W. (2008). Zicht op effectiviteit.
Handboek voor praktijkgestuurd effectonderzoek in de
jeugdzorg. Delft: Eburon. Hoofdstuk 1 t/m 6 + 13
Hoofdstuk 1. Wat is praktijkgestuurd effectonderzoek?
1.1 Zicht op effectiviteit: hard nodig
In de GGZ wordt al enige tijd gesproken over DBC’s: diagnose-behandelcombinaties, die zowel de indicatie als
de financiering van de zorg moeten sturen. Het inzetten van evidence-based behandelingen speelt hierbij een
belangrijke rol.
Het NJI heeft een databank over effectieve jeugdinterventies opgezet om meer bekendheid te geven. Het is
een aanpak die:
1. Gericht is op vermindering, de compensatie of het draaglijk maken van een risico of een probleem in
de ontwikkeling van een jeugdige dat een gezonde, evenwichtige uitgroei tot volwassenheid
belemmert;
2. Bestemd is voor doelgroep van een of meerdere van deze risico’s of problemen;
3. Geleid door een methodiek;
4. Gericht is op jeugdige/opvoeders/omgeving zelf;
5. Duidelijk omschreven tijdsduur en frequentie.
Het bijzondere van deze ontwikkelingen is dat deze vraag nu niet alleen bij onderzoekers, maar ook bij
uitvoerend hulpverleners en directies in de jeugdzorg een rol speelt. Vakinhoudelijk voelen zij de noodzaak te
moeten streven naar zorg van zo hoog mogelijke kwaliteit, en kwaliteit moet onder meer blijken uit
wetenschappelijk verantwoord effectonderzoek.
Definitie effectonderzoek:
• Vanuit praktijkperspectief: een interventie effectief te noemen als gestelde doelen worden gerealiseerd
en cliënten tevreden zijn.
• Vanuit wetenschappelijk perspectief: een interventie is pas effectief als is aangetoond dat er geen
andere factoren in het spel zijn die het effect ook hadden kunnen veroorzaken.
1.2 Wat weten we uit effectonderzoek?
Rond de 20e eeuw waren wereldwijd zo’n 1500 experimentele onderzoeken naar effecten van
jeugdzorginterventies gepubliceerd. De resultaten van die onderzoeken laten zien dat jeugdzorginterventies
gemiddeld genomen effectief zijn. Dit lijkt goed nieuws, behandelaars in de jeugdzorg kunnen kiezen uit
effectieve interventies. Echter zijn er de nodige vraagtekens bij dit goede nieuws te zetten:
1. In de eerste plaats is het aantal onderzochte en effectief bevonden behandelvormen gering (schatting
niet meer dan 50).
2. Daarnaast is het overgrote deel van het bewijs dat er is,
uit het buitenland afkomstig.
De afbeelding hiernaast geeft een belangrijke conclusie:
1. Het aantal onderzochte interventies is dus maar een fractie van
wat er gewoonlijk wordt aangeboden (van het grootste deel van
de interventies ontbreekt het experimenteel wetenschappelijk
bewijs over effectiviteit).
2. In de tweede plaats hebben John Weisz en zijn collega’s laten
zien dat het positieve beeld vertekend wordt door interventies die
1
,niet in de praktijk van de jeugdzorg werden uitgevoerd, maar die speciaal voor onderzoeksdoeleinden
ontworpen zijn en alleen in het kader van een onderzoek zijn uitgevoerd.
Het geringe aantal interventies dat onderzocht is bestaat ook nog eens voor het grootste deel uit interventies
die in de praktijk van de jeugdzorg nauwelijks in die vorm voorkomen.
3. In de derde plaats worden in experimentele studies die wel in de praktijk van de zorg zijn uitgevoerd voor
interventies vaak geen effecten gevonden. De weinige wel in de praktijk van de zorg uitgevoerde experimentele
onderzoeken laten over het algemeen slechte kleine tot matige effecten zien.
4. In de vierde plaats zijn voor het uitvoeren van een goed effectonderzoek verregaande specificaties van de
beoogde doelgroep, bedoelde interventie en gewenste uitkomsten nodig (liefst behandelprotocollen, die zowel
een gedegen theoretische onderbouwing als een hechte organisatorisch inbedding laten zien).
Hoe dan ook zien we dat op dit moment veel interventies die in de praktijk van de jeugdzorg worden uitgevoerd
onvoldoende geëxpliciteerd zijn om aan een goed effectonderzoek onderworpen te worden.
Samengevat:
De bewijzen die de wetenschap levert over de effectiviteit van jeugdzorginterventies zeggen ons:
• Dat het aantal experimenteel onderzochte interventies maar een fractie is van wat gewoonlijk wordt
aangeboden;
• Dat het aantal interventies dat op deze wijze onderzocht is voor het grootste deel uit interventies
bestaat die in de praktijk nauwelijks in die vorm voorkomen;
• Dat de weinige wel in de praktijk uitgevoerde experimentele onderzoeken over het algemeen kleine tot
matige effecten laten zien;
• Dat veel interventies in de praktijk nog niet genoeg geëxpliciteerd zijn om aan een goed
effectonderzoek worden onderworpen.
1.3 Hoe nu verder?
Er zijn twee wegen om meer kennis over effecten van jeugdzorg te verkrijgen:
Top-down: het top-down implementeren van de interventies die hun effect in beperkt onderzoek bewezen
hebben, om vervolgens de werkzaamheid in een bredere praktijkstudie te toetsen.
Bottom-up: het bottom-up onderzoeken van interventies die vandaag de dag in de praktijk worden uitgevoerd
(praktijkgestuurd effectonderzoek)
Beide wegen zijn begaanbaar. Wetenschappelijke literatuur over effectonderzoek beveelt meestal top-down
aan (dus op kleine schaal experimenteel onderzoek doen en daarna op grotere schaal in de praktijk
implementeren). Het gaat om een methodegestuurde benadering waarbij realisering van eisen waar het
effectonderzoek aan moet voldoen voorop staan. Het idee is dat alleen op die manier maximale zekerheid
ontstaat dat de onderzochte interventie effect heeft (evidence-based practice).
De tweede weg (bottom-up), beginnen bij wat er is en dan uitbouwen, is veel minder uitgewerkt. Het gaat hier
meer om het ontwikkelen van practice-based evidence. De definitie van het effect is minder eenduidig en de
bewijsvoering is minder ‘hard’ dan men wellicht zou willen. Dat is een nadeel van deze tweede weg. Daar staat
wel tegenover dat deze weg snel is in te slaan (gemakkelijk).
Op weg naar praktijkgestuurd effectonderzoek
Praktijkgestuurd effectonderzoek: onderzoek waarin onderzoekers en behandelingsfunctionarissen gezamenlijk
optrekken, met het doel informatie te verzamelen waarmee het effect van het praktisch handelen van een
individuele behandelingsfunctionaris, een groep van behandelingsfunctionarissen, een instelling of groep van
instelling nader verhelderd en getoetst wordt, waardoor vervolgens het werk van de betrokken
behandelfunctionarissen of instellingen verbetert t.o.v. buitenstaanders te legitimeren is.
2
, We kennen drie kenmerken toe (zijn de werkzame principes van praktijkgestuurd effectonderzoek)
1. Aansluiting: het moet aansluiten bij het ontwikkelingsniveau van die interventies;
2. Inbedding: onderzoek naar effect dient procedureel ingebed te zijn in de uitvoering van de interventie,
is hier onderdeel van en ‘komt er niet nog eens bij’.
3. Benutting: de verzamelde gegevens moeten worden benut. Het begint op uitvoeringsniveau (primaire
proces) bij individuele diagnostiek en behandelingsplannen en evaluatie van de voortgang.
1.4 Contouren van een praktijkgestuurd onderzoeksprogramma
Praktijkgestuurd effectonderzoek gaat niet uit van één ideaalmodel, maar kan verschillende vormen aannemen.
Het kent verschillende niveaus van bewijskracht, die elk ook een bepaalde definitie van effect impliceren. Het
gaat om het verzamelen van practice-based evidence. Op elk hoger niveau kan met meer graden van zekerheid
het bewijs van een causale relatie tussen interventie en uitkomsten geleverd worden.
Via het leveren van practice-based evidence ontwikkelen zich gaandeweg tot evidence-based practice. We
spreken dan ook van een ontwikkelingsmodel, het zet aan tot praktijkontwikkeling. Van belang is te beseffen
dat we het op alle niveaus hebben over het effect van een interventie. Hoe hoger de ladder, hoe meer zekerheid
dat de betreffende interventie is toe te rekenen aan het effect.
Niveau 1: descriptieve bewijskracht, potentieel effectieve interventies
De aandacht gaat uit naar:
- Het doel van de interventie
- De doelgroep
- De aanpak
- De context
3
Handboek voor praktijkgestuurd effectonderzoek in de
jeugdzorg. Delft: Eburon. Hoofdstuk 1 t/m 6 + 13
Hoofdstuk 1. Wat is praktijkgestuurd effectonderzoek?
1.1 Zicht op effectiviteit: hard nodig
In de GGZ wordt al enige tijd gesproken over DBC’s: diagnose-behandelcombinaties, die zowel de indicatie als
de financiering van de zorg moeten sturen. Het inzetten van evidence-based behandelingen speelt hierbij een
belangrijke rol.
Het NJI heeft een databank over effectieve jeugdinterventies opgezet om meer bekendheid te geven. Het is
een aanpak die:
1. Gericht is op vermindering, de compensatie of het draaglijk maken van een risico of een probleem in
de ontwikkeling van een jeugdige dat een gezonde, evenwichtige uitgroei tot volwassenheid
belemmert;
2. Bestemd is voor doelgroep van een of meerdere van deze risico’s of problemen;
3. Geleid door een methodiek;
4. Gericht is op jeugdige/opvoeders/omgeving zelf;
5. Duidelijk omschreven tijdsduur en frequentie.
Het bijzondere van deze ontwikkelingen is dat deze vraag nu niet alleen bij onderzoekers, maar ook bij
uitvoerend hulpverleners en directies in de jeugdzorg een rol speelt. Vakinhoudelijk voelen zij de noodzaak te
moeten streven naar zorg van zo hoog mogelijke kwaliteit, en kwaliteit moet onder meer blijken uit
wetenschappelijk verantwoord effectonderzoek.
Definitie effectonderzoek:
• Vanuit praktijkperspectief: een interventie effectief te noemen als gestelde doelen worden gerealiseerd
en cliënten tevreden zijn.
• Vanuit wetenschappelijk perspectief: een interventie is pas effectief als is aangetoond dat er geen
andere factoren in het spel zijn die het effect ook hadden kunnen veroorzaken.
1.2 Wat weten we uit effectonderzoek?
Rond de 20e eeuw waren wereldwijd zo’n 1500 experimentele onderzoeken naar effecten van
jeugdzorginterventies gepubliceerd. De resultaten van die onderzoeken laten zien dat jeugdzorginterventies
gemiddeld genomen effectief zijn. Dit lijkt goed nieuws, behandelaars in de jeugdzorg kunnen kiezen uit
effectieve interventies. Echter zijn er de nodige vraagtekens bij dit goede nieuws te zetten:
1. In de eerste plaats is het aantal onderzochte en effectief bevonden behandelvormen gering (schatting
niet meer dan 50).
2. Daarnaast is het overgrote deel van het bewijs dat er is,
uit het buitenland afkomstig.
De afbeelding hiernaast geeft een belangrijke conclusie:
1. Het aantal onderzochte interventies is dus maar een fractie van
wat er gewoonlijk wordt aangeboden (van het grootste deel van
de interventies ontbreekt het experimenteel wetenschappelijk
bewijs over effectiviteit).
2. In de tweede plaats hebben John Weisz en zijn collega’s laten
zien dat het positieve beeld vertekend wordt door interventies die
1
,niet in de praktijk van de jeugdzorg werden uitgevoerd, maar die speciaal voor onderzoeksdoeleinden
ontworpen zijn en alleen in het kader van een onderzoek zijn uitgevoerd.
Het geringe aantal interventies dat onderzocht is bestaat ook nog eens voor het grootste deel uit interventies
die in de praktijk van de jeugdzorg nauwelijks in die vorm voorkomen.
3. In de derde plaats worden in experimentele studies die wel in de praktijk van de zorg zijn uitgevoerd voor
interventies vaak geen effecten gevonden. De weinige wel in de praktijk van de zorg uitgevoerde experimentele
onderzoeken laten over het algemeen slechte kleine tot matige effecten zien.
4. In de vierde plaats zijn voor het uitvoeren van een goed effectonderzoek verregaande specificaties van de
beoogde doelgroep, bedoelde interventie en gewenste uitkomsten nodig (liefst behandelprotocollen, die zowel
een gedegen theoretische onderbouwing als een hechte organisatorisch inbedding laten zien).
Hoe dan ook zien we dat op dit moment veel interventies die in de praktijk van de jeugdzorg worden uitgevoerd
onvoldoende geëxpliciteerd zijn om aan een goed effectonderzoek onderworpen te worden.
Samengevat:
De bewijzen die de wetenschap levert over de effectiviteit van jeugdzorginterventies zeggen ons:
• Dat het aantal experimenteel onderzochte interventies maar een fractie is van wat gewoonlijk wordt
aangeboden;
• Dat het aantal interventies dat op deze wijze onderzocht is voor het grootste deel uit interventies
bestaat die in de praktijk nauwelijks in die vorm voorkomen;
• Dat de weinige wel in de praktijk uitgevoerde experimentele onderzoeken over het algemeen kleine tot
matige effecten laten zien;
• Dat veel interventies in de praktijk nog niet genoeg geëxpliciteerd zijn om aan een goed
effectonderzoek worden onderworpen.
1.3 Hoe nu verder?
Er zijn twee wegen om meer kennis over effecten van jeugdzorg te verkrijgen:
Top-down: het top-down implementeren van de interventies die hun effect in beperkt onderzoek bewezen
hebben, om vervolgens de werkzaamheid in een bredere praktijkstudie te toetsen.
Bottom-up: het bottom-up onderzoeken van interventies die vandaag de dag in de praktijk worden uitgevoerd
(praktijkgestuurd effectonderzoek)
Beide wegen zijn begaanbaar. Wetenschappelijke literatuur over effectonderzoek beveelt meestal top-down
aan (dus op kleine schaal experimenteel onderzoek doen en daarna op grotere schaal in de praktijk
implementeren). Het gaat om een methodegestuurde benadering waarbij realisering van eisen waar het
effectonderzoek aan moet voldoen voorop staan. Het idee is dat alleen op die manier maximale zekerheid
ontstaat dat de onderzochte interventie effect heeft (evidence-based practice).
De tweede weg (bottom-up), beginnen bij wat er is en dan uitbouwen, is veel minder uitgewerkt. Het gaat hier
meer om het ontwikkelen van practice-based evidence. De definitie van het effect is minder eenduidig en de
bewijsvoering is minder ‘hard’ dan men wellicht zou willen. Dat is een nadeel van deze tweede weg. Daar staat
wel tegenover dat deze weg snel is in te slaan (gemakkelijk).
Op weg naar praktijkgestuurd effectonderzoek
Praktijkgestuurd effectonderzoek: onderzoek waarin onderzoekers en behandelingsfunctionarissen gezamenlijk
optrekken, met het doel informatie te verzamelen waarmee het effect van het praktisch handelen van een
individuele behandelingsfunctionaris, een groep van behandelingsfunctionarissen, een instelling of groep van
instelling nader verhelderd en getoetst wordt, waardoor vervolgens het werk van de betrokken
behandelfunctionarissen of instellingen verbetert t.o.v. buitenstaanders te legitimeren is.
2
, We kennen drie kenmerken toe (zijn de werkzame principes van praktijkgestuurd effectonderzoek)
1. Aansluiting: het moet aansluiten bij het ontwikkelingsniveau van die interventies;
2. Inbedding: onderzoek naar effect dient procedureel ingebed te zijn in de uitvoering van de interventie,
is hier onderdeel van en ‘komt er niet nog eens bij’.
3. Benutting: de verzamelde gegevens moeten worden benut. Het begint op uitvoeringsniveau (primaire
proces) bij individuele diagnostiek en behandelingsplannen en evaluatie van de voortgang.
1.4 Contouren van een praktijkgestuurd onderzoeksprogramma
Praktijkgestuurd effectonderzoek gaat niet uit van één ideaalmodel, maar kan verschillende vormen aannemen.
Het kent verschillende niveaus van bewijskracht, die elk ook een bepaalde definitie van effect impliceren. Het
gaat om het verzamelen van practice-based evidence. Op elk hoger niveau kan met meer graden van zekerheid
het bewijs van een causale relatie tussen interventie en uitkomsten geleverd worden.
Via het leveren van practice-based evidence ontwikkelen zich gaandeweg tot evidence-based practice. We
spreken dan ook van een ontwikkelingsmodel, het zet aan tot praktijkontwikkeling. Van belang is te beseffen
dat we het op alle niveaus hebben over het effect van een interventie. Hoe hoger de ladder, hoe meer zekerheid
dat de betreffende interventie is toe te rekenen aan het effect.
Niveau 1: descriptieve bewijskracht, potentieel effectieve interventies
De aandacht gaat uit naar:
- Het doel van de interventie
- De doelgroep
- De aanpak
- De context
3
