Samenvatting “Zicht op Efectiviteitt H1,3,4,12,13,23
Hoofdstuk 1: Naar meer efeet: resultaatgeriehte ontwikkeling van interventes
1.1. Inleiding
Vroeger waren het vooral de onderzoekers die zich bezig hielden met de efeccviteit. Tegenwoordig
is het een onderwerp wat voor iedereen belangrijk is. Intervences moeten wetenschappelijk
verantwoord zijn en er moet bewijs zijn voor de efeccviteit.
Evidenee based werken:
- Vanuit prakcjk > efect is bewezen als doelen gehaald worden en cliënten tevreden zijn.
- Voor beleidsmakers > intervence is efeccee als jeugdigen in een samenleving passende
ondersteuning krijgen en zich opcmaal ontwikkelen tot parcciperende burgers.
- Vanuit wetenschap > efeccee als het efect door onderzoek is aangetoond, waarbij
aannemelijk is gemaakt dat er geen andere eactoren in het spel zijn die het efect ook hadden
kunnen veroorzaken.
Over algemeen vind prakcjk en beleidsmakers dat de wetenschap er te lang over doet om
efeccviteit aan te tonen.
Een intervences is
- Efeetef als: deze aan het doel van de inzet beantwoordt.
- Evidenee based als: het beeld over de werkzaamheid is gebaseerd op kennis over wat
werkt.
Kostenefeetef = de mate waarin de intervence en de daarmee gemoeide kosten in een acceptabele
verhouding staan tot de mate van doelbereik.
1.2 Wat weten we uit efectonderzoek?
Het wetenschappelijke efectonderzoek brengt ons veel kennis bij, maar het wordt nog onvoldoende
in de prakcjk benut. Ook geldt dat over de intervences die wel in de prakcjk gebruikt worden, nog
weinig bekend is wat betref efeccviteit = niet hetzelede als niet efeccee).
Je kunt in databanken zoeken welke intervences er efeccee zijn bevonden:
- Databank Efecceve Jeugdintervences JJI)
- Databank voor jusccële intervences
- Databank efecceve sociale intervences
Het sterkste bewijs voor efeccviteit krijg je bij experimenteel onderzoek met RCT’s.
1. Efeetonderzoek naar preventeve interventes. Hier is veel onderzoek naar gedaan en het
blijkt ook te werken vaccinaces). Ook lichte vormen van opvoedondersteuning werkt
kostenbesparend op de lange termijn. Kantekeningen: Jederlandse studies hierin zijn
schaars, dit kan betekenen dat intervences die in het buitenland werken, hier niet werken
omdat de omstandigheden vaak) gunscger zijn. Daarnaast voldoen Jederlandse studies
vaak niet aan de onderzoeksopzet die beschreven is en is de kostenefeccviteit van prevence
voor de Jederlandse situace wellicht te opcmiscsch.
2. Efeetonderzoek jeeugdhulp. Gemiddeld genomen zijn deze intervences efeccee 0,70). Een
toegenomen aantal overzichtsstudies en meta-analyses laat zien welke behandelingen voor
welke problemacek efeccee zijn. Recentelijke internaconale overzichten laten zien dat de
implementace van evidence based intervences een verbetering van de efeccviteit van de
gebruikelijke zorg oplevert. In Jederland spreken we van een kleine efectsize 0,3), maar dit
zou te verhogen moeten zijn. Kantekeningen: Intervences zijn vaak onderzocht op
enkelvoudige problemen, dus niet alcjd representacee. Daarnaast zijn het aantal bewezen
efecceve intervences veel kleiner dan het aantal intervences die niet bewezen zijn. nen
blijf steeds nieuwe intervences ontwikkelen, te weinig sprake van doorontwikkeling. En de
implementace van evidence based intervences leidt tot efeccevere zorg ten opzichte van de
gebruikelijke, maar de winst is niet echt groot. Welke doelgroepen er vooral van profteren is
, niet duidelijk. Ten vierde zijn veel intervences nog niet genoeg geëxpliciteerd en
uitgekristalliseerd om ze aan een goed efect onderzoek te kunnen onderwerpen.
1.3 Naar Resultaatgerichte Ontwikkeling van Interventes RROii
= Zoeken naar mogelijkheden om werkwijzen in de prakcjk en de wetenschappelijke bijdrage aan de
verdere ontwikkeling van die werkwijzen dichter bij elkaar te brengen.
Resultaatgeriehte Ontwikkeling van Interventes (RGOi) : Een samenwerking tussen prakcjk,
cliënten, onderzoekers, instellingseuncconarissen en beleidsmakers om een beweging van meten,
spreken en verbeteren in gang te zeten en te houden) die leidt tot steeds betere resultaten in de
prakcjk.
Algemeen kwaliteitsmodel jeugdbeleid en inzet voorzieningen Van Yperen,2013, Hooedstuk 12)
1. Beeld van de ‘staat van de jeugd’; hoe gaat het met hen?
2. naatschappelijke outcome/impact: concrete beleidsdoelen die uit de ambices van jongeren
naar voren komen.
3. Realisace via accviteiten van burgers en voorzieningen scholen, sportverenigingen etc.)
4. Kwaliteit input; efeccee? Evidence based? Opleiding, competences, cercfcering.
5. Outcome van de voorzieningen: mate van uitval, tevredenheid, doelrealisace
6. Acces verbonden aan de meet-, spreek- en verbeterbeweging; onderhouden, concnue
proces.
Het model laat 2 dingen zien:
- Deze kennis moet leiden tot beter uitkomsten voor cliënten en tot het realiseren van de
beoogde maatschappelijke resultaten
- Kennis over efecceve intervences is niet stacsch, maar een voortdurende ontwikkeling van
bestaande kennis en nieuwe kennis in een cyclus.
Top down = breed in de prakcjk implementeren van evidence based intervences, om vervolgens de
werkzaamheid van deze brede toepassing te toetsen. noet leiden tot evidenee based praetse (EBP).
= wetenschappelijke voorkeur.
Bottum up = ontwikkelen van intervences die de prakcjk vandaag de dag gebruikt. Aansluiten bij de
situace van dit moment. Dit moet leiden tot praetee based evidenee (PBE). EBP lang niet alcjd
mogelijk in de zorg sector, prakcjk kennis ook belangrijk, dus deze nieuwe vorm van onderzoek. Wel
minder sterk bewijs voor efeccviteit.
Beide benaderingen kunnen elkaar juist versterken. Waar de een niet mogelijk is, is de andere een
goede tweede keus. Dit moet voorkomen dat men telkens het wiel opnieuw uitvindt.
RGOi:
- Het is een gezamenlijk zoekproces.
- Werkwijzen van de prakcjk worden geëxpliciteerd en theorecsch onderbouwd
- Via uitkomstenmonitoring en gerichter efectonderzoek empirisch ondersteund.
Leidende principes
1. Aansluicng. Bij ontwikkelingsniveau van intervence en context waaruit het aangeboden
wordt.
2. Inbedding. Resultaat is niet van onderzoeker, maar onderdeel van prakcjk. Dus ingebed in
organisace.
3. Benutng. Verzamelde gegevens moeten benut worden voor verbetering van intervence.
4. Samenwerking. Gezamenlijk zoekproces dus proces, team, instelling en beleid werkt samen
en versterkt elkaar.
1.4 Praktikgestuurd onderzoek steunt RROi; de efectladder als methodisch kader
Idealiter ondersteunt de wetenschap de ontwikkeling van intervences met onderzoek dat dezelede
principes kent als RGOi. Op welke manier je kan onderzoeken hangt ae van je prakcjksituace. naar
welk onderzoek je uitvoert, maakt uit voor welk resultaat je krijgt. Als je kijkt naar de efeetladder,
zijn er 5 niveaus van bewijskracht, die allemaal net anders iets zeggen over de efeccviteit. De
, efectladder geef als ware aan welke aanpak bij welke ontwikkelingsease van de intervence hoort.
Het gaat bij alle niveaus om het verzamelen van gegevens om de efeccviteit van de intervences
zoals ze in de prakcjk worden uitgevoerd in beeld te brengen. >> PBE.
5 misverstanden over de efectladder:
1. Het gaat niet om een hiërarchisch model dat de RCT als beste aanwijst, maar het is een
model om de juiste onderzoeksmethode aan de juiste ontwikkelingsease te koppelen.
2. Jiet het design, maar de uitvoering ervan bepaalt de bewijskracht
3. Eens beschreven is niet alcjd zo bedreven. Alcjd onderzoek blijven herhalen.
4. De ladder wordt niet alcjd sport voor sport beklommen. Er kunnen stappen worden
overgeslagen en soms is niveau 3 oe 4 goed genoeg.
5. Onderzoek in eerdere ontwikkelingseasen kan ook later van dienst blijken. Alleen RCT zegt
soms niet genoeg. Theorecsch en beschrijvend onderzoek ook van belang.
Wel geldt, hoe hoger op de ladder, hoe meer het verkregen efect aan de intervence te danken is.
1.5 Tot slot
Belang van de efectladder als methodisch kader voor het prakcjk gestuurd onderzoek is dat het
duidelijk maakt dat efeccviteit geen alles-oe-niets principe is, maar alcjd in ontwikkeling is. Vanuit
wetenschappelijk tradiconeel oogpunt is alleen het bereiken van niveau 5 goed genoeg, maar dat is
niet van deze cjd. Door de verschillende niveaus van de efectladder zijn er nu stappen tussen
‘efeccee’ en ‘niets weten’. Werk je van niets naar iets, werk je botum up, dus PBE. naar ook
andersom van 5>1 is mogelijk, top down, dus EBP. Door deze vooruitgang ontstaat er ook een
eenheid van taal, zodat er goede communicace mogelijk is.
Streven naar intervences met minstens ‘doeltrefend’ ua niveau. Hier zijn momenteel ook veel
ontwikkelingen. Daarnaast is het niet onaannemelijk dat het doen van onderzoek naar de efeccviteit
van bepaalde zorg, die zelede zorg ten goede komt.
Hoofdstuk 1: Naar meer efeet: resultaatgeriehte ontwikkeling van interventes
1.1. Inleiding
Vroeger waren het vooral de onderzoekers die zich bezig hielden met de efeccviteit. Tegenwoordig
is het een onderwerp wat voor iedereen belangrijk is. Intervences moeten wetenschappelijk
verantwoord zijn en er moet bewijs zijn voor de efeccviteit.
Evidenee based werken:
- Vanuit prakcjk > efect is bewezen als doelen gehaald worden en cliënten tevreden zijn.
- Voor beleidsmakers > intervence is efeccee als jeugdigen in een samenleving passende
ondersteuning krijgen en zich opcmaal ontwikkelen tot parcciperende burgers.
- Vanuit wetenschap > efeccee als het efect door onderzoek is aangetoond, waarbij
aannemelijk is gemaakt dat er geen andere eactoren in het spel zijn die het efect ook hadden
kunnen veroorzaken.
Over algemeen vind prakcjk en beleidsmakers dat de wetenschap er te lang over doet om
efeccviteit aan te tonen.
Een intervences is
- Efeetef als: deze aan het doel van de inzet beantwoordt.
- Evidenee based als: het beeld over de werkzaamheid is gebaseerd op kennis over wat
werkt.
Kostenefeetef = de mate waarin de intervence en de daarmee gemoeide kosten in een acceptabele
verhouding staan tot de mate van doelbereik.
1.2 Wat weten we uit efectonderzoek?
Het wetenschappelijke efectonderzoek brengt ons veel kennis bij, maar het wordt nog onvoldoende
in de prakcjk benut. Ook geldt dat over de intervences die wel in de prakcjk gebruikt worden, nog
weinig bekend is wat betref efeccviteit = niet hetzelede als niet efeccee).
Je kunt in databanken zoeken welke intervences er efeccee zijn bevonden:
- Databank Efecceve Jeugdintervences JJI)
- Databank voor jusccële intervences
- Databank efecceve sociale intervences
Het sterkste bewijs voor efeccviteit krijg je bij experimenteel onderzoek met RCT’s.
1. Efeetonderzoek naar preventeve interventes. Hier is veel onderzoek naar gedaan en het
blijkt ook te werken vaccinaces). Ook lichte vormen van opvoedondersteuning werkt
kostenbesparend op de lange termijn. Kantekeningen: Jederlandse studies hierin zijn
schaars, dit kan betekenen dat intervences die in het buitenland werken, hier niet werken
omdat de omstandigheden vaak) gunscger zijn. Daarnaast voldoen Jederlandse studies
vaak niet aan de onderzoeksopzet die beschreven is en is de kostenefeccviteit van prevence
voor de Jederlandse situace wellicht te opcmiscsch.
2. Efeetonderzoek jeeugdhulp. Gemiddeld genomen zijn deze intervences efeccee 0,70). Een
toegenomen aantal overzichtsstudies en meta-analyses laat zien welke behandelingen voor
welke problemacek efeccee zijn. Recentelijke internaconale overzichten laten zien dat de
implementace van evidence based intervences een verbetering van de efeccviteit van de
gebruikelijke zorg oplevert. In Jederland spreken we van een kleine efectsize 0,3), maar dit
zou te verhogen moeten zijn. Kantekeningen: Intervences zijn vaak onderzocht op
enkelvoudige problemen, dus niet alcjd representacee. Daarnaast zijn het aantal bewezen
efecceve intervences veel kleiner dan het aantal intervences die niet bewezen zijn. nen
blijf steeds nieuwe intervences ontwikkelen, te weinig sprake van doorontwikkeling. En de
implementace van evidence based intervences leidt tot efeccevere zorg ten opzichte van de
gebruikelijke, maar de winst is niet echt groot. Welke doelgroepen er vooral van profteren is
, niet duidelijk. Ten vierde zijn veel intervences nog niet genoeg geëxpliciteerd en
uitgekristalliseerd om ze aan een goed efect onderzoek te kunnen onderwerpen.
1.3 Naar Resultaatgerichte Ontwikkeling van Interventes RROii
= Zoeken naar mogelijkheden om werkwijzen in de prakcjk en de wetenschappelijke bijdrage aan de
verdere ontwikkeling van die werkwijzen dichter bij elkaar te brengen.
Resultaatgeriehte Ontwikkeling van Interventes (RGOi) : Een samenwerking tussen prakcjk,
cliënten, onderzoekers, instellingseuncconarissen en beleidsmakers om een beweging van meten,
spreken en verbeteren in gang te zeten en te houden) die leidt tot steeds betere resultaten in de
prakcjk.
Algemeen kwaliteitsmodel jeugdbeleid en inzet voorzieningen Van Yperen,2013, Hooedstuk 12)
1. Beeld van de ‘staat van de jeugd’; hoe gaat het met hen?
2. naatschappelijke outcome/impact: concrete beleidsdoelen die uit de ambices van jongeren
naar voren komen.
3. Realisace via accviteiten van burgers en voorzieningen scholen, sportverenigingen etc.)
4. Kwaliteit input; efeccee? Evidence based? Opleiding, competences, cercfcering.
5. Outcome van de voorzieningen: mate van uitval, tevredenheid, doelrealisace
6. Acces verbonden aan de meet-, spreek- en verbeterbeweging; onderhouden, concnue
proces.
Het model laat 2 dingen zien:
- Deze kennis moet leiden tot beter uitkomsten voor cliënten en tot het realiseren van de
beoogde maatschappelijke resultaten
- Kennis over efecceve intervences is niet stacsch, maar een voortdurende ontwikkeling van
bestaande kennis en nieuwe kennis in een cyclus.
Top down = breed in de prakcjk implementeren van evidence based intervences, om vervolgens de
werkzaamheid van deze brede toepassing te toetsen. noet leiden tot evidenee based praetse (EBP).
= wetenschappelijke voorkeur.
Bottum up = ontwikkelen van intervences die de prakcjk vandaag de dag gebruikt. Aansluiten bij de
situace van dit moment. Dit moet leiden tot praetee based evidenee (PBE). EBP lang niet alcjd
mogelijk in de zorg sector, prakcjk kennis ook belangrijk, dus deze nieuwe vorm van onderzoek. Wel
minder sterk bewijs voor efeccviteit.
Beide benaderingen kunnen elkaar juist versterken. Waar de een niet mogelijk is, is de andere een
goede tweede keus. Dit moet voorkomen dat men telkens het wiel opnieuw uitvindt.
RGOi:
- Het is een gezamenlijk zoekproces.
- Werkwijzen van de prakcjk worden geëxpliciteerd en theorecsch onderbouwd
- Via uitkomstenmonitoring en gerichter efectonderzoek empirisch ondersteund.
Leidende principes
1. Aansluicng. Bij ontwikkelingsniveau van intervence en context waaruit het aangeboden
wordt.
2. Inbedding. Resultaat is niet van onderzoeker, maar onderdeel van prakcjk. Dus ingebed in
organisace.
3. Benutng. Verzamelde gegevens moeten benut worden voor verbetering van intervence.
4. Samenwerking. Gezamenlijk zoekproces dus proces, team, instelling en beleid werkt samen
en versterkt elkaar.
1.4 Praktikgestuurd onderzoek steunt RROi; de efectladder als methodisch kader
Idealiter ondersteunt de wetenschap de ontwikkeling van intervences met onderzoek dat dezelede
principes kent als RGOi. Op welke manier je kan onderzoeken hangt ae van je prakcjksituace. naar
welk onderzoek je uitvoert, maakt uit voor welk resultaat je krijgt. Als je kijkt naar de efeetladder,
zijn er 5 niveaus van bewijskracht, die allemaal net anders iets zeggen over de efeccviteit. De
, efectladder geef als ware aan welke aanpak bij welke ontwikkelingsease van de intervence hoort.
Het gaat bij alle niveaus om het verzamelen van gegevens om de efeccviteit van de intervences
zoals ze in de prakcjk worden uitgevoerd in beeld te brengen. >> PBE.
5 misverstanden over de efectladder:
1. Het gaat niet om een hiërarchisch model dat de RCT als beste aanwijst, maar het is een
model om de juiste onderzoeksmethode aan de juiste ontwikkelingsease te koppelen.
2. Jiet het design, maar de uitvoering ervan bepaalt de bewijskracht
3. Eens beschreven is niet alcjd zo bedreven. Alcjd onderzoek blijven herhalen.
4. De ladder wordt niet alcjd sport voor sport beklommen. Er kunnen stappen worden
overgeslagen en soms is niveau 3 oe 4 goed genoeg.
5. Onderzoek in eerdere ontwikkelingseasen kan ook later van dienst blijken. Alleen RCT zegt
soms niet genoeg. Theorecsch en beschrijvend onderzoek ook van belang.
Wel geldt, hoe hoger op de ladder, hoe meer het verkregen efect aan de intervence te danken is.
1.5 Tot slot
Belang van de efectladder als methodisch kader voor het prakcjk gestuurd onderzoek is dat het
duidelijk maakt dat efeccviteit geen alles-oe-niets principe is, maar alcjd in ontwikkeling is. Vanuit
wetenschappelijk tradiconeel oogpunt is alleen het bereiken van niveau 5 goed genoeg, maar dat is
niet van deze cjd. Door de verschillende niveaus van de efectladder zijn er nu stappen tussen
‘efeccee’ en ‘niets weten’. Werk je van niets naar iets, werk je botum up, dus PBE. naar ook
andersom van 5>1 is mogelijk, top down, dus EBP. Door deze vooruitgang ontstaat er ook een
eenheid van taal, zodat er goede communicace mogelijk is.
Streven naar intervences met minstens ‘doeltrefend’ ua niveau. Hier zijn momenteel ook veel
ontwikkelingen. Daarnaast is het niet onaannemelijk dat het doen van onderzoek naar de efeccviteit
van bepaalde zorg, die zelede zorg ten goede komt.
