Samenvatting Zicht op
effectiviteit
Handboek voor praktijkgestuurd effectonderzoek in de jeugdzorg
Tom van Yperen & Jan Willem Veerman (red.)
Hoofdstuk 14. Instrumenten voor het meten van uitkomsten en
uitvoering van de zorg
Tom van Yperen, Dries Roosma en Jan Willem Veerman
14.1 Inleiding
De keuze van de juiste instrumenten is essentieel bij het meten van de
effectiviteit van de jeugdzorg. Doel is de belangrijkste aandachtspunten die
kunnen helpen bij die keuze op een rij te zetten
14.2 Drie perspectieven voor het kiezen van instrumenten
Maatschappelijk perspectief
De maatschappelijke opdracht van een instelling voor jeugdzorg is iets te doen
aan opgroei- en opvoedingsproblemen. Voor het beoordelen van de effectiviteit
van de zorg moeten deze problemen gemeten worden. Hoe een instelling dat
doet hangt af van de visie op deze maatschappelijke opdracht.
Maatschappelijke missie nota van de Landelijke werkgroep prestatie-indicatoren
jeugdzorg: belemmeringen in de ontwikkeling van jeugdigen en hun opvoeding
oplossen, verminderen of compenseren zodat een gezonde, evenwichtige uitgroei
van jeugdigen tot volwassenen plaatsvindt die zij zelfstandig of met steun van
basisvoorzieningen kunnen volbrengen.
Vier centrale doelen van de jeugdzorg (werkgroep):
1. De hulpvragen van de cliënten zijn beantwoord
Prestatie-indicatoren
- Mate van doelrealisatie
- Mate van cliënttevredenheid over de resultaten van de hulp
- Mate van reguliere beëindiging van de hulp
2. De autonomie van cliënten is versterkt.
- Mate waarin de ernst van de problematiek is verminderd
- Mate waarin cliënten herhaald beroep doen op jeugdzorg
- Mate waarin cliënten doorstromen naar lichtere of zwaardere
hulpvormen
3. De veiligheid van de jeugdige is hersteld.
- Mate waarin het gedwongen kader van de ondertoezichtstelling of de
voogdij niet langer nodig is
- Mate waarin de ondertoezichtstelling en de voogdij succesvol zijn
beëindigd
4. De jeugdige vormt geen bedreiging voor de veiligheid van de samenleving.
- Mate waarin jeugdreclassering niet langer mogelijk is
- Mate waarin recidive van jeugdige delinquenten uitblijft
,Twee belangen worden in dit model samengebracht. Ten eerste de belangen van
de ouders en de jeugdigen in de eerste twee kerndoelen. Ten tweede de belangen
van de samenleving waar hulpverleners verantwoordelijk voor zijn, te herkennen
in de laatste twee kerndoelen. Aan elk van deze doelen kunnen vervolgens
instrumenten gekoppeld worden.
Wetenschappelijk perspectief
Het primaire belang van wetenschappers is kennis vergaren, theorieën
opbouwen, deze theorieën toetsen en over de bevindingen publiceren in
wetenschappelijke tijdschriften. Zo willen ze een bijdrage leveren aan de theorie
over werkzame factoren.
Een instrument behoort theoretisch relevant en psychometrisch van voldoende
niveau te zijn.
- de theoretische achtergrond van de interventie
Een interventie dient goed omschreven en theoretisch onderbouwd te zijn. Het
wordt dan duidelijk op welke doelen de interventie gericht is en waarom het
aannemelijk is dat de interventie deze doelen realiseert.
- de psychometrische kwaliteit van een instrument belangrijk
Ook moet een instrument op een consistente manier meten, zonder grote
meetfouten (betrouwbaarheid) en meten wat we bedoelen te meten (validiteit).
Praktijkperspectief
Praktijkgestuurd effectonderzoek is een middel om gewenste uitkomsten aan te
tonen van een bedoelde interventie bij een beoogde doelgroep. Er zijn hierin
verschillende niveaus te onderscheiden (individuele cliënt, groep cliënten, totale
zorgaanbod instelling). Het kunnen beantwoorden van vragen over effectiviteit
van het zorgaanbod op deze niveaus is afhankelijk van degene die de vraag stelt.
Ouders en kinderen: van wie kunnen we de beste hulp krijgen en helpt die
ons verder?
Hulpverleners: is de hulpverlening die we geven effectief, wat kunnen we
verbeteren?
Directie en management: is ons totale zorgaanbod doeltreffend en
doelmatig genoeg?
Een instrument moet nuttige informatie opleveren, dit speelt mee bij de keuze.
De hanteerbaarheid voor de producent speelt in belangrijke mate mee bij het
kiezen van een meetinstrument.
De consequenties voor instrumentkeuze
De drie perspectieven wijze op drie soorten afwegingen of argumenten bij het
kiezen van instrumenten.
Maatschappelijk perspectief: instrumenten moeten aansluiten bij de
opdracht van de jeugdzorg
Wetenschappelijk perspectief: instrumenten moeten een relatie hebben
met een theorie over factoren en die factoren moeten op een betrouwbare
en valide manier gemeten worden.
, Praktijkperspectief: hulpverleners zijn zowel consumenten als producenten
van antwoorden op de effectvraag. Er moet rekening worden gehouden
met de hanteerbaarheid van instrumenten.
14.3 De kwaliteit van instrumenten
Zes criteria voor het bepalen van de kwaliteit van een instrument.
De eerste vijf vormen de basis van het beoordelingssysteem voor de kwaliteit
van instrumenten dat door de COTAN van het NIP is opgesteld. Het zesde is door
ons toegevoegd. Het nut en de hanteerbaarheid bepalen de bruikbaarheid van
een instrument.
Termen:
- Test: andere term voor instrument
- Items: vragen of stellingen die door de cliënt of hulpverleners dienen te
worden beantwoord. Deze zijn vaak te groeperen in categorieën of
clusters.
- Categorie of (sub)schaal: eigenschap die men wil meten’
- Antwoordschaal: scoremogelijkheden
1. Uitganspunten voor instrumentconstructie
Basisvragen: Is het gebruiksdoel van het instrument goed omschreven? Wordt de
theorie voldoende omschreven? Is de keuze van de items duidelijk?
2. Kwaliteit van het materiaal en de handleiding
De opbouw van het instrument en de handleiding moet zo zijn ingevuld dat de
gebruiker zoveel mogelijk wordt geleid in wat hij moet doen, hoe de items
moeten worden opgevat en hoe de scores moeten worden verwerkt. Dit voorkomt
dat uitkomsten worden verstoord door verschillen in afname van het instrument.
3. Normen
Een score krijgt vaak pas betekenis als ze vergeleken worden met scores van
anderen. Er zijn verschillende soorten normen.
Algemene kwantitatieve normen
De individuele score van de cliënt wordt vergeleken met de doorsnee bevolking
Klinische, kwantitatieve normen
De individuele score van de cliënt wordt vergeleken met de doorsnee populatie
van de jeugdzorg
Klinische, kwalitatieve normen
DSM: dichotome beoordeling van de aanwezigheid van problemen (het is wel of
niet aanwezig)
4. Betrouwbaarheid
effectiviteit
Handboek voor praktijkgestuurd effectonderzoek in de jeugdzorg
Tom van Yperen & Jan Willem Veerman (red.)
Hoofdstuk 14. Instrumenten voor het meten van uitkomsten en
uitvoering van de zorg
Tom van Yperen, Dries Roosma en Jan Willem Veerman
14.1 Inleiding
De keuze van de juiste instrumenten is essentieel bij het meten van de
effectiviteit van de jeugdzorg. Doel is de belangrijkste aandachtspunten die
kunnen helpen bij die keuze op een rij te zetten
14.2 Drie perspectieven voor het kiezen van instrumenten
Maatschappelijk perspectief
De maatschappelijke opdracht van een instelling voor jeugdzorg is iets te doen
aan opgroei- en opvoedingsproblemen. Voor het beoordelen van de effectiviteit
van de zorg moeten deze problemen gemeten worden. Hoe een instelling dat
doet hangt af van de visie op deze maatschappelijke opdracht.
Maatschappelijke missie nota van de Landelijke werkgroep prestatie-indicatoren
jeugdzorg: belemmeringen in de ontwikkeling van jeugdigen en hun opvoeding
oplossen, verminderen of compenseren zodat een gezonde, evenwichtige uitgroei
van jeugdigen tot volwassenen plaatsvindt die zij zelfstandig of met steun van
basisvoorzieningen kunnen volbrengen.
Vier centrale doelen van de jeugdzorg (werkgroep):
1. De hulpvragen van de cliënten zijn beantwoord
Prestatie-indicatoren
- Mate van doelrealisatie
- Mate van cliënttevredenheid over de resultaten van de hulp
- Mate van reguliere beëindiging van de hulp
2. De autonomie van cliënten is versterkt.
- Mate waarin de ernst van de problematiek is verminderd
- Mate waarin cliënten herhaald beroep doen op jeugdzorg
- Mate waarin cliënten doorstromen naar lichtere of zwaardere
hulpvormen
3. De veiligheid van de jeugdige is hersteld.
- Mate waarin het gedwongen kader van de ondertoezichtstelling of de
voogdij niet langer nodig is
- Mate waarin de ondertoezichtstelling en de voogdij succesvol zijn
beëindigd
4. De jeugdige vormt geen bedreiging voor de veiligheid van de samenleving.
- Mate waarin jeugdreclassering niet langer mogelijk is
- Mate waarin recidive van jeugdige delinquenten uitblijft
,Twee belangen worden in dit model samengebracht. Ten eerste de belangen van
de ouders en de jeugdigen in de eerste twee kerndoelen. Ten tweede de belangen
van de samenleving waar hulpverleners verantwoordelijk voor zijn, te herkennen
in de laatste twee kerndoelen. Aan elk van deze doelen kunnen vervolgens
instrumenten gekoppeld worden.
Wetenschappelijk perspectief
Het primaire belang van wetenschappers is kennis vergaren, theorieën
opbouwen, deze theorieën toetsen en over de bevindingen publiceren in
wetenschappelijke tijdschriften. Zo willen ze een bijdrage leveren aan de theorie
over werkzame factoren.
Een instrument behoort theoretisch relevant en psychometrisch van voldoende
niveau te zijn.
- de theoretische achtergrond van de interventie
Een interventie dient goed omschreven en theoretisch onderbouwd te zijn. Het
wordt dan duidelijk op welke doelen de interventie gericht is en waarom het
aannemelijk is dat de interventie deze doelen realiseert.
- de psychometrische kwaliteit van een instrument belangrijk
Ook moet een instrument op een consistente manier meten, zonder grote
meetfouten (betrouwbaarheid) en meten wat we bedoelen te meten (validiteit).
Praktijkperspectief
Praktijkgestuurd effectonderzoek is een middel om gewenste uitkomsten aan te
tonen van een bedoelde interventie bij een beoogde doelgroep. Er zijn hierin
verschillende niveaus te onderscheiden (individuele cliënt, groep cliënten, totale
zorgaanbod instelling). Het kunnen beantwoorden van vragen over effectiviteit
van het zorgaanbod op deze niveaus is afhankelijk van degene die de vraag stelt.
Ouders en kinderen: van wie kunnen we de beste hulp krijgen en helpt die
ons verder?
Hulpverleners: is de hulpverlening die we geven effectief, wat kunnen we
verbeteren?
Directie en management: is ons totale zorgaanbod doeltreffend en
doelmatig genoeg?
Een instrument moet nuttige informatie opleveren, dit speelt mee bij de keuze.
De hanteerbaarheid voor de producent speelt in belangrijke mate mee bij het
kiezen van een meetinstrument.
De consequenties voor instrumentkeuze
De drie perspectieven wijze op drie soorten afwegingen of argumenten bij het
kiezen van instrumenten.
Maatschappelijk perspectief: instrumenten moeten aansluiten bij de
opdracht van de jeugdzorg
Wetenschappelijk perspectief: instrumenten moeten een relatie hebben
met een theorie over factoren en die factoren moeten op een betrouwbare
en valide manier gemeten worden.
, Praktijkperspectief: hulpverleners zijn zowel consumenten als producenten
van antwoorden op de effectvraag. Er moet rekening worden gehouden
met de hanteerbaarheid van instrumenten.
14.3 De kwaliteit van instrumenten
Zes criteria voor het bepalen van de kwaliteit van een instrument.
De eerste vijf vormen de basis van het beoordelingssysteem voor de kwaliteit
van instrumenten dat door de COTAN van het NIP is opgesteld. Het zesde is door
ons toegevoegd. Het nut en de hanteerbaarheid bepalen de bruikbaarheid van
een instrument.
Termen:
- Test: andere term voor instrument
- Items: vragen of stellingen die door de cliënt of hulpverleners dienen te
worden beantwoord. Deze zijn vaak te groeperen in categorieën of
clusters.
- Categorie of (sub)schaal: eigenschap die men wil meten’
- Antwoordschaal: scoremogelijkheden
1. Uitganspunten voor instrumentconstructie
Basisvragen: Is het gebruiksdoel van het instrument goed omschreven? Wordt de
theorie voldoende omschreven? Is de keuze van de items duidelijk?
2. Kwaliteit van het materiaal en de handleiding
De opbouw van het instrument en de handleiding moet zo zijn ingevuld dat de
gebruiker zoveel mogelijk wordt geleid in wat hij moet doen, hoe de items
moeten worden opgevat en hoe de scores moeten worden verwerkt. Dit voorkomt
dat uitkomsten worden verstoord door verschillen in afname van het instrument.
3. Normen
Een score krijgt vaak pas betekenis als ze vergeleken worden met scores van
anderen. Er zijn verschillende soorten normen.
Algemene kwantitatieve normen
De individuele score van de cliënt wordt vergeleken met de doorsnee bevolking
Klinische, kwantitatieve normen
De individuele score van de cliënt wordt vergeleken met de doorsnee populatie
van de jeugdzorg
Klinische, kwalitatieve normen
DSM: dichotome beoordeling van de aanwezigheid van problemen (het is wel of
niet aanwezig)
4. Betrouwbaarheid
