Hoofdstuk 3. Definities van enkele relevante begrippen
De volgende begrippen komen aan de orde: gedragswetenschappen,
interventie(programma), effectiviteit van interventies en verwante termen,
effectenonderzoek en effect size.
3.2 Gedragswetenschappen
> Gedragswetenschappen is een overkoepelende benaming voor wetenschappen
die zich toeleggen op de studie van het gedrag.
> Linschoten (1964): ‘Gedrag is iedere, met enig hulpmiddel observeerbare, en
instrumenteel realiseerbare, tijdruimtelijke veranderingen van of aan enig object’.
> Gedrag =: ‘Omvat alle activiteiten van een (menselijk) organisme, die
waarneembaar of registreerbaar zijn of tot waarneembare of registreerbare
toestandswijzigingen leiden’.
> In deze definities wordt nadruk gelegd op registratie en waarnemen, echter kunnen
ook beleving, introspectie onder de definitie vallen.
> Gedragswetenschappen = rationele activiteiten van terzake deskundige, gericht
op overeenstemming, waarbij met behulp van empirisch onderzoek zicht wordt
verkregen op menselijk gedrag.
3.3 Interventie programma
> Programma = een goed gedefinieerd en on de tijd gefaseerd complex van
activiteiten ter realisering van bepaalde eveneens goed omschreven doelen.
> Interventie = programma, training of behandeling: goed gedefinieerd, in de tijd
gefaseerd geheel aan activiteiten ter realisering van bepaalde goed omschreven
doelen.
> Er is spraken van een Interventieprogramma als het programma gebruikt wordt
tijdens een hulpverlenings-, begeleidings- of trainingssituatie.
> NJI; definieert een interventie in de jeugdzorg als een aanpak die:
Gericht is op de vermindering, de compensatie of het dragelijk maken van een
risico of groot probleem in de ontwikkeling van een jeugdige.
Bestemd is voor een doelgroep die wordt gekenmerkt door de aanwezigheid
van een of meerdere van deze risico’s of problemen.
Geleid wordt door een theoretisch en praktisch weldoordachte, doelgerichte
en systematische werkwijze (een methodiek).
Gericht is op de jeugdige zelf, zijn opvoeders en/of zijn opvoedingsomgeving.
Afgebakend is in de tijd, met een nader omschreven tijdsduur en frequentie.
> Interventieprogramma = in de algemenere zin een geheel van hulpverlenings-,
begeleidings- en/of onderwijsactiviteiten die:
Gekenmerkt worden door goed omschreven doelen, gericht op het oplossen,
verminderen of voorkomen van risico’s of problemen bij kinderen/volwassenen
Aansluit bij toepasselijke theorieën en hypothesen.
Goed gedefinieerd zijn wat betreft inhoud en doelgroep.
In de tijd gefaseerd zijn ter wille van het bereiken van de doelen.
Vooraf geplande evaluatiemomenten en evaluatiecriteria kennen.
,3.4 Effectiviteit van interventies en verwante termen
> Effectiviteit heeft te maken met de werkzaamheid bij een bepaalde doelgroep en de
mate waarin het vooropgestelde doel wordt behaald.
> Dunst et al (1989) hanteren een multidimensionale definitie van effectiviteit. Zij
plaatsen het begrip op een continuüm, zodat het mogelijk is om alle verschillende
vormen en niveaus van causale gevolgtrekking te onderscheiden.
Drie dimensies liggen besloten in deze definitie:
1. Afhankelijkheid; de mate waarin een
functionele relatie tussen de onafhankelijke
variabele (de interventie) en de afhankelijke
variabele (de uitkomst) bestaat.
2. Specificiteit; de mate waarin specifieke,
identificeerbare dimensies van de interventie
aan te wijzen zijn, die een onderscheidbare
relatie met de afhankelijke variabele (de
uitkomst) bezitten; wat draagt er precies bij
aan de uitkomst?
3. Alternatieve verklaringen; de mate waarin andere (derde) factoren dan de
interventie als bronnen van invloed op de afhankelijke variabele optreden.
> Omdat in de gedragswetenschappen en hulpverleningspraktijk zelden tot nooit de
hoogste niveaus op alle drie dimensies bereiken, is causale gevolgtrekken dus meer
een relatief dan een absoluut begrip.
> Veerman en van Yperen (2008) ontwikkelen een effectenladder, waarin de
effectiviteit van interventies is ingedeeld in een aantal niveaus, die het
ontwikkelingsstadium van die interventie weergeven:
Niveau 0 – Werken met impliciete kennis: de interventie is niet duidelijk
omschreven, maar wordt uitgevoerd zoals men het in gedachten heeft. De
interventie is niet overdraagbaar aan anderen
Niveau 1 – Goed beschreven interventies: de randvoorwaarden zijn nader
omschreven, de aanpak is overdraagbaar,de effectiviteit is deels in te schatten
Niveau 2 – Goed onderbouwde interventies: deze interventies hebben
theoretische bewijskracht, doordat ze onderbouwd zijn met goede
programmatheorie die het aannemelijk maken dat de interventie kan werken.
Niveau 3 – effectieve interventie volgens eerste aanwijzingen: er is
gemeten of de geformuleerde doelen zijn bereikt, de doelgroep is bereikt en
de interventie volgens plan is uitgevoerd. Het is nog niet aangetoond dat de
doelbereiking aan de interventie is toe te schrijven.
Niveau 4 – Interventies met causale bewijskracht zijn bewezen effectief:
de gemeten verbetering is toe te schrijven aan de interventie, er is causale
bewijskracht. Aan alle niveaus zijn voldaan.
> Effectiviteit van een interventieprogramma = de mate waarin hulp, zorg,
ondersteuning of onderwijsinspanning erin slaagt de doelgroep positief te
beïnvloeden, in lijn met de doelstellingen, en wel zodanig dat alternatieve
verklaringen uitgesloten zijn.
> Effectieve interventies = interventieprogramma’s die een gemeten verbetering,
corresponderend met de vooropgestelde doelen, bewerkstelligen, waarbij de
verbetering is toe te schrijven aan de interventie en er zicht is op de werkzame
, elementen ervan.
> Verandering = het anders maken of worden. Deze term zegt echter niks over waar
die verandering door wordt veroorzaakt.
> Resultaat = is een meer neutrale term dan effect. Van Dale beschrijft twee
definities: ‘Het geheel van gegevens, feitenmateriaal en conclusies dat een
wetenschappelijk onderzoek oplevert’ en ‘Wat door min of meer doelgerichte
handeling, proces, werking wordt opgeleverd’.
> Doeltreffendheid = ook niet gelijk aan effect. Het kan ook dat het doel na de
interventie bereikt is en niet veroorzaakt werd door de interventie.
> Kosteneffectiviteit = de verhouding tussen de effecten en de kosten van een
interventie.
3.5 Effectenonderzoek
> Fundamenteel onderzoek is het ontwikkelen en toetsen van theorieën voor de
oplossing van kennisproblemen. Verloopt volgens de empirische cyclus.
> Praktijkgericht onderzoek is het ontwikkelen, proberen en evalueren van
oplossingen van praktijkproblemen. Verloopt volgens de regulatieve cyclus.
> Effectenonderzoek kan gezien worden als een vorm van praktijkgericht onderzoek.
> Andere veelgebruikte termen van effectenonderzoek zijn: programma-evaluatie,
evaluatieonderzoek, effectevaluatie en productevaluatie.
> Effectenonderzoek kan zowel in de regulatieve cyclus geplaatst worden (fase
evaluatie), als volgens de empirische cyclus in stappen worden beschreven, en
daarmee toetsingsonderzoek zijn.
> Procesevaluaties = heeft tot doel het tot stand brengen van veranderingen in de
interventie en/of bewustwording van de betrokken bij het proces.
> De criteria op grond waarvan de effectiviteit van de interventie wordt beoordeeld
hoeft niet gebaseerd te zijn op het doel van de interventie.
> Deze doelen worden ook wel formatieve doelen genoemd.
> Productevaluaties = hebben vaak tot doel de rechtvaardiging van de interventie,
ten opzichte van de uitvoerders, de doelgroep, de opdrachtgever en de financier over
het maken van een beslissing over het stoppen of doorgaan met de interventie.
> Deze doelen worden ook wel summatieve doelen genoemd.
> De criteria van beoordelen wordt ontleend aan het doel van de interventie (goal
based productevaluaties).
>Product- en procesevaluatie vragen ieder om een eigen onderzoeksaanpak:
Bij procesevaluatie wordt er gebruik gemaakt van kwalitatieve methoden.
Bij productevaluatie wordt er gebruik gemaakt van kwantitatieve methoden.
< Echter is het belang van beide onderzoeken in combinatie erg groot.
< De productevaluatie toont aan of de interventie werkt en de procesevaluatie
waarom de interventie (niet) werkt en hoe het misschien beter kan.
> Het NJI onderscheidt vijf soorten effectenonderzoek:
1. Niet experimenteel kwaliteitsonderzoek = hierbij staat de vraag over de
kwaliteit van een interventie centraal, zonder een vergelijking met een andere
groep of controlegroep; hoe tevreden zijn cliënte/in hoeverre zijn doelen
bereikt?
2. Niet experimenteel veranderingsonderzoek = hierbij worden kenmerken
van participanten voor en na de interventie met elkaar worden vergeleken; in
hoeverre is er verandering opgetreden?
De volgende begrippen komen aan de orde: gedragswetenschappen,
interventie(programma), effectiviteit van interventies en verwante termen,
effectenonderzoek en effect size.
3.2 Gedragswetenschappen
> Gedragswetenschappen is een overkoepelende benaming voor wetenschappen
die zich toeleggen op de studie van het gedrag.
> Linschoten (1964): ‘Gedrag is iedere, met enig hulpmiddel observeerbare, en
instrumenteel realiseerbare, tijdruimtelijke veranderingen van of aan enig object’.
> Gedrag =: ‘Omvat alle activiteiten van een (menselijk) organisme, die
waarneembaar of registreerbaar zijn of tot waarneembare of registreerbare
toestandswijzigingen leiden’.
> In deze definities wordt nadruk gelegd op registratie en waarnemen, echter kunnen
ook beleving, introspectie onder de definitie vallen.
> Gedragswetenschappen = rationele activiteiten van terzake deskundige, gericht
op overeenstemming, waarbij met behulp van empirisch onderzoek zicht wordt
verkregen op menselijk gedrag.
3.3 Interventie programma
> Programma = een goed gedefinieerd en on de tijd gefaseerd complex van
activiteiten ter realisering van bepaalde eveneens goed omschreven doelen.
> Interventie = programma, training of behandeling: goed gedefinieerd, in de tijd
gefaseerd geheel aan activiteiten ter realisering van bepaalde goed omschreven
doelen.
> Er is spraken van een Interventieprogramma als het programma gebruikt wordt
tijdens een hulpverlenings-, begeleidings- of trainingssituatie.
> NJI; definieert een interventie in de jeugdzorg als een aanpak die:
Gericht is op de vermindering, de compensatie of het dragelijk maken van een
risico of groot probleem in de ontwikkeling van een jeugdige.
Bestemd is voor een doelgroep die wordt gekenmerkt door de aanwezigheid
van een of meerdere van deze risico’s of problemen.
Geleid wordt door een theoretisch en praktisch weldoordachte, doelgerichte
en systematische werkwijze (een methodiek).
Gericht is op de jeugdige zelf, zijn opvoeders en/of zijn opvoedingsomgeving.
Afgebakend is in de tijd, met een nader omschreven tijdsduur en frequentie.
> Interventieprogramma = in de algemenere zin een geheel van hulpverlenings-,
begeleidings- en/of onderwijsactiviteiten die:
Gekenmerkt worden door goed omschreven doelen, gericht op het oplossen,
verminderen of voorkomen van risico’s of problemen bij kinderen/volwassenen
Aansluit bij toepasselijke theorieën en hypothesen.
Goed gedefinieerd zijn wat betreft inhoud en doelgroep.
In de tijd gefaseerd zijn ter wille van het bereiken van de doelen.
Vooraf geplande evaluatiemomenten en evaluatiecriteria kennen.
,3.4 Effectiviteit van interventies en verwante termen
> Effectiviteit heeft te maken met de werkzaamheid bij een bepaalde doelgroep en de
mate waarin het vooropgestelde doel wordt behaald.
> Dunst et al (1989) hanteren een multidimensionale definitie van effectiviteit. Zij
plaatsen het begrip op een continuüm, zodat het mogelijk is om alle verschillende
vormen en niveaus van causale gevolgtrekking te onderscheiden.
Drie dimensies liggen besloten in deze definitie:
1. Afhankelijkheid; de mate waarin een
functionele relatie tussen de onafhankelijke
variabele (de interventie) en de afhankelijke
variabele (de uitkomst) bestaat.
2. Specificiteit; de mate waarin specifieke,
identificeerbare dimensies van de interventie
aan te wijzen zijn, die een onderscheidbare
relatie met de afhankelijke variabele (de
uitkomst) bezitten; wat draagt er precies bij
aan de uitkomst?
3. Alternatieve verklaringen; de mate waarin andere (derde) factoren dan de
interventie als bronnen van invloed op de afhankelijke variabele optreden.
> Omdat in de gedragswetenschappen en hulpverleningspraktijk zelden tot nooit de
hoogste niveaus op alle drie dimensies bereiken, is causale gevolgtrekken dus meer
een relatief dan een absoluut begrip.
> Veerman en van Yperen (2008) ontwikkelen een effectenladder, waarin de
effectiviteit van interventies is ingedeeld in een aantal niveaus, die het
ontwikkelingsstadium van die interventie weergeven:
Niveau 0 – Werken met impliciete kennis: de interventie is niet duidelijk
omschreven, maar wordt uitgevoerd zoals men het in gedachten heeft. De
interventie is niet overdraagbaar aan anderen
Niveau 1 – Goed beschreven interventies: de randvoorwaarden zijn nader
omschreven, de aanpak is overdraagbaar,de effectiviteit is deels in te schatten
Niveau 2 – Goed onderbouwde interventies: deze interventies hebben
theoretische bewijskracht, doordat ze onderbouwd zijn met goede
programmatheorie die het aannemelijk maken dat de interventie kan werken.
Niveau 3 – effectieve interventie volgens eerste aanwijzingen: er is
gemeten of de geformuleerde doelen zijn bereikt, de doelgroep is bereikt en
de interventie volgens plan is uitgevoerd. Het is nog niet aangetoond dat de
doelbereiking aan de interventie is toe te schrijven.
Niveau 4 – Interventies met causale bewijskracht zijn bewezen effectief:
de gemeten verbetering is toe te schrijven aan de interventie, er is causale
bewijskracht. Aan alle niveaus zijn voldaan.
> Effectiviteit van een interventieprogramma = de mate waarin hulp, zorg,
ondersteuning of onderwijsinspanning erin slaagt de doelgroep positief te
beïnvloeden, in lijn met de doelstellingen, en wel zodanig dat alternatieve
verklaringen uitgesloten zijn.
> Effectieve interventies = interventieprogramma’s die een gemeten verbetering,
corresponderend met de vooropgestelde doelen, bewerkstelligen, waarbij de
verbetering is toe te schrijven aan de interventie en er zicht is op de werkzame
, elementen ervan.
> Verandering = het anders maken of worden. Deze term zegt echter niks over waar
die verandering door wordt veroorzaakt.
> Resultaat = is een meer neutrale term dan effect. Van Dale beschrijft twee
definities: ‘Het geheel van gegevens, feitenmateriaal en conclusies dat een
wetenschappelijk onderzoek oplevert’ en ‘Wat door min of meer doelgerichte
handeling, proces, werking wordt opgeleverd’.
> Doeltreffendheid = ook niet gelijk aan effect. Het kan ook dat het doel na de
interventie bereikt is en niet veroorzaakt werd door de interventie.
> Kosteneffectiviteit = de verhouding tussen de effecten en de kosten van een
interventie.
3.5 Effectenonderzoek
> Fundamenteel onderzoek is het ontwikkelen en toetsen van theorieën voor de
oplossing van kennisproblemen. Verloopt volgens de empirische cyclus.
> Praktijkgericht onderzoek is het ontwikkelen, proberen en evalueren van
oplossingen van praktijkproblemen. Verloopt volgens de regulatieve cyclus.
> Effectenonderzoek kan gezien worden als een vorm van praktijkgericht onderzoek.
> Andere veelgebruikte termen van effectenonderzoek zijn: programma-evaluatie,
evaluatieonderzoek, effectevaluatie en productevaluatie.
> Effectenonderzoek kan zowel in de regulatieve cyclus geplaatst worden (fase
evaluatie), als volgens de empirische cyclus in stappen worden beschreven, en
daarmee toetsingsonderzoek zijn.
> Procesevaluaties = heeft tot doel het tot stand brengen van veranderingen in de
interventie en/of bewustwording van de betrokken bij het proces.
> De criteria op grond waarvan de effectiviteit van de interventie wordt beoordeeld
hoeft niet gebaseerd te zijn op het doel van de interventie.
> Deze doelen worden ook wel formatieve doelen genoemd.
> Productevaluaties = hebben vaak tot doel de rechtvaardiging van de interventie,
ten opzichte van de uitvoerders, de doelgroep, de opdrachtgever en de financier over
het maken van een beslissing over het stoppen of doorgaan met de interventie.
> Deze doelen worden ook wel summatieve doelen genoemd.
> De criteria van beoordelen wordt ontleend aan het doel van de interventie (goal
based productevaluaties).
>Product- en procesevaluatie vragen ieder om een eigen onderzoeksaanpak:
Bij procesevaluatie wordt er gebruik gemaakt van kwalitatieve methoden.
Bij productevaluatie wordt er gebruik gemaakt van kwantitatieve methoden.
< Echter is het belang van beide onderzoeken in combinatie erg groot.
< De productevaluatie toont aan of de interventie werkt en de procesevaluatie
waarom de interventie (niet) werkt en hoe het misschien beter kan.
> Het NJI onderscheidt vijf soorten effectenonderzoek:
1. Niet experimenteel kwaliteitsonderzoek = hierbij staat de vraag over de
kwaliteit van een interventie centraal, zonder een vergelijking met een andere
groep of controlegroep; hoe tevreden zijn cliënte/in hoeverre zijn doelen
bereikt?
2. Niet experimenteel veranderingsonderzoek = hierbij worden kenmerken
van participanten voor en na de interventie met elkaar worden vergeleken; in
hoeverre is er verandering opgetreden?
