2. Kwaliteit van de diagnostiek
2.1 Inleiding
We bespreken in dit hoofdstuk drie componenten van de diagnostiek:
- referentiekaders voor de diagnostiek
- beschrijving van die kaders in modellen
- tests
2.2 Kwaliteitseisen voor referentiekaders, modellen en tests
De schrijvers van het boek zien psychodiagnostiek als een geheel van drie
onderdelen:
1. diagnostische referentiekaders of theorieën
- er zijn 3 referentiekaders:
Individuele verschillen gedragingen verklaren door naar
individuele verschillen te kijken
Ontwikkeling gedragingen verklaren door de ontwikkeling in tijd
te bestuderen
Context gedrag kan pas worden begrepen wanneer deze
veranderen of in stand worden gehouden door een bepaalde sociale
context
2. De beschrijving van de drie referentiekaders in modellen uit de
testtheorie
3. tests
- deze zijn idealiter gebaseerd op een construct dat gedefinieerd is binnen
een referentiekader, zodat het kan worden afgebeeld in een model dat na
toetsing adequaat is. Meestal begin je doorgaans niet met een theorie,
construct of model maar met een instrument!
Kwaliteit van de referentiekaders
Van der werf (2000) een kwaliteitsbepaling van referentiekaders over de
persoonlijkheid geformuleerd:
1. Zijn de elementen en relaties uit de theorie getoetst en wat is het
resultaat?
2. Is de theorie zo opgeschreven, dat hij toetsbaar is?
3. Is de theorie inspiratiebron geworden van empirisch onderzoek?
4. Is er onderzoek gedaan naar praktische toepassingen van de theorie en
wat is het resultaat van dit onderzoek?
- Als “toppers” noemt Van der Werf de eigenschapsbenadering (tot
betrouwbare en valide intelligentie- en persoonlijkheidstest geleidt), de
biopsychologie (ingrepen en manipulaties) en de orthodoxe sociale-
leertheorieën (effectieve interventies).
- Tot de “middenklasse” rekent Van der Werf delen van de psychoanalyse
bijvoorbeeld de egopsychologie van Loevinger (tot beschikking over
projectieve tests en instrumenten voor de meting van ontwikkelingsstadia
van de ego- en identiteitsontwikkeling geleidt).
- Tot de “ondermaat” rekent hij een groot deel van de psycho-analytische,
humanistische en existentiële psychologie.
,Voor de diagnosticus is het referentiekader van de individuele verschillen
het vruchtbaarst.
Kwaliteit van instrumenten
Standards for Educational and Psychological Tests door de American
Psychological Association. Deze standards bieden criteria om tests,
testpraktijken en testgebruik te evalueren. De laatste uitgave bevat een
Inleiding, Evaluatie en Documentatie, Fairness, en Toepassing. Via
beoordelingen op een aantal specifieke kenmerken wordt aan in totaal 7
criteria de kwalificatie ‘goed’, ‘voldoende’ of ‘onvoldoende’ toegekend.
1. Uitgangspunten van de testconstructie
2. Kwaliteit van het testmateriaal: is er een testboekje, scoringssleutel,
testduur?
3. Kwaliteit van de handleiding: testgebruiker helpen met scoring te
interpreteren
4. Kwaliteit van de normen: scores worden vergeleken met een relevante
normgroep (normgerichte interpretatie) of met de absolute norm
(domeingerichte/criteriumgerichte interpretatie)
5. Kwaliteit van de betrouwbaarheidsgegevens: interne consistentie, test-
hertest en vergelijking over beoordelaars
6. Begripsvaliditeit: past het construct in een nomologisch netwerk
7. Criteriumvaliditeit: samenhang van een test met een criterium,
bijvoorbeeld resultaat van een behandeling
Hoe hoog moet de betrouwbaarheidscoefficient zijn?
- Volgens Nunnally en Bernstein (1994) was dit r≥.90.
- Everts (2000) heeft voor drie verschillende situaties de coefficienten
aangegeven:
Tests die gebruikt worden voor belangrijke beslissingen op
individueel niveau:
r<80 onvoldoende .80≤r<.90 voldoende ≥.90 goed
Test die gebruikt worden voor minder belangrijke beslissingen
r<70 onvoldoende .70≤r<.80 voldoende ≥.80 goed
Bij experimentele tests die iets zeggen over groepsniveau
r<60 onvoldoende .60≤r<.70 voldoende ≥.70 goed
Hoe hoog moet een criterium validiteitscoefficient zijn?
- Volgens Nunnally en Bernstein (1994) ligt dit rond de r = .35 en daar
moeten we vrede mee hebben.
2.3 Kwaliteit van het diagnostisch proces
, De klinisch versus statistisch georiënteerde diagnosticus
- Klinisch georiënteerde diagnosticus: gaat in gesprek met de cliënt om zo
meer te weten te komen over de persoonlijkheid en de sociale context van
de cliënt. Daarnaast kan hij allerlei objectieve tests en vragenlijsten
gebruiken. Hij komt tot diagnose door zijn in de tijd opgebouwde
ervaringskennis.
- Statistisch georiënteerde diagnosticus: deze integreert de informatie niet
met zijn hoofd, maar met een formule. De uitslag is een kansuitspraak.
De diagnosticus is een beperkte intuïtieve statisticus
Mensen die niet via een statistische diagnose een diagnose stellen hebben
vaak last van:
- base rate = hoe vaak iets voorkomt. Voorbeeld; in een kinderdagverblijf
zijn 3 kinderen met verwondingen die kunnen duiden op mishandeling. In
totaal zijn er 10 kinderen. 3 van de 10 is een hoge rate, maar de werkelijke
rate van mishandeling ligt veel lager als je kijkt naar de statistische
gegevens
- clinicus houd geen rekening met omvang van steekproef
- clinicus laat saillante informatie relatief zwaar wegen, ook al draagt deze
minder bij dan de niet-saillante informatie.
- clinici nemen de correlatie niet goed waar
- clinici hebben geen zicht in regressie naar het midden (dokter en
patiënt patiënt krijgt medicijn en voelt zich beter. Dit wordt
toegeschreven aan het medicijn maar de patiënt zou ook zonder medicijn
zich uiteindelijk beter zijn gaan voelen)
De diagnosticus is een beperkte informatieverwerker
- availability-heuristiek: gebeurtenissen worden waarschijnlijker geacht,
als deze snel uit het geheugen op te roepen zijn selectieve waarneming
- nieuwe, niet kloppende informatie weegt hij niet meer mee, hij
onderschat groeiprocessen, vooral snelle groei, hij gebruikt te pas en te
onpas vuistregels, hij beoordeelt een gebeurtenis ten onrechte als lijkend
op een andere gebeurtenis die hij al kent.
- uitkomst van de informatie: de manier waarop naar dezelfde
informatie wordt gevraagd, is soms van invloed op het antwoord van de
cliënt.
- feedback: de omgang met feedback die op de informatie volgt, neemt
de oordelaar vaak alleen bevestigende informatie serieus, hij heeft geen
inzicht in het verschijnsel ‘kans’, succes schrijft hij aan eigen kunnen toe,
falen aan de omstandigheden en hij reconstrueert gebeurtenissen uit het
geheugen en gelooft in de juistheid daarvan.
Verdediging van de diagnosticus
2.1 Inleiding
We bespreken in dit hoofdstuk drie componenten van de diagnostiek:
- referentiekaders voor de diagnostiek
- beschrijving van die kaders in modellen
- tests
2.2 Kwaliteitseisen voor referentiekaders, modellen en tests
De schrijvers van het boek zien psychodiagnostiek als een geheel van drie
onderdelen:
1. diagnostische referentiekaders of theorieën
- er zijn 3 referentiekaders:
Individuele verschillen gedragingen verklaren door naar
individuele verschillen te kijken
Ontwikkeling gedragingen verklaren door de ontwikkeling in tijd
te bestuderen
Context gedrag kan pas worden begrepen wanneer deze
veranderen of in stand worden gehouden door een bepaalde sociale
context
2. De beschrijving van de drie referentiekaders in modellen uit de
testtheorie
3. tests
- deze zijn idealiter gebaseerd op een construct dat gedefinieerd is binnen
een referentiekader, zodat het kan worden afgebeeld in een model dat na
toetsing adequaat is. Meestal begin je doorgaans niet met een theorie,
construct of model maar met een instrument!
Kwaliteit van de referentiekaders
Van der werf (2000) een kwaliteitsbepaling van referentiekaders over de
persoonlijkheid geformuleerd:
1. Zijn de elementen en relaties uit de theorie getoetst en wat is het
resultaat?
2. Is de theorie zo opgeschreven, dat hij toetsbaar is?
3. Is de theorie inspiratiebron geworden van empirisch onderzoek?
4. Is er onderzoek gedaan naar praktische toepassingen van de theorie en
wat is het resultaat van dit onderzoek?
- Als “toppers” noemt Van der Werf de eigenschapsbenadering (tot
betrouwbare en valide intelligentie- en persoonlijkheidstest geleidt), de
biopsychologie (ingrepen en manipulaties) en de orthodoxe sociale-
leertheorieën (effectieve interventies).
- Tot de “middenklasse” rekent Van der Werf delen van de psychoanalyse
bijvoorbeeld de egopsychologie van Loevinger (tot beschikking over
projectieve tests en instrumenten voor de meting van ontwikkelingsstadia
van de ego- en identiteitsontwikkeling geleidt).
- Tot de “ondermaat” rekent hij een groot deel van de psycho-analytische,
humanistische en existentiële psychologie.
,Voor de diagnosticus is het referentiekader van de individuele verschillen
het vruchtbaarst.
Kwaliteit van instrumenten
Standards for Educational and Psychological Tests door de American
Psychological Association. Deze standards bieden criteria om tests,
testpraktijken en testgebruik te evalueren. De laatste uitgave bevat een
Inleiding, Evaluatie en Documentatie, Fairness, en Toepassing. Via
beoordelingen op een aantal specifieke kenmerken wordt aan in totaal 7
criteria de kwalificatie ‘goed’, ‘voldoende’ of ‘onvoldoende’ toegekend.
1. Uitgangspunten van de testconstructie
2. Kwaliteit van het testmateriaal: is er een testboekje, scoringssleutel,
testduur?
3. Kwaliteit van de handleiding: testgebruiker helpen met scoring te
interpreteren
4. Kwaliteit van de normen: scores worden vergeleken met een relevante
normgroep (normgerichte interpretatie) of met de absolute norm
(domeingerichte/criteriumgerichte interpretatie)
5. Kwaliteit van de betrouwbaarheidsgegevens: interne consistentie, test-
hertest en vergelijking over beoordelaars
6. Begripsvaliditeit: past het construct in een nomologisch netwerk
7. Criteriumvaliditeit: samenhang van een test met een criterium,
bijvoorbeeld resultaat van een behandeling
Hoe hoog moet de betrouwbaarheidscoefficient zijn?
- Volgens Nunnally en Bernstein (1994) was dit r≥.90.
- Everts (2000) heeft voor drie verschillende situaties de coefficienten
aangegeven:
Tests die gebruikt worden voor belangrijke beslissingen op
individueel niveau:
r<80 onvoldoende .80≤r<.90 voldoende ≥.90 goed
Test die gebruikt worden voor minder belangrijke beslissingen
r<70 onvoldoende .70≤r<.80 voldoende ≥.80 goed
Bij experimentele tests die iets zeggen over groepsniveau
r<60 onvoldoende .60≤r<.70 voldoende ≥.70 goed
Hoe hoog moet een criterium validiteitscoefficient zijn?
- Volgens Nunnally en Bernstein (1994) ligt dit rond de r = .35 en daar
moeten we vrede mee hebben.
2.3 Kwaliteit van het diagnostisch proces
, De klinisch versus statistisch georiënteerde diagnosticus
- Klinisch georiënteerde diagnosticus: gaat in gesprek met de cliënt om zo
meer te weten te komen over de persoonlijkheid en de sociale context van
de cliënt. Daarnaast kan hij allerlei objectieve tests en vragenlijsten
gebruiken. Hij komt tot diagnose door zijn in de tijd opgebouwde
ervaringskennis.
- Statistisch georiënteerde diagnosticus: deze integreert de informatie niet
met zijn hoofd, maar met een formule. De uitslag is een kansuitspraak.
De diagnosticus is een beperkte intuïtieve statisticus
Mensen die niet via een statistische diagnose een diagnose stellen hebben
vaak last van:
- base rate = hoe vaak iets voorkomt. Voorbeeld; in een kinderdagverblijf
zijn 3 kinderen met verwondingen die kunnen duiden op mishandeling. In
totaal zijn er 10 kinderen. 3 van de 10 is een hoge rate, maar de werkelijke
rate van mishandeling ligt veel lager als je kijkt naar de statistische
gegevens
- clinicus houd geen rekening met omvang van steekproef
- clinicus laat saillante informatie relatief zwaar wegen, ook al draagt deze
minder bij dan de niet-saillante informatie.
- clinici nemen de correlatie niet goed waar
- clinici hebben geen zicht in regressie naar het midden (dokter en
patiënt patiënt krijgt medicijn en voelt zich beter. Dit wordt
toegeschreven aan het medicijn maar de patiënt zou ook zonder medicijn
zich uiteindelijk beter zijn gaan voelen)
De diagnosticus is een beperkte informatieverwerker
- availability-heuristiek: gebeurtenissen worden waarschijnlijker geacht,
als deze snel uit het geheugen op te roepen zijn selectieve waarneming
- nieuwe, niet kloppende informatie weegt hij niet meer mee, hij
onderschat groeiprocessen, vooral snelle groei, hij gebruikt te pas en te
onpas vuistregels, hij beoordeelt een gebeurtenis ten onrechte als lijkend
op een andere gebeurtenis die hij al kent.
- uitkomst van de informatie: de manier waarop naar dezelfde
informatie wordt gevraagd, is soms van invloed op het antwoord van de
cliënt.
- feedback: de omgang met feedback die op de informatie volgt, neemt
de oordelaar vaak alleen bevestigende informatie serieus, hij heeft geen
inzicht in het verschijnsel ‘kans’, succes schrijft hij aan eigen kunnen toe,
falen aan de omstandigheden en hij reconstrueert gebeurtenissen uit het
geheugen en gelooft in de juistheid daarvan.
Verdediging van de diagnosticus
