Psychometrie en besliskunde
Samenvatting colleges
Blok 1 ~ College 1: Besliskunde
Besliskunde -> onderzoek naar de kwaliteit van oordelen en beslissingen in het beslisproces
Psychometrie -> onderzoek naar de kwaliteit van meetinstrumenten door het analyseren van
antwoorden
Door deze twee dingen breng je de kwaliteit van klinisch oordelen en beslissen in beeld.
Goede meetinstrumenten leiden namelijk tot goede scores.
- Betrouwbaar: meet ik het goed? -> als je herhaaldelijk meet dan kom je op hetzelfde
antwoord uit
- Valide: meet ik het goede? -> klopt de theorie die achter mijn hypothese / vraag zit wel.
- Normatief: beslis ik goed? -> interpreteer ik de scores op je juiste wijze, bijvoorbeeld of je
duidelijke scheidingslijnen hebt, maar ook of de testen goed zijn voor de omstanders.
Beslisproces
Clinici kijken tijdens een beslisproces naar hoe mensen oordelen en beslissen:
- Controle van kwaliteit om
- Te begrijpen hoe de klinische praktijk ervoor staan voor
- Het ontwikkelen van trainingen bijvoorbeeld
- Ondersteundende conputerprogamma’s om
- Richtlijnen (prescripties) te schrijven
Normatief -> alle relevantie informatie verzamelen en op de juiste wijze wegen tot een juiste
diagnose. Hierbij moet je logisch redeneren en kijken naar de juiste waarschijnlijkheid. Lastig of
bijna onmogelijk!
Prescriptief -> door middel van een analyse schema
Model voor de klinische oordeelvorming. Hierbij kun je ook denken aan richtlijnen en
protecollen. En hieronder vallen ook de meetinstrumenten, maar wat is de kwaliteit
hiervan en hoe kun je dat testen.
Psychologische besliskunde
Psychologische besliskunde -> domein binnen de cognitieve psychologie waarin
oordeelsvorming en besluitvorming van mensen wordt onderzocht.
- Descriptieve benadering: laat zien dat mensen bij oordelen en beslissen (systematisch)
fouten maken en daar zijn plausibele redenen voor
- Normatieve benadering: beschrijft ideale/optimale wijze van oordelen en beslissen
- Prescriptieve benadering: geeft recepten om norm te benaderen
Clinici maken dezelfde fouten. Het gebruik van goede tests kunnen wel een positieve invloed
hebben op de kwaliteit van de klinische oordeelvorming.
Empirische bevindingen: heuristieken
Heuristieken -> cognitieve vereenvoudigingstechnieken: niet alle informatie wordt gebruikt bij
het maken van beslissingen, omdat dit te moeilijk is, dus worden delen informatie achter
gelaten. Dit wordt ook wel het versimpelingseffect genoemd.
, Biases -> systematische vertekeningen
1) Representativiteitsheuristiek
Op basis van de waarschijnlijkheid een beslissing nemen over de kwestie. Het meest
waarschijnlijker hoeft alleen niet altijd te gelden voor iedere situatie. Dit hoeft niet slecht te zijn
als het meest representatieve ook het meest waarschijnlijker is, maar dat is vaak niet.
Typische symptomen hoeven niet diagnostisch te zijn (als je koorts hebt dan heb je niet
gelijk griep), ook kunnen veel voorkomende ervaringen invloed hebben op nieuwe
situaties (als je werkt met mensen met een paniekstoornis dan zul je eerder die hoek in
zoeken bij soortgelijke klachten).
Je kunt kijken naar de base rate neglect: hoe vaak komt een fenomeen voor, dus hoe
waarschijnlijk is A of B. Ook is het belangrijk dat er wordt gekeken naar de overige
mogelijkheden.
2) Beschikbaarheidsheuristiek
Informatie die het meest beschikbaar is die wordt gebruikt. Zo is 3 dingen opschrijven die je
leuk vind makkelijker dan 9. Hoe makkelijker het is hoe positiever we er tegenaan kijken. Ook
dit gaat goed als waar meer beschikbaar van is ook het meest waarschijnlijker is, maar dat is
niet altijd zo.
Wat voor jou beschikbaar is dat is subjectief. Je kan ook verkeerde inschattingen maken,
waardoor je belangrijke informatie niet gebruikt of helemaal niet tegenkomt.
3) Verankering en aanpassing
Als je anker (beginpunt) lager is dan geef je ook een lager eindantwoord, maar als je anker
hoger is dan geef je ook een hoger eindantwoord. Je beginpunt beïnvloed je beslissing.
Het kan zijn dat jouw beginpunt toevallig is en dan wordt je er toch door beïnvloed. Het
kan terecht zijn, maar dat hangt af van je beginpunt en hoe erg het je beslissing aanpast.
4) Affect heuristiek -> oordeelsvorming op basis van het gevoel dat iemand/ een situatie
oproept
5) Confirmation bias -> zoeken naar bevestigende informatie (tunnelvisie)
6) Hindsight bias -> achteraf, met kennis, lijken uitkomsten voorspelbaarder dan ze waren
7) Illusory correlation -> zien van verbanden die niet bestaan (waarschijnlijkheid)
8) Overconfidence -> meer en overmatig vertrouwen met meer ervaring, meer informatie
Heuristieken kunnen snel en effectief zijn, als wat representatief en beschikbaar is ook
overeenkomt met de waarschijnlijkheid. Maar heuristieken kunnen ook leiden tot subjectiviteit
(prototypes op basis van ervaringen). Ook worden alternatieven niet overwogen, premature
closure.
Feedback
In een omgeving met directe feedback op juistheid oordelen en beslissen zullen heuristieken
eerder leiden tot efficiënte besluitvorming. Maar in de praktijk is feedback geven heel erg
lastig:
- Je kunt geen feedback geven op juistheid van oordelen
- Je kunt moeilijk direct feedback geven waardoor je brein er niet veel van aantrekt
- Je hebt geen tot weinig informatie over de mogelijke alternatieven
Confirmation en handsight bias verterken het overmatig vertrouwen
Blok 1 ~ College 2: Statisch/klinisch, lensmodel, psychometrie & COTAN
Samenvatting vorig college
Klinische besliskunde laat zien dat klinisch oordelen niet vanzelf goed gaat -> onder invloed
van heuristieken (denkstrategieën waarbij niet alle informatie wordt meegenomen)/ wat de
achtergrond van mensen zijn/ biases (de gevolgen van heuristieken)
Maar ook: steeds meer bewijs dat kwantitatieve combinatie van informatie (statistisch)
tot beter oordelen kan leiden dan klinische blik.
-> Hier wordt al tientallen jaren bewijs voor gevonden, maar zorgt nog steeds voor een
discussiepunt.
Statisch vs. klinisch oordeel
, - Kwantitatieve benadering: actuarieel/mechanisch/statistisch -> informatie combineren
met behulp van actuariële (boekhoudkundige) modellen (statistische modellen,
algoritmen, optelsommen).
- Intuïtieve benadering: klinisch -> informatie combineren met behulp van klinisch intuïtie
(ervaringskennis) / in de hoofd.
Discussie over wat is de beste manier begon al met het boek van Paul Meehl -> Clinical vs
statistical prediction. In dit boek staan 20 studies beschreven waarin het klinische oordeel
vergeleken wordt met het statistische oordeel. In 19 van de 20 studies was het statistische
oordeel even goed/beter.
In 1989 is een nieuw onderzoek gedaan (zie artikel) en in 2000 nog een nieuw onderzoek
met 136 studies: 6-16% klinisch beter – 33-47% statistisch beter – de helft ongeveer
even goed.
De studies gaan allemaal over verschillende domeinen en laten verschillende voorspellingen
zien, maar er wordt bij alle studies gekeken naar het voorspellen van menselijk gedrag. Er is
ook gekeken naar de ervaring van clinici, maar meer ervaring (in jaren) is niet of nauwelijks
beter.
Voorbeelden van statistische benaderingen:
- De Goldberg rule: kijken of je kunt voorspellen of iemand psychotisch en neurotisch is.
Hierbij maakt je gebruik van MMPI-scores (dit is een veelgebruikte
persoonlijkheidsvragenlijst).
Het inzetten van de data gebeurde als volgt: tel scores van 3 schalen op de MMPi op en
trek er scores op 2 andere af. De uitkomst hiervan vergelijk je met het getal 45, en dan
kom je op een diagnose.
Deze regel is gebaseerd op een dataset van 861 cases, en met deze formule is
70% van de cases een correcte diagnose voorspeld. Dit is hoog, aangezien klinisch
psychologen en master studenten maar tussen de 50-67% correct voorspelden.
Waarom deze regel zo goed werkt, staat in het artikel van Dawes, Faust en Meehl.
- Complexere modellen: regressievergelijkingen inzetten met interactietermen (de ene
weegt zwaarder mee dan de ander). Zo kan je bepaalde kenmerken zwaarder mee laten
wegen voor een diagnose.
Kunnen voorspellen welke cliënten verslechteren na 3 weken behandeling? Is dit
statistisch beter te voorspellen dan klinisch? De statistische regel -> scores op OQ-45
(ROM), (elke week een symptoomvragenlijst, vergelijken met normatieve ROMscore)
De klinische regel -> therapeuten vellen oordeel.
Uitkomsten:
-> statistisch: 492 cliënten, 36 verslechtert. Alle 36 juist voorspeld, maar 83 false
alarms. Ziet te vaak verslechtering, of iig stilstand.
-> klinisch: 550 cliënten, 40 verslechtert. 1 juist voorspeld, maar 2 false alarms.
Zien geen verslechtering.
De combinatie tussen statistische formules en de klinische blik zorgen voor een verbetering in
de klinische oordelen, maar halen het niet tot het niveau van de statistische formules alleen.
Clinici maken namelijk te veel uitzonderingen in hun klinische oordelen (thuissituatie, cultuur,
achtergrond), waardoor de kracht van de statistische formule wordt ondermijnd.
Lensmodel
Lensmodel is bedacht om de menselijke waarneming uit te leggen. Het model werkt twee
kanten op:
- het model beschrijft hoe mensen bepaalde stukjes informatie wegen om tot een oordeel
te komen -> de beschrijvende benadering van besliskunde. (policy capturing / judgement
analysis)
- hoe hangt die informatie samen met de werkelijkheid -> de normatieve kant van
besliskunde. (hoe wegen mensen en hoe zouden ze het
beste de informatie kunnen wegen)
True state: wat mankeert de persoon? gaat deze
verbeteren/verslechteren?
Cues: de omgeving vertelt ons/geeft ons aanwijzingen over wat er
kan mankeren.
Samenvatting colleges
Blok 1 ~ College 1: Besliskunde
Besliskunde -> onderzoek naar de kwaliteit van oordelen en beslissingen in het beslisproces
Psychometrie -> onderzoek naar de kwaliteit van meetinstrumenten door het analyseren van
antwoorden
Door deze twee dingen breng je de kwaliteit van klinisch oordelen en beslissen in beeld.
Goede meetinstrumenten leiden namelijk tot goede scores.
- Betrouwbaar: meet ik het goed? -> als je herhaaldelijk meet dan kom je op hetzelfde
antwoord uit
- Valide: meet ik het goede? -> klopt de theorie die achter mijn hypothese / vraag zit wel.
- Normatief: beslis ik goed? -> interpreteer ik de scores op je juiste wijze, bijvoorbeeld of je
duidelijke scheidingslijnen hebt, maar ook of de testen goed zijn voor de omstanders.
Beslisproces
Clinici kijken tijdens een beslisproces naar hoe mensen oordelen en beslissen:
- Controle van kwaliteit om
- Te begrijpen hoe de klinische praktijk ervoor staan voor
- Het ontwikkelen van trainingen bijvoorbeeld
- Ondersteundende conputerprogamma’s om
- Richtlijnen (prescripties) te schrijven
Normatief -> alle relevantie informatie verzamelen en op de juiste wijze wegen tot een juiste
diagnose. Hierbij moet je logisch redeneren en kijken naar de juiste waarschijnlijkheid. Lastig of
bijna onmogelijk!
Prescriptief -> door middel van een analyse schema
Model voor de klinische oordeelvorming. Hierbij kun je ook denken aan richtlijnen en
protecollen. En hieronder vallen ook de meetinstrumenten, maar wat is de kwaliteit
hiervan en hoe kun je dat testen.
Psychologische besliskunde
Psychologische besliskunde -> domein binnen de cognitieve psychologie waarin
oordeelsvorming en besluitvorming van mensen wordt onderzocht.
- Descriptieve benadering: laat zien dat mensen bij oordelen en beslissen (systematisch)
fouten maken en daar zijn plausibele redenen voor
- Normatieve benadering: beschrijft ideale/optimale wijze van oordelen en beslissen
- Prescriptieve benadering: geeft recepten om norm te benaderen
Clinici maken dezelfde fouten. Het gebruik van goede tests kunnen wel een positieve invloed
hebben op de kwaliteit van de klinische oordeelvorming.
Empirische bevindingen: heuristieken
Heuristieken -> cognitieve vereenvoudigingstechnieken: niet alle informatie wordt gebruikt bij
het maken van beslissingen, omdat dit te moeilijk is, dus worden delen informatie achter
gelaten. Dit wordt ook wel het versimpelingseffect genoemd.
, Biases -> systematische vertekeningen
1) Representativiteitsheuristiek
Op basis van de waarschijnlijkheid een beslissing nemen over de kwestie. Het meest
waarschijnlijker hoeft alleen niet altijd te gelden voor iedere situatie. Dit hoeft niet slecht te zijn
als het meest representatieve ook het meest waarschijnlijker is, maar dat is vaak niet.
Typische symptomen hoeven niet diagnostisch te zijn (als je koorts hebt dan heb je niet
gelijk griep), ook kunnen veel voorkomende ervaringen invloed hebben op nieuwe
situaties (als je werkt met mensen met een paniekstoornis dan zul je eerder die hoek in
zoeken bij soortgelijke klachten).
Je kunt kijken naar de base rate neglect: hoe vaak komt een fenomeen voor, dus hoe
waarschijnlijk is A of B. Ook is het belangrijk dat er wordt gekeken naar de overige
mogelijkheden.
2) Beschikbaarheidsheuristiek
Informatie die het meest beschikbaar is die wordt gebruikt. Zo is 3 dingen opschrijven die je
leuk vind makkelijker dan 9. Hoe makkelijker het is hoe positiever we er tegenaan kijken. Ook
dit gaat goed als waar meer beschikbaar van is ook het meest waarschijnlijker is, maar dat is
niet altijd zo.
Wat voor jou beschikbaar is dat is subjectief. Je kan ook verkeerde inschattingen maken,
waardoor je belangrijke informatie niet gebruikt of helemaal niet tegenkomt.
3) Verankering en aanpassing
Als je anker (beginpunt) lager is dan geef je ook een lager eindantwoord, maar als je anker
hoger is dan geef je ook een hoger eindantwoord. Je beginpunt beïnvloed je beslissing.
Het kan zijn dat jouw beginpunt toevallig is en dan wordt je er toch door beïnvloed. Het
kan terecht zijn, maar dat hangt af van je beginpunt en hoe erg het je beslissing aanpast.
4) Affect heuristiek -> oordeelsvorming op basis van het gevoel dat iemand/ een situatie
oproept
5) Confirmation bias -> zoeken naar bevestigende informatie (tunnelvisie)
6) Hindsight bias -> achteraf, met kennis, lijken uitkomsten voorspelbaarder dan ze waren
7) Illusory correlation -> zien van verbanden die niet bestaan (waarschijnlijkheid)
8) Overconfidence -> meer en overmatig vertrouwen met meer ervaring, meer informatie
Heuristieken kunnen snel en effectief zijn, als wat representatief en beschikbaar is ook
overeenkomt met de waarschijnlijkheid. Maar heuristieken kunnen ook leiden tot subjectiviteit
(prototypes op basis van ervaringen). Ook worden alternatieven niet overwogen, premature
closure.
Feedback
In een omgeving met directe feedback op juistheid oordelen en beslissen zullen heuristieken
eerder leiden tot efficiënte besluitvorming. Maar in de praktijk is feedback geven heel erg
lastig:
- Je kunt geen feedback geven op juistheid van oordelen
- Je kunt moeilijk direct feedback geven waardoor je brein er niet veel van aantrekt
- Je hebt geen tot weinig informatie over de mogelijke alternatieven
Confirmation en handsight bias verterken het overmatig vertrouwen
Blok 1 ~ College 2: Statisch/klinisch, lensmodel, psychometrie & COTAN
Samenvatting vorig college
Klinische besliskunde laat zien dat klinisch oordelen niet vanzelf goed gaat -> onder invloed
van heuristieken (denkstrategieën waarbij niet alle informatie wordt meegenomen)/ wat de
achtergrond van mensen zijn/ biases (de gevolgen van heuristieken)
Maar ook: steeds meer bewijs dat kwantitatieve combinatie van informatie (statistisch)
tot beter oordelen kan leiden dan klinische blik.
-> Hier wordt al tientallen jaren bewijs voor gevonden, maar zorgt nog steeds voor een
discussiepunt.
Statisch vs. klinisch oordeel
, - Kwantitatieve benadering: actuarieel/mechanisch/statistisch -> informatie combineren
met behulp van actuariële (boekhoudkundige) modellen (statistische modellen,
algoritmen, optelsommen).
- Intuïtieve benadering: klinisch -> informatie combineren met behulp van klinisch intuïtie
(ervaringskennis) / in de hoofd.
Discussie over wat is de beste manier begon al met het boek van Paul Meehl -> Clinical vs
statistical prediction. In dit boek staan 20 studies beschreven waarin het klinische oordeel
vergeleken wordt met het statistische oordeel. In 19 van de 20 studies was het statistische
oordeel even goed/beter.
In 1989 is een nieuw onderzoek gedaan (zie artikel) en in 2000 nog een nieuw onderzoek
met 136 studies: 6-16% klinisch beter – 33-47% statistisch beter – de helft ongeveer
even goed.
De studies gaan allemaal over verschillende domeinen en laten verschillende voorspellingen
zien, maar er wordt bij alle studies gekeken naar het voorspellen van menselijk gedrag. Er is
ook gekeken naar de ervaring van clinici, maar meer ervaring (in jaren) is niet of nauwelijks
beter.
Voorbeelden van statistische benaderingen:
- De Goldberg rule: kijken of je kunt voorspellen of iemand psychotisch en neurotisch is.
Hierbij maakt je gebruik van MMPI-scores (dit is een veelgebruikte
persoonlijkheidsvragenlijst).
Het inzetten van de data gebeurde als volgt: tel scores van 3 schalen op de MMPi op en
trek er scores op 2 andere af. De uitkomst hiervan vergelijk je met het getal 45, en dan
kom je op een diagnose.
Deze regel is gebaseerd op een dataset van 861 cases, en met deze formule is
70% van de cases een correcte diagnose voorspeld. Dit is hoog, aangezien klinisch
psychologen en master studenten maar tussen de 50-67% correct voorspelden.
Waarom deze regel zo goed werkt, staat in het artikel van Dawes, Faust en Meehl.
- Complexere modellen: regressievergelijkingen inzetten met interactietermen (de ene
weegt zwaarder mee dan de ander). Zo kan je bepaalde kenmerken zwaarder mee laten
wegen voor een diagnose.
Kunnen voorspellen welke cliënten verslechteren na 3 weken behandeling? Is dit
statistisch beter te voorspellen dan klinisch? De statistische regel -> scores op OQ-45
(ROM), (elke week een symptoomvragenlijst, vergelijken met normatieve ROMscore)
De klinische regel -> therapeuten vellen oordeel.
Uitkomsten:
-> statistisch: 492 cliënten, 36 verslechtert. Alle 36 juist voorspeld, maar 83 false
alarms. Ziet te vaak verslechtering, of iig stilstand.
-> klinisch: 550 cliënten, 40 verslechtert. 1 juist voorspeld, maar 2 false alarms.
Zien geen verslechtering.
De combinatie tussen statistische formules en de klinische blik zorgen voor een verbetering in
de klinische oordelen, maar halen het niet tot het niveau van de statistische formules alleen.
Clinici maken namelijk te veel uitzonderingen in hun klinische oordelen (thuissituatie, cultuur,
achtergrond), waardoor de kracht van de statistische formule wordt ondermijnd.
Lensmodel
Lensmodel is bedacht om de menselijke waarneming uit te leggen. Het model werkt twee
kanten op:
- het model beschrijft hoe mensen bepaalde stukjes informatie wegen om tot een oordeel
te komen -> de beschrijvende benadering van besliskunde. (policy capturing / judgement
analysis)
- hoe hangt die informatie samen met de werkelijkheid -> de normatieve kant van
besliskunde. (hoe wegen mensen en hoe zouden ze het
beste de informatie kunnen wegen)
True state: wat mankeert de persoon? gaat deze
verbeteren/verslechteren?
Cues: de omgeving vertelt ons/geeft ons aanwijzingen over wat er
kan mankeren.
