Colleges psychometrie en besliskunde
College 1
P&B: wat houdt dat in?
- Besliskunde: onderzoek naar de kwali van oordelen en beslissingen en beslisproces:
descriptief, normatief, prescriptief
- Psychometrie: onderzoek naar kwali van meetinstrumenten door het analyseren van
antw van personen
➔ Kwaliteit klinische oordelen en beslissingen (bij: interpretatie onderzoek,
diagnosticeren, keuze behandeling)
3 hoofdvragen:
- Betrouwbaarheid: hoe goed/nauwkeurig meet ik? Meet ik het goed?
- Validiteit: wat meet ik? Meet ik het goede?
- Normativiteit: interpreteer ik de uitkomsten op de juiste wijze en neem ik de juiste
beslissing?
Besliskunde geeft reden voor psychometrie
- Psychometrie is nodig om beter te kunnen beslissen, want het blijkt dat mensen dat
niet zomaar goed kunnen.
- Dat inzicht volgt uit de psychologische besliskunde
- Besliskunde laat zien wat mensen moeilijk vinden, door hun beslissingen te
beschrijven en te vergelijken met normen: en ontwikkelt denk-hulpmiddelen.
Besliskunde: 3 benaderingen
- Descriptief: beschrijven wat mensen doen (grootste)
- Normatief: aangeven hoe het zou moeten
- Prescriptief: recepten om norm te benaderen
Psychologische besliskunde
- Mensen maken bij oordelen en beslissen systematisch fouten – daar zijn plausibele
redenen voor
- Onderwerp van beschrijvende besliskunde (descriptieve benadering, vastgesteld dmv
empirisch onderzoek, in o.m. de heuristics and biases traditie
Empiristische bevindingen
- Het is voor mensen moeilijk veel, veelsoortige informatie te integreren, dus men laat
een deel van de informatie buiten beschouwing, gebruikt heuristieken (cogn.
Vereenvoudigingstechnieken)
- De bekendste: representativiteit, beschikbaarheid, verankering en aanpassing
- Heuristieken gebruiken is slim en efficiënt, je slaat over wat onbelangrijk lijkt, maar:
- ..juist door dat overslaan is het ook riskant, misschien was het wel belangrijk. Je bent
vatbaar voor biases: systematische vertekeningen
, - Er zijn manieren om dat te verhelpen: stap 1 is bewust zijn ervan. Dit is cruciaal, bv
bij: interpreteren onderzoeksresultaten, beoordelen test, stellen diagnose, keuze
behandeling
Representativiteitsheuristiek: beoordelen van waarschijnlijkheid dat A een B is op basis van
gelijkenis van A met B’s: hoe representatief lijkt A voor de populatie B’s?
Representativiteit – en dus?
- Bijv; A is een rusteloos kind – lijkt op B’s: ADHD kinderen
- Wat meer representatief is hoeft niet meer waarschijnlijk te zijn
- Gevaar: base rate neglect, conjunction fallacy (1 vs 2 eigenschappen), over het hoofd
zien van wat niet representatief is
- Kijk naar base rate info: frequentie van voorkomen van verschijnsel
- Bekijk ook alternatieve mogelijkheden
Beschikbaarheidsheuristiek: informatie die het meest beschikbaar is (het makkelijkst
herinnerd, toegankelijk, levendig) wordt gebruikt. Bijv. door aandacht media, is de
classificatie ADHD nu beschikbaar en wordt die aan veel kinderen gegeven
Beschikbaarheid – en dus?
- Wat voor jou beschikbaar is, is toevallig – kan correct zijn, maar zeker is dat niet
- Subjectieve oordelen, verkeerde kansinschattingen
- Vb. onderzoek fouten in beoordelen mogelijke kindermishandeling: hulpverleners
gebruiken vooral makkelijk beschikbare, levendige informatie: uit gesprekken, recent;
niet uit dossiers, minder recent
Verankering en aanpassing: onvoldoende afwijken van beginwaarde
Verankering – en dus?
- Oordeel wordt beïnvloed door toevallig beginpunt
- Kán terecht zijn, maar hangt af van juistheid beginpunt en mate van aanpassing,
aanpassing blijkt vaak onvoldoende
College 2: Statistisch vs klinisch oordeel (lensmodel & COTAN)
Kwantitatieve benadering
- Actuarieel/mechanisch/statistisch: informatie combineren met behulp van actuariële
modellen (algoritmen, optelsommen)
Vs
Intuïtieve benadering
- Klinisch: informatie combineren met behulp van klinische intuïtie / in je hoofd
,Voorspellen gedrag: statistisch is beter
➔ Verschillende domeinen, verschillende voorspellingen
➔ Met meer ervaring niet of nauwelijks beter
Voorspellen behandelsucces
- Voorspellen wie verslechteren na 3 weken behandeling
• Met scores op OQ-45 (ROM): statistisch
• Door therapeuten: klinisch
- Uitkomsten:
• Statistisch meer juist voorspeld dan klinisch (ze vroegen wie is er verslechterd)
Eenvoudig voorbeeld van toepassing van statistisch model:
- De Goldberg Rule: taak = onderscheid maken tussen psychose en neurose, gebruik
makend van MMPI scores
- Formule gemaakt met grensscores. Toegepast op nieuwe groep: 70% vd diagnose
goed voorspeld
- Structuur vd formule: uitkomst = X1+X2+X3-X4-X% (met X = MMPI subschaal)
- Clinici tussen 50 en 67% goed voorspeld
Complexe(re) modellen
- Regressievergelijking met interactietermen
- Als X1= .. en X2= .. dan Ye’= .. tenzij X3 = .. dan Ye’= enz.
- Modelleren scoreverloop ROM en groepen vergelijken die verbeteren gelijk blijven,
verslechteren
Brunswik’s Lensmodel
- Model dat wordt gebruikt om:
• Af te leiden hoe beoordelaars informatie combineren in hun oordeelsvorming ->
Policy capturing of Judgment Analysis: het descriptief vangen van de
oordeelsstrategie
• In het licht van de best mogelijke oordeelsvorming
Brunswik’s idee
- In de omgeving zijn veel cues (aanwijzingen)
- Daaruit moeten we selecteren om effectief te kunnen functioneren
- Wij nemen de omgeving via cues waar en vormen on sop basis daarvan een
oordeel over de omgeving. Daarbij negeren we soms cues, of vinden we ze niet
allemaal even belangrijk. (bijv. Iemands leeftijd schatten, cues: haren, rimpels,
kleding)
links = extern deel/criterium, rechts is subjectief deel
, Brunswik’s Lensmodel bij clinici
- Als je policy (wijze van oordelen) van clinici capture’t (vangt) in Brunswik[’s
lensmodel, zie je dat zij het niet beter doen dan statistische modellen
- Want: clinici kennen relevantie van cues niet goed, en combineren cues niet op de
beste manier
Interessant opbrengt van Lensmodel
- Inzicht in het belang van aanwijzingen
- Inzicht in voorspelbaarheid uitkomsten
- Inzicht in hoe belangrijk men aanwijzingen vindt (= de gewichten) oftewel: inzicht in
de basis van de beoordeling
En: gevonden is dat een model van de beoordelaar (bootstrapmodel) beter voorspelt
dan de beoordelaar zelf. Hoe kan dat?
Controverse
- Ieder mens is uniek: niet gemiddeld
- Doen clinici het gemiddeld beter als ze van gemiddelde cliënt uitgaan? Hiervoor
bestaat meer bewijs dan ertegen
Cotan
- De cotan levert een belangrijk hulpmiddel om te weten wat goede tests zijn:
beoordelingssysteem Evers, Lucassen, Meijer en Sjitsma.
- Een goede beoordeling door Cotan staat los van goed gebruik van een test
- Begrijp beoordelingen en beperkingen, neem tests op de juiste wijze af
Normen Cotan zie slide 24
Meettheorieën
- Klassieke testtheorie X = T+E
• T = ware scorecomponent
• E = toevallige meetfout
• Gekke e € = 0, waarbij e de verwachte gemiddelde waarde is
• Gekke e (X) = T
• E is toevallig
College 1
P&B: wat houdt dat in?
- Besliskunde: onderzoek naar de kwali van oordelen en beslissingen en beslisproces:
descriptief, normatief, prescriptief
- Psychometrie: onderzoek naar kwali van meetinstrumenten door het analyseren van
antw van personen
➔ Kwaliteit klinische oordelen en beslissingen (bij: interpretatie onderzoek,
diagnosticeren, keuze behandeling)
3 hoofdvragen:
- Betrouwbaarheid: hoe goed/nauwkeurig meet ik? Meet ik het goed?
- Validiteit: wat meet ik? Meet ik het goede?
- Normativiteit: interpreteer ik de uitkomsten op de juiste wijze en neem ik de juiste
beslissing?
Besliskunde geeft reden voor psychometrie
- Psychometrie is nodig om beter te kunnen beslissen, want het blijkt dat mensen dat
niet zomaar goed kunnen.
- Dat inzicht volgt uit de psychologische besliskunde
- Besliskunde laat zien wat mensen moeilijk vinden, door hun beslissingen te
beschrijven en te vergelijken met normen: en ontwikkelt denk-hulpmiddelen.
Besliskunde: 3 benaderingen
- Descriptief: beschrijven wat mensen doen (grootste)
- Normatief: aangeven hoe het zou moeten
- Prescriptief: recepten om norm te benaderen
Psychologische besliskunde
- Mensen maken bij oordelen en beslissen systematisch fouten – daar zijn plausibele
redenen voor
- Onderwerp van beschrijvende besliskunde (descriptieve benadering, vastgesteld dmv
empirisch onderzoek, in o.m. de heuristics and biases traditie
Empiristische bevindingen
- Het is voor mensen moeilijk veel, veelsoortige informatie te integreren, dus men laat
een deel van de informatie buiten beschouwing, gebruikt heuristieken (cogn.
Vereenvoudigingstechnieken)
- De bekendste: representativiteit, beschikbaarheid, verankering en aanpassing
- Heuristieken gebruiken is slim en efficiënt, je slaat over wat onbelangrijk lijkt, maar:
- ..juist door dat overslaan is het ook riskant, misschien was het wel belangrijk. Je bent
vatbaar voor biases: systematische vertekeningen
, - Er zijn manieren om dat te verhelpen: stap 1 is bewust zijn ervan. Dit is cruciaal, bv
bij: interpreteren onderzoeksresultaten, beoordelen test, stellen diagnose, keuze
behandeling
Representativiteitsheuristiek: beoordelen van waarschijnlijkheid dat A een B is op basis van
gelijkenis van A met B’s: hoe representatief lijkt A voor de populatie B’s?
Representativiteit – en dus?
- Bijv; A is een rusteloos kind – lijkt op B’s: ADHD kinderen
- Wat meer representatief is hoeft niet meer waarschijnlijk te zijn
- Gevaar: base rate neglect, conjunction fallacy (1 vs 2 eigenschappen), over het hoofd
zien van wat niet representatief is
- Kijk naar base rate info: frequentie van voorkomen van verschijnsel
- Bekijk ook alternatieve mogelijkheden
Beschikbaarheidsheuristiek: informatie die het meest beschikbaar is (het makkelijkst
herinnerd, toegankelijk, levendig) wordt gebruikt. Bijv. door aandacht media, is de
classificatie ADHD nu beschikbaar en wordt die aan veel kinderen gegeven
Beschikbaarheid – en dus?
- Wat voor jou beschikbaar is, is toevallig – kan correct zijn, maar zeker is dat niet
- Subjectieve oordelen, verkeerde kansinschattingen
- Vb. onderzoek fouten in beoordelen mogelijke kindermishandeling: hulpverleners
gebruiken vooral makkelijk beschikbare, levendige informatie: uit gesprekken, recent;
niet uit dossiers, minder recent
Verankering en aanpassing: onvoldoende afwijken van beginwaarde
Verankering – en dus?
- Oordeel wordt beïnvloed door toevallig beginpunt
- Kán terecht zijn, maar hangt af van juistheid beginpunt en mate van aanpassing,
aanpassing blijkt vaak onvoldoende
College 2: Statistisch vs klinisch oordeel (lensmodel & COTAN)
Kwantitatieve benadering
- Actuarieel/mechanisch/statistisch: informatie combineren met behulp van actuariële
modellen (algoritmen, optelsommen)
Vs
Intuïtieve benadering
- Klinisch: informatie combineren met behulp van klinische intuïtie / in je hoofd
,Voorspellen gedrag: statistisch is beter
➔ Verschillende domeinen, verschillende voorspellingen
➔ Met meer ervaring niet of nauwelijks beter
Voorspellen behandelsucces
- Voorspellen wie verslechteren na 3 weken behandeling
• Met scores op OQ-45 (ROM): statistisch
• Door therapeuten: klinisch
- Uitkomsten:
• Statistisch meer juist voorspeld dan klinisch (ze vroegen wie is er verslechterd)
Eenvoudig voorbeeld van toepassing van statistisch model:
- De Goldberg Rule: taak = onderscheid maken tussen psychose en neurose, gebruik
makend van MMPI scores
- Formule gemaakt met grensscores. Toegepast op nieuwe groep: 70% vd diagnose
goed voorspeld
- Structuur vd formule: uitkomst = X1+X2+X3-X4-X% (met X = MMPI subschaal)
- Clinici tussen 50 en 67% goed voorspeld
Complexe(re) modellen
- Regressievergelijking met interactietermen
- Als X1= .. en X2= .. dan Ye’= .. tenzij X3 = .. dan Ye’= enz.
- Modelleren scoreverloop ROM en groepen vergelijken die verbeteren gelijk blijven,
verslechteren
Brunswik’s Lensmodel
- Model dat wordt gebruikt om:
• Af te leiden hoe beoordelaars informatie combineren in hun oordeelsvorming ->
Policy capturing of Judgment Analysis: het descriptief vangen van de
oordeelsstrategie
• In het licht van de best mogelijke oordeelsvorming
Brunswik’s idee
- In de omgeving zijn veel cues (aanwijzingen)
- Daaruit moeten we selecteren om effectief te kunnen functioneren
- Wij nemen de omgeving via cues waar en vormen on sop basis daarvan een
oordeel over de omgeving. Daarbij negeren we soms cues, of vinden we ze niet
allemaal even belangrijk. (bijv. Iemands leeftijd schatten, cues: haren, rimpels,
kleding)
links = extern deel/criterium, rechts is subjectief deel
, Brunswik’s Lensmodel bij clinici
- Als je policy (wijze van oordelen) van clinici capture’t (vangt) in Brunswik[’s
lensmodel, zie je dat zij het niet beter doen dan statistische modellen
- Want: clinici kennen relevantie van cues niet goed, en combineren cues niet op de
beste manier
Interessant opbrengt van Lensmodel
- Inzicht in het belang van aanwijzingen
- Inzicht in voorspelbaarheid uitkomsten
- Inzicht in hoe belangrijk men aanwijzingen vindt (= de gewichten) oftewel: inzicht in
de basis van de beoordeling
En: gevonden is dat een model van de beoordelaar (bootstrapmodel) beter voorspelt
dan de beoordelaar zelf. Hoe kan dat?
Controverse
- Ieder mens is uniek: niet gemiddeld
- Doen clinici het gemiddeld beter als ze van gemiddelde cliënt uitgaan? Hiervoor
bestaat meer bewijs dan ertegen
Cotan
- De cotan levert een belangrijk hulpmiddel om te weten wat goede tests zijn:
beoordelingssysteem Evers, Lucassen, Meijer en Sjitsma.
- Een goede beoordeling door Cotan staat los van goed gebruik van een test
- Begrijp beoordelingen en beperkingen, neem tests op de juiste wijze af
Normen Cotan zie slide 24
Meettheorieën
- Klassieke testtheorie X = T+E
• T = ware scorecomponent
• E = toevallige meetfout
• Gekke e € = 0, waarbij e de verwachte gemiddelde waarde is
• Gekke e (X) = T
• E is toevallig
