Samenvatting Psychometrie en Besliskunde ALLE stof overzicht

Overzicht psychometrie en besliskunde
Blok 1 Psychometrie en besliskunde HC1/2
 Inleiding
 Besliskunde
 COTAN
Blok 2 Itemanalyse HC3/4/WC1
 Analyse toetsitems
 Analyse testitems
 Scoretransformaties en scoreverdelingen
Blok 3 Betrouwbaarheid HC5-9/WC2/3
 Meettheorieën
 Bepalen betrouwbaarheid
 Standaardmeetfout, betrouwbaarheidsintervallen, meten van betrouwbare verandering
 Bepalen interbeoordelaarsovereenstemming
Blok 4 Validiteit & interpretatie HC10-12/WC4
 Inhoudsvaliditeit
 Begripsvaliditeit (factoranalyse, multitrait-multimethod)
 Criteriumvaliditeit (sensitiviteit, specificiteit, predictieve waarde, ROC)
 Testbias




HC1; besliskunde 1

,- Van besliskunde naar psychometrie
o Besliskunde: onderzoek naar beslissingen in alle sectoren
 Een beslissing omvat altijd de intentie om iets te doen/laten
o Psychometrie: bij grote groep scores afnemen en zo kwaliteit
meetinstrumenten beoordelen
 Kwaliteit klinische oordelen en beslissingen bij interpretatie
onderzoek, diagnosticeren, keuze behandeling
 Instrumenten met een goede kwaliteit helpen het maken van
beslissingen (kwaliteit beoordelen met psychometrie en dat
gebruiken bij informatie van instrument)
o Van besliskunde naar psychometrie: drie hoofdvragen
 Betrouwbaarheid: meet je nauwkeurig? Is het herhaalbaar en
consistent?
 Validiteit: meet ik wat ik beoog/wil te meten?
 Normativiteit: is het goed om dit te meten, gebruik ik dit goed
en neem ik de juiste beslissing?
- Besliskunde geeft reden voor psychometrie
o Psychologische besliskunde: in cognitieve psychologie waarin
oordeels- en besluitvorming van mensen wordt onderzocht
 Descriptieve benadering: hoe oordelen/beslissen mensen
 Brunswik’s Lensmodel

o Model over hoe mensen en omgeving
interacteren (relatie externe uitkomst en
subjectief oordeel) via cues (infovariabelen,
kenmerken van uitkomst in externe
omgeving/true state). Cues (objectief) met cues
verbonden en subjectief dit tot een oordeel
vormen
o In omgeving veel cues, gebruiken om uitspraak
over true states te doen. Je moet selecteren voor
effectiviteit en negeren cues hierdoor ook soms.
o Schatting beslisser overeen met externe
uitkomst (moeilijk)? Beslisser is goed
gekalibreerd
o Onderzoeken hoe cues (beste) worden
gecombineerd tot goede voorspelling via lineaire
regressieanalyse (welke weging van cues voor
uitkomst/oordeel, vergelijk met werkelijkheid, zo
meeste model vinden). True state-cues:
objectief; cues-oordeel: subjectief (hoe info
gewogen tot oordeel). Als cues goed worden
gewogen dan goede voorspelling.
o Voorspelbaarheid goed=ecologische validiteit
o Hoe goed voorspellen (objectieve deel) en hoe
word voorspelt (subjectieve deel) per
beoordelaar met 2 regressievergelijkingen

, o Als je ‘policy’ (wijze van oordelen) van clinici
vangt in Brunswik’s Lensmodel, zie je dat zij het
meestal niet beter doen dan statistische
modellen. Clinici kennen relevantie (weging) van
cues niet goed, en combineren cues niet op de
beste manier
o Opbrengst
 Hoe goed kun je voorspellen (samenhang):
voorspelbaarheid uitkomsten afhankelijk
van ecologische validiteit
 Inzicht in accuraatheid voorspelling
 Inzicht belang aanwijzingen
 Inzicht hoe belangrijk men aanwijzingen
vindt (= de gewichten) oftewel: inzicht in
de basis
van de beoordeling
 Gevonden is dat een model van de
beoordelaar beter voorspelt dan de
beoordelaar zelf.
Model van de beoordelaar levert
consistentere oordelen dan beoordelaar
zelf
 Normatieve benadering: hoe oordelen/beslissen mensen op
de beste wijze: logisch redeneren bijv gaat niet altijd goed
 Bayes; geen absolute verwerping/acceptatie hypothese
maar constant bijstellen van waarschijnlijkheid met
nieuwe info
 Prescriptieve benadering: om norm te benaderen; meenemen
dat je niet altijd normatief het beste kan doen
 Hoe beslissing verbeteren? Debiasing-technieken als
trainen van statistisch redeneren
 Descriptieve en normatieve benaderingen samen: lensmodel
o Klinische besliskunde: clinici maken dezelfde soort fouten
(accuraatheid laag).
 Klinische blik niet beter dan kwantitatieve benadering
besluitvorming…
 Klinische oordelen lastig door subjectiviteit, heuristieken en
biases door hoeveelheid informatie en onzekerheden
o Goede test kan kwaliteit oordeelsvorming vergroten: kennis nodig
van psychometrie
- Empirische bevindingen – heuristieken
o Men laat deel info buiten beschouwing bij veel
informatie: heurstieken (cognitieve
vereenvoudigingstechnieken)
o Heuristieken gebruiken is efficiënt, maar maakt
sneller fouten, soms voor specifieke zaken:
biases (systematische vertekeningen)

, o Bekende heuristieken (vertekeningen oordelen)
 Representativiteitsheuristiek
 Een beslissing maken op waarschijnlijkheid op basis
van gelijkenis (hoe representatief lijkt het?)
 Hoe meer omstandigheden, hoe kleinere kans
 Gevaren
o Typische symptomen hoeven niet diagnostisch te
zijn
o Op basis van verschillende ervaringen kunnen
verschillende prototypen ontwikkeld worden:
subjectief
o Base rate neglect, conjunction fallecy: over het
hoofd zien van wat niet representatief is
 Beschikbaarheidsheuristiek (availability)
 Informatie die het meest beschikbaar is wordt gebruikt,
gemak waarmee je iets voor je ziet bepaalt hoe
waarschijnlijk je het vindt
 Gevaren (dus kijk naar base rates)
o Wat voor jou beschikbaar is, is toevallig:
subjectief
o Verkeerde kans inschatting
o Belangrijke informatie niet gebruikt
 Simulatieheuristiek: hoe makkelijker iets te simuleren
is, hoe groter de waarschijnlijkheid wordt geschat.
 Verankering en aanpassing
 Mensen beïnvloed door waar je mee begint, want je
krijgt anker (toevallig eerste getal) en dit beïnvloedt de
rest van je redenering
 Onvoldoende afwijken van beginwaarde
 Gevaren (dus: zelf anker zetten geeft je meeste
invloed)
o Vaak onvoldoende aangepast en onjuist
beginpunt, dan eventueel verkeerde beoordeling
door beïnvloeding
 Affect heuristiek
 Oordeelsvorming op basis van gevoel dat
iemand/situatie oproept
 Confirmation bias
 Neiging zoeken bevestigende informatie
 Interpreteren ambigue info als passend naar jouw
hypothese
 Hindsight bias
 Achteraf, met kennis, lijken uitkomsten voorspelbaarder
dan ze waren
 Clinici kunnen moeilijk voorspellen wie uitvalt, maar
achteraf lijkt het alsof je het wel verwachtte
 Illusory correlation