Meten en diagnostiek
Week 1
Diagnostiek: het door en door leren kennen van een situatie met als doel een beslissing te kunnen nemen.
Psychodiagnostiek: betrouwbare en valide beschrijving van psychosociale werkelijkheid.
- Mogelijke verklaringen voor problemen en verklaringen toetsen.
- Wetenschappelijke diagnostiek is idealiter herhaalbaar en nadert idealiter de werkelijkheid.
Inter-rater betrouwbaarheid (overeenstemming tussen beoordelaars) psychiatrische diagnose (0-50%
met niet-gestandaardiseerde tests, 60-70% met gestandaardiseerde tests).
Diagnostiek is moeilijk, vaak complexe constructen en beperkte tijd. Twee belangrijke problemen:
- Confirmation bias: nieuw bewijs interpreteren als bevestiging van bestaande overtuiging/ theorie.
- Beschikbaarheidsheuristiek (aan het begin): neiging om te focussen op alleen die symptomen die
verband houden met hoog prevalente aandoeningen (neigen naar dingen die vaker voorkomen).
Diagnostische test: wetenschappelijk verantwoorde, betrouwbare en objectieve informatie omtrent
diagnostisch beeld > beslissing.
Bij veel situaties is het gebruik van een psychodiagnostische test nuttig, bijvoorbeeld (hoofddoelen):
intelligentie, aanleg, prestatie, creativiteit, persoonlijkheid, interesse, gedrag, neuropsychologie/ cognitie.
Een psychodiagnostische test probeert de meest voorkomende verschijningsvormen van het construct (zoals
depressie) te meten.
Belangrijkste vaardigheid van psycholoog/pedagoog:
1. Op de hoogte zijn van psychometrische waarde: betrouwbaarheid, validiteit, handleiding.
2. Op ethische manier inzetten van instrumenten.
Test: een gestandaardiseerde procedure voor het nemen van een steekproef van gedrag, beschreven in
categorieën of scores. Elke testscore bevat meetfouten.
Formule klassieke testtheorie: X (testscore) = T (daadwerkelijke score) + e (meetfout).
Alle instrumenten bevatten meetfouten. Mogelijke confounders:
- Veel psychologische/pedagogische concepten zijn niet perfect gedefinieerd.
- Vragen worden verkeerd gelezen/geïnterpreteerd.
- Sociaal wenselijk antwoorden/context.
- Handleiding niet precies gevolgd.
Testeigenschappen
Standaardisatie (om meetfouten te voorkomen)
1. Betrouwbaarheid/herhaalbaarheid: je komt steeds tot dezelfde score (mits het construct gelijk blijft).
2. Steekproef van gedrag/ volledigheid: bevraag alle items (niet een beperkt aantal items).
3. Gebruik van scores of categorieën: constructen uitdrukken in een getal.
4. Gebruik van norm of standaard/ interpretaties van scores: ruwe score vergelijk je met een
afkapwaarde of normgroep.
5. Predictie van non-test gedrag (gedrag dat je niet direct test) (validiteit): testscore voorspelt bepaald
gedrag.
Een gestandaardiseerde procedure brengt minder meetfouten met zich mee (minder invloed van de
examinator) en heeft daarmee invloed op de betrouwbaarheid van de test.
Twee eisen gebruik instrumenten (essentieel voor de kwaliteit van de psychodiagnostiek):
1. Psychometrische criteria > COTAN
2. Ethisch gebruik > algemene standaard testgebruik (NIP/NVO)
COTAN (Commmissie Test Aangelegenheden Nederland)
- Testgebruikers informeren over de kwaliteit van instrumenten.
- Testmakers feedback geven over de kwaliteit van hun instrumenten.
, 5 criteria COTAN
- Uitgangspunten van de testconstructie (meetpretentie (wat je wil meten), doelgroep, functie).
- Standaardisatie (kwaliteit testmateriaal en handleiding).
- Normen (representatieve vergelijkingsgroep).
- Betrouwbaarheid (consistentie/herhaalbaarheid testscore).
- Validiteit (meet een test wat deze beoogt te meten).
Projectieve technieken (tekeningen, rollenspel, zinnen afmaken) worden tegenwoordig minder gebruikt (erg
subjectief en niet betrouwbaar). Tegenwoordig wordt meer gebruik gemaakt van IQ tests en
persoonlijkheidsvragenlijsten (betrouwbaarder).
Algemene standaard testgebruik (NIP)
Doel: verantwoordelijk, integer, respectvol en deskundig handelen.
Voorwaarden:
- Relevant
- Afname door bevoegden
- Respect voor psychische en lichamelijke integriteit
- Geheimhoudingsplicht
- Informed consent (informatieplicht naar de cliënt)
- Onafhankelijk en objectief oordeel (rapportage zonder jargon (vaktaal))
Ethiek bij uitgevers: veel geld in omloop (testmateriaal, handleidingen, scoreformulieren).
Aspecten van de persoon die onbedoeld van invloed zijn op de uitkomsten (voorbeelden):
- Motivatie (is de geteste gemotiveerd of wil hij/zij de test juist liever niet doen).
- Angst voor testen (waardoor een proefpersoon een minder goede score behaalt).
- Mogelijke functiebeperkingen (gehoor, zicht, spraak, aandacht, motoriek, geheugen).
Week 2
Betrouwbaarheid: verhouding tussen daadwerkelijk gedrag T en testscore X.
Klassieke testtheorie (KTT): X (geobserveerde testscore) = T (daadwerkelijke score) + e (meetfout).
Betrouwbaarheid is een score tussen 0 en 1 (1= heel betrouwbaar).
- (cor)relatie tussen scores op een test bij herhaalde afname of tussen items van een test.
- Getal geeft de mate waarin scores constant/te reproduceren zijn.
Meetfouten (bij X = T + e) (X is altijd een benadering van T)
T = consistentie meting door construct.
e = inconsistentie meting door fouten.
X > T = e is positief (een psycholoog die erg positief is > enthousiasme) (je meet: 120, realiteit: 110).
X < T = e is negatief (een psycholoog die erg negatief is > stress).
Verschillen tussen T en X kan komen door:
- Daadwerkelijk verschil
- Meetfouten:
Item selectie (steekproef van gedrag)
Testafname (proefpersoon/proefleider/omgeving (iemand met accent of je hoort minder goed))
Test scoring (MC vs open vragen (een antwoord kan anders worden gelezen dan is bedoeld))
Systematische meetfouten (es)
Systematische fouten: es
- Positief of negatief (positieve meetfout: overschatting (hogere score dan daadwerkelijke score))
- Gemiddelde meetfout ≠ 0
- Fout in testconstructie/ inconsistentie van construct (iedereen onterecht hogere/lagere uitslag)
- Maat voor validiteit (beïnvloedt de bepaling van het exacte construct)
- Voorspelbare, consistente meetfouten (fout in instructies (eenzelfde soort meetfout bij iedereen))
KTT gaat over niet-systematische meetfouten (systematische meetfouten zijn ‘oplosbaar’).
Week 1
Diagnostiek: het door en door leren kennen van een situatie met als doel een beslissing te kunnen nemen.
Psychodiagnostiek: betrouwbare en valide beschrijving van psychosociale werkelijkheid.
- Mogelijke verklaringen voor problemen en verklaringen toetsen.
- Wetenschappelijke diagnostiek is idealiter herhaalbaar en nadert idealiter de werkelijkheid.
Inter-rater betrouwbaarheid (overeenstemming tussen beoordelaars) psychiatrische diagnose (0-50%
met niet-gestandaardiseerde tests, 60-70% met gestandaardiseerde tests).
Diagnostiek is moeilijk, vaak complexe constructen en beperkte tijd. Twee belangrijke problemen:
- Confirmation bias: nieuw bewijs interpreteren als bevestiging van bestaande overtuiging/ theorie.
- Beschikbaarheidsheuristiek (aan het begin): neiging om te focussen op alleen die symptomen die
verband houden met hoog prevalente aandoeningen (neigen naar dingen die vaker voorkomen).
Diagnostische test: wetenschappelijk verantwoorde, betrouwbare en objectieve informatie omtrent
diagnostisch beeld > beslissing.
Bij veel situaties is het gebruik van een psychodiagnostische test nuttig, bijvoorbeeld (hoofddoelen):
intelligentie, aanleg, prestatie, creativiteit, persoonlijkheid, interesse, gedrag, neuropsychologie/ cognitie.
Een psychodiagnostische test probeert de meest voorkomende verschijningsvormen van het construct (zoals
depressie) te meten.
Belangrijkste vaardigheid van psycholoog/pedagoog:
1. Op de hoogte zijn van psychometrische waarde: betrouwbaarheid, validiteit, handleiding.
2. Op ethische manier inzetten van instrumenten.
Test: een gestandaardiseerde procedure voor het nemen van een steekproef van gedrag, beschreven in
categorieën of scores. Elke testscore bevat meetfouten.
Formule klassieke testtheorie: X (testscore) = T (daadwerkelijke score) + e (meetfout).
Alle instrumenten bevatten meetfouten. Mogelijke confounders:
- Veel psychologische/pedagogische concepten zijn niet perfect gedefinieerd.
- Vragen worden verkeerd gelezen/geïnterpreteerd.
- Sociaal wenselijk antwoorden/context.
- Handleiding niet precies gevolgd.
Testeigenschappen
Standaardisatie (om meetfouten te voorkomen)
1. Betrouwbaarheid/herhaalbaarheid: je komt steeds tot dezelfde score (mits het construct gelijk blijft).
2. Steekproef van gedrag/ volledigheid: bevraag alle items (niet een beperkt aantal items).
3. Gebruik van scores of categorieën: constructen uitdrukken in een getal.
4. Gebruik van norm of standaard/ interpretaties van scores: ruwe score vergelijk je met een
afkapwaarde of normgroep.
5. Predictie van non-test gedrag (gedrag dat je niet direct test) (validiteit): testscore voorspelt bepaald
gedrag.
Een gestandaardiseerde procedure brengt minder meetfouten met zich mee (minder invloed van de
examinator) en heeft daarmee invloed op de betrouwbaarheid van de test.
Twee eisen gebruik instrumenten (essentieel voor de kwaliteit van de psychodiagnostiek):
1. Psychometrische criteria > COTAN
2. Ethisch gebruik > algemene standaard testgebruik (NIP/NVO)
COTAN (Commmissie Test Aangelegenheden Nederland)
- Testgebruikers informeren over de kwaliteit van instrumenten.
- Testmakers feedback geven over de kwaliteit van hun instrumenten.
, 5 criteria COTAN
- Uitgangspunten van de testconstructie (meetpretentie (wat je wil meten), doelgroep, functie).
- Standaardisatie (kwaliteit testmateriaal en handleiding).
- Normen (representatieve vergelijkingsgroep).
- Betrouwbaarheid (consistentie/herhaalbaarheid testscore).
- Validiteit (meet een test wat deze beoogt te meten).
Projectieve technieken (tekeningen, rollenspel, zinnen afmaken) worden tegenwoordig minder gebruikt (erg
subjectief en niet betrouwbaar). Tegenwoordig wordt meer gebruik gemaakt van IQ tests en
persoonlijkheidsvragenlijsten (betrouwbaarder).
Algemene standaard testgebruik (NIP)
Doel: verantwoordelijk, integer, respectvol en deskundig handelen.
Voorwaarden:
- Relevant
- Afname door bevoegden
- Respect voor psychische en lichamelijke integriteit
- Geheimhoudingsplicht
- Informed consent (informatieplicht naar de cliënt)
- Onafhankelijk en objectief oordeel (rapportage zonder jargon (vaktaal))
Ethiek bij uitgevers: veel geld in omloop (testmateriaal, handleidingen, scoreformulieren).
Aspecten van de persoon die onbedoeld van invloed zijn op de uitkomsten (voorbeelden):
- Motivatie (is de geteste gemotiveerd of wil hij/zij de test juist liever niet doen).
- Angst voor testen (waardoor een proefpersoon een minder goede score behaalt).
- Mogelijke functiebeperkingen (gehoor, zicht, spraak, aandacht, motoriek, geheugen).
Week 2
Betrouwbaarheid: verhouding tussen daadwerkelijk gedrag T en testscore X.
Klassieke testtheorie (KTT): X (geobserveerde testscore) = T (daadwerkelijke score) + e (meetfout).
Betrouwbaarheid is een score tussen 0 en 1 (1= heel betrouwbaar).
- (cor)relatie tussen scores op een test bij herhaalde afname of tussen items van een test.
- Getal geeft de mate waarin scores constant/te reproduceren zijn.
Meetfouten (bij X = T + e) (X is altijd een benadering van T)
T = consistentie meting door construct.
e = inconsistentie meting door fouten.
X > T = e is positief (een psycholoog die erg positief is > enthousiasme) (je meet: 120, realiteit: 110).
X < T = e is negatief (een psycholoog die erg negatief is > stress).
Verschillen tussen T en X kan komen door:
- Daadwerkelijk verschil
- Meetfouten:
Item selectie (steekproef van gedrag)
Testafname (proefpersoon/proefleider/omgeving (iemand met accent of je hoort minder goed))
Test scoring (MC vs open vragen (een antwoord kan anders worden gelezen dan is bedoeld))
Systematische meetfouten (es)
Systematische fouten: es
- Positief of negatief (positieve meetfout: overschatting (hogere score dan daadwerkelijke score))
- Gemiddelde meetfout ≠ 0
- Fout in testconstructie/ inconsistentie van construct (iedereen onterecht hogere/lagere uitslag)
- Maat voor validiteit (beïnvloedt de bepaling van het exacte construct)
- Voorspelbare, consistente meetfouten (fout in instructies (eenzelfde soort meetfout bij iedereen))
KTT gaat over niet-systematische meetfouten (systematische meetfouten zijn ‘oplosbaar’).
