Samenvatting Meten & Diagnostiek 1
HC1 Diagnostiek en testgebruik
Diagnostiek = het door en door leren kennen van een situatie met als doel een
beslissing te kunnen nemen
Psychodiagnostiek = onderzoek op gebied van psychosociaal functioneren
o Betrouwbare & valide beschrijving van psychosociale werkelijkheid
Betrouwbaar: resultaten hetzelfde bij nieuwe meting
Valide: meet je jouw onderwerp of eigenlijk iets anders?
o Mogelijke verklaringen voor problemen
o Verklaring toetsen
Wetenschappelijke diagnostiek:
o Diagnostiek is idealiter herhaalbaar
o Nadert idealiter werkelijkheid
o Inter-rater betrouwbaarheid psychiatrische diagnose
0-50% met niet gestandaardiseerde interviews & tests
60-70% met gestandaardiseerde interviews & tests
- Wel moeilijk; vaak complexe constructen
- Beperkte tijd
- Confirmation bias: nieuw bewijs voor bevestiging vd theorie
- Beschikbaarheidsheuristiek: focussen op alleen die symptomen die verband houden
met hoog prevalente (= veel voorkomende) aandoeningen
Diagnostische tests: wetenschappelijk verantwoorde, betrouwbare en objectieve informatie
omtrent diagnostisch beeld
1. Probleemanalyse
2. Classificatie & diagnosestelling
3. Planning behandeling
4. Evaluatie behandeling
5. Zelfkennis
6. Kennisvergaring wetenschappelijk onderzoek
Hoofddoelen
- Intelligentie
- Aanleg
- Prestatie
- Creativiteit
- Persoonlijkheid
- Interesse
- Gedrag
- Neuropsychologie/cognitie
Belangrijkste vaardigheid psycholoog/pedagoog
1. Op de hoogte zijn van psychometrische waarde
2. Op ethische manier inzetten
,Test = gestandaardiseerde procedure voor het nemen van een steekproef van gedrag,
beschreven in categorieën of scores
Mentale eigenschappen objectiveren
Psychometrische eigenschappen?!
o Meet een test wat hij wil meten?
o Hoe en onder welke omstandigheden afgenomen?
o Verkorte versie van test even betrouwbaar?
o Hoe is de referentiegroep bepaald?
Meetfouten
Klassieke Test Theorie: ‘’test van ware scores & meetfouten’’
X=T+e
- X = testscore
- T = daadwerkelijke score
- e = meetfout
Confounders: alle instrumenten bevatten meetfouten
- Veel psychologische/pedagogische concepten niet perfect gedefinieerd
- Vragen verkeerd gelezen/geïnterpreteerd
- Sociaal wenselijke antwoorden/context
- Handleiding niet precies gevolgd … et cetera
Testeigenschappen
Standaardisatie: iedereen weet zo goed mogelijk hoe test moet worden afgenomen
en wat alles inhoudt
1. Herhaalbaarheid: steeds dezelfde score verkrijgen
2. Steekproef gedrag: beperkt aantal items
3. Gebruik scores/categorieën: construct uitdrukken in getal
4. Gebruik norm/standaard: interpretatie norm of standaard
5. Predictie van non-test gedrag: testscore voorspelt/beschrijft bepaald gedrag
o Validiteit = heel belangrijk!!!!!
Ruwe score: vergelijking met een afkapwaarde/vergelijking met een normgroep
TWEE eisen gebruik van meetinstrumenten
1. Psychometrische criteria > COTAN
2. Ethisch gebruik > algemeen standaard testgebruik (NIP/NVO)
COTAN = Commissie Test Aangelegenheden Nederland
- Testgebruikers informeren over kwaliteit instrumenten
- Testmakers feedback geven over kwaliteit van hun instrumenten
- Criteria:
o Uitgangspunten van de testconstructie
o Standaardisatie
o Normen, betrouwbaarheid, validiteit > representatieve steekproef
,NIP > doel = verantwoordelijk, integer, respectvol & deskundig handelen
- Relevant
- Afname door bevoegden
- Respect voor psychische & lichamelijke integriteit
- Geheimhoudingsplicht
- Informatieplicht naar cliënt
- Onafhankelijk en objectief oordeel
HC2
Betrouwbaarheid
Implicaties van onderzoekers voor individuele scores
Betrouwbaarheid
- Score tussen 0 en 1
- (Cor)relatie tussen scores op een test bij herhaalde afname of tussen items van een
test
- Mate waarin scores constant/reproduceerbaar zijn
- Verhouding tussen daadwerkelijk gedrag T en testscore X
Klassiek testmodel: X = T + e
T = consistente meting door construct, e = inconsistente meting door fouten
X > T; e = positief
X < T; e = negatief
Testscore X altijd benadering ware score T
Bronnen van meetfouten
Daadwerkelijk verschil
o Gedrag = situationeel
Meetfouten
o Itemselectie: steekproef van gedrag
o Testafname: proefpersoon/proefleider/omgeving
o Testscoring: MC vs open vragen
o Systematische meetfouten
Systematisch
- Systematische fouten = es
- Kenmerken binnen populatie:
o Positief OF negatief > gebeurt bij iedereen op zelfde manier dus zelfde effect
o Gemiddelde meetfout ≠ 0
o Fout in testconstructie/inconsistentie construct
o Maat voor validiteit > beïnvloedt de bepaling van het exacte construct
Niet-systematisch
- ‘’Toevallige’’ meetfouten = eu
- Kenmerken binnen populatie:
o Random: zowel positief ALS negatief
, o Gemiddelde meetfout = 0
o Géén samenhang met T
o Maat voor betrouwbaarheid > beïnvloedt consistentie scores
Basisprincipes Klassieke Test Theorie
Nut:
- Theorie van ware score & meetfouten
o Overeenkomst ware score T < > gemeten score X
- Schatting meetfout e
o Niet-systematische meetfout
o Géén schatting systematische fouten > ‘’opgelost’’
- Betrouwbaarheidsinterval bepalen
o BI = nauwkeurige weergave van score
Aannames:
- KTT gaat over niet-systematische meetfouten, systematische meetfouten: ‘oplosbaar’
- Karakteristieke niet-systematische meetfouten
o Meetfouten zijn positief en negatief (gemiddelde meetfout = 0)
o Meetfouten niet gerelateerd aan T
o Meetfouten niet gerelateerd aan elkaar
o Meetfouten normaal verdeeld
Meetfouten normaal verdeeld
- Meetfout > variabiliteit van geobserveerde scores
- Variabiliteit van geobserveerde scores > variantie in statistiek
Normaalverdeling
- In algehele populatie: , , 2
- Maar wij testen steekproef
o Gemiddelde steekproef = M
o Standaarddeviatie = SD
o Variantie = SD2
- Aannames normaalverdeling
o Percentage binnen segmenten vd normaalverdeling
o Afwijking van gemiddelde uitgedrukt in standaarddeviaties
o Meetfout normaal verdeeld
=0
Standaarddeviatie =
o 68.2% testscores X heeft meetfout e van maximaal 1 SDe boven of onder
gemiddelde
o 95.4% testscores X heeft meetfout e van maximaal 2 SDe boven of onder
gemiddelde
o 99.7% testscores X heeft meetfout e van maximaal 3 SDe boven of onder
gemiddelde
Belangrijk!
Testscore
Gemiddelde (random) meetfout e = 0
X = T + e: X = T + 0
,Variabiliteit van testscore
Variantie in testscore X = variantie ware scores T + variantie meetfout e
X = T + e: X2 = T2 + e2
Betrouwbaarheidscoëfficiënt
= mate van consistentie over metingen
X = T + e > r = T/X
Dus: T nadert X (hogere r)
- Reliability = r
- Verhouding: daadwerkelijk gedrag T/testscore X
- Signaal-ruis verhouding
In termen van variantie
- Variabiliteit in scores = variantie
o In populatie: 2
o In steekproef: SD2
- Variantie testscore door
o Variantie in ware score
o Variantie in meetfout
o X2 = T2 + e2
Betrouwbaarheid in termen van testscores
- r = T/X
- r = betrouwbaarheid, T = ware score, X = testscore
Betrouwbaarheidscoëfficiënt in termen van variantie
- rxx = T2/X2
- rxx = betrouwbaarheid testscore X, variantie ware score T, variantie testscore X
Dus: r = T/X > rxx = T2/X2
Variantie testscore = variantie ware score + variantie meetfout score
Dus BELANG van betrouwbaarheidscoëfficiënt KTT
- Betrouwbaarheid en meetfout statistisch aan elkaar gerelateerd
- Verschillende manieren om betrouwbaarheid te schatten: schatting vd meetfout
(berekenen BI)
- 68%-95%-98%: testscores X hebben meetfout e van (respectievelijk) maximaal 1, 2, 3
SDe boven of onder T
Implicaties betrouwbaarheid
Meer info nodig dan testscores
Ware score + meetfout = testscore
Betrouwbaarheid meetfout: BI
Hoe schat je betrouwbaarheid en meetfout?
, Schatten van betrouwbaarheid
Correlatie
Lineaire samenhang tussen 2 factoren: Pearson’s r
Tussen -1,0 en +1,0
Bij 0 geen samenhang
Pearson’s r correlatiecoëfficiënt
Methoden
Test-hertest = relatie tussen scores van een groep respondenten op een test bij herhaalde
afname
- Bijv. Pearson’s r
- Dus: zelfde steekproef op T0 en T1
- Aannames KTT
o Ware scores correleren met elkaar
o Meetfouten correleren niet met elkaar
o Meetfouten correleren niet met ware score
- Schatting van:
o Toevallige fluctuaties binnen persoon (vooral bij interval tussen herhalingen)
o Toevallige fluctuaties door omgeving/testsituatie
o NIET van toevallige fluctuaties door sample van items
Bekendheid met items/verkeerde interpretatie van items op beide
momenten hetzelfde effect
- NADELEN
o Mogelijk leereffecten (IQ, prestatietest)
o Onderschatting betrouwbaarheid bij eigenschappen met veel natuurlijke
fluctuaties (hartslagmeter)
Parallelvorm = relatie tussen scores van een groep respondenten op twee parallelle versies
(versie A en versie B)
- Schatting van:
o Toevallige fluctuaties door
Binnen persoon
Omgeving/testsituatie
Gekozen sample van items
- Met name gebruikt als er sprake kan zijn van leereffect
- NADELEN
o Parallelle vorm meet mogelijk iets anders
o Niet altijd parallelle vorm beschikbaar
Spearman Brown > split half = relatie tussen scores van groep op twee testhelften
- MAAR: test in 2-en > afname betrouwbaarheid (KTT)
o Kortere test: relatieve invloed van meetfouten (tov ware score) groter
o Resultaat = onderschatting
- Spearman brown nodig voor correctie onderschatting
2 r hh
- Formule: rSB =
1+ r hh
o rSB = geschatte betrouwbaarheid hele test met Spearman brown
o rhh = correlatie tussen 2 testhelften
- Gebruik bekende correlatie (bijv. uit SPSS)
HC1 Diagnostiek en testgebruik
Diagnostiek = het door en door leren kennen van een situatie met als doel een
beslissing te kunnen nemen
Psychodiagnostiek = onderzoek op gebied van psychosociaal functioneren
o Betrouwbare & valide beschrijving van psychosociale werkelijkheid
Betrouwbaar: resultaten hetzelfde bij nieuwe meting
Valide: meet je jouw onderwerp of eigenlijk iets anders?
o Mogelijke verklaringen voor problemen
o Verklaring toetsen
Wetenschappelijke diagnostiek:
o Diagnostiek is idealiter herhaalbaar
o Nadert idealiter werkelijkheid
o Inter-rater betrouwbaarheid psychiatrische diagnose
0-50% met niet gestandaardiseerde interviews & tests
60-70% met gestandaardiseerde interviews & tests
- Wel moeilijk; vaak complexe constructen
- Beperkte tijd
- Confirmation bias: nieuw bewijs voor bevestiging vd theorie
- Beschikbaarheidsheuristiek: focussen op alleen die symptomen die verband houden
met hoog prevalente (= veel voorkomende) aandoeningen
Diagnostische tests: wetenschappelijk verantwoorde, betrouwbare en objectieve informatie
omtrent diagnostisch beeld
1. Probleemanalyse
2. Classificatie & diagnosestelling
3. Planning behandeling
4. Evaluatie behandeling
5. Zelfkennis
6. Kennisvergaring wetenschappelijk onderzoek
Hoofddoelen
- Intelligentie
- Aanleg
- Prestatie
- Creativiteit
- Persoonlijkheid
- Interesse
- Gedrag
- Neuropsychologie/cognitie
Belangrijkste vaardigheid psycholoog/pedagoog
1. Op de hoogte zijn van psychometrische waarde
2. Op ethische manier inzetten
,Test = gestandaardiseerde procedure voor het nemen van een steekproef van gedrag,
beschreven in categorieën of scores
Mentale eigenschappen objectiveren
Psychometrische eigenschappen?!
o Meet een test wat hij wil meten?
o Hoe en onder welke omstandigheden afgenomen?
o Verkorte versie van test even betrouwbaar?
o Hoe is de referentiegroep bepaald?
Meetfouten
Klassieke Test Theorie: ‘’test van ware scores & meetfouten’’
X=T+e
- X = testscore
- T = daadwerkelijke score
- e = meetfout
Confounders: alle instrumenten bevatten meetfouten
- Veel psychologische/pedagogische concepten niet perfect gedefinieerd
- Vragen verkeerd gelezen/geïnterpreteerd
- Sociaal wenselijke antwoorden/context
- Handleiding niet precies gevolgd … et cetera
Testeigenschappen
Standaardisatie: iedereen weet zo goed mogelijk hoe test moet worden afgenomen
en wat alles inhoudt
1. Herhaalbaarheid: steeds dezelfde score verkrijgen
2. Steekproef gedrag: beperkt aantal items
3. Gebruik scores/categorieën: construct uitdrukken in getal
4. Gebruik norm/standaard: interpretatie norm of standaard
5. Predictie van non-test gedrag: testscore voorspelt/beschrijft bepaald gedrag
o Validiteit = heel belangrijk!!!!!
Ruwe score: vergelijking met een afkapwaarde/vergelijking met een normgroep
TWEE eisen gebruik van meetinstrumenten
1. Psychometrische criteria > COTAN
2. Ethisch gebruik > algemeen standaard testgebruik (NIP/NVO)
COTAN = Commissie Test Aangelegenheden Nederland
- Testgebruikers informeren over kwaliteit instrumenten
- Testmakers feedback geven over kwaliteit van hun instrumenten
- Criteria:
o Uitgangspunten van de testconstructie
o Standaardisatie
o Normen, betrouwbaarheid, validiteit > representatieve steekproef
,NIP > doel = verantwoordelijk, integer, respectvol & deskundig handelen
- Relevant
- Afname door bevoegden
- Respect voor psychische & lichamelijke integriteit
- Geheimhoudingsplicht
- Informatieplicht naar cliënt
- Onafhankelijk en objectief oordeel
HC2
Betrouwbaarheid
Implicaties van onderzoekers voor individuele scores
Betrouwbaarheid
- Score tussen 0 en 1
- (Cor)relatie tussen scores op een test bij herhaalde afname of tussen items van een
test
- Mate waarin scores constant/reproduceerbaar zijn
- Verhouding tussen daadwerkelijk gedrag T en testscore X
Klassiek testmodel: X = T + e
T = consistente meting door construct, e = inconsistente meting door fouten
X > T; e = positief
X < T; e = negatief
Testscore X altijd benadering ware score T
Bronnen van meetfouten
Daadwerkelijk verschil
o Gedrag = situationeel
Meetfouten
o Itemselectie: steekproef van gedrag
o Testafname: proefpersoon/proefleider/omgeving
o Testscoring: MC vs open vragen
o Systematische meetfouten
Systematisch
- Systematische fouten = es
- Kenmerken binnen populatie:
o Positief OF negatief > gebeurt bij iedereen op zelfde manier dus zelfde effect
o Gemiddelde meetfout ≠ 0
o Fout in testconstructie/inconsistentie construct
o Maat voor validiteit > beïnvloedt de bepaling van het exacte construct
Niet-systematisch
- ‘’Toevallige’’ meetfouten = eu
- Kenmerken binnen populatie:
o Random: zowel positief ALS negatief
, o Gemiddelde meetfout = 0
o Géén samenhang met T
o Maat voor betrouwbaarheid > beïnvloedt consistentie scores
Basisprincipes Klassieke Test Theorie
Nut:
- Theorie van ware score & meetfouten
o Overeenkomst ware score T < > gemeten score X
- Schatting meetfout e
o Niet-systematische meetfout
o Géén schatting systematische fouten > ‘’opgelost’’
- Betrouwbaarheidsinterval bepalen
o BI = nauwkeurige weergave van score
Aannames:
- KTT gaat over niet-systematische meetfouten, systematische meetfouten: ‘oplosbaar’
- Karakteristieke niet-systematische meetfouten
o Meetfouten zijn positief en negatief (gemiddelde meetfout = 0)
o Meetfouten niet gerelateerd aan T
o Meetfouten niet gerelateerd aan elkaar
o Meetfouten normaal verdeeld
Meetfouten normaal verdeeld
- Meetfout > variabiliteit van geobserveerde scores
- Variabiliteit van geobserveerde scores > variantie in statistiek
Normaalverdeling
- In algehele populatie: , , 2
- Maar wij testen steekproef
o Gemiddelde steekproef = M
o Standaarddeviatie = SD
o Variantie = SD2
- Aannames normaalverdeling
o Percentage binnen segmenten vd normaalverdeling
o Afwijking van gemiddelde uitgedrukt in standaarddeviaties
o Meetfout normaal verdeeld
=0
Standaarddeviatie =
o 68.2% testscores X heeft meetfout e van maximaal 1 SDe boven of onder
gemiddelde
o 95.4% testscores X heeft meetfout e van maximaal 2 SDe boven of onder
gemiddelde
o 99.7% testscores X heeft meetfout e van maximaal 3 SDe boven of onder
gemiddelde
Belangrijk!
Testscore
Gemiddelde (random) meetfout e = 0
X = T + e: X = T + 0
,Variabiliteit van testscore
Variantie in testscore X = variantie ware scores T + variantie meetfout e
X = T + e: X2 = T2 + e2
Betrouwbaarheidscoëfficiënt
= mate van consistentie over metingen
X = T + e > r = T/X
Dus: T nadert X (hogere r)
- Reliability = r
- Verhouding: daadwerkelijk gedrag T/testscore X
- Signaal-ruis verhouding
In termen van variantie
- Variabiliteit in scores = variantie
o In populatie: 2
o In steekproef: SD2
- Variantie testscore door
o Variantie in ware score
o Variantie in meetfout
o X2 = T2 + e2
Betrouwbaarheid in termen van testscores
- r = T/X
- r = betrouwbaarheid, T = ware score, X = testscore
Betrouwbaarheidscoëfficiënt in termen van variantie
- rxx = T2/X2
- rxx = betrouwbaarheid testscore X, variantie ware score T, variantie testscore X
Dus: r = T/X > rxx = T2/X2
Variantie testscore = variantie ware score + variantie meetfout score
Dus BELANG van betrouwbaarheidscoëfficiënt KTT
- Betrouwbaarheid en meetfout statistisch aan elkaar gerelateerd
- Verschillende manieren om betrouwbaarheid te schatten: schatting vd meetfout
(berekenen BI)
- 68%-95%-98%: testscores X hebben meetfout e van (respectievelijk) maximaal 1, 2, 3
SDe boven of onder T
Implicaties betrouwbaarheid
Meer info nodig dan testscores
Ware score + meetfout = testscore
Betrouwbaarheid meetfout: BI
Hoe schat je betrouwbaarheid en meetfout?
, Schatten van betrouwbaarheid
Correlatie
Lineaire samenhang tussen 2 factoren: Pearson’s r
Tussen -1,0 en +1,0
Bij 0 geen samenhang
Pearson’s r correlatiecoëfficiënt
Methoden
Test-hertest = relatie tussen scores van een groep respondenten op een test bij herhaalde
afname
- Bijv. Pearson’s r
- Dus: zelfde steekproef op T0 en T1
- Aannames KTT
o Ware scores correleren met elkaar
o Meetfouten correleren niet met elkaar
o Meetfouten correleren niet met ware score
- Schatting van:
o Toevallige fluctuaties binnen persoon (vooral bij interval tussen herhalingen)
o Toevallige fluctuaties door omgeving/testsituatie
o NIET van toevallige fluctuaties door sample van items
Bekendheid met items/verkeerde interpretatie van items op beide
momenten hetzelfde effect
- NADELEN
o Mogelijk leereffecten (IQ, prestatietest)
o Onderschatting betrouwbaarheid bij eigenschappen met veel natuurlijke
fluctuaties (hartslagmeter)
Parallelvorm = relatie tussen scores van een groep respondenten op twee parallelle versies
(versie A en versie B)
- Schatting van:
o Toevallige fluctuaties door
Binnen persoon
Omgeving/testsituatie
Gekozen sample van items
- Met name gebruikt als er sprake kan zijn van leereffect
- NADELEN
o Parallelle vorm meet mogelijk iets anders
o Niet altijd parallelle vorm beschikbaar
Spearman Brown > split half = relatie tussen scores van groep op twee testhelften
- MAAR: test in 2-en > afname betrouwbaarheid (KTT)
o Kortere test: relatieve invloed van meetfouten (tov ware score) groter
o Resultaat = onderschatting
- Spearman brown nodig voor correctie onderschatting
2 r hh
- Formule: rSB =
1+ r hh
o rSB = geschatte betrouwbaarheid hele test met Spearman brown
o rhh = correlatie tussen 2 testhelften
- Gebruik bekende correlatie (bijv. uit SPSS)
