Samenvatting van: Psychometrics: An Introduction. R. Michael Furr
Aanvullende aantekeningen uit hoorcolleges en kennisclips
Informatie is gekoppeld aan de leerdoelen uit de studiehandleiding
Universiteit van Amsterdam
Testen & Meten: Blok 3, semester 1
Inhoudsopgave
Deel 1: Basic concepts in Measurement......................................................................................................... 2
Hoofdstuk 2: Scaling.............................................................................................................................................2
Hoofdstuk 3: Individual Differences and Correlations..........................................................................................4
Hoofdstuk 4: Test Dimensionality and Factor Analysis........................................................................................7
Deel 2: Reliability......................................................................................................................................... 10
Hoofdstuk 5: Reliability: Conceptual Basis.........................................................................................................10
Hoofdstuk 6: Empirical Estimates of Reliability..................................................................................................12
Hoofdstuk 7: The Importance of Reliability........................................................................................................14
Hoofdstuk 1: Psychometrics and the importance of Psychological Measurement
Het belang van psychologisch testen
Als gedragswetenschapper moet je kennis hebben over deze testen. Je moet bij testafnames:
Een juiste interpretatie kunnen maken van de testresultaten
De informatie interpreteren op basis van de gebruikte tests testmateriaal evalueren.
Zonder het begrijpen van de basisprincipes van testen, ontstaat het risico voor verkeerde
interpretatie. Dit brengt schade aan deelnemers dit kan leiden tot een rechtszaak.
o Over/onderdiagnosticering bijvoorbeeld.
Weten wanneer je testresultaten moet accepteren en geloven.
Testen (het hart van het onderzoeksproces) wanneer een variabele niet gemeten is, of niet goed
gemeten is, dan kan het niet worden onderzocht met wetenschappelijke validiteit.
Onobserveerbare psychologische attributen
Meten op basis van observeerbaar gedrag kijken hoe gezichtsuitdrukking invloed heeft op
iemand anders zijn emotie/gedrag.
Meten op basis van onobserveerbaar gedrag Intelligentie, depressie, kennis.
Er wordt een soortgelijke observeerbaar gedragingen gezocht die past bij het
onobserveerbare fenomeen.
Dit observeerbare soortgelijk gedrag wordt gemeten, en aan de hand van de resultaten wordt
een interpretatie gemaakt over de onobserveerbare variabele.
Bijvoorbeeld Werkgeheugen meten (onobserveerbaar): Er zijn testen met herhalende cijferreeksen
op snelheid. Wanneer de ene persoon dit sneller doet dan de ander, kan er worden gesteld dat er
verschillen in werkgeheugen zijn (onderdeel van WISC).
Hypothetische constructen/latente variabelen Variabelen die niet direct meetbaar zijn, worden
gemeten met operationele definities de herhalende cijferreeks op snelheid
Leerdoel: De student kan de belangrijkste principes uitleggen van testafnames
1
, Psychologische test Een systematische procedure om gedrag tussen twee of meer mensen te
vergelijken. De definitie bevat drie belangrijke componenten.
1) De meting bevat steekproeven uit gedragingen
2) De gedragingen zijn systematisch verzameld
3) Doel van de test is om 2+ mensen met elkaar te vergelijken.
Typen tests Testen worden vaak gecategoriseerd als criterium/domein of norm gerefereerd.
COTAN: Dit is het overzicht van (bijna) alle tests in Nederland
Criterion-referenced tests Score van de respondent wordt onafhankelijk geïnterpreteerd
van de scores van anderen. Hier wordt een cutoff point gepakt:
o Zij die boven het criterium presteren
o Zij die onder het criterium presteren.
o Een tentamen is een criterion referenced test (onafhankelijk van wat de rest doet).
Norm-referenced tests Doel: begrijpen hoe een persoon presteert in vergelijking met een
ander. Hierbij wordt een testscore vergeleken met scores uit een normatieve steekproef.
o Referentie steekproef steekproef waaruit een test wordt gemaakt en representatief is
voor een populatie. Scores van een NF test zijn niet waardevol indien niet representatief.
Speeded tests/snelheidstest test met een tijdslimiet, waarbij niet alle vragen binnen het
tijdsbestek af moeten zijn (geteld wordt hoeveel juist beantwoordde vragen binnen de tijd)
Power tests Deze worden ook gescoord door de juiste vragen te tellen
Typen van scoring
Reflectieve/formatieve indicator vooral in boek behandeld, is typisch voor meeste
psychologische testen.
Effect/causal indicator.
De woorden: measure, instrument en tests staan voor testen/meten, battery voor gebundelde testen.
Wat is psychometrie? de wetenschap die zich bezighoudt met het evalueren van testmateriaal
1) Type informatie (test scores)
2) De betrouwbare data van testen
3) Problemen omtrent de validiteit van de data
Leerdoel: De student kan de belangrijkste principes uitleggen van kwantificering van reacties
Uitdagingen in psychologisch testen
Participant reactivity Hoe deelnemers reageren op een test kan de uitslag beïnvloeden.
o Demand characteristics deelnemers willen weten wat het doel is van de studie en
passen hun gedrag aan bij de proefleider
o Social desirability gedrag aanpassen om goede indruk achter te laten bij de tester.
o Malingering gedrag aanpassen om een slechte indruk achter te laten bij de tester.
Bias/verwachting proefleider moeilijk te ontdekken, omdat we de proefleiders vertrouwen.
Composite/samengestelde scores hoe wordt er gescoord, is dit een goede representatie?
Score sensitiviteit de gevoeligheid/betrouwbaarheid van een test Bijv: een ja nee vraag is
vaak te ongevoelig in een test. Ze kunnen dus ook worden geschaald op 1, 2, 3, 4, 5.
Gebrek aan bewustzijn er zijn weinig examinators die daadwerkelijk alle in- en outs weten
van psychometrie en de betrouwbaarheid van hun testen.
Deel 1: Basic concepts in Measurement
Hoofdstuk 2: Scaling
Fundamentele problemen met cijfers
Cijfers geven in de psychologische meting een representatie van een persoon zijn psychologische
attributies score op een IQ test.
In een meting moet je kennis hebben van waar alle cijfers voor staan (1 = man, 0 = vrouw)
Leerdoel: De student kan de belangrijkste principes uitleggen van meetniveaus
1) De eigenschap van identiteit Vermogen om te kijken naar verschillen/gelijkenissen
tussen personen/categorieën. (opdelen in minimaal 2 categorieën)
a. Je moet voldoen aan de categorie. Bijvoorbeeld: In een groep met gedragsproblemen,
moet iedereen gedragsproblemen hebben.
b. Een categorie Een persoon valt maar in één categorie. Niemand kan wel en geen
gedragsproblemen hebben.
2
Aanvullende aantekeningen uit hoorcolleges en kennisclips
Informatie is gekoppeld aan de leerdoelen uit de studiehandleiding
Universiteit van Amsterdam
Testen & Meten: Blok 3, semester 1
Inhoudsopgave
Deel 1: Basic concepts in Measurement......................................................................................................... 2
Hoofdstuk 2: Scaling.............................................................................................................................................2
Hoofdstuk 3: Individual Differences and Correlations..........................................................................................4
Hoofdstuk 4: Test Dimensionality and Factor Analysis........................................................................................7
Deel 2: Reliability......................................................................................................................................... 10
Hoofdstuk 5: Reliability: Conceptual Basis.........................................................................................................10
Hoofdstuk 6: Empirical Estimates of Reliability..................................................................................................12
Hoofdstuk 7: The Importance of Reliability........................................................................................................14
Hoofdstuk 1: Psychometrics and the importance of Psychological Measurement
Het belang van psychologisch testen
Als gedragswetenschapper moet je kennis hebben over deze testen. Je moet bij testafnames:
Een juiste interpretatie kunnen maken van de testresultaten
De informatie interpreteren op basis van de gebruikte tests testmateriaal evalueren.
Zonder het begrijpen van de basisprincipes van testen, ontstaat het risico voor verkeerde
interpretatie. Dit brengt schade aan deelnemers dit kan leiden tot een rechtszaak.
o Over/onderdiagnosticering bijvoorbeeld.
Weten wanneer je testresultaten moet accepteren en geloven.
Testen (het hart van het onderzoeksproces) wanneer een variabele niet gemeten is, of niet goed
gemeten is, dan kan het niet worden onderzocht met wetenschappelijke validiteit.
Onobserveerbare psychologische attributen
Meten op basis van observeerbaar gedrag kijken hoe gezichtsuitdrukking invloed heeft op
iemand anders zijn emotie/gedrag.
Meten op basis van onobserveerbaar gedrag Intelligentie, depressie, kennis.
Er wordt een soortgelijke observeerbaar gedragingen gezocht die past bij het
onobserveerbare fenomeen.
Dit observeerbare soortgelijk gedrag wordt gemeten, en aan de hand van de resultaten wordt
een interpretatie gemaakt over de onobserveerbare variabele.
Bijvoorbeeld Werkgeheugen meten (onobserveerbaar): Er zijn testen met herhalende cijferreeksen
op snelheid. Wanneer de ene persoon dit sneller doet dan de ander, kan er worden gesteld dat er
verschillen in werkgeheugen zijn (onderdeel van WISC).
Hypothetische constructen/latente variabelen Variabelen die niet direct meetbaar zijn, worden
gemeten met operationele definities de herhalende cijferreeks op snelheid
Leerdoel: De student kan de belangrijkste principes uitleggen van testafnames
1
, Psychologische test Een systematische procedure om gedrag tussen twee of meer mensen te
vergelijken. De definitie bevat drie belangrijke componenten.
1) De meting bevat steekproeven uit gedragingen
2) De gedragingen zijn systematisch verzameld
3) Doel van de test is om 2+ mensen met elkaar te vergelijken.
Typen tests Testen worden vaak gecategoriseerd als criterium/domein of norm gerefereerd.
COTAN: Dit is het overzicht van (bijna) alle tests in Nederland
Criterion-referenced tests Score van de respondent wordt onafhankelijk geïnterpreteerd
van de scores van anderen. Hier wordt een cutoff point gepakt:
o Zij die boven het criterium presteren
o Zij die onder het criterium presteren.
o Een tentamen is een criterion referenced test (onafhankelijk van wat de rest doet).
Norm-referenced tests Doel: begrijpen hoe een persoon presteert in vergelijking met een
ander. Hierbij wordt een testscore vergeleken met scores uit een normatieve steekproef.
o Referentie steekproef steekproef waaruit een test wordt gemaakt en representatief is
voor een populatie. Scores van een NF test zijn niet waardevol indien niet representatief.
Speeded tests/snelheidstest test met een tijdslimiet, waarbij niet alle vragen binnen het
tijdsbestek af moeten zijn (geteld wordt hoeveel juist beantwoordde vragen binnen de tijd)
Power tests Deze worden ook gescoord door de juiste vragen te tellen
Typen van scoring
Reflectieve/formatieve indicator vooral in boek behandeld, is typisch voor meeste
psychologische testen.
Effect/causal indicator.
De woorden: measure, instrument en tests staan voor testen/meten, battery voor gebundelde testen.
Wat is psychometrie? de wetenschap die zich bezighoudt met het evalueren van testmateriaal
1) Type informatie (test scores)
2) De betrouwbare data van testen
3) Problemen omtrent de validiteit van de data
Leerdoel: De student kan de belangrijkste principes uitleggen van kwantificering van reacties
Uitdagingen in psychologisch testen
Participant reactivity Hoe deelnemers reageren op een test kan de uitslag beïnvloeden.
o Demand characteristics deelnemers willen weten wat het doel is van de studie en
passen hun gedrag aan bij de proefleider
o Social desirability gedrag aanpassen om goede indruk achter te laten bij de tester.
o Malingering gedrag aanpassen om een slechte indruk achter te laten bij de tester.
Bias/verwachting proefleider moeilijk te ontdekken, omdat we de proefleiders vertrouwen.
Composite/samengestelde scores hoe wordt er gescoord, is dit een goede representatie?
Score sensitiviteit de gevoeligheid/betrouwbaarheid van een test Bijv: een ja nee vraag is
vaak te ongevoelig in een test. Ze kunnen dus ook worden geschaald op 1, 2, 3, 4, 5.
Gebrek aan bewustzijn er zijn weinig examinators die daadwerkelijk alle in- en outs weten
van psychometrie en de betrouwbaarheid van hun testen.
Deel 1: Basic concepts in Measurement
Hoofdstuk 2: Scaling
Fundamentele problemen met cijfers
Cijfers geven in de psychologische meting een representatie van een persoon zijn psychologische
attributies score op een IQ test.
In een meting moet je kennis hebben van waar alle cijfers voor staan (1 = man, 0 = vrouw)
Leerdoel: De student kan de belangrijkste principes uitleggen van meetniveaus
1) De eigenschap van identiteit Vermogen om te kijken naar verschillen/gelijkenissen
tussen personen/categorieën. (opdelen in minimaal 2 categorieën)
a. Je moet voldoen aan de categorie. Bijvoorbeeld: In een groep met gedragsproblemen,
moet iedereen gedragsproblemen hebben.
b. Een categorie Een persoon valt maar in één categorie. Niemand kan wel en geen
gedragsproblemen hebben.
2
