College 1 – Inleiding psychometrie & testconstructie
Meten vs. Classificatie
Classificatie: gebaseerd op een indeling die niet ter discussie staat
- Ram, Stier
- Schizofreen, psychotisch
Meten: gebaseerd op een toetsbare theorie
- Ampère meter
- Concepten kunnen veranderen n.a.v. data
- Rekentoets taal, wiskunde, rekenen
Cyclus nodig Geschiedenis van meten in
psychologie
Beroepsrichtlijnen in Nederland
NIP (Nederlands Instituut van Psychologen)
- BAPD (Basisaantekening Psychodiagnostiek)
- Kennis van klassieke en moderne test theorie vereist
- AST (Algemene Standaard Testgebruik)
- Kwaliteit van test vereist
- COTAN (Commissie Testaangelegenheden Nederland)
- Beoordelingssysteem voor de kwaliteit van tests
- Beoordelingen van tests
- Oordeel (openbaar) – Databanken
- Toelichting (besloten) – Uitgever: Boom
Basisregel bij beoordelen validiteit en betrouwbaarheid
Het is pas goed als is aangetoond dat het goed is
- Een goed op betrouwbaarheid betekent dat de betrouwbaarheid goed
onderzoekt is EN dat de conclusie uit dat onderzoek was dat de
betrouwbaarheid goed was
1
, - Een onvoldoende op betrouwbaarheid betekent dat de betrouwbaarheid
onvoldoende onderzocht is EN/OF dat hij onderzocht is en dat de
conclusie daaruit was dat de betrouwbaarheid onvoldoende was
- Analoog met validiteit
Begripsvaliditeit
- Constructvaliditeit
- Theoretische interpreteerbaarheid
- Begrijpen we wat er wordt gemeten?
- Komen de theoretische verwachtingen uit?
Begripsvaliditeit: Extern vs. Intern
Extern: relaties met andere variabelen
Intern: relaties tussen items
- Factorstructuur
- Hangen de items van dezelfde test meer met elkaar samen dan
items van verschillende tests?
- Zijn er binnen een test geen verdere clusters van items te
ontdekken?
- Unidemensionaliteit: meten de items hetzelfde?
Analyses hiervoor
- Klassiek: factoranalyse
- Modern: items response theory
Unidemensionaliteit
- Klassiek voorbeeld: Guttman-schaal
- Data
- Matrix van personen x items
- In elke cel 0 (nee/fout) of 1 (ja/correct)
- Model
- Items en personen zijn
gezamenlijk te
ordenen zo dat een
persoon het item met
ja/correct beantwoord
als hij boven het item
is geordend
Guttman-schaal: voorbeeld van model
Bij vaardigheid: een correct antwoord wordt
gegeven als de vaardigheid van de persoon groter
is dan de moeilijkheid van het antwoord
Guttman-schaal: voorspelling
2
, Samenvatting Guttman-schaal:
Testgedrag is schaalbaar als de datamatrix een scalogram-structuur heeft. Dit is
toetsbaar.
Probabilistisch meten
- Unidimensioneel: elke persoon wordt gekenmerkt
door een schaalwaarde op de latente trek
- Latent:
- Monotoon: de kans op een positief antwoord neemt
toe met die schaalwaarde
Meetmodellen
Samenvatting
Kwaliteit van test
- Begripsvaliditeit onderzoek je met
- Interne structuur (factorstructuur/unidimensionaliteit)
Guttmanschaal
Factoranalyse
Item
Antwoordalternatieven
3
Meten vs. Classificatie
Classificatie: gebaseerd op een indeling die niet ter discussie staat
- Ram, Stier
- Schizofreen, psychotisch
Meten: gebaseerd op een toetsbare theorie
- Ampère meter
- Concepten kunnen veranderen n.a.v. data
- Rekentoets taal, wiskunde, rekenen
Cyclus nodig Geschiedenis van meten in
psychologie
Beroepsrichtlijnen in Nederland
NIP (Nederlands Instituut van Psychologen)
- BAPD (Basisaantekening Psychodiagnostiek)
- Kennis van klassieke en moderne test theorie vereist
- AST (Algemene Standaard Testgebruik)
- Kwaliteit van test vereist
- COTAN (Commissie Testaangelegenheden Nederland)
- Beoordelingssysteem voor de kwaliteit van tests
- Beoordelingen van tests
- Oordeel (openbaar) – Databanken
- Toelichting (besloten) – Uitgever: Boom
Basisregel bij beoordelen validiteit en betrouwbaarheid
Het is pas goed als is aangetoond dat het goed is
- Een goed op betrouwbaarheid betekent dat de betrouwbaarheid goed
onderzoekt is EN dat de conclusie uit dat onderzoek was dat de
betrouwbaarheid goed was
1
, - Een onvoldoende op betrouwbaarheid betekent dat de betrouwbaarheid
onvoldoende onderzocht is EN/OF dat hij onderzocht is en dat de
conclusie daaruit was dat de betrouwbaarheid onvoldoende was
- Analoog met validiteit
Begripsvaliditeit
- Constructvaliditeit
- Theoretische interpreteerbaarheid
- Begrijpen we wat er wordt gemeten?
- Komen de theoretische verwachtingen uit?
Begripsvaliditeit: Extern vs. Intern
Extern: relaties met andere variabelen
Intern: relaties tussen items
- Factorstructuur
- Hangen de items van dezelfde test meer met elkaar samen dan
items van verschillende tests?
- Zijn er binnen een test geen verdere clusters van items te
ontdekken?
- Unidemensionaliteit: meten de items hetzelfde?
Analyses hiervoor
- Klassiek: factoranalyse
- Modern: items response theory
Unidemensionaliteit
- Klassiek voorbeeld: Guttman-schaal
- Data
- Matrix van personen x items
- In elke cel 0 (nee/fout) of 1 (ja/correct)
- Model
- Items en personen zijn
gezamenlijk te
ordenen zo dat een
persoon het item met
ja/correct beantwoord
als hij boven het item
is geordend
Guttman-schaal: voorbeeld van model
Bij vaardigheid: een correct antwoord wordt
gegeven als de vaardigheid van de persoon groter
is dan de moeilijkheid van het antwoord
Guttman-schaal: voorspelling
2
, Samenvatting Guttman-schaal:
Testgedrag is schaalbaar als de datamatrix een scalogram-structuur heeft. Dit is
toetsbaar.
Probabilistisch meten
- Unidimensioneel: elke persoon wordt gekenmerkt
door een schaalwaarde op de latente trek
- Latent:
- Monotoon: de kans op een positief antwoord neemt
toe met die schaalwaarde
Meetmodellen
Samenvatting
Kwaliteit van test
- Begripsvaliditeit onderzoek je met
- Interne structuur (factorstructuur/unidimensionaliteit)
Guttmanschaal
Factoranalyse
Item
Antwoordalternatieven
3
