Psychometrie college aantekeningen
College 1: inleiding psychometrie testconstructie
Opzet: leerdoel
- Een test kunnen construeren en valideren
- Een verslag over constructie en valideren van een test kunnen beoordelen
- De gedachte is dat je na het eerste ook het tweede kan
Wat is meten?
- Is meten in de psychologie mogelijk?
o ‘Nee, want mensen zijn te mooi’ ‘Ja, want anders is het geen wetenschap’
‘Nee, want mensen zijn te complex’ ‘Ja, want we doen het’
o Wat is meten? Dit je eerst afvragen
o Hoe kun je bepalen of iets meetbaar is? Dan dit bepalen
o Soms wel, soms niet, afhankelijk van de data
- Meten versus classificatie
o Classificatie is gebaseerd op een indeling die niet ter discussie staat
Ram, stier, tweelingen, …
Schizofreen, psychotisch, …
o Meten is gebaseerd op een toetsbare theorie (bijv. Ampère meter)
Concepten kunnen veranderen
n.a.v. data
Bijv. rekentoets -> taal, wiskunde,
rekenen
- Cyclus nodig
o Je zal moeten testen of je test wel goed is,
de test moet verbeterd of veranderd
worden, er ontstaat een cyclus
o Niet alle stappen zijn altijd nodig, denk
bijvoorbeeld aan interbeoordelaar betrouwbaarheid
Geschiedenis van meten
- Belangrijk om te zien hoe dingen aan elkaar te verbinden zijn,
bijvoorbeeld hoe Spearman 1 factor theorie over intelligentie
uiteindelijk heeft geleid tot de Big Five persoonlijkheidstheorie
Beroepsrichtlijnen in Nederland
- NIP (Nederlands Instituut van Psychologen
o BAPD (Basisaantekening Psychodiagnostiek)
Kennis van klassieke en moderne test theorie vereist
o AST (Algemene Standaard Testgebruik)
Kwaliteit van test vereist
o COTAN (Commissie Testaangelegenheden Nederland)
Beoordelingssysteem voor de kwaliteit van tests
Beoordeling van tests
Oordeel (openbaar) – databanken
Toelichting (besloten) – Uitgever: Boom
Professional guidelines in USA
, - APA (American Psychological Association)
o GTUQ (Guidelines on Test User Qualifications)
o CPTA (The Committee on Psychological Tests and Assessment)
The Standards for Educational and Psychological Testing Mental
Measurements Yearbook (not APA)
COTAN-beoordelingssysteem
Basisregel bij beoordelen validiteit en betrouwbaarheid
Het is pas goed als is aangetoond dat het goed is
- Een goed op betrouwbaarheid betekent dat de
betrouwbaarheid goed onderzocht is EN dat de
conclusie uit dat onderzoek was dat de
betrouwbaarheid goed was
- Een onvoldoende op betrouwbaarheid betekent
dat de betrouwbaarheid onvoldoende onderzocht
is EN/OF dat hij onderzocht is en dat de conclusie
daaruit was dat de betrouwbaarheid
onvoldoende was
- Analoog met validiteit
Begripsvaliditeit
- Constructvaliditeit
- Theoretische interpreteerbaarheid
- Begrijpen we wat er wordt gemeten?
- Komen de theoretisch verwachtingen uit?
Begripsvaliditeit: extern vs. Intern
- Extern: relaties met andere variabelen (zie college 6)
- Intern: relatie tussen items
o Colleges 1, 2, 3, 4
o Factorstructuur
Hangen de items van dezelfde test meer met elkaar samen dan items
van verschillende tests?
Zijn er binnen een test geen verdere clusters van items te ontdekken?
o Unidimensionaliteit
Meten de items hetzelfde?
o Analyses hiervoor
Klassiek: factoranalyse (college 2, 3)
Modern: item response theory (college 5)
(eigenlijk een betere methode, maar wordt
nog niet vaak overgenomen)
Begripsvaliditeit: unidimensionaliteit
Je doet over je items voorspellingen waarnaast je data gaat
verzamelen die je hier mee vergelijkt. Dan kom je voor de keuze te staan of het model
houdbaar is, als die dat is concludeer je dat de test uni dimensionaal is oftewel schaalbaar.
, Bij niet schaalbaar moet je een ander model gaan aannemen met meer dimensies of je test
gaan aanpassen zodat die nog maar 1 dimensie heeft
- Klassiek voorbeeld: Guttman-schaal
- Data
o Matrix van personen x items
o In elke cel 0 (nee/fout) of 1 (ja/correct)
- Model
o Items en personen zijn gezamenlijk
te ordenen zo dat een persoon het
item met ja/correct beantwoord als
hij boven het item is geordend
o Volgens dit model als je vragen hebt
die openlopen in moeilijkheid kan iemand a en b goed hebben en dan de rest
fout maar niet c bijvoorbeeld fout en dan d wel weer goed
o Bij vaardigheid: een correct antwoord wordt gegeven als de vaardigheid van
de persoon groter is dan de moeilijkheid van het item
- Voorspelling
o Gezamenlijke ordening
o Scalogram: na sorteren ontstaan een driehoek van 1-en -> positieve
correlaties tussen items
- In het voorbeeld hiernaast was angst links schaalbaar en rechts
niet schaalbaar
- Samenvatting Guttman-schaal
o Testgedrag is schaalbaar als de datamatrix een scalogram-
structuur heeft
o Dit is toetsbaar
o Wel een mooi model, maar te simpel, werkt in praktijk
nooit perfect, je gaat er namelijk uit dat iemand iets onder zijn niveau altijd
perfect zal maken
Deterministisch meten
Andere weergave van Guttmanschaal
Probabilistisch meten
- Unidimensioneel: elke persoon
wordt gekenmerkt door een
schaalwaarde op de latente
trek
- Monotoon: de kans (kan ook tussen 0 en 1 zitten) op een positief
antwoord neemt toe met de schaalwaarde
Meetmodellen
Normen
- Gaat om vaststellen van grensscores en labels
- Bijvoorbeeld, vanaf welke score spreek je van
dyslexie?
College 1: inleiding psychometrie testconstructie
Opzet: leerdoel
- Een test kunnen construeren en valideren
- Een verslag over constructie en valideren van een test kunnen beoordelen
- De gedachte is dat je na het eerste ook het tweede kan
Wat is meten?
- Is meten in de psychologie mogelijk?
o ‘Nee, want mensen zijn te mooi’ ‘Ja, want anders is het geen wetenschap’
‘Nee, want mensen zijn te complex’ ‘Ja, want we doen het’
o Wat is meten? Dit je eerst afvragen
o Hoe kun je bepalen of iets meetbaar is? Dan dit bepalen
o Soms wel, soms niet, afhankelijk van de data
- Meten versus classificatie
o Classificatie is gebaseerd op een indeling die niet ter discussie staat
Ram, stier, tweelingen, …
Schizofreen, psychotisch, …
o Meten is gebaseerd op een toetsbare theorie (bijv. Ampère meter)
Concepten kunnen veranderen
n.a.v. data
Bijv. rekentoets -> taal, wiskunde,
rekenen
- Cyclus nodig
o Je zal moeten testen of je test wel goed is,
de test moet verbeterd of veranderd
worden, er ontstaat een cyclus
o Niet alle stappen zijn altijd nodig, denk
bijvoorbeeld aan interbeoordelaar betrouwbaarheid
Geschiedenis van meten
- Belangrijk om te zien hoe dingen aan elkaar te verbinden zijn,
bijvoorbeeld hoe Spearman 1 factor theorie over intelligentie
uiteindelijk heeft geleid tot de Big Five persoonlijkheidstheorie
Beroepsrichtlijnen in Nederland
- NIP (Nederlands Instituut van Psychologen
o BAPD (Basisaantekening Psychodiagnostiek)
Kennis van klassieke en moderne test theorie vereist
o AST (Algemene Standaard Testgebruik)
Kwaliteit van test vereist
o COTAN (Commissie Testaangelegenheden Nederland)
Beoordelingssysteem voor de kwaliteit van tests
Beoordeling van tests
Oordeel (openbaar) – databanken
Toelichting (besloten) – Uitgever: Boom
Professional guidelines in USA
, - APA (American Psychological Association)
o GTUQ (Guidelines on Test User Qualifications)
o CPTA (The Committee on Psychological Tests and Assessment)
The Standards for Educational and Psychological Testing Mental
Measurements Yearbook (not APA)
COTAN-beoordelingssysteem
Basisregel bij beoordelen validiteit en betrouwbaarheid
Het is pas goed als is aangetoond dat het goed is
- Een goed op betrouwbaarheid betekent dat de
betrouwbaarheid goed onderzocht is EN dat de
conclusie uit dat onderzoek was dat de
betrouwbaarheid goed was
- Een onvoldoende op betrouwbaarheid betekent
dat de betrouwbaarheid onvoldoende onderzocht
is EN/OF dat hij onderzocht is en dat de conclusie
daaruit was dat de betrouwbaarheid
onvoldoende was
- Analoog met validiteit
Begripsvaliditeit
- Constructvaliditeit
- Theoretische interpreteerbaarheid
- Begrijpen we wat er wordt gemeten?
- Komen de theoretisch verwachtingen uit?
Begripsvaliditeit: extern vs. Intern
- Extern: relaties met andere variabelen (zie college 6)
- Intern: relatie tussen items
o Colleges 1, 2, 3, 4
o Factorstructuur
Hangen de items van dezelfde test meer met elkaar samen dan items
van verschillende tests?
Zijn er binnen een test geen verdere clusters van items te ontdekken?
o Unidimensionaliteit
Meten de items hetzelfde?
o Analyses hiervoor
Klassiek: factoranalyse (college 2, 3)
Modern: item response theory (college 5)
(eigenlijk een betere methode, maar wordt
nog niet vaak overgenomen)
Begripsvaliditeit: unidimensionaliteit
Je doet over je items voorspellingen waarnaast je data gaat
verzamelen die je hier mee vergelijkt. Dan kom je voor de keuze te staan of het model
houdbaar is, als die dat is concludeer je dat de test uni dimensionaal is oftewel schaalbaar.
, Bij niet schaalbaar moet je een ander model gaan aannemen met meer dimensies of je test
gaan aanpassen zodat die nog maar 1 dimensie heeft
- Klassiek voorbeeld: Guttman-schaal
- Data
o Matrix van personen x items
o In elke cel 0 (nee/fout) of 1 (ja/correct)
- Model
o Items en personen zijn gezamenlijk
te ordenen zo dat een persoon het
item met ja/correct beantwoord als
hij boven het item is geordend
o Volgens dit model als je vragen hebt
die openlopen in moeilijkheid kan iemand a en b goed hebben en dan de rest
fout maar niet c bijvoorbeeld fout en dan d wel weer goed
o Bij vaardigheid: een correct antwoord wordt gegeven als de vaardigheid van
de persoon groter is dan de moeilijkheid van het item
- Voorspelling
o Gezamenlijke ordening
o Scalogram: na sorteren ontstaan een driehoek van 1-en -> positieve
correlaties tussen items
- In het voorbeeld hiernaast was angst links schaalbaar en rechts
niet schaalbaar
- Samenvatting Guttman-schaal
o Testgedrag is schaalbaar als de datamatrix een scalogram-
structuur heeft
o Dit is toetsbaar
o Wel een mooi model, maar te simpel, werkt in praktijk
nooit perfect, je gaat er namelijk uit dat iemand iets onder zijn niveau altijd
perfect zal maken
Deterministisch meten
Andere weergave van Guttmanschaal
Probabilistisch meten
- Unidimensioneel: elke persoon
wordt gekenmerkt door een
schaalwaarde op de latente
trek
- Monotoon: de kans (kan ook tussen 0 en 1 zitten) op een positief
antwoord neemt toe met de schaalwaarde
Meetmodellen
Normen
- Gaat om vaststellen van grensscores en labels
- Bijvoorbeeld, vanaf welke score spreek je van
dyslexie?
