Psychometrie
Hoorcollege 1
Meten vs. Classificatie
Classificatie is gebaseerd op een indeling die niet ter discussie staat geen inzicht over de
empirie, enkel het feit dat je symbolen of labels hebt zonder meting.
o Ram, Stier, …
o Schizofreen, psychotisch, …
Meten is gebaseerd op een toetsbare theorie (bijv. Ampère meter) is voor discussie
vatbaar, kan veranderd worden.
o Concepten kunnen veranderen n.a.v. data
o Bijv. Rekentoets taal, wiskunde, rekenen. Je moet ook onderzoeken waaruit de
rekentoets bestaat.
Cyclus nodig
Je hebt een cyclus nodig van een paar jaar voordat een test klaar is.
Onderwerp kiezen: je wilt een aspect van een onderwerp definiëren. In de literatuur moet
gekeken worden wat er al bekend is.
Items kiezen om bijvoorbeeld commitment te meten. Je gaat de vragenlijst afnamen, de date
cleanen en dan de betrouwbaarheid en variantie etc. uitrekenen.
Factor analyse meten de items wat we willen meten?
COTAN Beoordelingssysteem
Blauw: Geen data nodig.
Rood: Data vaak afwezig.
Oranje: Moeilijk om data goed te verzamelen omdat representativiteit nodig is.
,Basisregel bij beoordelen validiteit en betrouwbaarheid
Het is pas goed als is aangetoond dat het goed is
Een goed op betrouwbaarheid betekent dat de betrouwbaarheid goed onderzocht is EN dat
de conclusie uit dat onderzoek was dat de betrouwbaarheid goed was
Een onvoldoende op betrouwbaarheid betekent dat de betrouwbaarheid onvoldoende
onderzocht is EN / OF dat hij onderzocht is en dat de conclusie daaruit was dat de
betrouwbaarheid onvoldoende was
Analoog met validiteit Vooral voor constructvaliditeit (dus hoeveel bewijsmateriaal je
hebt). Als er niks is onderzocht, is deze per definitie slecht. Als er meer onderzoek naar
gedaan wordt, kan er iets heel anders komen uit de test. Het gaat niet alleen om de test,
maar ook om de hoeveelheid onderzoek die gedaan is.
Begripsvaliditeit: belangrijkste vorm van validiteit
• Constructvaliditeit
• Theoretische interpreteerbaarheid Waarom is een weegschaal constructvalide? Omdat
we begrijpen wat die meet. We begrijpen dat, omdat we een theorie hebben over gewicht en
over hoe dat werkt.
• Begrijpen we wat er wordt gemeten?
• Komen de theoretisch verwachtingen uit? Dus bv. als je op de weegschaal zit, dan wordt
het gewicht groter als je er met twee op gaat zitten.
Begripsvaliditeit: Extern vs intern
Extern: relaties met andere variabelen met anderen tests
o Zie colleges 6
o Door bv. correlaties met andere testen. Stel je maakt een intelligentietest, dan neem
je ook een andere test af waarbij je een hoge correlatie verwacht.
• Intern: relaties tussen items
o Colleges 1, 2, 3, 5
o Factorstructuur Kunnen we binnen de test de items vinden die meer met elkaar
clusteren (= dimensies)? Of meten alle items hetzelfde?
Hangen de items van dezelfde test meer met elkaar samen dan items van
verschillende tests?
Zijn er binnen een test geen verdere clusters van items te ontdekken?
o Unidimensionaliteit Als er maar één cluster is.
Meten de items hetzelfde?
o Analyses hiervoor
Klassiek: Factoranalyse (college 2, 3)
Modern: Item response theory (college 5)
NB: Met een test met vijf dimensies wordt bedoeld dat elke persoon vijf getallen heeft, dus op vijf
dingen getest wordt. Hier kom je achter door de factorstructuur te onderzoeken.
Factoranalyse is niet de beste manier, irt is beter. Dit wordt het vaakst gebruikt. De factoranalyse is
eerst ontdekt en deze is dus het meest gebruikt. Mensen willen toch liever factoranalyse gebruiken,
omdat dit gemakkelijker is en iedereen dit snapt.
,Begripsvaliditeit: Unidimensionaliteit
Schaalbaarheid wordt dus empirisch onderzocht i.p.v. beredeneerd / bekritiseerd met
algemeenheden.
Er wordt begonnen met een model met numerieke weergave: we denken dat deze
eigenschap van personen numeriek is (je kan er meer/minder van hebben) en dit kan
gemeten worden.
Hier volgen voorspellingen uit, bv: deze items moeten positief met elkaar correleren (ze
meten hetzelfde).
Als het model schaalbaar is, dan is het dus uni dimensioneel.
Als het model niet schaalbaar is, moeten er of meer dimensies komen of de test moet
worden aangepast zodat hij nog maar één dimensie heeft.
Begripsvaliditeit: Unidimensionaliteit
Klassiek voorbeeld: Guttman-schaal
Data
o Matrix van personen x items
o In elke cel 0 (nee / fout) of 1 (ja / correct) je krijgt een datamatrix van nullen en
enen
Model
o Items en personen zijn gezamenlijk te ordenen zo dat een persoon het
item met ja / correct beantwoord als hij boven het item is geordend
De items hebben een bepaalde mate van moeilijkheid. De persoon geeft
het goede antwoord op het item, als zijn vaardigheid groter is dan de
moeilijkheid van het item. De test is een soort liniaal, waarbij elk item
een streepje is op de meetlat. De personen worden langs de meetlat
gelegd, en als ze boven een maatstreepje uitkomen dan zijn de items
daaronder “te makkelijk” en die daarboven “te moeilijk”.
o Clou van het verhaal: Iemand die een bepaalde vraag fout heeft, kan niet
een vraag daarboven wel goed hebben. Dus: iemand kan niet c fout
hebben en d wel goed.
Guttman-schaal: Voorbeeld van model
Bij vaardigheid: Een correct antwoord wordt gegeven als de vaardigheid van de persoon
groter is dan de moeilijkheid van het item
Je kan dit opvatten als een lineaal. De items zijn de maatstreepjes op de lineaal.
, Guttman-schaal: voorspelling
Links staan 1en en rechts staan 0en. Want: als je iets goed hebt, heb je dat links ervan ook
goed. Dus: de onderste personen zijn het vaardigst. Dit is een voorspelling van de datamatrix.
De items moeten positief correleren = scologram-structuur.
Angst is minder vanzelfsprekend om te meten. Je suggereert wel dat er meer/minder angst
is, maar er zijn wellicht ook meerdere vormen angst.
Zie linker plaatje: Iedereen die in zijn broek plast, braakt ook. Er is dus niemand die wel in zijn
broek plast maar niet braakt. Anders is het tweedimensionaal.
Samenvatting Guttman-schaal
Testgedrag is schaalbaar als de datamatrix een scalogram-structuur heeft. Dit is toetsbaar.
Als het meetbaar is, zeggen we wat over de werkelijkheid want het wordt onderzocht.
Er wordt ervan uitgegaan dat alles deterministisch is: altijd zal X voorkomen. Maar er komen
wel onzekerheden/toevalligheden bij kijken. In de praktijk werkt de guttman-schaal niet
perfect. 100% van de voorspellingen komen niet uit.
Hoorcollege 1
Meten vs. Classificatie
Classificatie is gebaseerd op een indeling die niet ter discussie staat geen inzicht over de
empirie, enkel het feit dat je symbolen of labels hebt zonder meting.
o Ram, Stier, …
o Schizofreen, psychotisch, …
Meten is gebaseerd op een toetsbare theorie (bijv. Ampère meter) is voor discussie
vatbaar, kan veranderd worden.
o Concepten kunnen veranderen n.a.v. data
o Bijv. Rekentoets taal, wiskunde, rekenen. Je moet ook onderzoeken waaruit de
rekentoets bestaat.
Cyclus nodig
Je hebt een cyclus nodig van een paar jaar voordat een test klaar is.
Onderwerp kiezen: je wilt een aspect van een onderwerp definiëren. In de literatuur moet
gekeken worden wat er al bekend is.
Items kiezen om bijvoorbeeld commitment te meten. Je gaat de vragenlijst afnamen, de date
cleanen en dan de betrouwbaarheid en variantie etc. uitrekenen.
Factor analyse meten de items wat we willen meten?
COTAN Beoordelingssysteem
Blauw: Geen data nodig.
Rood: Data vaak afwezig.
Oranje: Moeilijk om data goed te verzamelen omdat representativiteit nodig is.
,Basisregel bij beoordelen validiteit en betrouwbaarheid
Het is pas goed als is aangetoond dat het goed is
Een goed op betrouwbaarheid betekent dat de betrouwbaarheid goed onderzocht is EN dat
de conclusie uit dat onderzoek was dat de betrouwbaarheid goed was
Een onvoldoende op betrouwbaarheid betekent dat de betrouwbaarheid onvoldoende
onderzocht is EN / OF dat hij onderzocht is en dat de conclusie daaruit was dat de
betrouwbaarheid onvoldoende was
Analoog met validiteit Vooral voor constructvaliditeit (dus hoeveel bewijsmateriaal je
hebt). Als er niks is onderzocht, is deze per definitie slecht. Als er meer onderzoek naar
gedaan wordt, kan er iets heel anders komen uit de test. Het gaat niet alleen om de test,
maar ook om de hoeveelheid onderzoek die gedaan is.
Begripsvaliditeit: belangrijkste vorm van validiteit
• Constructvaliditeit
• Theoretische interpreteerbaarheid Waarom is een weegschaal constructvalide? Omdat
we begrijpen wat die meet. We begrijpen dat, omdat we een theorie hebben over gewicht en
over hoe dat werkt.
• Begrijpen we wat er wordt gemeten?
• Komen de theoretisch verwachtingen uit? Dus bv. als je op de weegschaal zit, dan wordt
het gewicht groter als je er met twee op gaat zitten.
Begripsvaliditeit: Extern vs intern
Extern: relaties met andere variabelen met anderen tests
o Zie colleges 6
o Door bv. correlaties met andere testen. Stel je maakt een intelligentietest, dan neem
je ook een andere test af waarbij je een hoge correlatie verwacht.
• Intern: relaties tussen items
o Colleges 1, 2, 3, 5
o Factorstructuur Kunnen we binnen de test de items vinden die meer met elkaar
clusteren (= dimensies)? Of meten alle items hetzelfde?
Hangen de items van dezelfde test meer met elkaar samen dan items van
verschillende tests?
Zijn er binnen een test geen verdere clusters van items te ontdekken?
o Unidimensionaliteit Als er maar één cluster is.
Meten de items hetzelfde?
o Analyses hiervoor
Klassiek: Factoranalyse (college 2, 3)
Modern: Item response theory (college 5)
NB: Met een test met vijf dimensies wordt bedoeld dat elke persoon vijf getallen heeft, dus op vijf
dingen getest wordt. Hier kom je achter door de factorstructuur te onderzoeken.
Factoranalyse is niet de beste manier, irt is beter. Dit wordt het vaakst gebruikt. De factoranalyse is
eerst ontdekt en deze is dus het meest gebruikt. Mensen willen toch liever factoranalyse gebruiken,
omdat dit gemakkelijker is en iedereen dit snapt.
,Begripsvaliditeit: Unidimensionaliteit
Schaalbaarheid wordt dus empirisch onderzocht i.p.v. beredeneerd / bekritiseerd met
algemeenheden.
Er wordt begonnen met een model met numerieke weergave: we denken dat deze
eigenschap van personen numeriek is (je kan er meer/minder van hebben) en dit kan
gemeten worden.
Hier volgen voorspellingen uit, bv: deze items moeten positief met elkaar correleren (ze
meten hetzelfde).
Als het model schaalbaar is, dan is het dus uni dimensioneel.
Als het model niet schaalbaar is, moeten er of meer dimensies komen of de test moet
worden aangepast zodat hij nog maar één dimensie heeft.
Begripsvaliditeit: Unidimensionaliteit
Klassiek voorbeeld: Guttman-schaal
Data
o Matrix van personen x items
o In elke cel 0 (nee / fout) of 1 (ja / correct) je krijgt een datamatrix van nullen en
enen
Model
o Items en personen zijn gezamenlijk te ordenen zo dat een persoon het
item met ja / correct beantwoord als hij boven het item is geordend
De items hebben een bepaalde mate van moeilijkheid. De persoon geeft
het goede antwoord op het item, als zijn vaardigheid groter is dan de
moeilijkheid van het item. De test is een soort liniaal, waarbij elk item
een streepje is op de meetlat. De personen worden langs de meetlat
gelegd, en als ze boven een maatstreepje uitkomen dan zijn de items
daaronder “te makkelijk” en die daarboven “te moeilijk”.
o Clou van het verhaal: Iemand die een bepaalde vraag fout heeft, kan niet
een vraag daarboven wel goed hebben. Dus: iemand kan niet c fout
hebben en d wel goed.
Guttman-schaal: Voorbeeld van model
Bij vaardigheid: Een correct antwoord wordt gegeven als de vaardigheid van de persoon
groter is dan de moeilijkheid van het item
Je kan dit opvatten als een lineaal. De items zijn de maatstreepjes op de lineaal.
, Guttman-schaal: voorspelling
Links staan 1en en rechts staan 0en. Want: als je iets goed hebt, heb je dat links ervan ook
goed. Dus: de onderste personen zijn het vaardigst. Dit is een voorspelling van de datamatrix.
De items moeten positief correleren = scologram-structuur.
Angst is minder vanzelfsprekend om te meten. Je suggereert wel dat er meer/minder angst
is, maar er zijn wellicht ook meerdere vormen angst.
Zie linker plaatje: Iedereen die in zijn broek plast, braakt ook. Er is dus niemand die wel in zijn
broek plast maar niet braakt. Anders is het tweedimensionaal.
Samenvatting Guttman-schaal
Testgedrag is schaalbaar als de datamatrix een scalogram-structuur heeft. Dit is toetsbaar.
Als het meetbaar is, zeggen we wat over de werkelijkheid want het wordt onderzocht.
Er wordt ervan uitgegaan dat alles deterministisch is: altijd zal X voorkomen. Maar er komen
wel onzekerheden/toevalligheden bij kijken. In de praktijk werkt de guttman-schaal niet
perfect. 100% van de voorspellingen komen niet uit.
