Psychometrie en constructie van psychodiagnostische
instrumenten
DEEL 1
Hoofdstuk 1: itemconstructie
Introductie
Wat is psychometrie?
NIET zoals in het woordenboek WEL
• Onderdeel van helderziendheid, zien van • Theorie en techniek van psychologische en
gebeurtenissen uit verleden door aanraken pedagogische meting (van kennis,
object/portret vaardigheden, houdingen en PH
• Synoniem van psychoscopie kenmerken)
• Methodologie van de psychodiagnostiek
Conceptueel idee: op basis van observatie van antwoorden van personen op een reeks items (datamatrix)
iets zeggen over het latent/onderliggend niveau (persoonseigenschap)
• Hierbij gebruiken we 3 belangrijke psychometrische modellen
o Klassieke testtheorie (KTT)
o Factoranalyse
o Itemresponstheorie (IRT)
• Basiskader psychologie: gedrag = functie van persoon en situatie
o Toegepast op psychometrie
▪ Items = situaties
▪ Antwoorden = (observeerbaar) gedrag
▪ Niet-observeerbare psychologische eigenschap = persoon
− Prestatieniveau (verschillen individuen in het bereikte niveau?)
− Gedragswijze (meet niet hoe goed iemand is, maar hoe iemand reageert)
→ Hierover willen we iets kunnen zeggen (obv antwoorden op items de niet-
observeerbare psychologische eigenschap proberen afleiden)
o Van een gevraagde activiteit (S) bekomen we de vorm van het antwoord (G) dewelke we
gaan kwantificeren (individuele verschillen in positie op bepaalde PH dimensie)
Persoon Situatie (gevraagde Gedrag (vorm van
(eigenschap) activiteit) het antwoord)
Prestatieniveau Intelligentie Bv.: (reken)vraagstukken Accuraatheid,
snelheid
Gedragswijze Introversie Uitspraken/stellingen Zelfrapportering,
voorkeur
1
,Van de respondent gevraagde activiteit
Er zijn verschillende gevraagde activiteiten (situatie) waarbij de
ene meer/minder geschikt is voor prestatieniveau of gedragswijze
Theoretische opdrachten → vooral voor prestatieniveau
• Voorbeelden: ‘los op: doolhof, rekenvraagstuk,
theoretisch verkeersprobleem, …’
• Meten van
o Cognitieve capaciteiten
▪ Eerder aangeboren
▪ Intelligentie, geheugenspan, ruimtelijk inzicht, …
o Cognitieve vaardigheden
▪ Eerder aangeleerd
▪ Taal- en rekenvaardigheid, theorie rijbewijs, …
• Scoring: antwoorden worden gescoord op juistheid
Stellingen → vooral voor gedragswijze
• Uitspraak x waarmee men kan instemmen of afwijzen (in gradatie of dichotoom)
o Eens/Oneens
o Akkoord x x x x x Niet akkoord
• Meten van persoonlijkheidstrekken, attitudes en voorkeuren
• Scoring van antwoorden conform positie op antwoordschaal
Vragen → vooral voor gedragswijze
• Voorbeelden: ‘op welke partij zou u stemmen?’, ‘hoe pakt u dit probleem doorgaans aan?’ (open
vragen)
• Meten van opinies, houdingen en voorkeuren
2
, • Scoring van antwoorden conform bepaald standpunt
o Antwoorden zijn hier niet goed of fout, maar geven een standpunt of een houding aan
o Bv.: iemand die eerder links of rechts politiek georiënteerd is
Praktijkproeven → voor zowel prestatieniveau als gedragswijze
Conform GPS-definitie: dat wat proefpersoon doet, verwijst naar wat we willen meten/weten
• Voorbeelden: praktijkexamen, vliegsimulator, spelsituatie, rollenspel
o Bv.: praktijkexamen: rijvaardigheden bepalen
o Bv.: simulator om treinverkeer van en naar Utrecht te regelen voor iemand die solliciteert
voor verkeersleider
• Meten van capaciteiten, vaardigheden, persoonlijkheidseigenschappen
• Scoring antwoorden: verschillende mogelijkheden
o Juistheid, adequaatheid, snelheid
o Interpretatie van reactiewijze
Andere projectieve technieken, …
Itemvormen
VORM WAARIN ANTWOORD WORDT GEGEVEN: OPEN EN GESLOTEN VRAAGVORMEN
Open vraagvorm Gesloten vraagvorm
= respondent bepaalt zelf hoe hij/zij reageert = respondent kiest uit beperkt aantal door
(antwoord, handeling) testconstructeur geformuleerde reacties (reacties
en bijhorende scores staan vooraf vast)
Voorbeelden Voorbeelden (geprecodeerde vraagvorm)
• Prestatieniveautest: essayvorm • Prestatieniveautest: meerkeuzevraag
• Test voor gedragswijze: rollenspel • Test voor gedragswijze: antwoordschaal
Prestatieniveautests (Cf. examens)
Open vraagvorm • Ook aandacht hebben voor formuleren van vragen en ontwerpen van
scoringswijzer (sleutel)
• Interbeoordelaarsbetrouwbaarheid: correlatie bij oordelen van twee
beoordelaars niet altijd hoog
• Hogere cognitieve vaardigheden gemeten (begrip, inzicht, creativiteit)?
o Is dit face validity of ook echt empirisch onderbouwd?
o Wordt echter vaak gezegd dat ‘examens met open vragen meer de
creativiteit en het inzicht van de student meten’ (ipv enkel
herkenning en kennis)
Meerkeuzevraag • Uitvoerig vooronderzoek: bedenken van goede vragen en afleiders, goed
inschatten van moeilijkheidsgraad
o Kost tijd!
• Raden/gokken mogelijk: op basis van gokken kan men ook juist antwoord
geven (nadeel)
o Oplossing: meer afleiders? Lagere kans op juist gokken, maar
moeilijk om goede afleiders te vinden (studenten kunnen
alternatieven snel uitsluiten, en twijfelen vaak slechts tussen twee)
o Oplossing: andere instructies
3
, ▪ Bv.: kies 2 uit de 6 alternatieven
▪ Bv.: duid aan welke antwoorden zeker fout zijn
o Oplossing: correctie voor raden
• Objectieve scoring = groot voordeel
• Eenvoudige cognitieve vaardigheden (enkel kennis en herkenning)?
o Empirisch onderzoek bewijst tegendeel, voorwaarde: goede
itemconstructie
o MKV vaak betere predictor omwille van lagere betrouwbaarheid
open vragen
Tests voor gedragswijze, een voorbeeld (bv.: meten van introversie)
Open vraagvorm Voorbeeld
• Vraag: hoe gedraagt u zich in gezelschappen? Bent u veel aan het woord
of juist niet?
• Antwoord: ik ga ervan uit dat vooral vergaderingen en dergelijke worden
bedoeld. Ik probeer juist goed op te letten wat er gezegd wordt. Ik denk
ook dat dit belangrijker is dan steeds zelf aan het woord te willen zijn.
Respondent
• Interpretatie vraag: kan differentieel geïnterpreteerd worden (bv.: het
gaat enkel over vergaderingen, of over sociaal leven, …)
• Relevantie antwoord: antwoord je volgens ‘hoe het zou moeten’ of over
hoe je het feitelijk doet?
Gesloten vraagvorm Voorbeeld: ‘ik ben in gezelschappen maar weinig aan het woord’ met
antwoordschaal die gaat van ‘van toepassing’ tot ‘niet van toepassing’
Respondent
• Vraag is in principe duidelijk
• Relevantie van antwoord!
Tests voor gedragswijze
Open vraagvorm Gesloten vraagvorm
• Nood aan categorisatie antwoorden: • Snelle en objectieve verwerking mogelijk
categorisatiesysteem + • Doorgaans duidelijkere vragen
interbeoordelaarsbetrouwbaarheid nagaan o Dilemma: specifieke of algemene
• Duidelijkheid van de vragen? beschrijvingen?
o Begrijpt cliënt de vraag goed en ▪ Te algemeen: risico
heeft die dit überhaupt door? onduidelijkheid,
(interpretatie) dubbelzinnig
o Relevantie antwoord ▪ Te specifiek: niet altijd
• Capaciteit van respondent: productieve relevant voor respondent,
taalvaardigheid (toetsen hoe goed mensen score mogelijk (te)
het kunnen verwoorden) afhankelijk van concrete
• Beperkter aantal vragen items (bv.: je bent eigenlijk
wel extravert, maar in
gesprek met allemaal
rechtenstudenten ben je
4
instrumenten
DEEL 1
Hoofdstuk 1: itemconstructie
Introductie
Wat is psychometrie?
NIET zoals in het woordenboek WEL
• Onderdeel van helderziendheid, zien van • Theorie en techniek van psychologische en
gebeurtenissen uit verleden door aanraken pedagogische meting (van kennis,
object/portret vaardigheden, houdingen en PH
• Synoniem van psychoscopie kenmerken)
• Methodologie van de psychodiagnostiek
Conceptueel idee: op basis van observatie van antwoorden van personen op een reeks items (datamatrix)
iets zeggen over het latent/onderliggend niveau (persoonseigenschap)
• Hierbij gebruiken we 3 belangrijke psychometrische modellen
o Klassieke testtheorie (KTT)
o Factoranalyse
o Itemresponstheorie (IRT)
• Basiskader psychologie: gedrag = functie van persoon en situatie
o Toegepast op psychometrie
▪ Items = situaties
▪ Antwoorden = (observeerbaar) gedrag
▪ Niet-observeerbare psychologische eigenschap = persoon
− Prestatieniveau (verschillen individuen in het bereikte niveau?)
− Gedragswijze (meet niet hoe goed iemand is, maar hoe iemand reageert)
→ Hierover willen we iets kunnen zeggen (obv antwoorden op items de niet-
observeerbare psychologische eigenschap proberen afleiden)
o Van een gevraagde activiteit (S) bekomen we de vorm van het antwoord (G) dewelke we
gaan kwantificeren (individuele verschillen in positie op bepaalde PH dimensie)
Persoon Situatie (gevraagde Gedrag (vorm van
(eigenschap) activiteit) het antwoord)
Prestatieniveau Intelligentie Bv.: (reken)vraagstukken Accuraatheid,
snelheid
Gedragswijze Introversie Uitspraken/stellingen Zelfrapportering,
voorkeur
1
,Van de respondent gevraagde activiteit
Er zijn verschillende gevraagde activiteiten (situatie) waarbij de
ene meer/minder geschikt is voor prestatieniveau of gedragswijze
Theoretische opdrachten → vooral voor prestatieniveau
• Voorbeelden: ‘los op: doolhof, rekenvraagstuk,
theoretisch verkeersprobleem, …’
• Meten van
o Cognitieve capaciteiten
▪ Eerder aangeboren
▪ Intelligentie, geheugenspan, ruimtelijk inzicht, …
o Cognitieve vaardigheden
▪ Eerder aangeleerd
▪ Taal- en rekenvaardigheid, theorie rijbewijs, …
• Scoring: antwoorden worden gescoord op juistheid
Stellingen → vooral voor gedragswijze
• Uitspraak x waarmee men kan instemmen of afwijzen (in gradatie of dichotoom)
o Eens/Oneens
o Akkoord x x x x x Niet akkoord
• Meten van persoonlijkheidstrekken, attitudes en voorkeuren
• Scoring van antwoorden conform positie op antwoordschaal
Vragen → vooral voor gedragswijze
• Voorbeelden: ‘op welke partij zou u stemmen?’, ‘hoe pakt u dit probleem doorgaans aan?’ (open
vragen)
• Meten van opinies, houdingen en voorkeuren
2
, • Scoring van antwoorden conform bepaald standpunt
o Antwoorden zijn hier niet goed of fout, maar geven een standpunt of een houding aan
o Bv.: iemand die eerder links of rechts politiek georiënteerd is
Praktijkproeven → voor zowel prestatieniveau als gedragswijze
Conform GPS-definitie: dat wat proefpersoon doet, verwijst naar wat we willen meten/weten
• Voorbeelden: praktijkexamen, vliegsimulator, spelsituatie, rollenspel
o Bv.: praktijkexamen: rijvaardigheden bepalen
o Bv.: simulator om treinverkeer van en naar Utrecht te regelen voor iemand die solliciteert
voor verkeersleider
• Meten van capaciteiten, vaardigheden, persoonlijkheidseigenschappen
• Scoring antwoorden: verschillende mogelijkheden
o Juistheid, adequaatheid, snelheid
o Interpretatie van reactiewijze
Andere projectieve technieken, …
Itemvormen
VORM WAARIN ANTWOORD WORDT GEGEVEN: OPEN EN GESLOTEN VRAAGVORMEN
Open vraagvorm Gesloten vraagvorm
= respondent bepaalt zelf hoe hij/zij reageert = respondent kiest uit beperkt aantal door
(antwoord, handeling) testconstructeur geformuleerde reacties (reacties
en bijhorende scores staan vooraf vast)
Voorbeelden Voorbeelden (geprecodeerde vraagvorm)
• Prestatieniveautest: essayvorm • Prestatieniveautest: meerkeuzevraag
• Test voor gedragswijze: rollenspel • Test voor gedragswijze: antwoordschaal
Prestatieniveautests (Cf. examens)
Open vraagvorm • Ook aandacht hebben voor formuleren van vragen en ontwerpen van
scoringswijzer (sleutel)
• Interbeoordelaarsbetrouwbaarheid: correlatie bij oordelen van twee
beoordelaars niet altijd hoog
• Hogere cognitieve vaardigheden gemeten (begrip, inzicht, creativiteit)?
o Is dit face validity of ook echt empirisch onderbouwd?
o Wordt echter vaak gezegd dat ‘examens met open vragen meer de
creativiteit en het inzicht van de student meten’ (ipv enkel
herkenning en kennis)
Meerkeuzevraag • Uitvoerig vooronderzoek: bedenken van goede vragen en afleiders, goed
inschatten van moeilijkheidsgraad
o Kost tijd!
• Raden/gokken mogelijk: op basis van gokken kan men ook juist antwoord
geven (nadeel)
o Oplossing: meer afleiders? Lagere kans op juist gokken, maar
moeilijk om goede afleiders te vinden (studenten kunnen
alternatieven snel uitsluiten, en twijfelen vaak slechts tussen twee)
o Oplossing: andere instructies
3
, ▪ Bv.: kies 2 uit de 6 alternatieven
▪ Bv.: duid aan welke antwoorden zeker fout zijn
o Oplossing: correctie voor raden
• Objectieve scoring = groot voordeel
• Eenvoudige cognitieve vaardigheden (enkel kennis en herkenning)?
o Empirisch onderzoek bewijst tegendeel, voorwaarde: goede
itemconstructie
o MKV vaak betere predictor omwille van lagere betrouwbaarheid
open vragen
Tests voor gedragswijze, een voorbeeld (bv.: meten van introversie)
Open vraagvorm Voorbeeld
• Vraag: hoe gedraagt u zich in gezelschappen? Bent u veel aan het woord
of juist niet?
• Antwoord: ik ga ervan uit dat vooral vergaderingen en dergelijke worden
bedoeld. Ik probeer juist goed op te letten wat er gezegd wordt. Ik denk
ook dat dit belangrijker is dan steeds zelf aan het woord te willen zijn.
Respondent
• Interpretatie vraag: kan differentieel geïnterpreteerd worden (bv.: het
gaat enkel over vergaderingen, of over sociaal leven, …)
• Relevantie antwoord: antwoord je volgens ‘hoe het zou moeten’ of over
hoe je het feitelijk doet?
Gesloten vraagvorm Voorbeeld: ‘ik ben in gezelschappen maar weinig aan het woord’ met
antwoordschaal die gaat van ‘van toepassing’ tot ‘niet van toepassing’
Respondent
• Vraag is in principe duidelijk
• Relevantie van antwoord!
Tests voor gedragswijze
Open vraagvorm Gesloten vraagvorm
• Nood aan categorisatie antwoorden: • Snelle en objectieve verwerking mogelijk
categorisatiesysteem + • Doorgaans duidelijkere vragen
interbeoordelaarsbetrouwbaarheid nagaan o Dilemma: specifieke of algemene
• Duidelijkheid van de vragen? beschrijvingen?
o Begrijpt cliënt de vraag goed en ▪ Te algemeen: risico
heeft die dit überhaupt door? onduidelijkheid,
(interpretatie) dubbelzinnig
o Relevantie antwoord ▪ Te specifiek: niet altijd
• Capaciteit van respondent: productieve relevant voor respondent,
taalvaardigheid (toetsen hoe goed mensen score mogelijk (te)
het kunnen verwoorden) afhankelijk van concrete
• Beperkter aantal vragen items (bv.: je bent eigenlijk
wel extravert, maar in
gesprek met allemaal
rechtenstudenten ben je
4
