PSYCHOMETRIE EN CONSTRUCTIE VAN
PSYCHODIAGNOSTISCHE INSTRUMENTEN
LES 1: INLEIDING + ITEMCONSTRUCTIE
PSYCHOMETRIE
Definitie:
Psychometrie houdt zich bezig met de theorie en de techniek van pedagogische en psychologische meting, met
name het meten van kennis, vaardigheden, houdingen en persoonlijkheidskenmerken
Basisschema:
Items zijn de
bouwstenen van test en
vragenlijsten
Basiskader psychologie / psychometrie: Gedrag is functie van een psychologische eigenschap en situaties
1
,ITEMCONSTRUCTIE
VAN DE RESPONDENT GEVRAAGDE ACTIVITEIT
Theoretische opdrachten:
- Voorbeelden: doolhof, rekenvraagstuk, verkeersprobleem (theorie), met blokken figuur namaken, …
- Meten van
o Cognitieve capaciteiten (eerder aangeboren) vb. intelligentie, geheugen, ruimtelijk inzicht
o Cognitieve vaardigheden (eerder aangeleerd) vb. taal- en rekenvaardigheid
- De antwoorden worden gescoord op juisthuid (juist vs. fout)
Stellingen:
- Voorbeelden: uitspraak x en gradatie van instemming
o Eens vs. oneens
o Akkoord • • • • • Niet-akkoord
- Meten van persoonlijkheidstrekken, opinies, attitudes en voorkeuren
- Scoring van de antwoorden ~ schaalpositie: de positie van het antwoord op de antwoordschaal
correspondeert met de positie op het achterliggende/latente kenmerk
Vragen:
- Voorbeelden: ‘Op welke partij zou u stemmen?’, ‘Hoe pakt u dit probleem doorgaans aan?’
- Meten van opinies, attitudes en voorkeuren
- De antwoorden geven een standpunt of een houding aan
Praktijkproeven:
- Voorbeelden: praktijkexamen rijbewijs, vliegsimulator, spelsituatie, rollenspel
- Meten vann capaciteiten, vaardigheden en persoonlijkheidseigenschappen
- Scoring van de antwoorden: juistheid, adequaatheid, interpretatie van reactiewijze
Niet zwart-wit: sommige
activiteiten worden meer
gebruikt bij prestatieniveau,
maar kunnen ook voor
gedragswijze gebruikt worden
(en omgekeerd) → grijze zone
vb. projectietests
2
, VORM WAARIN HET ANTWOORD WERD GEGEVEN
Open vs. gesloten vragen
- Open
o Respondent bepaalt zelf hoe hij/zij reageert (antwoord/handeling)
o Ruimte voor interpretatie, kan ertoe leiden dat het gegeven antwoord niet relevant is
o Voorbeelden
▪ Prestatieniveau: essayvorm
▪ Gedragswijze: rollenspel
- Gesloten
o Respondent kiest uit beperkt aantal door testconstructeur geformuleerde reacties
o De vraag is in principe duidelijk (minder interpretatie), waardoor het antwoord relevant is
o Voorbeelden
▪ Prestatieniveau: meerkeuzevraag
▪ Gedragswijze: antwoordschaal
Prestatieniveautests (voordelen en nadelen van elke vraagvorm)
Open vraagvorm Meerkeuzevraag (gesloten vraagvorm)
Ook veel aandacht nodig voor het formuleren van de Uitvoerig vooronderzoek:
vragen + ontwerpen van een scoringswijzer - Bedenken van de vragen en afleiders (= de
foute antwoordalternatieven)
- Inschatten van de moeilijkheidsgraad
/ Raden tegengaan
- Meer afleiders?
- Andere instructies (vb. Kies 2 uit 6
alternatieven)
- Correctie voor raden
Interbeoordelaarsbetrouwbaarheid niet altijd hoog Objectieve scoring
(subjectieve scoring)
Open vragen voor het meten van hogere cognitieve Kunnen gesloten vragen enkel eenvoudige
vaardigheden (begrip, inzicht, creativiteit, …)? cognitieve vaardigheden (kennis, herkenning)
- Ook empirisch onderbouwd?? meten?
- Mogelijkheid tot meten van hogere functies - Empirisch onderzoek bewijst het tegendeel,
via open vragen niet overschatten!! mits goede itemconstructie
o Onbetrouwbaarheid van de - Meerkeuzevragen zijn vaak betere
beoordeling predictoren dan open vragen
o Subjectief fantaseren bij → gesloten vragen kunnen dus ook hogere
interpretatie van de antwoorden cognitieve vaardigheden meten
➔ keuze voor open of gesloten vraag hangt af van de situatie: het is niet zo dat de ene type vraag altijd beter
werkt wanneer zus en de andere type vraagt altijd beter is wanneer zo
Tests voor gedragswijze:
Open vraagvorm Gesloten vraagvorm
onderzoeker
Categorisatie van atwoorden Snelle en objectieve verwerking
- Categorisatiesysteem
- interbeoordelaarsbetrouwbaarheid
3
, Duidelijkheid vragen? Duidelijke vragen
- Begrijpen vraag (interpretatie) → Dilemma: specifieke of algemene vragen?*
- Relevantie van het antwoord - Algemeen: mogelijk onduidelijk en laat
meer ruimte voor interpretatie
- Specifiek: score mogelijk afhankelijk van
Respondent
concrete items en daardoor niet relevant
voor de algemene uitspraken die je wil
doen (wel minder ruimte voor interpretatie)
Productieve (taal)vaardigheid: gedachten op papier /
kunnen zetten, taalbeheersing, duidelijk handschrift
Beperkter aantal vragen Meer vragen mogelijk
→ meer informatie en dus doorgaans hogere
betrouwbaarheid en (inhouds)validiteit
* Omschrijvingen: algemeen vs. specifiek
- Algemeen
+ brede waaier van gedragingen en situaties
- antwoord o.b.v. specifieke informatie & inferentie (= je denkt aan een specifiek geval in het
geheugen om een algemene vraag te beantwoorden)
→ mogelijks daling in reponse-consistentie?
- Specifiek
- Specifieke set van gedragingen of situaties
→ toevalsfout op elk(e) specifieke gedrag/situatie
o Voor die specifieke situatie wijkt iemand misschien net af van
zijn ‘gemiddelde’ gedrag
o Cfr. Populatiegemiddelde proberen te schatten o.b.v.
steekproefgemiddelde
→ veralgemeennbaarheid beperkt
+ hogere betrouwbaarheid (specifieke informatie uit het geheugen)
Overzicht:
4
PSYCHODIAGNOSTISCHE INSTRUMENTEN
LES 1: INLEIDING + ITEMCONSTRUCTIE
PSYCHOMETRIE
Definitie:
Psychometrie houdt zich bezig met de theorie en de techniek van pedagogische en psychologische meting, met
name het meten van kennis, vaardigheden, houdingen en persoonlijkheidskenmerken
Basisschema:
Items zijn de
bouwstenen van test en
vragenlijsten
Basiskader psychologie / psychometrie: Gedrag is functie van een psychologische eigenschap en situaties
1
,ITEMCONSTRUCTIE
VAN DE RESPONDENT GEVRAAGDE ACTIVITEIT
Theoretische opdrachten:
- Voorbeelden: doolhof, rekenvraagstuk, verkeersprobleem (theorie), met blokken figuur namaken, …
- Meten van
o Cognitieve capaciteiten (eerder aangeboren) vb. intelligentie, geheugen, ruimtelijk inzicht
o Cognitieve vaardigheden (eerder aangeleerd) vb. taal- en rekenvaardigheid
- De antwoorden worden gescoord op juisthuid (juist vs. fout)
Stellingen:
- Voorbeelden: uitspraak x en gradatie van instemming
o Eens vs. oneens
o Akkoord • • • • • Niet-akkoord
- Meten van persoonlijkheidstrekken, opinies, attitudes en voorkeuren
- Scoring van de antwoorden ~ schaalpositie: de positie van het antwoord op de antwoordschaal
correspondeert met de positie op het achterliggende/latente kenmerk
Vragen:
- Voorbeelden: ‘Op welke partij zou u stemmen?’, ‘Hoe pakt u dit probleem doorgaans aan?’
- Meten van opinies, attitudes en voorkeuren
- De antwoorden geven een standpunt of een houding aan
Praktijkproeven:
- Voorbeelden: praktijkexamen rijbewijs, vliegsimulator, spelsituatie, rollenspel
- Meten vann capaciteiten, vaardigheden en persoonlijkheidseigenschappen
- Scoring van de antwoorden: juistheid, adequaatheid, interpretatie van reactiewijze
Niet zwart-wit: sommige
activiteiten worden meer
gebruikt bij prestatieniveau,
maar kunnen ook voor
gedragswijze gebruikt worden
(en omgekeerd) → grijze zone
vb. projectietests
2
, VORM WAARIN HET ANTWOORD WERD GEGEVEN
Open vs. gesloten vragen
- Open
o Respondent bepaalt zelf hoe hij/zij reageert (antwoord/handeling)
o Ruimte voor interpretatie, kan ertoe leiden dat het gegeven antwoord niet relevant is
o Voorbeelden
▪ Prestatieniveau: essayvorm
▪ Gedragswijze: rollenspel
- Gesloten
o Respondent kiest uit beperkt aantal door testconstructeur geformuleerde reacties
o De vraag is in principe duidelijk (minder interpretatie), waardoor het antwoord relevant is
o Voorbeelden
▪ Prestatieniveau: meerkeuzevraag
▪ Gedragswijze: antwoordschaal
Prestatieniveautests (voordelen en nadelen van elke vraagvorm)
Open vraagvorm Meerkeuzevraag (gesloten vraagvorm)
Ook veel aandacht nodig voor het formuleren van de Uitvoerig vooronderzoek:
vragen + ontwerpen van een scoringswijzer - Bedenken van de vragen en afleiders (= de
foute antwoordalternatieven)
- Inschatten van de moeilijkheidsgraad
/ Raden tegengaan
- Meer afleiders?
- Andere instructies (vb. Kies 2 uit 6
alternatieven)
- Correctie voor raden
Interbeoordelaarsbetrouwbaarheid niet altijd hoog Objectieve scoring
(subjectieve scoring)
Open vragen voor het meten van hogere cognitieve Kunnen gesloten vragen enkel eenvoudige
vaardigheden (begrip, inzicht, creativiteit, …)? cognitieve vaardigheden (kennis, herkenning)
- Ook empirisch onderbouwd?? meten?
- Mogelijkheid tot meten van hogere functies - Empirisch onderzoek bewijst het tegendeel,
via open vragen niet overschatten!! mits goede itemconstructie
o Onbetrouwbaarheid van de - Meerkeuzevragen zijn vaak betere
beoordeling predictoren dan open vragen
o Subjectief fantaseren bij → gesloten vragen kunnen dus ook hogere
interpretatie van de antwoorden cognitieve vaardigheden meten
➔ keuze voor open of gesloten vraag hangt af van de situatie: het is niet zo dat de ene type vraag altijd beter
werkt wanneer zus en de andere type vraagt altijd beter is wanneer zo
Tests voor gedragswijze:
Open vraagvorm Gesloten vraagvorm
onderzoeker
Categorisatie van atwoorden Snelle en objectieve verwerking
- Categorisatiesysteem
- interbeoordelaarsbetrouwbaarheid
3
, Duidelijkheid vragen? Duidelijke vragen
- Begrijpen vraag (interpretatie) → Dilemma: specifieke of algemene vragen?*
- Relevantie van het antwoord - Algemeen: mogelijk onduidelijk en laat
meer ruimte voor interpretatie
- Specifiek: score mogelijk afhankelijk van
Respondent
concrete items en daardoor niet relevant
voor de algemene uitspraken die je wil
doen (wel minder ruimte voor interpretatie)
Productieve (taal)vaardigheid: gedachten op papier /
kunnen zetten, taalbeheersing, duidelijk handschrift
Beperkter aantal vragen Meer vragen mogelijk
→ meer informatie en dus doorgaans hogere
betrouwbaarheid en (inhouds)validiteit
* Omschrijvingen: algemeen vs. specifiek
- Algemeen
+ brede waaier van gedragingen en situaties
- antwoord o.b.v. specifieke informatie & inferentie (= je denkt aan een specifiek geval in het
geheugen om een algemene vraag te beantwoorden)
→ mogelijks daling in reponse-consistentie?
- Specifiek
- Specifieke set van gedragingen of situaties
→ toevalsfout op elk(e) specifieke gedrag/situatie
o Voor die specifieke situatie wijkt iemand misschien net af van
zijn ‘gemiddelde’ gedrag
o Cfr. Populatiegemiddelde proberen te schatten o.b.v.
steekproefgemiddelde
→ veralgemeennbaarheid beperkt
+ hogere betrouwbaarheid (specifieke informatie uit het geheugen)
Overzicht:
4
