Zie voorbeeldvragen per les !!!
Psychometrie en constructie van psychodiagnostische instrumenten
DEEL 1 (Rianne Janssen)
Les 1: Inleiding en itemconstructie
Inleiding
Niet:
- Een synoniem van psychoscopie (= onderdeel van helderziendheid)
Wel:
- Psychometrie houdt zich bezig met de theorie en de techniek van de pedagogische en
psychologische meting → namelijk met het meten van kennis, vaardigheden, houdingen en
persoonlijkheidskenmerken
- En dus: psychometrie is de methodologie van de psychodiagnostiek
Psychomterie:
- Obv een reeks van antwoorden op items, gaan we iets zeggen over het latente
(onderliggende) niveau van de respondent (= de persoonseigenschap van de respondent)
- Bv. examen, vragenlijst voor depressie, test voor leiderschapsstijlen, …
Psychometrische modellen:
- Klassieke testtheorie (KTT)
- Factoranalyse (FA)
- Itemresponstheorie (IRT)
Hoe verloopt de constructie van psychodiagnostische instrumenten?
1. Item-constructie (= het maken van items)
2. Data-verzameling
3. Psycho-metrische modellering (= KTT, IRT of FA)
4. Validiteit onderzoeken
5. Gebruik tests
We overlopen deze stappen doorheen de lessen
1
,Itemconstructie
GPS-definitie van psychologie
- G = f (P, S)
• G = (observeerbaar) gedrag
• P = niet-observeerbare psychologische eigenschap
• S = situaties
- Definitie: gedrag is functie van persoon en situatie
- Observeerbaar gedrag is functie van niet observeerbare psychologische eigenschappen, maar
die kunnen zich al dan niet observeerbaar tonen ifv de situatie
→ We kunnen dit ook toepassen voor de psychometrie
Psychometrie: een reeks van items (≈ situaties) en de antwoorden (≈ gedrag) hierop
→ hiertussen proberen we een niet-observeerbare psychologische eigenschap af te leiden
obv de antwoorden op de items
Er zijn 2 soorten psychologische eigenschappen:
- Prestatieniveaus
• P: Bv. intelligentie
• S: Soort items dat worden voorgelegd? → bv.: (reken)vraagstukken, …
• G: A , ,…
- Gedragswijzes
• P: Bv.: introversie
• S: Soort items dat worden voorgelegd? → bv.: , ,…
• G: Z , ,…
Wat doen we in deze les? → Itemconstructie:
- We kijken naar wat voor soort activiteiten/items wij aan onze respondenten vragen
→ = de gevraagde activiteit
- We kijken naar de vorm waarin een antwoord kan gegeven worden (bv. open vragen,
, w ë , …)
→ = vorm van het antwoord
- We kwantificeren de antwoorden en kennen codes toe aan het antwoord, om te komen tot
een psychometrisch model voor de niet-observeerbare eigenschappen
→ = kwantificering van het antwoord
1. Van de respondent gevraagde activiteit
4 activiteiten die prestatieniveaus of gedragswijzes in kaart brengen:
Gevraagde activiteit Prestatieniveau Gedragswijze
Theoretische opdrachten X
Stellingen X
Vragen X
Praktijkproeven X X
2
,1) Theoretische opdrachten:
- ‘ ’
- Voorbeelden: ‘Los op: doolhof, rekenvraagstuk, theoretisch verkeersprobleem, …’
- Hiermee meten we:
• Cognitieve capaciteiten
= eerder aangeboren
= bv.: werkgeheugencapaciteit, intelligentie, geheugenspan, ruimtelijk inzicht, …
• Cognitieve vaardigheden
= eerder aangeleerd
= bv.: taal- en rekenvaardigheid, theorie van rijbewijs, …
- Scoring? = we kijken naar de juistheid van de antwoorden
2) Stellingen:
- Uitspraak x en de (gradaties) van instemming van de respondent
- Voorbeelden:
• Eens /oneens (= dichotoom)
• Akkoord Niet-akkoord
- Wordt gebruikt voor het meten van persoonlijkheidstrekken, attitudes, voorkeuren, …
- Scoring? = we kijken naar de positie van je antwoord op de antwoordschaal
(→ w , .‘ ’ 1 ‘ ’ 0)
- M : ‘ w w ’
3) Vragen:
- Voorbeelden: Op welke partij zou u stemmen?, Hoe pakt u dit probleem doorgaans aan?, …
- Wordt gebruikt voor het meten van opinies, houdingen en voorkeuren
- Scoring? antwoorden worden gecodeerd adhv een bepaald standpunt
4) Praktijkproeven
- Voorbeelden: praktijkexamen, vliegsimulator, spelsituatie, rollenspel, …
- Wordt gebruikt voor het meten van capaciteiten, vaardigheden en persoonlijkheidseigenschappen
- Scoring? antwoorden worden bekeken op vlak van juistheid, adequaatheid en interpretatie
van reactiewijze
5) En andere:
- Voorbeeld: interpretatie van inktvlekken, …
- M …
- Scoring w …
2. Vorm waarin het antwoord werd gegeven
2 vormen:
1) Open vraagvorm:
- Respondent bepaalt zelf hoe hij/zij reageert (= antwoord of handeling)
- Voorbeeld:
• Prestatieniveautest: essayvorm
• Test voor gedragswijze: rollenspel
3
, 2) Gesloten vraagvorm:
- Respondent kiest uit een beperkt aantal reacties die geformuleerd worden door de
testconstructeur
- Voorbeeld geprecodeerde vraagvorm:
• Prestatieniveautest: meerkeuzevraag
• Test voor gedragswijze: antwoordschaal
Prestatieniveautests (bv. examen):
Open vragen Meerkeuzevragen
Er is aandacht voor het formuleren van vragen en Uitvoerig vooronderzoek:
het ontwerpen van de scoringswijzer - Bedenken van vragen en afleiders
- Inschatten moeilijkheidsgraad
Interbeoordelaars-betrouwhaarheid (= de correlatie Open vragen kunnen op een minder betrouwbare manier
tss de oordelen van twee beoordelaars) is niet altijd gemeten worden dan meerkeuzevragen
hoog
Meerkeuzevragen = hebben een objectieve scoring
Nadeel: afleiders moeten bedacht worden
(= foute antwoorden in meerkeuzevraag)
→ dus: obv gokken kan je ook een juist antwoord geven
- Daarom bestaat er een correctie voor raden !
- Andere oplossingen?
• Meer afleiders?
= is niet nuttig
= w ‘ ’
niet veel gekozen, het gaat eerder over
een twijfel tss 2 opties
→ dus: een vijfde of zesde afleider
toevoegen zal geen verschil geven
• Andere instructies?
= .‘ j w ’,
‘ 2 6 rnatieven die het meeste
j j ’
= is heel moeilijk
Brengt de hogere cognitieve vaardigheden van de Meet de eenvoudige cognitieve vaardigheden (kennis,
respondent in kaart → namelijk: begrip, inzicht, herkenning)
evaluatie en creativiteit
- Empirisch onderzoek toont aan dat
MAAR: Is dit eerder face validity? Of is het ook meerkeuzevragen niet enkel en alleen te
empirisch onderbouwd? gebruiken zijn voor eenvoudige kennisvragen !
- Vaak zijn meerkeuzevragen betere predictoren
dan open vragen
4
Psychometrie en constructie van psychodiagnostische instrumenten
DEEL 1 (Rianne Janssen)
Les 1: Inleiding en itemconstructie
Inleiding
Niet:
- Een synoniem van psychoscopie (= onderdeel van helderziendheid)
Wel:
- Psychometrie houdt zich bezig met de theorie en de techniek van de pedagogische en
psychologische meting → namelijk met het meten van kennis, vaardigheden, houdingen en
persoonlijkheidskenmerken
- En dus: psychometrie is de methodologie van de psychodiagnostiek
Psychomterie:
- Obv een reeks van antwoorden op items, gaan we iets zeggen over het latente
(onderliggende) niveau van de respondent (= de persoonseigenschap van de respondent)
- Bv. examen, vragenlijst voor depressie, test voor leiderschapsstijlen, …
Psychometrische modellen:
- Klassieke testtheorie (KTT)
- Factoranalyse (FA)
- Itemresponstheorie (IRT)
Hoe verloopt de constructie van psychodiagnostische instrumenten?
1. Item-constructie (= het maken van items)
2. Data-verzameling
3. Psycho-metrische modellering (= KTT, IRT of FA)
4. Validiteit onderzoeken
5. Gebruik tests
We overlopen deze stappen doorheen de lessen
1
,Itemconstructie
GPS-definitie van psychologie
- G = f (P, S)
• G = (observeerbaar) gedrag
• P = niet-observeerbare psychologische eigenschap
• S = situaties
- Definitie: gedrag is functie van persoon en situatie
- Observeerbaar gedrag is functie van niet observeerbare psychologische eigenschappen, maar
die kunnen zich al dan niet observeerbaar tonen ifv de situatie
→ We kunnen dit ook toepassen voor de psychometrie
Psychometrie: een reeks van items (≈ situaties) en de antwoorden (≈ gedrag) hierop
→ hiertussen proberen we een niet-observeerbare psychologische eigenschap af te leiden
obv de antwoorden op de items
Er zijn 2 soorten psychologische eigenschappen:
- Prestatieniveaus
• P: Bv. intelligentie
• S: Soort items dat worden voorgelegd? → bv.: (reken)vraagstukken, …
• G: A , ,…
- Gedragswijzes
• P: Bv.: introversie
• S: Soort items dat worden voorgelegd? → bv.: , ,…
• G: Z , ,…
Wat doen we in deze les? → Itemconstructie:
- We kijken naar wat voor soort activiteiten/items wij aan onze respondenten vragen
→ = de gevraagde activiteit
- We kijken naar de vorm waarin een antwoord kan gegeven worden (bv. open vragen,
, w ë , …)
→ = vorm van het antwoord
- We kwantificeren de antwoorden en kennen codes toe aan het antwoord, om te komen tot
een psychometrisch model voor de niet-observeerbare eigenschappen
→ = kwantificering van het antwoord
1. Van de respondent gevraagde activiteit
4 activiteiten die prestatieniveaus of gedragswijzes in kaart brengen:
Gevraagde activiteit Prestatieniveau Gedragswijze
Theoretische opdrachten X
Stellingen X
Vragen X
Praktijkproeven X X
2
,1) Theoretische opdrachten:
- ‘ ’
- Voorbeelden: ‘Los op: doolhof, rekenvraagstuk, theoretisch verkeersprobleem, …’
- Hiermee meten we:
• Cognitieve capaciteiten
= eerder aangeboren
= bv.: werkgeheugencapaciteit, intelligentie, geheugenspan, ruimtelijk inzicht, …
• Cognitieve vaardigheden
= eerder aangeleerd
= bv.: taal- en rekenvaardigheid, theorie van rijbewijs, …
- Scoring? = we kijken naar de juistheid van de antwoorden
2) Stellingen:
- Uitspraak x en de (gradaties) van instemming van de respondent
- Voorbeelden:
• Eens /oneens (= dichotoom)
• Akkoord Niet-akkoord
- Wordt gebruikt voor het meten van persoonlijkheidstrekken, attitudes, voorkeuren, …
- Scoring? = we kijken naar de positie van je antwoord op de antwoordschaal
(→ w , .‘ ’ 1 ‘ ’ 0)
- M : ‘ w w ’
3) Vragen:
- Voorbeelden: Op welke partij zou u stemmen?, Hoe pakt u dit probleem doorgaans aan?, …
- Wordt gebruikt voor het meten van opinies, houdingen en voorkeuren
- Scoring? antwoorden worden gecodeerd adhv een bepaald standpunt
4) Praktijkproeven
- Voorbeelden: praktijkexamen, vliegsimulator, spelsituatie, rollenspel, …
- Wordt gebruikt voor het meten van capaciteiten, vaardigheden en persoonlijkheidseigenschappen
- Scoring? antwoorden worden bekeken op vlak van juistheid, adequaatheid en interpretatie
van reactiewijze
5) En andere:
- Voorbeeld: interpretatie van inktvlekken, …
- M …
- Scoring w …
2. Vorm waarin het antwoord werd gegeven
2 vormen:
1) Open vraagvorm:
- Respondent bepaalt zelf hoe hij/zij reageert (= antwoord of handeling)
- Voorbeeld:
• Prestatieniveautest: essayvorm
• Test voor gedragswijze: rollenspel
3
, 2) Gesloten vraagvorm:
- Respondent kiest uit een beperkt aantal reacties die geformuleerd worden door de
testconstructeur
- Voorbeeld geprecodeerde vraagvorm:
• Prestatieniveautest: meerkeuzevraag
• Test voor gedragswijze: antwoordschaal
Prestatieniveautests (bv. examen):
Open vragen Meerkeuzevragen
Er is aandacht voor het formuleren van vragen en Uitvoerig vooronderzoek:
het ontwerpen van de scoringswijzer - Bedenken van vragen en afleiders
- Inschatten moeilijkheidsgraad
Interbeoordelaars-betrouwhaarheid (= de correlatie Open vragen kunnen op een minder betrouwbare manier
tss de oordelen van twee beoordelaars) is niet altijd gemeten worden dan meerkeuzevragen
hoog
Meerkeuzevragen = hebben een objectieve scoring
Nadeel: afleiders moeten bedacht worden
(= foute antwoorden in meerkeuzevraag)
→ dus: obv gokken kan je ook een juist antwoord geven
- Daarom bestaat er een correctie voor raden !
- Andere oplossingen?
• Meer afleiders?
= is niet nuttig
= w ‘ ’
niet veel gekozen, het gaat eerder over
een twijfel tss 2 opties
→ dus: een vijfde of zesde afleider
toevoegen zal geen verschil geven
• Andere instructies?
= .‘ j w ’,
‘ 2 6 rnatieven die het meeste
j j ’
= is heel moeilijk
Brengt de hogere cognitieve vaardigheden van de Meet de eenvoudige cognitieve vaardigheden (kennis,
respondent in kaart → namelijk: begrip, inzicht, herkenning)
evaluatie en creativiteit
- Empirisch onderzoek toont aan dat
MAAR: Is dit eerder face validity? Of is het ook meerkeuzevragen niet enkel en alleen te
empirisch onderbouwd? gebruiken zijn voor eenvoudige kennisvragen !
- Vaak zijn meerkeuzevragen betere predictoren
dan open vragen
4
