Psychometrie en constructie van psychodiagnostische testen
DEEL 1
Les 1: Inleiding deel 1 & Itemconstructie
Tekst: HF4 -> zie *
- Psychometrie: theorie en techniek van pedagogische en psychologische meting, met name het meten van kennis,
vaardigheden, houdingen en persoonlijkheidskenmerken
▪ Eig gwn de methodologie van de psychodiagnostiek
- GPS definitie: G = f (P,S)
▪ Gedrag = functie van Psychologische eigenschappen in een Situatie
▪ G = observeerbaar gedrag – antwoorden
▪ P = niet-observeerbare psychologische eigenschappen
▪ S = situaties – items
▪ Niet observeerbare psychologische eigenschap
. Prestatieniveau
P = Intelligentie
S = Rekenvraagstukken
G = Accuraatheid, snelheid
. Gedragswijze
P = Introversie
S = Uitspraken (stellingen)
G = Zelfrapportage, voorkeur
- 1. Gevraagde activiteit = S
- 2. Vorm van het antwoord = G
- 3. Kwantificering van het antwoord
Van de respondent gevraagde activiteit
Theoretische opdrachten Stellingen Vragen Praktijkproeven
Voorbeeld . Doolhof . Uitspraak en gradaties . Op welke partij . Praktijkexamen auto
. Rekenvraagstuk van instemming zou je stemmen? . Vliegsimulator
. Theoretisch ➢ Eens/oneens . Hoe pakt u het . Rollenspel
verkeersprobleem ➢ Mate van probleem aan? . Spelsituatie
. Lijkt op de IQ test * akkoordheid
Meten van . Cognitieve capaciteiten . Persoonlijkheidstrekken . Opinies . Capaciteiten
(aangeboren, stabiel) . Attitudes . Houdingen . Vaardigheden
➢ Intelligentie . Voorkeuren . Voorkeuren . PH eigenschappen
➢ Geheugenspan
➢ Ruimtelijk inzicht Meten van capaciteiten
. Cognitieve vaardigheden en vaardigheden door
(aangeleerd) arbeidsproef ->
➢ Rekenvaardigheid typevaardigheden *
➢ Theorie rijbewijs
Scoring . Juistheid . Positie op . Bepaald standpunt . Juistheid
antwoordschaal (geen (geen juist of fout) . Adequaatheid
juist of fout) . Interpretatie
reactiewijze
Wat Prestatieniveau Gedragswijze Gedragswijze Prestatie & gedrag
- Andere -> bv: interpretatie inktvlekkentest
Vorm van het antwoord
- Denk bij prestatieniveau aan een examen
- Denk bij gedragswijze aan het meten van introversie
Open vragen
- Goede open vraag is kort en helder (max 20 woorden)*
1
, - Pp bepaalt zelf hoe hij/zij reageert (antwoord, handeling)
- Voorbeelden
▪ Prestatieniveau: essayvorm
▪ Gedragswijze: rollenspel
- Algemeen 3 grote nadelen (samenvatting hier onder) *
▪ 1. Tijdrovend (correctiesleutel en antwoorden)
▪ 2. Begrijpen van de vraag/relevantie
. Ook subjectiviteit van onderzoeker speelt een rol
▪ 3. Reproductieve capaciteit
Prestatieniveau
- Nadeel: formuleren van vragen en ontwerpen scoringswijzer
▪ Moet duidelijk zijn, vaak fout begrepen
▪ Objectieve scoring is moeilijk
▪ Kost veel tijd *
. Voor te verbeteren en voor te beantwoorden
- Interbeoordelaarsbetrouwbaarheid (IBB) niet altijd hoog
- Hogere cognitieve vaardigheden
▪ Toont meer begrip, inzicht, evaluatie, creativiteit van de pp die het invult
▪ Face validity of ook empirisch onderbouwd?
Gedragswijze
- Bv: hoe gedraagt u zich in gezelschappen?
- Respondent
▪ Interpretatie van de vraag
. Kan bv denken dat het alleen over het werk gaat ipv in het algemeen
. Bv: ik ga ervan uit dat,…
▪ Relevantie van het antwoord
. Hoe het zou moeten ipv hoe het echt is
. Sociale wenselijkheid
▪ Productieve (taal)vaardigheid
. Moet zich kunnen verwoorden
▪ Beperkter aantal vragen
- Onderzoeker
▪ Categorisatie antwoorden
. Categorisatiesysteem
. IBB
▪ Duidelijkheid van de vragen
. Begrijpen vraag (interpretatie)
. Relevantie antwoord (moet beslissen of antwoord relevant was of niet)
Moeilijk om te weten of pp de vraag juist had geïnterpreteerd*
Gesloten vragen
- Pp kiest uit beperkt aantal door testconstructeur geformuleerde reacties
- Voorbeelden
▪ Prestatieniveautest: meerkeuzevraag
▪ Test voor gedragswijze: antwoordschaal
- Algemene voordelen (samenvatting hieronder*)
▪ 1. Heel snel -> meer vragen -> meer betrouwbaarheid -> meer validiteit (meer dekking vd eigenschap)
▪ 2. Kan niet ingaan op irrelevante dingen -> kans op fout begrijpen is klein
. Wel nog steeds probleem van hoe specifiek/algemeen het antwoord moet zijn
▪ 3. Interpretatie van de onderzoeker van het antwoord speelt geen rol
- Algemene nadelen (samenvatting hieronder) *
▪ 1. Bedenken van afleiders is moeilijk + inschatten moeilijkheidsgraad van de items is moeilijk
▪ 2. Hoge score door raden kan
▪ 3. Alleen eenvoudige cognitieve kennis (herkenning)
2
, . Niet helemaal waar
Prestatieniveau
- Uitvoering vooronderzoek
▪ Bedenken van afleiders
▪ Inschatten van moeilijkheidsgraad
- Raden
▪ Meer afleiders?
. Hoe meer afleiders -> hoe minder gokken
. Maar moeilijk om goede afleiders te maken
▪ Andere instructies
. Bv: duid alle juiste antwoorden aan of foute antwoorden elimineren
▪ Correctie voor raden
- Voordeel = objectieve scoring
▪ Open vragen kun je minder goed scoren, moeilijker te evalueren
▪ Validiteit is niet perse slechter/anders dan bij open vragen
- Eenvoudige cognitieve vaardigheden
▪ Eerder kennis of herkenning ipv echt inzicht? (NEE)
▪ Empirisch onderzoek wijst tegendeel, mits goede itemconstructie
▪ MKV vaak betere predictoren dan open vragen
Gedragswijze
- Bv: ik ben in gezelschappen maar weinig aan het woord -> hoe hard van toepassing
- Respondent
▪ Vraag in principe duidelijk
. Algemene of specifieke situaties?
▪ Relevantie antwoord
▪ Meer vragen mogelijk
. Zorgt voor hogere betrouwbaarheid en inhoudsvaliditeit
- Onderzoeker
▪ Snelle en objectieve verwerking
▪ Duidelijke vragen
. Specifieke of algemene omschrijvingen?
Zie hieronder
Algemeen: mogelijk onduidelijk
Specifiek: score mogelijk afhankelijk concrete items
Omschrijvingen
- Algemeen
▪ Bv: in gezelschappen ben ik maar weinig aan het woord
▪ Voordeel: brede waaier van gedragingen en situaties -> hogere veralgemeenbaarheid
▪ Nadeel: antwoorden obv specifieke informatie (geheugen) + inferentie -> daling response consistentie
. Als je de vraag opnieuw gaat stellen gaat de persoon niet altijd hetzelfde antwoorden omdat
het zo een algemene vraag is
- Specifiek
▪ Bv: In een sportwedstrijd discuteer ik nooit met de scheidsrechter
▪ Nadeel: specifieke set van gedragingen of situatie
. Toevalsfout op specifiek gedrag
Bv: toevallig introvert maar ook kapitein
Verschillend gemiddelde naar gelang de steekproef
Hoe groter de steekproef, hoe kleiner de variantie
Steekproefgemiddelde is vaak niet gelijk aan populatiegemiddelde
Specifieke bevragingen -> verkleinen steekproef -> vergroten toevalsfout
. Veralgemeenbaarheid beperkt
▪ Voordeel: hogere betrouwbaarheid
. Specifieke informatie over geheugen
3
, Uiterlijke verschijningsvorm van item
- Geprecodeerde items: speciaal geval van itemvormen (eig gwn de multiple choice items)
Meerkeuzevragen voor meting prestatieniveau
- Vraag
▪ Stam = vraag zelf/uitspraak
▪ Alternatieven
. Gesleutelde respons = juiste antwoord
. Afleiders = foute antwoord
Kiezen
- 2 alternatieven: juist – fout
- Keuzevraag met incorrecte antwoordvorm: Welke visie sluit niet aan bij de individualistische visie?
- Keuzevraag met minst juiste antwoordvorm: Wat is het minst belangrijkste kenmerk?
- Keuzevraag met verschillende antwoordvorm: Duid alle empiristen aan?
- Keuzevraag met gecombineerde antwoordvorm: Welk van de 3 stukken van de zin is waar
Rangschikken
- Bv: orden de volgende auteurs in chronologische volgorde: Wundt, Bacon, Hume, Berkeley
- Rangschikken van keuzemogelijkheid naar
▪ Juistheid, toepasbaarheid -> prestatieniveau
▪ Voorkeur -> tests voor gedragswijze die peilen naar interesses en motieven
- Voordeel: veel informatie
Toeschrijven
- Bv: maak de 5 juiste combinaties
- = matching
- Voordeel: veel informatie
- Nadeel: keuzes zijn niet onafhankelijk
▪ Hoe meer zekere combinaties, hoe groter de kans op correct antwoord bij raden van resterende
mogelijkheden
▪ Interne feedback -> stel laats overblijvende koppel kan niet
. Eventueel een kolom langer dan de andere kolom
Rating scale voor meting gedragswijzen
- Bv: In gezelschap neem ik het woord -> volledig mee oneens, enig mee oneens, ….
- Let op voor formulering item
▪ Niet te specifiek, niet te algemeen
. Te specifiek: Ik houd van chatten met een vriend op café
▪ Voldoende realistisch
▪ Geen middenpositie van de trek beschrijven
. Bv: ik ben even georganiseerd als de meeste mensen
. Niet mee eens -> ben je meer of minder georganiseerd?
4
DEEL 1
Les 1: Inleiding deel 1 & Itemconstructie
Tekst: HF4 -> zie *
- Psychometrie: theorie en techniek van pedagogische en psychologische meting, met name het meten van kennis,
vaardigheden, houdingen en persoonlijkheidskenmerken
▪ Eig gwn de methodologie van de psychodiagnostiek
- GPS definitie: G = f (P,S)
▪ Gedrag = functie van Psychologische eigenschappen in een Situatie
▪ G = observeerbaar gedrag – antwoorden
▪ P = niet-observeerbare psychologische eigenschappen
▪ S = situaties – items
▪ Niet observeerbare psychologische eigenschap
. Prestatieniveau
P = Intelligentie
S = Rekenvraagstukken
G = Accuraatheid, snelheid
. Gedragswijze
P = Introversie
S = Uitspraken (stellingen)
G = Zelfrapportage, voorkeur
- 1. Gevraagde activiteit = S
- 2. Vorm van het antwoord = G
- 3. Kwantificering van het antwoord
Van de respondent gevraagde activiteit
Theoretische opdrachten Stellingen Vragen Praktijkproeven
Voorbeeld . Doolhof . Uitspraak en gradaties . Op welke partij . Praktijkexamen auto
. Rekenvraagstuk van instemming zou je stemmen? . Vliegsimulator
. Theoretisch ➢ Eens/oneens . Hoe pakt u het . Rollenspel
verkeersprobleem ➢ Mate van probleem aan? . Spelsituatie
. Lijkt op de IQ test * akkoordheid
Meten van . Cognitieve capaciteiten . Persoonlijkheidstrekken . Opinies . Capaciteiten
(aangeboren, stabiel) . Attitudes . Houdingen . Vaardigheden
➢ Intelligentie . Voorkeuren . Voorkeuren . PH eigenschappen
➢ Geheugenspan
➢ Ruimtelijk inzicht Meten van capaciteiten
. Cognitieve vaardigheden en vaardigheden door
(aangeleerd) arbeidsproef ->
➢ Rekenvaardigheid typevaardigheden *
➢ Theorie rijbewijs
Scoring . Juistheid . Positie op . Bepaald standpunt . Juistheid
antwoordschaal (geen (geen juist of fout) . Adequaatheid
juist of fout) . Interpretatie
reactiewijze
Wat Prestatieniveau Gedragswijze Gedragswijze Prestatie & gedrag
- Andere -> bv: interpretatie inktvlekkentest
Vorm van het antwoord
- Denk bij prestatieniveau aan een examen
- Denk bij gedragswijze aan het meten van introversie
Open vragen
- Goede open vraag is kort en helder (max 20 woorden)*
1
, - Pp bepaalt zelf hoe hij/zij reageert (antwoord, handeling)
- Voorbeelden
▪ Prestatieniveau: essayvorm
▪ Gedragswijze: rollenspel
- Algemeen 3 grote nadelen (samenvatting hier onder) *
▪ 1. Tijdrovend (correctiesleutel en antwoorden)
▪ 2. Begrijpen van de vraag/relevantie
. Ook subjectiviteit van onderzoeker speelt een rol
▪ 3. Reproductieve capaciteit
Prestatieniveau
- Nadeel: formuleren van vragen en ontwerpen scoringswijzer
▪ Moet duidelijk zijn, vaak fout begrepen
▪ Objectieve scoring is moeilijk
▪ Kost veel tijd *
. Voor te verbeteren en voor te beantwoorden
- Interbeoordelaarsbetrouwbaarheid (IBB) niet altijd hoog
- Hogere cognitieve vaardigheden
▪ Toont meer begrip, inzicht, evaluatie, creativiteit van de pp die het invult
▪ Face validity of ook empirisch onderbouwd?
Gedragswijze
- Bv: hoe gedraagt u zich in gezelschappen?
- Respondent
▪ Interpretatie van de vraag
. Kan bv denken dat het alleen over het werk gaat ipv in het algemeen
. Bv: ik ga ervan uit dat,…
▪ Relevantie van het antwoord
. Hoe het zou moeten ipv hoe het echt is
. Sociale wenselijkheid
▪ Productieve (taal)vaardigheid
. Moet zich kunnen verwoorden
▪ Beperkter aantal vragen
- Onderzoeker
▪ Categorisatie antwoorden
. Categorisatiesysteem
. IBB
▪ Duidelijkheid van de vragen
. Begrijpen vraag (interpretatie)
. Relevantie antwoord (moet beslissen of antwoord relevant was of niet)
Moeilijk om te weten of pp de vraag juist had geïnterpreteerd*
Gesloten vragen
- Pp kiest uit beperkt aantal door testconstructeur geformuleerde reacties
- Voorbeelden
▪ Prestatieniveautest: meerkeuzevraag
▪ Test voor gedragswijze: antwoordschaal
- Algemene voordelen (samenvatting hieronder*)
▪ 1. Heel snel -> meer vragen -> meer betrouwbaarheid -> meer validiteit (meer dekking vd eigenschap)
▪ 2. Kan niet ingaan op irrelevante dingen -> kans op fout begrijpen is klein
. Wel nog steeds probleem van hoe specifiek/algemeen het antwoord moet zijn
▪ 3. Interpretatie van de onderzoeker van het antwoord speelt geen rol
- Algemene nadelen (samenvatting hieronder) *
▪ 1. Bedenken van afleiders is moeilijk + inschatten moeilijkheidsgraad van de items is moeilijk
▪ 2. Hoge score door raden kan
▪ 3. Alleen eenvoudige cognitieve kennis (herkenning)
2
, . Niet helemaal waar
Prestatieniveau
- Uitvoering vooronderzoek
▪ Bedenken van afleiders
▪ Inschatten van moeilijkheidsgraad
- Raden
▪ Meer afleiders?
. Hoe meer afleiders -> hoe minder gokken
. Maar moeilijk om goede afleiders te maken
▪ Andere instructies
. Bv: duid alle juiste antwoorden aan of foute antwoorden elimineren
▪ Correctie voor raden
- Voordeel = objectieve scoring
▪ Open vragen kun je minder goed scoren, moeilijker te evalueren
▪ Validiteit is niet perse slechter/anders dan bij open vragen
- Eenvoudige cognitieve vaardigheden
▪ Eerder kennis of herkenning ipv echt inzicht? (NEE)
▪ Empirisch onderzoek wijst tegendeel, mits goede itemconstructie
▪ MKV vaak betere predictoren dan open vragen
Gedragswijze
- Bv: ik ben in gezelschappen maar weinig aan het woord -> hoe hard van toepassing
- Respondent
▪ Vraag in principe duidelijk
. Algemene of specifieke situaties?
▪ Relevantie antwoord
▪ Meer vragen mogelijk
. Zorgt voor hogere betrouwbaarheid en inhoudsvaliditeit
- Onderzoeker
▪ Snelle en objectieve verwerking
▪ Duidelijke vragen
. Specifieke of algemene omschrijvingen?
Zie hieronder
Algemeen: mogelijk onduidelijk
Specifiek: score mogelijk afhankelijk concrete items
Omschrijvingen
- Algemeen
▪ Bv: in gezelschappen ben ik maar weinig aan het woord
▪ Voordeel: brede waaier van gedragingen en situaties -> hogere veralgemeenbaarheid
▪ Nadeel: antwoorden obv specifieke informatie (geheugen) + inferentie -> daling response consistentie
. Als je de vraag opnieuw gaat stellen gaat de persoon niet altijd hetzelfde antwoorden omdat
het zo een algemene vraag is
- Specifiek
▪ Bv: In een sportwedstrijd discuteer ik nooit met de scheidsrechter
▪ Nadeel: specifieke set van gedragingen of situatie
. Toevalsfout op specifiek gedrag
Bv: toevallig introvert maar ook kapitein
Verschillend gemiddelde naar gelang de steekproef
Hoe groter de steekproef, hoe kleiner de variantie
Steekproefgemiddelde is vaak niet gelijk aan populatiegemiddelde
Specifieke bevragingen -> verkleinen steekproef -> vergroten toevalsfout
. Veralgemeenbaarheid beperkt
▪ Voordeel: hogere betrouwbaarheid
. Specifieke informatie over geheugen
3
, Uiterlijke verschijningsvorm van item
- Geprecodeerde items: speciaal geval van itemvormen (eig gwn de multiple choice items)
Meerkeuzevragen voor meting prestatieniveau
- Vraag
▪ Stam = vraag zelf/uitspraak
▪ Alternatieven
. Gesleutelde respons = juiste antwoord
. Afleiders = foute antwoord
Kiezen
- 2 alternatieven: juist – fout
- Keuzevraag met incorrecte antwoordvorm: Welke visie sluit niet aan bij de individualistische visie?
- Keuzevraag met minst juiste antwoordvorm: Wat is het minst belangrijkste kenmerk?
- Keuzevraag met verschillende antwoordvorm: Duid alle empiristen aan?
- Keuzevraag met gecombineerde antwoordvorm: Welk van de 3 stukken van de zin is waar
Rangschikken
- Bv: orden de volgende auteurs in chronologische volgorde: Wundt, Bacon, Hume, Berkeley
- Rangschikken van keuzemogelijkheid naar
▪ Juistheid, toepasbaarheid -> prestatieniveau
▪ Voorkeur -> tests voor gedragswijze die peilen naar interesses en motieven
- Voordeel: veel informatie
Toeschrijven
- Bv: maak de 5 juiste combinaties
- = matching
- Voordeel: veel informatie
- Nadeel: keuzes zijn niet onafhankelijk
▪ Hoe meer zekere combinaties, hoe groter de kans op correct antwoord bij raden van resterende
mogelijkheden
▪ Interne feedback -> stel laats overblijvende koppel kan niet
. Eventueel een kolom langer dan de andere kolom
Rating scale voor meting gedragswijzen
- Bv: In gezelschap neem ik het woord -> volledig mee oneens, enig mee oneens, ….
- Let op voor formulering item
▪ Niet te specifiek, niet te algemeen
. Te specifiek: Ik houd van chatten met een vriend op café
▪ Voldoende realistisch
▪ Geen middenpositie van de trek beschrijven
. Bv: ik ben even georganiseerd als de meeste mensen
. Niet mee eens -> ben je meer of minder georganiseerd?
4
