Psychodiagnostische Methode 2
Introductie
Testtheorie
➢ Psychometrische theorie die achterliggend is aan testen
➢ Bij de constructie van psychodiagnostische instrumenten
worden gebruik gemaakt van principes uit de testtheorie
➢ Testtheorie is géén theorie over gedrag
➢ Wel: een geheel van statistische formules en wiskundige
modellen m.b.t. items en scores
➢ Twee grote groepen:
o Klassieke testtheorie of betrouwbare-score-theorie
o Moderne testtheorie of item-responstheorie
Klassieke testtheorie = test-georiënteerd
• Volledige testen die genormeerd worden, scores zijn test en populatie afhankelijk ->
globale score en niet van een individu
• Een algemeen aanvaarde theorie! – het is een goede theorie
• Hoe tests traditioneel werden/worden opgebouwd:
o geconstrueerd
o verwerking scores
o interpretatie scores
• Vertrekken van ruwe scores > samentellen > afgeleide scores (normgroep!)
•
• Basis vaaruit die vertrekt zijn psychologische eigenschap = hypothetisch construct -> niet
in de praktijk zichtbaar
• Operationaliseren = hoe kunnen we in de praktijk meetbaar maken?
• Test als geheel = groepje van items
o Validiteit
• Ruwe scores > afgeleide scores (normgroep)
• Betrouwbaarheid: bv. rekening houdend met meetfout
Binnen KTT is men steeds afhankelijk van:
• De test
• De steekproef / normgroep -> die vergelijken
=> Zoektocht alternatieven: met name niet willen weten wat iemand relatieve positie is
in een groep , maar het inhoudelijke niveau op een eigenschap van één persoon – niet in
vergelijking met anderen (het is een zwakte van KTT)
Alternatief
Itemresponstheorie
• Respons: antwoord op iets, antwoord op een item
,Andere benaming
Latente trektheorie = het is niet observeerbaar, niet zichtbaar (manifest is tegenoverstelde –
zichtbaar)
Beperkingen KTT
Scoringsregel en meetniveau
• Scoringsregel:
– alle items zijn even belangrijk (elk juist antwoord krijgt dezelfde score)
– testscore = som van de itemscores
• Hierdoor speelt de itemconfiguratie (het profiel van juiste en foute antwoorden) een
rol!
• In een ideale situatie: scalogrammodel - in de praktijk is dit niet realistisch
• Meettheoretische consequentie: we meten op een nominaal niveau!
• Oplossing: transformatie van ruwe scores naar z-scores → werken in een
quasi-intervalschaal
1. Betrouwbaarheid
• Twee testen vergelijken
• Twee problemen
o Variantie > afhankelijk van een populatie
o Ware score (true score: score op dat moment vaststellen) > afhankelijk van de
test
➢ Behaald door: ‘Herhaalde metingen’
➢ Belangrijke vraag: wat zegt het over de abstracte, onderliggende
vaardigheid?
2. De scoringsregel en het meetniveau van de testscore
Wat is het probleem (de beperking)?
- Alle items worden als even belangrijk beschouwd
- Bv: 1 – juist, 2 – fout
- Moeilijkheidsgraad is niet gelijk => itemconfiguratie
- In bepaalde omstandigheden kunnen andere scoringsregels meer zinvol zijn
Waarom is dit een probleem?
- Test die start met 25 makkelijke vraag en eindigt met 25 moeilijke vragen en hierdoor
een subjectief beeld heeft hoe goed die persoon in die eigenschap is
Hoe wordt dit probleem opgelost binnen de KTT?
- Itemconfiguratie:
- zelfde testscore moet wijzen naar zelfde itemconfiguratie = moeilijkere taken,
hogere score
- KTT laat niet toe om voorspelling te maken over hoe goed een proefpersoon zal
doen op een test
,- heeft nominale classificatie: wel onderzoeken of items parallel zijn maar NIET de
betrouwbaarheid en de meetfout
- intervalschaal wordt ondersteld zonder dat dit kan worden aangetoond
3. De betrouwbare score is testafhankelijk
Wat is het probleem (de beperking)?
- Betrouwbare score steunt op een bepaalde concrete test, terwijl we eigenlijk een
achterliggend psychologisch construct willen meten
- Betrouwbaarheid is oog bij test met makkelijke vragen, laag bij test met moeilijke
vragen
Waarom is dit een probleem?
- Testscore zou beïnvloed moeten zijn door de mate van aanwezigheid van een
eigenschap bij een persoon en niet door de specifieke samenstelling van de test
Hoe wordt dit probleem opgelost binnen de KTT?
- homogeniteit van de groep items met interne consistentie-methode Cronbach
alfa/Lamba – coëfficiënt
- een zorgvuldige selectie van items zodat ze een goede operationalisering vormen
van het te meten construct
4. De moeilijkheidsgraad van de items is populatie-afhankelijk
Wat is het probleem (de beperking)?
- Moeilijkheidsgraad hangt af van de sterkte van de proefpersonen
- Bv: hoog als het beantwoordt is door zwakke groep, laag als beantwoordt is door
sterke proefpersonen
Waarom is dit een probleem?
- Oneerlijkheid tussen de twee groepen: zwakkere en sterkere groep = niet
representatief
- Beperkte vergelijkbaarheid van scores t.a.v. een bepaald psychologisch construct
wanneer twee verschillende testen gebruikt zijn (gemakkelijke vs. moeilijke)
Hoe wordt dit probleem opgelost binnen de KTT?
- Representatief steekproef – zo goed mogelijk weergave van de hele populatie
- Iedereen zelfde test laten maken = verschillen tussen proefpersonen kunnen
onderzocht worden en hun moeilijkheidsniveau
5. De betrouwbaarheid is populatie-afhankelijk
Wat is het probleem (de beperking)?
- Varianties zijn steekproefafhankelijk
Waarom is dit een probleem?
- Wanneer een andere steekproef wordt gebruikt -> kan de variantie verschillen ->
meerdere betrouwbaarheidscoef. -> bestaat niet dé betrouwbaarheid van een
bepaalde test
, - Betrouwbaarheid binnen KTT is afhankelijk van de steekproef uit de populatie
waarop ze berekend is
- Herhaalde metingen zijn niet praktisch -> mensen leren de test van buiten
Hoe wordt dit probleem opgelost binnen de KTT?
- Steekproef representatief en groot genoeg maken
6. Betrouwbaarheid en veelvuldige herhaalde meting
Wat is het probleem (de beperking)?
- Veelvuldig herhaalde metingen om de betrouwbaarheid te hanteren is onuitvoerbaar
Waarom is dit een probleem?
- Betrouwbaarheid hangt af van de equivalentie
Hoe wordt dit probleem opgelost binnen de KTT?
- Parallel meting, halvering, test-hertest, interne consistentie -> zijn nooit perfect en
hangen af van de equivalentie
- Betrouwbaarheid is afhankelijk van de overeenkomsten tussen de testen
Vragen waarop KTT geen afdoend antwoord kan bieden:
1. Relevantie items voor gemeten concept? - Ja, procedures om items toe te voegen, ook
homogeniteit MAAR er zijn wel andere items
2. Scoreregel (somscore)? (is willekeurig) - Een optelsom maken; het is vastgelegd voor elk
item voor één getal GEEN hogere scores voor moeilijkere taken
3. Verschillende testen op verschillende tijdstippen bij een persoon/groep afnemen? Bv:
bij een leerling begin en einde van het jaar afnemen
• 2 testen verschillende testen afnemen en vergelijken
• Gelijk niveau? Was de tweede test gemakkelijker en daardoor scoorden ze beter?
=> equivaleren: alle twee testen afnemen bij andere groep/persoon en zo
vergelijken of niveau zelfde is
• Gelijk concept? Meten ze zelfde eigenschap, waardigheid?
De moderne testtheorie/itemresponstheorie/latente trek theorie=
item-georienteerd IRT
➢ Respons van individu op één specifiek item centraal staat -> als men iets specifiek wil
weten
➢ Niet de testscore maar de items en de itemscores zijn de basis
➢ De betrouwbare score wordt niet gebaseerd op de test, wel op de latente trek
Biedt antwoord op:
o Populatie-afhankelijkheid
o Test-specifiek zijn van de score
• Het item en het antwoord op het item centraal stellen
• Geen ‘true score’, maar ‘te meten vaardigheid die niet observeerbaar is’
Introductie
Testtheorie
➢ Psychometrische theorie die achterliggend is aan testen
➢ Bij de constructie van psychodiagnostische instrumenten
worden gebruik gemaakt van principes uit de testtheorie
➢ Testtheorie is géén theorie over gedrag
➢ Wel: een geheel van statistische formules en wiskundige
modellen m.b.t. items en scores
➢ Twee grote groepen:
o Klassieke testtheorie of betrouwbare-score-theorie
o Moderne testtheorie of item-responstheorie
Klassieke testtheorie = test-georiënteerd
• Volledige testen die genormeerd worden, scores zijn test en populatie afhankelijk ->
globale score en niet van een individu
• Een algemeen aanvaarde theorie! – het is een goede theorie
• Hoe tests traditioneel werden/worden opgebouwd:
o geconstrueerd
o verwerking scores
o interpretatie scores
• Vertrekken van ruwe scores > samentellen > afgeleide scores (normgroep!)
•
• Basis vaaruit die vertrekt zijn psychologische eigenschap = hypothetisch construct -> niet
in de praktijk zichtbaar
• Operationaliseren = hoe kunnen we in de praktijk meetbaar maken?
• Test als geheel = groepje van items
o Validiteit
• Ruwe scores > afgeleide scores (normgroep)
• Betrouwbaarheid: bv. rekening houdend met meetfout
Binnen KTT is men steeds afhankelijk van:
• De test
• De steekproef / normgroep -> die vergelijken
=> Zoektocht alternatieven: met name niet willen weten wat iemand relatieve positie is
in een groep , maar het inhoudelijke niveau op een eigenschap van één persoon – niet in
vergelijking met anderen (het is een zwakte van KTT)
Alternatief
Itemresponstheorie
• Respons: antwoord op iets, antwoord op een item
,Andere benaming
Latente trektheorie = het is niet observeerbaar, niet zichtbaar (manifest is tegenoverstelde –
zichtbaar)
Beperkingen KTT
Scoringsregel en meetniveau
• Scoringsregel:
– alle items zijn even belangrijk (elk juist antwoord krijgt dezelfde score)
– testscore = som van de itemscores
• Hierdoor speelt de itemconfiguratie (het profiel van juiste en foute antwoorden) een
rol!
• In een ideale situatie: scalogrammodel - in de praktijk is dit niet realistisch
• Meettheoretische consequentie: we meten op een nominaal niveau!
• Oplossing: transformatie van ruwe scores naar z-scores → werken in een
quasi-intervalschaal
1. Betrouwbaarheid
• Twee testen vergelijken
• Twee problemen
o Variantie > afhankelijk van een populatie
o Ware score (true score: score op dat moment vaststellen) > afhankelijk van de
test
➢ Behaald door: ‘Herhaalde metingen’
➢ Belangrijke vraag: wat zegt het over de abstracte, onderliggende
vaardigheid?
2. De scoringsregel en het meetniveau van de testscore
Wat is het probleem (de beperking)?
- Alle items worden als even belangrijk beschouwd
- Bv: 1 – juist, 2 – fout
- Moeilijkheidsgraad is niet gelijk => itemconfiguratie
- In bepaalde omstandigheden kunnen andere scoringsregels meer zinvol zijn
Waarom is dit een probleem?
- Test die start met 25 makkelijke vraag en eindigt met 25 moeilijke vragen en hierdoor
een subjectief beeld heeft hoe goed die persoon in die eigenschap is
Hoe wordt dit probleem opgelost binnen de KTT?
- Itemconfiguratie:
- zelfde testscore moet wijzen naar zelfde itemconfiguratie = moeilijkere taken,
hogere score
- KTT laat niet toe om voorspelling te maken over hoe goed een proefpersoon zal
doen op een test
,- heeft nominale classificatie: wel onderzoeken of items parallel zijn maar NIET de
betrouwbaarheid en de meetfout
- intervalschaal wordt ondersteld zonder dat dit kan worden aangetoond
3. De betrouwbare score is testafhankelijk
Wat is het probleem (de beperking)?
- Betrouwbare score steunt op een bepaalde concrete test, terwijl we eigenlijk een
achterliggend psychologisch construct willen meten
- Betrouwbaarheid is oog bij test met makkelijke vragen, laag bij test met moeilijke
vragen
Waarom is dit een probleem?
- Testscore zou beïnvloed moeten zijn door de mate van aanwezigheid van een
eigenschap bij een persoon en niet door de specifieke samenstelling van de test
Hoe wordt dit probleem opgelost binnen de KTT?
- homogeniteit van de groep items met interne consistentie-methode Cronbach
alfa/Lamba – coëfficiënt
- een zorgvuldige selectie van items zodat ze een goede operationalisering vormen
van het te meten construct
4. De moeilijkheidsgraad van de items is populatie-afhankelijk
Wat is het probleem (de beperking)?
- Moeilijkheidsgraad hangt af van de sterkte van de proefpersonen
- Bv: hoog als het beantwoordt is door zwakke groep, laag als beantwoordt is door
sterke proefpersonen
Waarom is dit een probleem?
- Oneerlijkheid tussen de twee groepen: zwakkere en sterkere groep = niet
representatief
- Beperkte vergelijkbaarheid van scores t.a.v. een bepaald psychologisch construct
wanneer twee verschillende testen gebruikt zijn (gemakkelijke vs. moeilijke)
Hoe wordt dit probleem opgelost binnen de KTT?
- Representatief steekproef – zo goed mogelijk weergave van de hele populatie
- Iedereen zelfde test laten maken = verschillen tussen proefpersonen kunnen
onderzocht worden en hun moeilijkheidsniveau
5. De betrouwbaarheid is populatie-afhankelijk
Wat is het probleem (de beperking)?
- Varianties zijn steekproefafhankelijk
Waarom is dit een probleem?
- Wanneer een andere steekproef wordt gebruikt -> kan de variantie verschillen ->
meerdere betrouwbaarheidscoef. -> bestaat niet dé betrouwbaarheid van een
bepaalde test
, - Betrouwbaarheid binnen KTT is afhankelijk van de steekproef uit de populatie
waarop ze berekend is
- Herhaalde metingen zijn niet praktisch -> mensen leren de test van buiten
Hoe wordt dit probleem opgelost binnen de KTT?
- Steekproef representatief en groot genoeg maken
6. Betrouwbaarheid en veelvuldige herhaalde meting
Wat is het probleem (de beperking)?
- Veelvuldig herhaalde metingen om de betrouwbaarheid te hanteren is onuitvoerbaar
Waarom is dit een probleem?
- Betrouwbaarheid hangt af van de equivalentie
Hoe wordt dit probleem opgelost binnen de KTT?
- Parallel meting, halvering, test-hertest, interne consistentie -> zijn nooit perfect en
hangen af van de equivalentie
- Betrouwbaarheid is afhankelijk van de overeenkomsten tussen de testen
Vragen waarop KTT geen afdoend antwoord kan bieden:
1. Relevantie items voor gemeten concept? - Ja, procedures om items toe te voegen, ook
homogeniteit MAAR er zijn wel andere items
2. Scoreregel (somscore)? (is willekeurig) - Een optelsom maken; het is vastgelegd voor elk
item voor één getal GEEN hogere scores voor moeilijkere taken
3. Verschillende testen op verschillende tijdstippen bij een persoon/groep afnemen? Bv:
bij een leerling begin en einde van het jaar afnemen
• 2 testen verschillende testen afnemen en vergelijken
• Gelijk niveau? Was de tweede test gemakkelijker en daardoor scoorden ze beter?
=> equivaleren: alle twee testen afnemen bij andere groep/persoon en zo
vergelijken of niveau zelfde is
• Gelijk concept? Meten ze zelfde eigenschap, waardigheid?
De moderne testtheorie/itemresponstheorie/latente trek theorie=
item-georienteerd IRT
➢ Respons van individu op één specifiek item centraal staat -> als men iets specifiek wil
weten
➢ Niet de testscore maar de items en de itemscores zijn de basis
➢ De betrouwbare score wordt niet gebaseerd op de test, wel op de latente trek
Biedt antwoord op:
o Populatie-afhankelijkheid
o Test-specifiek zijn van de score
• Het item en het antwoord op het item centraal stellen
• Geen ‘true score’, maar ‘te meten vaardigheid die niet observeerbaar is’
