Testtheorie en testgebruik
College 1, di 12-09 Appendix, H2, H3 Introductie, begrippen, kenmerken van tests
McKeen was de eerste die in 1890 onderzoek deed naar het kwantificeren van individuele
verschillen. Dat is eigenlijk waar een psychologische test voor bedoeld is, je wil individuele
verschillen ontdekken.
Je gebruikt een meetinstrument om iemand te classificeren, te beschrijven of om een uitspraak te
doen. Psychologische tests meten psychologische eigenschappen, deze zijn niet direct
observeerbaar of meetbaar. Daarom construeren we indicatoren(items).
Psychologische testen worden alleen afgenomen wanneer je geen goed beeld hebt van een
persoon. Let er daarbij op dat een test een hulpmiddel is, dus pas op met het verabsoluteren van
testscores. Een persoon hoeft niet altijd te snappen wat een vraag betekent en dan toch antwoord
geven. Daarom dient een psycholoog met behulp van een test tot een oordeel te komen, maar wel
op basis van een combinatie van verschillende waarnemingen. Je kunt een betekenis geven aan
de scores door middel van normen. Je vergelijkt dan de scores met een andere groep scores met
gemiddeldes, spreiding, etc.
Begrippen
- k = totaal aantal items in een test. Items kennen indices g en h.
- Xg en Xh = itemscores (toevalsvariabelen). Dichotome itemscores worden altijd aangeduid met
0(fout, nee) en 1(goed, ja). Polytome itemscores, dus op vragen met meerdere antwoorden,
lopen van 0 tot m. Waarin m het aantal antwoordmogelijkheden is. Het aantal geordende
antwoordcategoriëen is m + 1
- X = ruwe (test)score. Dit is de ongewogen som van k aantal itemscores. Als er 10 items zijn, tel
je de antwoorden van de 10 items op en dan heb je de testscore
berekend. Formule testscore op dia 30.Personen worden aangeduid
met i en n is het totaal aantal personen waarbij je de test hebt
afgenomen.
- Xig = score van persoon i op item g. X2,4 betekent dat het de score betreft van persoon 2 op item
4 in de test.
- Xi = ruwe testscore van persoon i.
Spreiding
Bij het afnemen van een test veronderstel je dat er verschillen tussen de individuen zijn. Het is
daarom belangrijk dat er genoeg spreiding in de totaalscores op de test is, hoe ver ligt een score
van het gemiddelde van de verdeling. De wortel uit de variantie geeft de standaarddeviatie.
Let op het gebruik van n-weging. In testtheorie wordt er gebruik gemaakt van n-weging: is voor
spreiding van de scores in een specifieke groep. De (n-1)-weging wordt gebruikt voor spreiding
van de scores in een representatieve steekproef van de populatie.
1
,Dichotome items
Dichotome variabelen (met 1 en 0) hebben een gemiddelde dat heel eenvoudig is. Je rekent eerst
de som uit van de nullen en enen, dit levert het aantal enen in de streekproef dat aangeduid wordt
met n1. Voor de p-waarde(item-gemiddelde) deel je de n1 met het aantal scores(nullen en enen)
waarna je de proportie enen krijgt. Stel:
n1 = 1 + 0 + 0 + 1 + 1 + 1 + 0 + 1 + 0 = 5
pg = = 0.56
De proportie nullen wordt aangegeven met q, en de relatie met de p-waarde is dan:
qg = 1 - pg
Voor het berekenen van de spreiding in dichotome items gebruik je de volgende twee formules:
Covariantie
De covariantie is een maat voor de lineaire samenhang tussen variabelen. De covariantie geeft de
richting van het verband aan, maar niet de sterkte. Er wordt dus gekeken naar de invloed van de
varianties tussen variabelen. Als je wat wil weten over de sterkte van de samenhang moet je
werken met gestandaardiseerde gegevens zoals de correlatie.
- S(X,Y) > 0 Positieve lineaire samenhang
- S(X,Y) < 0 Negatieve lineaire samenhang
- S(X,Y) = 0 Geen lineaire samenhang
Zoals je in de formule hierboven ziet is de covariantie gelijk aan het gemiddelde product van de
afwijkingsscores in de groep.
Variantie-covariantie matrix
Op de diagonaal staan de varianties. Je kunt namelijk geen covariantie hebben binnen hetzelfde
item.
Stel je hebt S(X,Y) = 4,3 en S(B,C) = 0.9. Het is dan niet per se zo dat de covariantie tussen
variabelen X en Y sterker is dan tussen B en C. Er wordt geen rekening gehouden met de invloed
van de variantie van X en Y op de covariantie. Een grote variantie van een of beide varaibelen leidt
tot veel grote afwijkingsscores en dus tot grote producten van de scores in de formule voor de
covariantie.
2
,Lineaire combinaties
Een lineaire combinatie is een som van variabelen. De som wordt aangeduid met X.
- Som van variabelen. De ruwe testscore waarin je alle itemscores optelt
- Gemiddelde van een somvariabele. De som van de gemiddelden van de individuele
gesommeerde variabelen.
- Variantie in een variantie-covariantie matrix: je gebruikt een dubbel som-teken om aan te geven
dat je optelt over alle paren van verschillende variabelen Xg en Xh. De variantie van een
somvariabele is de som van de varianties van de afzonderlijke variabelen in de som plus de som
van alle covarianties tussen deze variabelen(zie vorige blz voor matrix).
- Covariantie. De covariantie van twee somvariabelen is gelijk aan de som van covarianties van
de variabelen waaruit de twee sommen zijn opgebouwd.
Een goede test heeft:
1. Efficientie: Je test meet alleen maar het construct dat je wil meten en er zitten geen storingen
in.
2. Standaardisatie: De procedure is voor alle respondenten gelijk, zelfde instructie, tijdslimiet,
condities, etc.
3. Normering: Beschikbaarheid van normen, vergelijkbaarheid van testscores.
4. Objectiviteit: Het mag niet uitmaken wie de beoordelaar is, er moet openheid en
reproduceerbaarheid zijn van een testprocedure. Dit onderzoek je door:
- Correlatie tussen scores
- Kendalls Tau
- Spearman’s Rho
- Cohen’s Kappa
5. Betrouwbaarheid: Indicatie van de mate waarin bij herhaalde meting dezelfde score wordt
behaald.
6. Validiteit: De test meet wat ie zou moeten weten.
Typen tests
- Indeling naar testgedrag
1. Tests of maximum performance
Je wil het maximale eruit halen wat erin zit en test op prestatieniveau. Denk aan een iq-test,
tentamen, vaardigheden test. Vaak hangt er van zulke tests veel af. Er is sprake van goed en fout,
“high stakes”.
2. Tests of typical performance
Test naar hoe je je normaal gesproken gedraagt. Denk aan persoonlijkheid, motivatie, kllinische
schalen. Er is geen goed of fout, gaat om voorkeuren en meningen, “low stakes”.
3
, Problemen bij typical performance meetinstrumenten:
- Meet vaak minder stabiele constructen
- Careless respons
- Wordt gebruikt als high stakes instrument. Wordt dan ingezet als maximum performance.
Mensen gaan zich dan anders voordoen. Een voorbeeld is dat er een persoonlijkheidstest wordt
gebruikt als een selectietest voor een studie.
- Indeling naar testinstructie of afname:
1. Snelheidstest
Zoveel mogelijk vragen goed beantwoorden in een korte tijd. Zijn makkelijke items, veel items.
2. Niveautests
Minder items, je hebt meer de tijd.
College 2, di 19-09 H4, H5 Itemconstructie, item-analyse, scoring, normen
Kwantificeren van reacties door twee soorten items:
1. Dichotome items; er zijn twee scores: Goed = 1, fout = 0. Komen vaak voor in
IQ-tests. Het kan zo zijn dat er 4 antwoordmogelijkheden zijn, dan zijn er nog
steeds 2 mogelijke scores, namelijk goed en fout.
2. Polytome items; meerdere (bv 4) mogelijke antwoorden, maar evenveel
mogelijke scores. Er is geen sprake van goed of fout. Vaak een ordinale schaal.
Item-analyse
- P- en a-waardes. Je begint vaak met het vaststellen van de p-waarde: proportie personen die
het goede antwoord heeft gegeven. Bij item 1 is dat 0.55 bij C. Er zijn meerdere a-waarden die
bij een item kunnen horen. Het is de bedoeling dat de p-waarde niet veel te hoog is, en dan de
a-waarden een beetje gelijkmatig zijn verdeeld over de rest van de antwoordmogelijkheden. De
antwoordmogelijkheid met de hoogste a-waarde is de sterkste afleider, deze wordt na het goede
antwoord het meest gekozen.
- Frequentie indelingen. Bij polytome items kijk je ook naar relatieve frequentie delingen. Let op:
je hebt geen p- en a-waarde want er is geen sprake van goede of foute antwoorden.
- Gemiddelde en standaarddeviatie. Er kan wel gekeken worden naar het gemiddelde en de
standaarddeviatie. De SD vertelt ook iets over de spreiding. Wanneer er een schreve verdeling
van respondenten is kan je geen/moeilijker onderscheid maken tussen personen.
- Correlaties. Je moet niet kijken naar hoe de items afzonderlijk functioneren, maar naar de
samenhang tussen de scores op items die een test vormen samen. Je kijkt vaak naar de
samenhang van 1 item met alle andere items van de test. Is dus de correlatie tussen itemscores
en de scores op de rest van de items.
Correlaties
1. Item-test correlatie(RIT): je meet de correlatie tussen de itemscore van item g met de
somscore van alle items.
2. Item-rest correlatie(RIR): je meet de correlatie tussen de itemscore van item g met de
somscore van alle resterende items. Er is een restscore voor ieder afzonderlijk item, om deze
uit te rekenen moet je de itemscore van dat item aftrekken van de totaalscore van de test:
Xg = X - Xg. Er ontstaat snel een probleem bij korte test, stel je hebt een test van 3 vragen. Dan
maakt een item 1/3e deel uit van de totaalscore, dan krijg je automatisch hogere correlaties.
4
College 1, di 12-09 Appendix, H2, H3 Introductie, begrippen, kenmerken van tests
McKeen was de eerste die in 1890 onderzoek deed naar het kwantificeren van individuele
verschillen. Dat is eigenlijk waar een psychologische test voor bedoeld is, je wil individuele
verschillen ontdekken.
Je gebruikt een meetinstrument om iemand te classificeren, te beschrijven of om een uitspraak te
doen. Psychologische tests meten psychologische eigenschappen, deze zijn niet direct
observeerbaar of meetbaar. Daarom construeren we indicatoren(items).
Psychologische testen worden alleen afgenomen wanneer je geen goed beeld hebt van een
persoon. Let er daarbij op dat een test een hulpmiddel is, dus pas op met het verabsoluteren van
testscores. Een persoon hoeft niet altijd te snappen wat een vraag betekent en dan toch antwoord
geven. Daarom dient een psycholoog met behulp van een test tot een oordeel te komen, maar wel
op basis van een combinatie van verschillende waarnemingen. Je kunt een betekenis geven aan
de scores door middel van normen. Je vergelijkt dan de scores met een andere groep scores met
gemiddeldes, spreiding, etc.
Begrippen
- k = totaal aantal items in een test. Items kennen indices g en h.
- Xg en Xh = itemscores (toevalsvariabelen). Dichotome itemscores worden altijd aangeduid met
0(fout, nee) en 1(goed, ja). Polytome itemscores, dus op vragen met meerdere antwoorden,
lopen van 0 tot m. Waarin m het aantal antwoordmogelijkheden is. Het aantal geordende
antwoordcategoriëen is m + 1
- X = ruwe (test)score. Dit is de ongewogen som van k aantal itemscores. Als er 10 items zijn, tel
je de antwoorden van de 10 items op en dan heb je de testscore
berekend. Formule testscore op dia 30.Personen worden aangeduid
met i en n is het totaal aantal personen waarbij je de test hebt
afgenomen.
- Xig = score van persoon i op item g. X2,4 betekent dat het de score betreft van persoon 2 op item
4 in de test.
- Xi = ruwe testscore van persoon i.
Spreiding
Bij het afnemen van een test veronderstel je dat er verschillen tussen de individuen zijn. Het is
daarom belangrijk dat er genoeg spreiding in de totaalscores op de test is, hoe ver ligt een score
van het gemiddelde van de verdeling. De wortel uit de variantie geeft de standaarddeviatie.
Let op het gebruik van n-weging. In testtheorie wordt er gebruik gemaakt van n-weging: is voor
spreiding van de scores in een specifieke groep. De (n-1)-weging wordt gebruikt voor spreiding
van de scores in een representatieve steekproef van de populatie.
1
,Dichotome items
Dichotome variabelen (met 1 en 0) hebben een gemiddelde dat heel eenvoudig is. Je rekent eerst
de som uit van de nullen en enen, dit levert het aantal enen in de streekproef dat aangeduid wordt
met n1. Voor de p-waarde(item-gemiddelde) deel je de n1 met het aantal scores(nullen en enen)
waarna je de proportie enen krijgt. Stel:
n1 = 1 + 0 + 0 + 1 + 1 + 1 + 0 + 1 + 0 = 5
pg = = 0.56
De proportie nullen wordt aangegeven met q, en de relatie met de p-waarde is dan:
qg = 1 - pg
Voor het berekenen van de spreiding in dichotome items gebruik je de volgende twee formules:
Covariantie
De covariantie is een maat voor de lineaire samenhang tussen variabelen. De covariantie geeft de
richting van het verband aan, maar niet de sterkte. Er wordt dus gekeken naar de invloed van de
varianties tussen variabelen. Als je wat wil weten over de sterkte van de samenhang moet je
werken met gestandaardiseerde gegevens zoals de correlatie.
- S(X,Y) > 0 Positieve lineaire samenhang
- S(X,Y) < 0 Negatieve lineaire samenhang
- S(X,Y) = 0 Geen lineaire samenhang
Zoals je in de formule hierboven ziet is de covariantie gelijk aan het gemiddelde product van de
afwijkingsscores in de groep.
Variantie-covariantie matrix
Op de diagonaal staan de varianties. Je kunt namelijk geen covariantie hebben binnen hetzelfde
item.
Stel je hebt S(X,Y) = 4,3 en S(B,C) = 0.9. Het is dan niet per se zo dat de covariantie tussen
variabelen X en Y sterker is dan tussen B en C. Er wordt geen rekening gehouden met de invloed
van de variantie van X en Y op de covariantie. Een grote variantie van een of beide varaibelen leidt
tot veel grote afwijkingsscores en dus tot grote producten van de scores in de formule voor de
covariantie.
2
,Lineaire combinaties
Een lineaire combinatie is een som van variabelen. De som wordt aangeduid met X.
- Som van variabelen. De ruwe testscore waarin je alle itemscores optelt
- Gemiddelde van een somvariabele. De som van de gemiddelden van de individuele
gesommeerde variabelen.
- Variantie in een variantie-covariantie matrix: je gebruikt een dubbel som-teken om aan te geven
dat je optelt over alle paren van verschillende variabelen Xg en Xh. De variantie van een
somvariabele is de som van de varianties van de afzonderlijke variabelen in de som plus de som
van alle covarianties tussen deze variabelen(zie vorige blz voor matrix).
- Covariantie. De covariantie van twee somvariabelen is gelijk aan de som van covarianties van
de variabelen waaruit de twee sommen zijn opgebouwd.
Een goede test heeft:
1. Efficientie: Je test meet alleen maar het construct dat je wil meten en er zitten geen storingen
in.
2. Standaardisatie: De procedure is voor alle respondenten gelijk, zelfde instructie, tijdslimiet,
condities, etc.
3. Normering: Beschikbaarheid van normen, vergelijkbaarheid van testscores.
4. Objectiviteit: Het mag niet uitmaken wie de beoordelaar is, er moet openheid en
reproduceerbaarheid zijn van een testprocedure. Dit onderzoek je door:
- Correlatie tussen scores
- Kendalls Tau
- Spearman’s Rho
- Cohen’s Kappa
5. Betrouwbaarheid: Indicatie van de mate waarin bij herhaalde meting dezelfde score wordt
behaald.
6. Validiteit: De test meet wat ie zou moeten weten.
Typen tests
- Indeling naar testgedrag
1. Tests of maximum performance
Je wil het maximale eruit halen wat erin zit en test op prestatieniveau. Denk aan een iq-test,
tentamen, vaardigheden test. Vaak hangt er van zulke tests veel af. Er is sprake van goed en fout,
“high stakes”.
2. Tests of typical performance
Test naar hoe je je normaal gesproken gedraagt. Denk aan persoonlijkheid, motivatie, kllinische
schalen. Er is geen goed of fout, gaat om voorkeuren en meningen, “low stakes”.
3
, Problemen bij typical performance meetinstrumenten:
- Meet vaak minder stabiele constructen
- Careless respons
- Wordt gebruikt als high stakes instrument. Wordt dan ingezet als maximum performance.
Mensen gaan zich dan anders voordoen. Een voorbeeld is dat er een persoonlijkheidstest wordt
gebruikt als een selectietest voor een studie.
- Indeling naar testinstructie of afname:
1. Snelheidstest
Zoveel mogelijk vragen goed beantwoorden in een korte tijd. Zijn makkelijke items, veel items.
2. Niveautests
Minder items, je hebt meer de tijd.
College 2, di 19-09 H4, H5 Itemconstructie, item-analyse, scoring, normen
Kwantificeren van reacties door twee soorten items:
1. Dichotome items; er zijn twee scores: Goed = 1, fout = 0. Komen vaak voor in
IQ-tests. Het kan zo zijn dat er 4 antwoordmogelijkheden zijn, dan zijn er nog
steeds 2 mogelijke scores, namelijk goed en fout.
2. Polytome items; meerdere (bv 4) mogelijke antwoorden, maar evenveel
mogelijke scores. Er is geen sprake van goed of fout. Vaak een ordinale schaal.
Item-analyse
- P- en a-waardes. Je begint vaak met het vaststellen van de p-waarde: proportie personen die
het goede antwoord heeft gegeven. Bij item 1 is dat 0.55 bij C. Er zijn meerdere a-waarden die
bij een item kunnen horen. Het is de bedoeling dat de p-waarde niet veel te hoog is, en dan de
a-waarden een beetje gelijkmatig zijn verdeeld over de rest van de antwoordmogelijkheden. De
antwoordmogelijkheid met de hoogste a-waarde is de sterkste afleider, deze wordt na het goede
antwoord het meest gekozen.
- Frequentie indelingen. Bij polytome items kijk je ook naar relatieve frequentie delingen. Let op:
je hebt geen p- en a-waarde want er is geen sprake van goede of foute antwoorden.
- Gemiddelde en standaarddeviatie. Er kan wel gekeken worden naar het gemiddelde en de
standaarddeviatie. De SD vertelt ook iets over de spreiding. Wanneer er een schreve verdeling
van respondenten is kan je geen/moeilijker onderscheid maken tussen personen.
- Correlaties. Je moet niet kijken naar hoe de items afzonderlijk functioneren, maar naar de
samenhang tussen de scores op items die een test vormen samen. Je kijkt vaak naar de
samenhang van 1 item met alle andere items van de test. Is dus de correlatie tussen itemscores
en de scores op de rest van de items.
Correlaties
1. Item-test correlatie(RIT): je meet de correlatie tussen de itemscore van item g met de
somscore van alle items.
2. Item-rest correlatie(RIR): je meet de correlatie tussen de itemscore van item g met de
somscore van alle resterende items. Er is een restscore voor ieder afzonderlijk item, om deze
uit te rekenen moet je de itemscore van dat item aftrekken van de totaalscore van de test:
Xg = X - Xg. Er ontstaat snel een probleem bij korte test, stel je hebt een test van 3 vragen. Dan
maakt een item 1/3e deel uit van de totaalscore, dan krijg je automatisch hogere correlaties.
4
