Inhoudsopgave Hoorcolleges Testtheorie (500216-B-5) – 2022-2023
Hoorcollege 1…………………………………………………………………………………blz. 2 t/m 3
Inleiding en basiskennis statistiek
Hoorcollege 2…………………………………………………………………………………blz. 4 t/m 8
Eigenschappen van tests en items
Hoorcollege 3……….………………………………………………………………………blz. 9 t/m 10
Bewerkte scores en normen
Hoorcollege 4 ………………………………………………………………………………blz. 11 t/m 12
Betrouwbaarheid: Klassieke Testtheorie
Hoorcollege 5 ………………………………………………………………………………blz. 13 t/m 17
Bepaling van betrouwbaarheid in de praktijk
Hoorcollege 6 ………………………………………………………………………………blz. 18 t/m 21
Invloeden op de betrouwbaarheid
Hoorcollege 7 ………………………………………………………………………………blz. 22 t/m 25
Betrouwbaarheid: verbeteren & gevolgen
Hoorcollege 8 ………………………………………………………………………………blz. 26 t/m 32
Begripsvaliditeit/constructvaliditeit
Hoorcollege 9 ………………………………………………………………………………blz. 33 t/m 39
Criteriumvaliditeit
Hoorcollege 10 ……………………………….……………………………………………blz. 40 t/m 48
Introductie: Item-responstheorie (IRT)
Hoorcollege 11 ……………………………………………………………………………blz. 49 t/m 53
IRT in de praktijk
Hoorcollege 12 ……………………………………………………………………………blz. 54 t/m 57
Test fairness & bias
,Testtheorie
Docent: Jesper Tijmsta (jaar 2, blok 2)
HC 1 – Inleiding en basiskennis statistiek
- Psychologie is een van de spannendste wetenschappen
- We bestuderen een van de meest complexe systemen in de wereld
- Het is een empirische wetenschap, dus onderzoek draait om observaties
- Als empirische wetenschap heeft het een groot probleem: Alles wat we interessant vinden is
niet direct te observeren!
- Met psychologische tests hopen we ze toch te kunnen meten
- Psychologie zonder tests is als astronomie zonder telescoop: We `zien' nauwelijks iets zonder
deze middelen
- Psycholoog zonder tests is als arts zonder instrumenten: Niet voldoende informatie om goed
te kunnen behandelen
- Zorgen voor goede psychologische tests essentieel
- Zonder goede tests is Psychologie nauwelijks wetenschap
- Zonder goede tests kan de Psychologie weinig bijdragen aan de maatschappij
- Heel vakgebied binnen Psychologie gewijd aan de vraag hoe we de kwaliteit van tests kunnen
onderzoeken en verbeteren: Testtheorie (ook wel psychometrie genoemd)
Introductie
- Voor het meten bij individuen gebruik je meestal een test met veel items
- Items als indicatoren voor een construct (perfectionisme)
1) Aan antwoorden worden scores toegekend (itemscores)
2) Itemscores worden verwerkt tot testscore (meestal optellen)
3) Testscores worden geïnterpreteerd
- Tests worden veel gebruikt om te meten in de Psychologie, meestal de handigste manier om
aan gegevens te komen
- Als je goed en nauwkeurig wilt meten heb je een goede test nodig,
anders sloppy science!
- Voor het maken van een goede test zijn helaas geen kant-en-klare
regels. Het vereist voortdurend goed nadenken, goede
- kennis van de te meten eigenschap, goed gebruik van statistische
methoden
- Er zijn wel handvatten: die worden behandeld in testtheorie
- Meeste beroepen in sociale wetenschappen maken gebruik van testresultaten
- Vaak beslissingen nemen aan de hand van psychologische tests
- Je zult tests zelf op waarde moeten kunnen schatten (of zelfs ontwikkelen)
- Zelf-ontwikkelde tests kritisch kunnen evalueren en verbeteren
- Kennis van mogelijkheden en beperkingen van psychologische tests van groot belang in
vrijwel alle vervolgberoepen
Wat kun je zeggen over iemands perfectionisme op basis van de testscores?
- Zijn de testscores zinvol te interpreteren?
- Meet de test wel perfectionisme? Hoe kom je daar achter?
- Zijn de vragen/opdrachten wel van goede kwaliteit?
- Zijn er wel genoeg vragen in de test?
- Iemand heeft een score 14 en een ander heeft een score 15. Is dit verschil groot genoeg om te
concluderen dat ze verschillen in perfectionisme?
,Basiskennis statistiek
- Gebruiken N in deze cursus
(descriptieve statistiek, steekproef) en niet N-1
(inferentiële statistiek, populatie)
- Standaard deviatie (S) is de
gemiddelde afwijking van het gemiddelde
- Som en gemiddelde van
afwijkingsscore is altijd 0
- Z-score: hoeveel SD tov het gemiddelde -> SD van
Z-score is altijd 1
- Covariëren: mate hoeveel variantie variabelen
delen
- xy= afwijkingscore van X keer afwijkingsscore van Y
covariantie
- Correlatie =
Sx × Sy( standaarddeviaties van beide variabelen)
WC0: opgave 1 en 2
WC0: opgave 3 en 4
, HC 2 – Eigenschappen van Tests en Items
Psychologische test
- Cronbach (1960): ‘’A systematic procedure for comparing the behavior of two or more
people’’
Zo’n procedure kan vele vormen aannemen:
Multiple choice vaardigheidstest
Open-ended persoonlijkheidsvragenlijst
Systematische gedragsobservatie
Rorschach inktvlekkentest
- Drie cruciale eigenschappen
1) Gericht op gedragsmeting (observeerbaar)
2) Systematisch (objectief)
3) Vergelijken van verschillende personen (=interpersoonlijk) of van personen over tijd
(=intrapersoonlijk)
Type tests
Tests voor prestatieniveau vs. gedragswijze:
Ook wel genoemd: maximum vs. typical performance
- Prestatieniveautests voor meten van vaardigheden
- Gedragswijzetests voor meten o.a. persoonlijkheidseigenschappen + attitudes
- Grote verschillen voor de aanpak bij testontwikkeling
- Nauwelijks verschillen voor statistische analyse van testscores
Twee type tests voor prestatieniveau:
‘Power’ en ‘speed’ tests (wel/niet time-limited)
- Power test meten vaardigheid zonder tijdsdruk
- Meer vaardige personen maken meer vragen goed
- Speed tests meten prestaties onder zware tijdsdruk
- Vragen zijn triviale moeilijkheid (heel makkelijk voor speed)
- Meer vaardige personen beantwoorden meer vragen
Normgericht of criteriumgericht:
- Normgerichte tests vergelijken personen met de rest van de populatie
- Goede normgegevens over deze populatie van groot belang
- Criteriumgerichte tests vergelijken personen met een absolute standaard
(van tevoren vastgelegd criterium, geen normgegevens van populatie)
- Testoordeel staat los van prestatieniveau in de populatie
- V.b.: Tentamen Testtheorie is criteriumgericht
Wat hoort bij een psychologische test
- Testmateriaal
- Testformulieren
- Testhandleiding – belangrijk, anders confounds/bias:
1) Exacte testinstructie
Hoorcollege 1…………………………………………………………………………………blz. 2 t/m 3
Inleiding en basiskennis statistiek
Hoorcollege 2…………………………………………………………………………………blz. 4 t/m 8
Eigenschappen van tests en items
Hoorcollege 3……….………………………………………………………………………blz. 9 t/m 10
Bewerkte scores en normen
Hoorcollege 4 ………………………………………………………………………………blz. 11 t/m 12
Betrouwbaarheid: Klassieke Testtheorie
Hoorcollege 5 ………………………………………………………………………………blz. 13 t/m 17
Bepaling van betrouwbaarheid in de praktijk
Hoorcollege 6 ………………………………………………………………………………blz. 18 t/m 21
Invloeden op de betrouwbaarheid
Hoorcollege 7 ………………………………………………………………………………blz. 22 t/m 25
Betrouwbaarheid: verbeteren & gevolgen
Hoorcollege 8 ………………………………………………………………………………blz. 26 t/m 32
Begripsvaliditeit/constructvaliditeit
Hoorcollege 9 ………………………………………………………………………………blz. 33 t/m 39
Criteriumvaliditeit
Hoorcollege 10 ……………………………….……………………………………………blz. 40 t/m 48
Introductie: Item-responstheorie (IRT)
Hoorcollege 11 ……………………………………………………………………………blz. 49 t/m 53
IRT in de praktijk
Hoorcollege 12 ……………………………………………………………………………blz. 54 t/m 57
Test fairness & bias
,Testtheorie
Docent: Jesper Tijmsta (jaar 2, blok 2)
HC 1 – Inleiding en basiskennis statistiek
- Psychologie is een van de spannendste wetenschappen
- We bestuderen een van de meest complexe systemen in de wereld
- Het is een empirische wetenschap, dus onderzoek draait om observaties
- Als empirische wetenschap heeft het een groot probleem: Alles wat we interessant vinden is
niet direct te observeren!
- Met psychologische tests hopen we ze toch te kunnen meten
- Psychologie zonder tests is als astronomie zonder telescoop: We `zien' nauwelijks iets zonder
deze middelen
- Psycholoog zonder tests is als arts zonder instrumenten: Niet voldoende informatie om goed
te kunnen behandelen
- Zorgen voor goede psychologische tests essentieel
- Zonder goede tests is Psychologie nauwelijks wetenschap
- Zonder goede tests kan de Psychologie weinig bijdragen aan de maatschappij
- Heel vakgebied binnen Psychologie gewijd aan de vraag hoe we de kwaliteit van tests kunnen
onderzoeken en verbeteren: Testtheorie (ook wel psychometrie genoemd)
Introductie
- Voor het meten bij individuen gebruik je meestal een test met veel items
- Items als indicatoren voor een construct (perfectionisme)
1) Aan antwoorden worden scores toegekend (itemscores)
2) Itemscores worden verwerkt tot testscore (meestal optellen)
3) Testscores worden geïnterpreteerd
- Tests worden veel gebruikt om te meten in de Psychologie, meestal de handigste manier om
aan gegevens te komen
- Als je goed en nauwkeurig wilt meten heb je een goede test nodig,
anders sloppy science!
- Voor het maken van een goede test zijn helaas geen kant-en-klare
regels. Het vereist voortdurend goed nadenken, goede
- kennis van de te meten eigenschap, goed gebruik van statistische
methoden
- Er zijn wel handvatten: die worden behandeld in testtheorie
- Meeste beroepen in sociale wetenschappen maken gebruik van testresultaten
- Vaak beslissingen nemen aan de hand van psychologische tests
- Je zult tests zelf op waarde moeten kunnen schatten (of zelfs ontwikkelen)
- Zelf-ontwikkelde tests kritisch kunnen evalueren en verbeteren
- Kennis van mogelijkheden en beperkingen van psychologische tests van groot belang in
vrijwel alle vervolgberoepen
Wat kun je zeggen over iemands perfectionisme op basis van de testscores?
- Zijn de testscores zinvol te interpreteren?
- Meet de test wel perfectionisme? Hoe kom je daar achter?
- Zijn de vragen/opdrachten wel van goede kwaliteit?
- Zijn er wel genoeg vragen in de test?
- Iemand heeft een score 14 en een ander heeft een score 15. Is dit verschil groot genoeg om te
concluderen dat ze verschillen in perfectionisme?
,Basiskennis statistiek
- Gebruiken N in deze cursus
(descriptieve statistiek, steekproef) en niet N-1
(inferentiële statistiek, populatie)
- Standaard deviatie (S) is de
gemiddelde afwijking van het gemiddelde
- Som en gemiddelde van
afwijkingsscore is altijd 0
- Z-score: hoeveel SD tov het gemiddelde -> SD van
Z-score is altijd 1
- Covariëren: mate hoeveel variantie variabelen
delen
- xy= afwijkingscore van X keer afwijkingsscore van Y
covariantie
- Correlatie =
Sx × Sy( standaarddeviaties van beide variabelen)
WC0: opgave 1 en 2
WC0: opgave 3 en 4
, HC 2 – Eigenschappen van Tests en Items
Psychologische test
- Cronbach (1960): ‘’A systematic procedure for comparing the behavior of two or more
people’’
Zo’n procedure kan vele vormen aannemen:
Multiple choice vaardigheidstest
Open-ended persoonlijkheidsvragenlijst
Systematische gedragsobservatie
Rorschach inktvlekkentest
- Drie cruciale eigenschappen
1) Gericht op gedragsmeting (observeerbaar)
2) Systematisch (objectief)
3) Vergelijken van verschillende personen (=interpersoonlijk) of van personen over tijd
(=intrapersoonlijk)
Type tests
Tests voor prestatieniveau vs. gedragswijze:
Ook wel genoemd: maximum vs. typical performance
- Prestatieniveautests voor meten van vaardigheden
- Gedragswijzetests voor meten o.a. persoonlijkheidseigenschappen + attitudes
- Grote verschillen voor de aanpak bij testontwikkeling
- Nauwelijks verschillen voor statistische analyse van testscores
Twee type tests voor prestatieniveau:
‘Power’ en ‘speed’ tests (wel/niet time-limited)
- Power test meten vaardigheid zonder tijdsdruk
- Meer vaardige personen maken meer vragen goed
- Speed tests meten prestaties onder zware tijdsdruk
- Vragen zijn triviale moeilijkheid (heel makkelijk voor speed)
- Meer vaardige personen beantwoorden meer vragen
Normgericht of criteriumgericht:
- Normgerichte tests vergelijken personen met de rest van de populatie
- Goede normgegevens over deze populatie van groot belang
- Criteriumgerichte tests vergelijken personen met een absolute standaard
(van tevoren vastgelegd criterium, geen normgegevens van populatie)
- Testoordeel staat los van prestatieniveau in de populatie
- V.b.: Tentamen Testtheorie is criteriumgericht
Wat hoort bij een psychologische test
- Testmateriaal
- Testformulieren
- Testhandleiding – belangrijk, anders confounds/bias:
1) Exacte testinstructie
