Hoorcolleges Testtheorie
Tilburg University 2019-2020
Femke van Leth
Inhoudsopgave
Hoorcollege 1 (21-10)..................................................................................................................................... 1
Inleiding en basiskennis statistiek........................................................................................................................1
Hoorcollege 2 (23-10)..................................................................................................................................... 2
Eigenschappen van tests en items.......................................................................................................................2
Hoorcollege 3 (28-10)..................................................................................................................................... 6
Bewerkte scores en normen.................................................................................................................................6
Hoorcollege 4 (30-10)..................................................................................................................................... 8
Betrouwbaarheid.................................................................................................................................................8
Hoorcollege 5 (4-11)..................................................................................................................................... 11
Betrouwbaarheid deel 2.....................................................................................................................................11
Interne consistentie methoden.....................................................................................................................12
Hoorcollege 6 (6-11)..................................................................................................................................... 15
Betrouwbaarheid deel 3.....................................................................................................................................15
Hoorcollege 7 (11-11)................................................................................................................................... 18
Betrouwbaarheid deel 4.....................................................................................................................................18
Item-selectie..................................................................................................................................................18
Gevolgen van een niet-perfecte betrouwbaarheid.......................................................................................20
Hoorcollege 8 (13-11)................................................................................................................................... 21
Back-up college -> vervalt..................................................................................................................................21
Hoorcollege 1 (21-10)
Inleiding en basiskennis statistiek
- Psychologische constructen: dingen waar we in geïnteresseerd zijn, maar die we niet
direct kunnen observeren -> mogelijkheid om het empirisch te maken: een test
o Zonder tests is psychologie geen wetenschap (astronoom zonder telescoop)
en kan het ook niks bijdragen aan de maatschappij (arts zonder instrument)
o Testtheorie: hoe kunnen we de kwaliteit van een test onderzoeken?
- Voor het meten bij individuen gebruik je meestal een test met veel items -> dit zijn
indicatoren voor een bepaald construct. Vervolgens worden aan antwoorden
bepaalde scores toegekend (itemscores) -> samen vormt dit een testscore (meestal
gebeurt dit door optellen) -> ten slotte worden testscores geïnterpreteerd
, o Maar: zijn de testscores wel zinvol te interpreteren? Zijn er confounds?
o Ook: is de test wel van goede kwaliteit? Zijn er wel genoeg vragen?
- Bij dit vak wordt vaak gesproken over een
positie-driehoek -> 3 standpunten:
o Ongeïnteresseerd zijn is geen optie
bij het studeren van psychologie
o Tijdens dit vak is het de bedoeling
dat je gelooft in testen, maar ook
kritisch blijft over een test -> we
moeten bij de rode stip uitkomen
Tussen gelovig en
doemdenker in is perfect
- Als je testen gebruikt in de psychologie (en dit gebeurt vaak), moet de test valide en
betrouwbaar zijn (hoge kwaliteit), anders is er sprake van sloppy science -> slecht
o Handvatten om de kwaliteit van een test te bepalen leer je tijdens dit vak
- Herhaling MTO: als je variabelen centreert (via het gemiddelde -> deviatiescores),
wordt het gemiddelde van de deviatiescores 0 -> iedereen valt rond het gemiddelde
o De som van de gekwadrateerde deviatiescores delen door N: variantie (S 2X)
De standaarddeviatie bereken je door de variantie te wortelen
Dit is dus de gemiddelde afwijking van het gemiddelde
Door te delen door N bepaal je de standaarddeviatie van de
steekproef, als je die van de populatie bepaalt, deel je door N – 1
o Om de testscores beter te kunnen interpreteren, maak je gebruik van een
standaardmaat -> Z-scores: de deviatie score delen door de standaarddeviatie
Van deze Z-scores is het gemiddelde 0 en de standaarddeviatie 1
o Ook kan je kijken naar meerdere variabelen tegelijk -> covariantie
De gestandaardiseerde vorm van een covariantie is een correlatie
Hoorcollege 2 (23-10)
Eigenschappen van tests en items
- Cronbach omschrijft een psychologische test als: een systematische procedure voor
het vergelijken van het gedrag van 2 of meer mensen -> veel verschillende vormen:
mutliple choice tentamen, open persoonlijkheidsvragenlijst, observatie, Rorschach
o Hierbij hebben tests 3 cruciale eigenschappen: gericht op gedragsmeting
(observeren), systematisch (objectief) en vergelijking van meerdere personen
Ook kunnen er personen over tijd worden vergeleken -> verandering
Type tests
- Tests voor prestatieniveau (maximum prestatie) vs. gedragswijze (typische prestatie)
o Idee prestatieniveau: iedereen wil een zo goed mogelijke prestatie leveren
Prestatieniveaus meten hierbij bepaalde vaardigheden
Deze tests kan je vervolgens weer onderverdelen in ‘power’ en ‘speed’
, o Idee gedragswijzetests: wat beschrijft jou als persoon?
Hierbij heb je geen ‘goed’ of ‘fout’ antwoord -> persoonlijkheidstest
Grote verschillen voor de aanpak bij de testontwikkeling
o Afkijken kan bij een prestatieniveau test (bij het maken
van een tentamen), maar niet bij een gedragswijzetest
Nauwelijks verschillen voor statistische analyse van testscores
o Betrouwbaarheid van tests kan gelijk worden getoetst
- Twee types tests voor prestatieniveau (maximum): ‘power’ en ‘speed’ tests
o Power: vaardigheid zonder tijdsdruk -> vaardige mensen doen het beter
Vaak is het echter moeilijk om tijdsdruk volledig te voorkomen, omdat
het praktisch soms makkelijker is (bijvoorbeeld de tijd van een toets)
o Speed: prestaties onder (zware) tijdsdruk -> vragen zijn totaal niet moeilijk en
vaardige mensen kunnen hierbij meer vragen beantwoorden in de tijd
- Normgerichte of criteriumgerichte tests (hoe worden mensen vergeleken?):
o Normgericht: vergelijken personen met de rest van de populatie -> vaak
Hierbij zijn goede normgegevens over de populatie heel belangrijk
Dit wordt vooral gebruikt bij toelatingstoetsen (geneeskunde)
o Criteriumgericht: vergelijken van personen met een absolute standaard
Het testoordeel staat los van het prestatieniveau in de populatie
De conclusie van een bepaalde score wordt gebaseerd op de
absolute evaluatie van de score -> voldoende voor een toets
Wat hoort er bij een psychologische test?
- Testmateriaal: moet je aanpassen aan de populatie die je gaat toetsen (kinderen)
- Testformulieren: het registreren van de datapunten -> wat zijn de uitkomsten?
o Hierbij ga je de uitkomsten van de test vertalen naar bepaalde scores
Deze stap (antwoord -> score) heet de beoordeling -> je gaat hierbij
van bijv. open antwoorden (kwalitatief) naar scores (kwantitatief)
Codering is hierbij heel belangrijk -> indicatieve scores
o Itemscores worden zo bepaald dat ze indicatief zijn voor het te meten
construct: een hogere itemscore = ‘hoger’ scoren op de eigenschap
Dit is duidelijker voor een maximum dan voor een typische test
(contra-indicatieve items: omgekeerde stellingen in de test)
o De testscore is vaak een optelsom van de itemscores -> je kijkt naar het totaal
De testhandleiding (normtabellen) geven aan hoe de score op een test
moet worden geïnterpreteerd -> betekenisvolle waarde geven aan een
score (door raadpleging van de normgegevens bij normgerichte tests)
o De testscore is een getal die geïnterpreteerd wordt op een meetniveau:
Nominaal (persoonlijkheid): cijfers hebben geen waarde/betekenis
Ordinaal (korte Likert schaal): info over de ordening van personen,
zonder betekenisvolle verschillen tussen de verschillende categorieën
Interval (lange Likert schaal?): betekenis van de verschillende
intervallen die je vindt op een bepaalde schaal -> zelfde afstanden
Scores moeten hiervoor kwantitatief zijn -> een toename van 1
punt moet altijd dezelfde toename in het construct weergeven
Tilburg University 2019-2020
Femke van Leth
Inhoudsopgave
Hoorcollege 1 (21-10)..................................................................................................................................... 1
Inleiding en basiskennis statistiek........................................................................................................................1
Hoorcollege 2 (23-10)..................................................................................................................................... 2
Eigenschappen van tests en items.......................................................................................................................2
Hoorcollege 3 (28-10)..................................................................................................................................... 6
Bewerkte scores en normen.................................................................................................................................6
Hoorcollege 4 (30-10)..................................................................................................................................... 8
Betrouwbaarheid.................................................................................................................................................8
Hoorcollege 5 (4-11)..................................................................................................................................... 11
Betrouwbaarheid deel 2.....................................................................................................................................11
Interne consistentie methoden.....................................................................................................................12
Hoorcollege 6 (6-11)..................................................................................................................................... 15
Betrouwbaarheid deel 3.....................................................................................................................................15
Hoorcollege 7 (11-11)................................................................................................................................... 18
Betrouwbaarheid deel 4.....................................................................................................................................18
Item-selectie..................................................................................................................................................18
Gevolgen van een niet-perfecte betrouwbaarheid.......................................................................................20
Hoorcollege 8 (13-11)................................................................................................................................... 21
Back-up college -> vervalt..................................................................................................................................21
Hoorcollege 1 (21-10)
Inleiding en basiskennis statistiek
- Psychologische constructen: dingen waar we in geïnteresseerd zijn, maar die we niet
direct kunnen observeren -> mogelijkheid om het empirisch te maken: een test
o Zonder tests is psychologie geen wetenschap (astronoom zonder telescoop)
en kan het ook niks bijdragen aan de maatschappij (arts zonder instrument)
o Testtheorie: hoe kunnen we de kwaliteit van een test onderzoeken?
- Voor het meten bij individuen gebruik je meestal een test met veel items -> dit zijn
indicatoren voor een bepaald construct. Vervolgens worden aan antwoorden
bepaalde scores toegekend (itemscores) -> samen vormt dit een testscore (meestal
gebeurt dit door optellen) -> ten slotte worden testscores geïnterpreteerd
, o Maar: zijn de testscores wel zinvol te interpreteren? Zijn er confounds?
o Ook: is de test wel van goede kwaliteit? Zijn er wel genoeg vragen?
- Bij dit vak wordt vaak gesproken over een
positie-driehoek -> 3 standpunten:
o Ongeïnteresseerd zijn is geen optie
bij het studeren van psychologie
o Tijdens dit vak is het de bedoeling
dat je gelooft in testen, maar ook
kritisch blijft over een test -> we
moeten bij de rode stip uitkomen
Tussen gelovig en
doemdenker in is perfect
- Als je testen gebruikt in de psychologie (en dit gebeurt vaak), moet de test valide en
betrouwbaar zijn (hoge kwaliteit), anders is er sprake van sloppy science -> slecht
o Handvatten om de kwaliteit van een test te bepalen leer je tijdens dit vak
- Herhaling MTO: als je variabelen centreert (via het gemiddelde -> deviatiescores),
wordt het gemiddelde van de deviatiescores 0 -> iedereen valt rond het gemiddelde
o De som van de gekwadrateerde deviatiescores delen door N: variantie (S 2X)
De standaarddeviatie bereken je door de variantie te wortelen
Dit is dus de gemiddelde afwijking van het gemiddelde
Door te delen door N bepaal je de standaarddeviatie van de
steekproef, als je die van de populatie bepaalt, deel je door N – 1
o Om de testscores beter te kunnen interpreteren, maak je gebruik van een
standaardmaat -> Z-scores: de deviatie score delen door de standaarddeviatie
Van deze Z-scores is het gemiddelde 0 en de standaarddeviatie 1
o Ook kan je kijken naar meerdere variabelen tegelijk -> covariantie
De gestandaardiseerde vorm van een covariantie is een correlatie
Hoorcollege 2 (23-10)
Eigenschappen van tests en items
- Cronbach omschrijft een psychologische test als: een systematische procedure voor
het vergelijken van het gedrag van 2 of meer mensen -> veel verschillende vormen:
mutliple choice tentamen, open persoonlijkheidsvragenlijst, observatie, Rorschach
o Hierbij hebben tests 3 cruciale eigenschappen: gericht op gedragsmeting
(observeren), systematisch (objectief) en vergelijking van meerdere personen
Ook kunnen er personen over tijd worden vergeleken -> verandering
Type tests
- Tests voor prestatieniveau (maximum prestatie) vs. gedragswijze (typische prestatie)
o Idee prestatieniveau: iedereen wil een zo goed mogelijke prestatie leveren
Prestatieniveaus meten hierbij bepaalde vaardigheden
Deze tests kan je vervolgens weer onderverdelen in ‘power’ en ‘speed’
, o Idee gedragswijzetests: wat beschrijft jou als persoon?
Hierbij heb je geen ‘goed’ of ‘fout’ antwoord -> persoonlijkheidstest
Grote verschillen voor de aanpak bij de testontwikkeling
o Afkijken kan bij een prestatieniveau test (bij het maken
van een tentamen), maar niet bij een gedragswijzetest
Nauwelijks verschillen voor statistische analyse van testscores
o Betrouwbaarheid van tests kan gelijk worden getoetst
- Twee types tests voor prestatieniveau (maximum): ‘power’ en ‘speed’ tests
o Power: vaardigheid zonder tijdsdruk -> vaardige mensen doen het beter
Vaak is het echter moeilijk om tijdsdruk volledig te voorkomen, omdat
het praktisch soms makkelijker is (bijvoorbeeld de tijd van een toets)
o Speed: prestaties onder (zware) tijdsdruk -> vragen zijn totaal niet moeilijk en
vaardige mensen kunnen hierbij meer vragen beantwoorden in de tijd
- Normgerichte of criteriumgerichte tests (hoe worden mensen vergeleken?):
o Normgericht: vergelijken personen met de rest van de populatie -> vaak
Hierbij zijn goede normgegevens over de populatie heel belangrijk
Dit wordt vooral gebruikt bij toelatingstoetsen (geneeskunde)
o Criteriumgericht: vergelijken van personen met een absolute standaard
Het testoordeel staat los van het prestatieniveau in de populatie
De conclusie van een bepaalde score wordt gebaseerd op de
absolute evaluatie van de score -> voldoende voor een toets
Wat hoort er bij een psychologische test?
- Testmateriaal: moet je aanpassen aan de populatie die je gaat toetsen (kinderen)
- Testformulieren: het registreren van de datapunten -> wat zijn de uitkomsten?
o Hierbij ga je de uitkomsten van de test vertalen naar bepaalde scores
Deze stap (antwoord -> score) heet de beoordeling -> je gaat hierbij
van bijv. open antwoorden (kwalitatief) naar scores (kwantitatief)
Codering is hierbij heel belangrijk -> indicatieve scores
o Itemscores worden zo bepaald dat ze indicatief zijn voor het te meten
construct: een hogere itemscore = ‘hoger’ scoren op de eigenschap
Dit is duidelijker voor een maximum dan voor een typische test
(contra-indicatieve items: omgekeerde stellingen in de test)
o De testscore is vaak een optelsom van de itemscores -> je kijkt naar het totaal
De testhandleiding (normtabellen) geven aan hoe de score op een test
moet worden geïnterpreteerd -> betekenisvolle waarde geven aan een
score (door raadpleging van de normgegevens bij normgerichte tests)
o De testscore is een getal die geïnterpreteerd wordt op een meetniveau:
Nominaal (persoonlijkheid): cijfers hebben geen waarde/betekenis
Ordinaal (korte Likert schaal): info over de ordening van personen,
zonder betekenisvolle verschillen tussen de verschillende categorieën
Interval (lange Likert schaal?): betekenis van de verschillende
intervallen die je vindt op een bepaalde schaal -> zelfde afstanden
Scores moeten hiervoor kwantitatief zijn -> een toename van 1
punt moet altijd dezelfde toename in het construct weergeven
