Samenvatting Psychometrie en besliskunde
Inhoudsopgave
1 Testconstructie en testbeoordelingen ............................................................................................................................................................ 2
Introductie ........................................................................................................................................................................................................... 2
1.2 Wat is meten? De cyclus van testconstructie................................................................................................................................................ 2
Vragen over de video testconstructie ........................................................................................................................................................ 2
1.3 Het COTAN-beoordelingssysteem ................................................................................................................................................................ 2
Het COTAN-beoordelingssysteem (2010) ................................................................................................................................................ 3
Kernclip 1-A tabel ........................................................................................................................................................................................ 8
1.4 Welke conclusies kun je trekken uit een test? ................................................................................................................................................ 8
Zelftest ............................................................................................................................................................................................................... 11
2 Factoranalyse I .................................................................................................................................................................................................. 14
Theorie van factoranalyse .................................................................................................................................................................................. 14
Hoofdstuk 2 uit Statistiek voor de psychologie, Ellis (2013) ............................................................................................................... 14
Opgave 1 Bright Space ...................................................................................................................................................................................... 18
Doorlopend voorbeeld uit boek ........................................................................................................................................................................... 20
Zelftest ............................................................................................................................................................................................................... 24
3 Factoranalyse II ................................................................................................................................................................................................ 28
Hoofdstuk 3 uit statistiek voor de psychologie, Ellis (2013) ................................................................................................................ 28
Zelftest ............................................................................................................................................................................................................... 31
4 Betrouwbaarheid ............................................................................................................................................................................................. 33
Introductie ......................................................................................................................................................................................................... 33
4.1 Interne-consistentie-betrouwbaarheden ...................................................................................................................................................... 33
Hoofdstuk 4 uit statistiek voor de psychologie, Ellis (2013) ................................................................................................................ 33
Doorlopend voorbeeld uit boek ........................................................................................................................................................................... 37
4.2 Stabiliteit...................................................................................................................................................................................................... 38
Samenvatting dictaat versie 2 hoofdstuk 1 (Ellis, 2013) ....................................................................................................................... 38
Opgaven Bright Space ............................................................................................................................................................................... 39
4.3 Klassieke testtheorie ..................................................................................................................................................................................... 40
Samenvatting dictaat versie 2 hoofdstuk 3 (Ellis, 2013) ....................................................................................................................... 40
Opgave Bright Space ................................................................................................................................................................................. 42
4.4 Moderne testtheorie ..................................................................................................................................................................................... 43
Hoofdstuk 5 uit Statistiek voor de psychologie, Ellis (2013) ............................................................................................................... 43
Hoofdstuk 6.1 en 6.7 uit Statistiek voor de psychologie, Ellis (2013) ................................................................................................. 46
Opgaven Bright Space ............................................................................................................................................................................... 47
Zelftest ............................................................................................................................................................................................................... 49
5 Validiteit............................................................................................................................................................................................................ 55
5.1 Inhoudsvaliditeit .......................................................................................................................................................................................... 55
Blz. 118 t/m 122 uit Gregory (2015)......................................................................................................................................................... 55
Opgave Bright Space ................................................................................................................................................................................. 56
5.2 Begripsvaliditeit ........................................................................................................................................................................................... 56
Blz. 127 t/m 133 uit Gregory (2015)......................................................................................................................................................... 56
Opgave Bright Space ................................................................................................................................................................................. 57
5.3 Criteriumvaliditeit ....................................................................................................................................................................................... 58
Blz. 122 t/m 127 & 132-133 uit Gregory (2015) ...................................................................................................................................... 58
Kort overzicht besliskansen blz. 1-2 ........................................................................................................................................................ 59
Zelftest ............................................................................................................................................................................................................... 60
6 Normeren .......................................................................................................................................................................................................... 64
Hoofdstuk 3 (normeren) uit deel 1 van Ellis (2013) .............................................................................................................................. 64
Opgave uit boek ......................................................................................................................................................................................... 68
Opgaven Bright Space ............................................................................................................................................................................... 68
Afsluiting ..................................................................................................................................................................................................... 70
Zelftest ............................................................................................................................................................................................................... 70
7 Besliskunde ...................................................................................................................................................................................................... 72
7.1 Normatieve besliskunde ............................................................................................................................................................................... 72
Hoofdstuk 9 uit Drenth en Sijtsma (2009) .............................................................................................................................................. 72
Tiemens et al. (2018) ................................................................................................................................................................................... 76
Opgaven Bright Space ............................................................................................................................................................................... 78
7.2 Klinische versus statistische predictie ......................................................................................................................................................... 83
Niessen et al. (2019).................................................................................................................................................................................... 83
Opgaven Bright space................................................................................................................................................................................ 86
Zelftest ............................................................................................................................................................................................................... 86
Oefententamens .................................................................................................................................................................................................. 89
,1 Testconstructie en testbeoordelingen
Introductie
Er zijn twee dingen essentieel bij het maken van psychologische tests;
1. Er moet een theorie zijn die beschrijft wat gemeten gaat worden
2. Er moet empirisch onderzoek zijn waarmee de test en theorie steeds verbeterd worden
Voor het beoordelen van de kwaliteit van tests wordt het COTAN-beoordelingssysteem gebruikt.
à Voorbereidend voor de BAPD, waarin het volgende gekund moet worden:
A. Op basaal niveau de kwaliteit van een instrument evalueren op basis van diens psychometrische
eigenschappen, met daarbij basale kennis van de werkwijze van de COTAN (grootste gedeelte van dit
vak)
B. Reflecteren op het verband tussen de psychometrische eigenschappen van een instrument en de
geldigheid/reikwijdte van de conclusies; eventuele beperkingen in psychometrische kwaliteiten van
een instrument ‘vertalen’ naar de interpretatie en betekenis van de verzamelde gegevens (thema 1)
1.2 Wat is meten? De cyclus van testconstructie
Vragen over de video testconstructie
Waarom is testconstructie in principe een iteratief proces?
Iteratief proces = proces waarbij herhaling (iteratie) een belangrijk onderdeel is. Bij elke herhaling wordt
voortgebouwd op de resultaten van de vorige stap, zodat het proces wordt verbeterd, aangepast of verfijnd.
Het doel is om geleidelijk een beter resultaat, oplossing of begrip te bereiken.
Bij het onderzoek naar validiteit en betrouwbaarheid kan naar voren komen dat de test nog niet goed genoeg
is, en dan moet hij worden verbeterd. Dit betekent dat er andere items moeten worden gemaakt, waarna de
test weer opnieuw onderzocht moet worden.
Waarom wordt, binnen een cyclus, betrouwbaarheid onderzocht na unidimensionaliteit?
Unidimensionaliteit = een concept in de statistiek en psychometrie dat verwijst naar het idee dat een
meetinstrument (zoals een vragenlijst, schaal of test) slechts één enkele eigenschap, kenmerk of dimensie
meet. Het is een belangrijk concept bij het ontwerpen en valideren van meetinstrumenten, omdat het ervoor
zorgt dat de resultaten eenduidig te interpreteren zijn.
Bij validiteitsonderzoek wordt ook de geschiktheid van elk item onderzocht, en dit kan ertoe leiden dat
sommige items worden verwijderd. Betrouwbaarheid gaat alleen over de totaalscore, maar dan moet men
eerst weten welke items behouden blijven.
Waarom worden normen als laatste vastgesteld?
Normen hebben pas zin als de inhoud van de test definitief vaststaat, en daarvoor moeten eerst validiteit en
betrouwbaarheid zijn onderzocht.
1.3 Het COTAN-beoordelingssysteem
Check alleen de tabel op blz. 10 voor daadwerkelijke info voor tentamen!
Het Nederlands Instituut Psychologen (NIP) heeft een commissie die zich bezighoudt met het beoordelen van
tests: Commissie Testaangelegenheden Nederland (COTAN).
2
,Het COTAN-beoordelingssysteem (2010)
Inleiding: de zeven criteria (blz. 2)
1. Uitgangspunten van de testconstructie
Zijn het gebruiksdoel, theoretische achtergrond en operationalisatie van de testinhoud beschreven?
2. Kwaliteit van het testmateriaal
Zijn de testopgaven, scoring en instructie gestandaardiseerd met voldoende aanwijzingen voor de geteste?
3. Kwaliteit van de handleiding
Ondersteunt de geboden informatie de testgebruiker bij het afnemen van de test?
4. Normen
Welke normen zijn normaal, welke zijn bijzonder hoog of laag?
5. Betrouwbaarheid
Leidt herhaling van de meting tot dezelfde scores of verschillen tussen scores?
6. Begripsvaliditeit
Is het begrijpelijk wat de scores betekenen? Komen voorspellingen van de theorie uit?
7. Criteriumvaliditeit
Hoe goed kunnen voorspellingen worden gedaan op basis van de testscores?
Per beoordeelde test wordt voor elk van de criteria ‘goed’, ‘voldoende’ of ‘onvoldoende’ gegeven.
De laatste vier criteria zijn het meest belangrijk in deze cursus!
Betekenis van de beoordelingen (blz. 3)
Eerste nuancering: een ‘onvoldoende’ op een criterium kan op 2 manieren tot stand komen:
1. De gevraagde informatie is afwezig
2. De kwaliteit van de aanwezige informatie wordt negatief beoordeeld
à Een ‘onvoldoende’ voor betrouwbaarheid kan betekenen dat de betrouwbaarheid niet is onderzocht of dat
de test onvoldoende betrouwbaar is.
Tweede nuancering: een of meer ‘onvoldoendes’ betekent niet per se dat een instrument onbruikbaar is.
à Een of meer schalen of subtests kunnen onvoldoende betrouwbaar zijn, maar dat betekent niet dat alle
schalen of subtests onbruikbaar zijn.
Derde nuancering: de grenswaarden in het beoordelingssysteem worden genoemd en waaraan tests moeten
voldoen om een zo groot mogelijke objectiviteit bij de beoordeling te garanderen.
à Hier is geen sluitende wetenschappelijke argumentatie voor, maar gebasseerd op internationaal
geaccepteerde adviezen van deskundigen.
Beoordelingsprocedure (blz. 4)
Om een test te beoordelen moet al het materiaal (testboekje, handleiding, software, proefschrift e.d.) worden
verzameld en wordt dit door 2 onafhankelijke beoordelaars gestuurd (waarvan minstens 1 COTAN-lid).
o De beoordelaars leveren een inhoudelijke onderbouwing
o De auteur van de test mag reageren op de beoordeling, waarna deze worden behandeld door de
beoordelaars
o Eventueel worden testonderdelen nog een keer behandeld
o De beoordeling wordt gepubliceerd met de daarbij behorende toelichtingen
Wanneer nieuwe informatie over een al beoordeelde test verschijnt (bijvoorbeeld een herziene
testhandleiding, een onderzoeksrapport of een complete testrevisie), kan een herbeoordeling van de test
plaatsvinden. De gehele hierboven beschreven procedure wordt dan opnieuw doorlopen. Wel is hieraan de
beperking gesteld dat sinds de vorige beoordeling van de test minstens een jaar moet zijn verstreken.
Criterium 1 Uitgangspunten van de testconstructie (blz. 7)
Basispunten:
1. Er is aangegeven wat het gebruiksdoel is van de test
a. Er is aangegeven welk construct de test beoogt te meten
b. Er is aangegeven wat de doelgroep(en) is/zijn van deze test
c. Er is aangegeven wat de functie is van de test
2. De herkomst van het construct-idee is beschreven; de te meten constructen zijn gedefinieerd
3
, 3. De relevantie van de testinhoud voor de te meten constructen zijn aannemelijk gemaakt
Criterium 2 De kwaliteit van het testmateriaal (blz. 8)
Er wordt onderscheid gemaakt tussen tests met behulp van pen en papier en CBT(Computer Based Tests).
Basispunten:
1. De testopgaven zijn gestandaardiseerd
2. Er is een objectief scoringssysteem en het beoordelingssysteem (mits aanwezig) is duidelijk
à CBT: er is een geautomatiseerd of objectief scoringssysteem
3. De items zijn vrij van voor bepaalde bevolkingsgroepen kwetsende inhoud
4. De items, testboekje, antwoordschalen zijn ontworpen zodat fouten bij de invulling kunnen worden
vermeden
5. De instructie voor de geteste is volledig en duidelijk
6. De items zijn correct geformuleerd
7. De kwaliteit van het testmateriaal is ‘onvoldoende’, ‘voldoende’ of goed
8. Het scoringssysteem is zodanig ontworpen en beschreven dat fouten bij scoring kunnen worden
vermeden
9. CBT: de test is voldoende beveiligd
Criterium 3 De kwaliteit van de handleiding (blz. 16)
Basispunten
1. Er is een handleiding beschikbaar
2. De aanwijzingen voor de testleider zijn volledig en duidelijk
3. Er wordt informatie gegeven over de gebruiksmogelijkheden en beperkingen van de test
4. Er wordt een samenvatting van de onderzoeksresultaten gegeven
5. Er wordt met behulp van voorbeelden aangegeven hoe testscores kunnen worden geïnterpreteerd
6. Er wordt gewezen op soorten informatie die bij de interpretatie belangrijk kunnen zijn
7. De mate van deskundigheid wordt vermeld die vereist is voor afname en interpretatie van de test
Criterium 4 Normen (blz 19 & 20)
Het scoren van een test levert een ruwe score op. Deze worden gedeeltelijk bepaald door de kenmerken van
de test (o.a. aantal items, keuze van tijdslimiet, moelijkheidsgraad of omstandigheden waaronder de test is
afgenomen.
à Zorgt dat ruwe scores moeilijk te interpreteren zijn. Ruwe scores krijgen pas betekenis door deze te
vergelijken met een norm.
Twee typen van normscores:
1. Normgerichte interpretatie
= de behaalde ruwe score vergelijken met die van anderen
Doel; vaststellen hoe de onderzochte scoort ten opzichte van andere personen waarmee een zinvolle (op
basis van overeenkomsten in bijvoorbeeld leerjaar, leeftijd, functie) vergelijking kan worden gemaakt. Dit
type normen wordt ook wel relatieve normen genoemd
2. Domeingerichte/criteriumgerichte interpretatie
= ruwe scores met een absolute norm vergelijken/de grensscores worden aan onderzoeksgegevens
ontleend
Doel; een schatting maken van de vaardigheid van de persoon binnen het hele domein
Geen normen verstrekt = onvoldoende scoren op dit criterium
Basispunten
1. Er worden normen verstrekt
2. De normen zijn actueel
Basispunten normgerichte interpretatie
1. De kwaliteit van de verstrekte normgroep
a. De normgroepen zijn groot genoeg
4
Inhoudsopgave
1 Testconstructie en testbeoordelingen ............................................................................................................................................................ 2
Introductie ........................................................................................................................................................................................................... 2
1.2 Wat is meten? De cyclus van testconstructie................................................................................................................................................ 2
Vragen over de video testconstructie ........................................................................................................................................................ 2
1.3 Het COTAN-beoordelingssysteem ................................................................................................................................................................ 2
Het COTAN-beoordelingssysteem (2010) ................................................................................................................................................ 3
Kernclip 1-A tabel ........................................................................................................................................................................................ 8
1.4 Welke conclusies kun je trekken uit een test? ................................................................................................................................................ 8
Zelftest ............................................................................................................................................................................................................... 11
2 Factoranalyse I .................................................................................................................................................................................................. 14
Theorie van factoranalyse .................................................................................................................................................................................. 14
Hoofdstuk 2 uit Statistiek voor de psychologie, Ellis (2013) ............................................................................................................... 14
Opgave 1 Bright Space ...................................................................................................................................................................................... 18
Doorlopend voorbeeld uit boek ........................................................................................................................................................................... 20
Zelftest ............................................................................................................................................................................................................... 24
3 Factoranalyse II ................................................................................................................................................................................................ 28
Hoofdstuk 3 uit statistiek voor de psychologie, Ellis (2013) ................................................................................................................ 28
Zelftest ............................................................................................................................................................................................................... 31
4 Betrouwbaarheid ............................................................................................................................................................................................. 33
Introductie ......................................................................................................................................................................................................... 33
4.1 Interne-consistentie-betrouwbaarheden ...................................................................................................................................................... 33
Hoofdstuk 4 uit statistiek voor de psychologie, Ellis (2013) ................................................................................................................ 33
Doorlopend voorbeeld uit boek ........................................................................................................................................................................... 37
4.2 Stabiliteit...................................................................................................................................................................................................... 38
Samenvatting dictaat versie 2 hoofdstuk 1 (Ellis, 2013) ....................................................................................................................... 38
Opgaven Bright Space ............................................................................................................................................................................... 39
4.3 Klassieke testtheorie ..................................................................................................................................................................................... 40
Samenvatting dictaat versie 2 hoofdstuk 3 (Ellis, 2013) ....................................................................................................................... 40
Opgave Bright Space ................................................................................................................................................................................. 42
4.4 Moderne testtheorie ..................................................................................................................................................................................... 43
Hoofdstuk 5 uit Statistiek voor de psychologie, Ellis (2013) ............................................................................................................... 43
Hoofdstuk 6.1 en 6.7 uit Statistiek voor de psychologie, Ellis (2013) ................................................................................................. 46
Opgaven Bright Space ............................................................................................................................................................................... 47
Zelftest ............................................................................................................................................................................................................... 49
5 Validiteit............................................................................................................................................................................................................ 55
5.1 Inhoudsvaliditeit .......................................................................................................................................................................................... 55
Blz. 118 t/m 122 uit Gregory (2015)......................................................................................................................................................... 55
Opgave Bright Space ................................................................................................................................................................................. 56
5.2 Begripsvaliditeit ........................................................................................................................................................................................... 56
Blz. 127 t/m 133 uit Gregory (2015)......................................................................................................................................................... 56
Opgave Bright Space ................................................................................................................................................................................. 57
5.3 Criteriumvaliditeit ....................................................................................................................................................................................... 58
Blz. 122 t/m 127 & 132-133 uit Gregory (2015) ...................................................................................................................................... 58
Kort overzicht besliskansen blz. 1-2 ........................................................................................................................................................ 59
Zelftest ............................................................................................................................................................................................................... 60
6 Normeren .......................................................................................................................................................................................................... 64
Hoofdstuk 3 (normeren) uit deel 1 van Ellis (2013) .............................................................................................................................. 64
Opgave uit boek ......................................................................................................................................................................................... 68
Opgaven Bright Space ............................................................................................................................................................................... 68
Afsluiting ..................................................................................................................................................................................................... 70
Zelftest ............................................................................................................................................................................................................... 70
7 Besliskunde ...................................................................................................................................................................................................... 72
7.1 Normatieve besliskunde ............................................................................................................................................................................... 72
Hoofdstuk 9 uit Drenth en Sijtsma (2009) .............................................................................................................................................. 72
Tiemens et al. (2018) ................................................................................................................................................................................... 76
Opgaven Bright Space ............................................................................................................................................................................... 78
7.2 Klinische versus statistische predictie ......................................................................................................................................................... 83
Niessen et al. (2019).................................................................................................................................................................................... 83
Opgaven Bright space................................................................................................................................................................................ 86
Zelftest ............................................................................................................................................................................................................... 86
Oefententamens .................................................................................................................................................................................................. 89
,1 Testconstructie en testbeoordelingen
Introductie
Er zijn twee dingen essentieel bij het maken van psychologische tests;
1. Er moet een theorie zijn die beschrijft wat gemeten gaat worden
2. Er moet empirisch onderzoek zijn waarmee de test en theorie steeds verbeterd worden
Voor het beoordelen van de kwaliteit van tests wordt het COTAN-beoordelingssysteem gebruikt.
à Voorbereidend voor de BAPD, waarin het volgende gekund moet worden:
A. Op basaal niveau de kwaliteit van een instrument evalueren op basis van diens psychometrische
eigenschappen, met daarbij basale kennis van de werkwijze van de COTAN (grootste gedeelte van dit
vak)
B. Reflecteren op het verband tussen de psychometrische eigenschappen van een instrument en de
geldigheid/reikwijdte van de conclusies; eventuele beperkingen in psychometrische kwaliteiten van
een instrument ‘vertalen’ naar de interpretatie en betekenis van de verzamelde gegevens (thema 1)
1.2 Wat is meten? De cyclus van testconstructie
Vragen over de video testconstructie
Waarom is testconstructie in principe een iteratief proces?
Iteratief proces = proces waarbij herhaling (iteratie) een belangrijk onderdeel is. Bij elke herhaling wordt
voortgebouwd op de resultaten van de vorige stap, zodat het proces wordt verbeterd, aangepast of verfijnd.
Het doel is om geleidelijk een beter resultaat, oplossing of begrip te bereiken.
Bij het onderzoek naar validiteit en betrouwbaarheid kan naar voren komen dat de test nog niet goed genoeg
is, en dan moet hij worden verbeterd. Dit betekent dat er andere items moeten worden gemaakt, waarna de
test weer opnieuw onderzocht moet worden.
Waarom wordt, binnen een cyclus, betrouwbaarheid onderzocht na unidimensionaliteit?
Unidimensionaliteit = een concept in de statistiek en psychometrie dat verwijst naar het idee dat een
meetinstrument (zoals een vragenlijst, schaal of test) slechts één enkele eigenschap, kenmerk of dimensie
meet. Het is een belangrijk concept bij het ontwerpen en valideren van meetinstrumenten, omdat het ervoor
zorgt dat de resultaten eenduidig te interpreteren zijn.
Bij validiteitsonderzoek wordt ook de geschiktheid van elk item onderzocht, en dit kan ertoe leiden dat
sommige items worden verwijderd. Betrouwbaarheid gaat alleen over de totaalscore, maar dan moet men
eerst weten welke items behouden blijven.
Waarom worden normen als laatste vastgesteld?
Normen hebben pas zin als de inhoud van de test definitief vaststaat, en daarvoor moeten eerst validiteit en
betrouwbaarheid zijn onderzocht.
1.3 Het COTAN-beoordelingssysteem
Check alleen de tabel op blz. 10 voor daadwerkelijke info voor tentamen!
Het Nederlands Instituut Psychologen (NIP) heeft een commissie die zich bezighoudt met het beoordelen van
tests: Commissie Testaangelegenheden Nederland (COTAN).
2
,Het COTAN-beoordelingssysteem (2010)
Inleiding: de zeven criteria (blz. 2)
1. Uitgangspunten van de testconstructie
Zijn het gebruiksdoel, theoretische achtergrond en operationalisatie van de testinhoud beschreven?
2. Kwaliteit van het testmateriaal
Zijn de testopgaven, scoring en instructie gestandaardiseerd met voldoende aanwijzingen voor de geteste?
3. Kwaliteit van de handleiding
Ondersteunt de geboden informatie de testgebruiker bij het afnemen van de test?
4. Normen
Welke normen zijn normaal, welke zijn bijzonder hoog of laag?
5. Betrouwbaarheid
Leidt herhaling van de meting tot dezelfde scores of verschillen tussen scores?
6. Begripsvaliditeit
Is het begrijpelijk wat de scores betekenen? Komen voorspellingen van de theorie uit?
7. Criteriumvaliditeit
Hoe goed kunnen voorspellingen worden gedaan op basis van de testscores?
Per beoordeelde test wordt voor elk van de criteria ‘goed’, ‘voldoende’ of ‘onvoldoende’ gegeven.
De laatste vier criteria zijn het meest belangrijk in deze cursus!
Betekenis van de beoordelingen (blz. 3)
Eerste nuancering: een ‘onvoldoende’ op een criterium kan op 2 manieren tot stand komen:
1. De gevraagde informatie is afwezig
2. De kwaliteit van de aanwezige informatie wordt negatief beoordeeld
à Een ‘onvoldoende’ voor betrouwbaarheid kan betekenen dat de betrouwbaarheid niet is onderzocht of dat
de test onvoldoende betrouwbaar is.
Tweede nuancering: een of meer ‘onvoldoendes’ betekent niet per se dat een instrument onbruikbaar is.
à Een of meer schalen of subtests kunnen onvoldoende betrouwbaar zijn, maar dat betekent niet dat alle
schalen of subtests onbruikbaar zijn.
Derde nuancering: de grenswaarden in het beoordelingssysteem worden genoemd en waaraan tests moeten
voldoen om een zo groot mogelijke objectiviteit bij de beoordeling te garanderen.
à Hier is geen sluitende wetenschappelijke argumentatie voor, maar gebasseerd op internationaal
geaccepteerde adviezen van deskundigen.
Beoordelingsprocedure (blz. 4)
Om een test te beoordelen moet al het materiaal (testboekje, handleiding, software, proefschrift e.d.) worden
verzameld en wordt dit door 2 onafhankelijke beoordelaars gestuurd (waarvan minstens 1 COTAN-lid).
o De beoordelaars leveren een inhoudelijke onderbouwing
o De auteur van de test mag reageren op de beoordeling, waarna deze worden behandeld door de
beoordelaars
o Eventueel worden testonderdelen nog een keer behandeld
o De beoordeling wordt gepubliceerd met de daarbij behorende toelichtingen
Wanneer nieuwe informatie over een al beoordeelde test verschijnt (bijvoorbeeld een herziene
testhandleiding, een onderzoeksrapport of een complete testrevisie), kan een herbeoordeling van de test
plaatsvinden. De gehele hierboven beschreven procedure wordt dan opnieuw doorlopen. Wel is hieraan de
beperking gesteld dat sinds de vorige beoordeling van de test minstens een jaar moet zijn verstreken.
Criterium 1 Uitgangspunten van de testconstructie (blz. 7)
Basispunten:
1. Er is aangegeven wat het gebruiksdoel is van de test
a. Er is aangegeven welk construct de test beoogt te meten
b. Er is aangegeven wat de doelgroep(en) is/zijn van deze test
c. Er is aangegeven wat de functie is van de test
2. De herkomst van het construct-idee is beschreven; de te meten constructen zijn gedefinieerd
3
, 3. De relevantie van de testinhoud voor de te meten constructen zijn aannemelijk gemaakt
Criterium 2 De kwaliteit van het testmateriaal (blz. 8)
Er wordt onderscheid gemaakt tussen tests met behulp van pen en papier en CBT(Computer Based Tests).
Basispunten:
1. De testopgaven zijn gestandaardiseerd
2. Er is een objectief scoringssysteem en het beoordelingssysteem (mits aanwezig) is duidelijk
à CBT: er is een geautomatiseerd of objectief scoringssysteem
3. De items zijn vrij van voor bepaalde bevolkingsgroepen kwetsende inhoud
4. De items, testboekje, antwoordschalen zijn ontworpen zodat fouten bij de invulling kunnen worden
vermeden
5. De instructie voor de geteste is volledig en duidelijk
6. De items zijn correct geformuleerd
7. De kwaliteit van het testmateriaal is ‘onvoldoende’, ‘voldoende’ of goed
8. Het scoringssysteem is zodanig ontworpen en beschreven dat fouten bij scoring kunnen worden
vermeden
9. CBT: de test is voldoende beveiligd
Criterium 3 De kwaliteit van de handleiding (blz. 16)
Basispunten
1. Er is een handleiding beschikbaar
2. De aanwijzingen voor de testleider zijn volledig en duidelijk
3. Er wordt informatie gegeven over de gebruiksmogelijkheden en beperkingen van de test
4. Er wordt een samenvatting van de onderzoeksresultaten gegeven
5. Er wordt met behulp van voorbeelden aangegeven hoe testscores kunnen worden geïnterpreteerd
6. Er wordt gewezen op soorten informatie die bij de interpretatie belangrijk kunnen zijn
7. De mate van deskundigheid wordt vermeld die vereist is voor afname en interpretatie van de test
Criterium 4 Normen (blz 19 & 20)
Het scoren van een test levert een ruwe score op. Deze worden gedeeltelijk bepaald door de kenmerken van
de test (o.a. aantal items, keuze van tijdslimiet, moelijkheidsgraad of omstandigheden waaronder de test is
afgenomen.
à Zorgt dat ruwe scores moeilijk te interpreteren zijn. Ruwe scores krijgen pas betekenis door deze te
vergelijken met een norm.
Twee typen van normscores:
1. Normgerichte interpretatie
= de behaalde ruwe score vergelijken met die van anderen
Doel; vaststellen hoe de onderzochte scoort ten opzichte van andere personen waarmee een zinvolle (op
basis van overeenkomsten in bijvoorbeeld leerjaar, leeftijd, functie) vergelijking kan worden gemaakt. Dit
type normen wordt ook wel relatieve normen genoemd
2. Domeingerichte/criteriumgerichte interpretatie
= ruwe scores met een absolute norm vergelijken/de grensscores worden aan onderzoeksgegevens
ontleend
Doel; een schatting maken van de vaardigheid van de persoon binnen het hele domein
Geen normen verstrekt = onvoldoende scoren op dit criterium
Basispunten
1. Er worden normen verstrekt
2. De normen zijn actueel
Basispunten normgerichte interpretatie
1. De kwaliteit van de verstrekte normgroep
a. De normgroepen zijn groot genoeg
4
