Aantekening ontwikkelen van assessment- en evaluatie-
instrumenten voor onderwijssituaties
Er zijn verschillende cycli te vinden betreffende het toetsingsproces. Wanneer je doelstelling helder
is, kan je vervolgens een bestaand instrument gebruiken of een instrument ontwikkelen. Type toets
en welk meetniveau voor welk doel:
1. kennistoetsen – kennis en beheersingsniveaus
2. vragenlijsten/interviews – attitudes, opvattingen, voorkeuren
3. performance assessments – vaardigheden en beheersingsniveaus
4. documentanalyses – verantwoording beleid en gemaakte keuzes
Beslissing:
Absoluut (criterion) minimum aantal punten
Relatief (norm) bijvoorbeeld beste 10 gaan door
Holistisch algemene indruk zonder uitgewerkte criteria
Analytisch verschillende facetten expliciet vanuit criteria bekijken
Compensatorisch mogelijkheid compenseren
Conjunctief toetsen moeten boven de norm
3 belangrijkste kwaliteitseisen:
- Betrouwbaarheid (reliability)
- Validiteit (validity)
- Transparantie (transparency)
,Psychometrische kwaliteitseisen – getalsmatig/variatie
Validiteit – beoogd doel (van de afname) van het instrument
Inhoudsvaliditeit:
o Theoretische onderbouwing (deel)construct(en) en items
o Face validiteit (experts, gebruikers)
Begripsvaliditeit (convergent en divergent)
o Toetsmatrijs
o Pilot (gebruikers)
o Factoranalyse
o Meet-intervariantie
Predictieve validiteit
o Redenatie legitimatie (theorie)
o Multipele regressieanalyse
Betrouwbaarheid – precisie (van de afname) van het instrument
Bij één testafname
o Split-halfmethode
o Interne consistentie
o Objectiviteit (kalibratie)
Bij twee testafnames
o Test-hertest methode
Itemanalyse
o Datareductie
o Cronbach’s alpha/omega
o Item-restcorrelatie (rir- of rit-waarden)
o Moeilijkheidsgraad (bv a en p-waarden)
o Discriminerend vermogen
Edumetrische kwaliteitseisen – betekenisvol en transparant
Utiliteit – transparantie (van de afname) en efficiëntie van het instrument
- Wordt duidelijke uitgelegd hoe het instrument gebruikt dient te worden?
- Worden de beoordelingscriteria vooraf voldoende inzichtelijk gemaakt?
- Wordt inzichtelijk gemaakt hoe de beoordeling tot stand zal komen?
Impact – benodigde (tijds)investering en consequenties (van de afname) van het instrument
- Wordt de verwachte prestatie voldoende geoefend?
- Is het instrument werkbaar afgezet tegen de tijd (toets, studie, nakijk)?
- Is het besluit iemand te laten slagen/zakken te rechtvaardigen?
- Is de gebruiker op de hoogte van en akkoord met de ethische aspecten?
Toetsen:
- Een manier om info te verzamelen
- Met een zekere intentie
- Verzamelde informatie is een representatie van gezochte informatie
- Tussen testafnemer en geteste bestaat een machtsverschil
,Specifieke toetsinstrumenten:
1. kennistoets – open of gesloten vragen
2. als onderdeel van een competentie-assessment (‘proeve van bekwaamheid’)
3. als onderdeel van een (psychologische) test
In feite kan elke activiteit een test zijn
Toetsvorm lok antwoordstrategie uit:
Multiple-choice en open-vraagstrategieën
Antwoordtendenties in afwezigheid van een vraag
Gestelde eisen vooraf lokken strategisch gedrag uit (bijvoorbeeld bij een rubric)
Rubric:
- Combineert criteria (meestal 3-5) en ‘performance descriptions’
- Rubric for learning vs rubric for grading – analytisch (formatief) vs holistisch (summatief)?
- ‘appropriate criteria are the key to effective rubrics’
- Rubric wordt vaker ingezet als grading-tool en niet om feedback te verzorgen
Toetsmatrijs – basis voor toets-constructie (leerdoelen x beheersingsniveau)
Construeren van test-items, grootste uitdaging: vermijden ambiguïteit (is duidelijk wat je vraagt? op
een andere manier te interpreteren?) en ‘nut’ test-wiseness (trucjes gebruiken om toch het goede
antwoord te geven)
Soorten items:
- Kort antwoord (1 woord/term)
Associatie
‘completion’ vragen
- Waar-onwaar
- Multiple-choice
o Voordelen:
Makkelijk af te nemen en te verwerken
Objectieve scoringsmethode
Groter bereik kennisdomein belangrijk
Mits goed geconstrueerd kun je er bijna alles mee meten
o Nadelen
Gemakkelijk oppervlakkig
Gemakkelijke schijnobjectiviteit
, Richtlijnen multiple-choice:
1. gebruik niet te complexe item-types
2. creëer items die bepaalde cognitieve processen op gang brengen
3. vermijd ‘geen/al van het bovenstaande’
4. gebruik 3 mogelijke antwoordopties
5. maak de test uitdagend, maar niet te moeilijk
6. geef feedback
Validering surveyvragen: meetinstrument verbeteren aan de hand van cognitieve validatie
Cognitief interview: tijdintensief, vereist training
RPE (response process evaluation): alternatief op cognitief interview, iteratieve methode om items
voor te leggen en reviseren. Vooral nuttig bij items waarin culturele achtergrond interpretatie
beïnvloedt.
instrumenten voor onderwijssituaties
Er zijn verschillende cycli te vinden betreffende het toetsingsproces. Wanneer je doelstelling helder
is, kan je vervolgens een bestaand instrument gebruiken of een instrument ontwikkelen. Type toets
en welk meetniveau voor welk doel:
1. kennistoetsen – kennis en beheersingsniveaus
2. vragenlijsten/interviews – attitudes, opvattingen, voorkeuren
3. performance assessments – vaardigheden en beheersingsniveaus
4. documentanalyses – verantwoording beleid en gemaakte keuzes
Beslissing:
Absoluut (criterion) minimum aantal punten
Relatief (norm) bijvoorbeeld beste 10 gaan door
Holistisch algemene indruk zonder uitgewerkte criteria
Analytisch verschillende facetten expliciet vanuit criteria bekijken
Compensatorisch mogelijkheid compenseren
Conjunctief toetsen moeten boven de norm
3 belangrijkste kwaliteitseisen:
- Betrouwbaarheid (reliability)
- Validiteit (validity)
- Transparantie (transparency)
,Psychometrische kwaliteitseisen – getalsmatig/variatie
Validiteit – beoogd doel (van de afname) van het instrument
Inhoudsvaliditeit:
o Theoretische onderbouwing (deel)construct(en) en items
o Face validiteit (experts, gebruikers)
Begripsvaliditeit (convergent en divergent)
o Toetsmatrijs
o Pilot (gebruikers)
o Factoranalyse
o Meet-intervariantie
Predictieve validiteit
o Redenatie legitimatie (theorie)
o Multipele regressieanalyse
Betrouwbaarheid – precisie (van de afname) van het instrument
Bij één testafname
o Split-halfmethode
o Interne consistentie
o Objectiviteit (kalibratie)
Bij twee testafnames
o Test-hertest methode
Itemanalyse
o Datareductie
o Cronbach’s alpha/omega
o Item-restcorrelatie (rir- of rit-waarden)
o Moeilijkheidsgraad (bv a en p-waarden)
o Discriminerend vermogen
Edumetrische kwaliteitseisen – betekenisvol en transparant
Utiliteit – transparantie (van de afname) en efficiëntie van het instrument
- Wordt duidelijke uitgelegd hoe het instrument gebruikt dient te worden?
- Worden de beoordelingscriteria vooraf voldoende inzichtelijk gemaakt?
- Wordt inzichtelijk gemaakt hoe de beoordeling tot stand zal komen?
Impact – benodigde (tijds)investering en consequenties (van de afname) van het instrument
- Wordt de verwachte prestatie voldoende geoefend?
- Is het instrument werkbaar afgezet tegen de tijd (toets, studie, nakijk)?
- Is het besluit iemand te laten slagen/zakken te rechtvaardigen?
- Is de gebruiker op de hoogte van en akkoord met de ethische aspecten?
Toetsen:
- Een manier om info te verzamelen
- Met een zekere intentie
- Verzamelde informatie is een representatie van gezochte informatie
- Tussen testafnemer en geteste bestaat een machtsverschil
,Specifieke toetsinstrumenten:
1. kennistoets – open of gesloten vragen
2. als onderdeel van een competentie-assessment (‘proeve van bekwaamheid’)
3. als onderdeel van een (psychologische) test
In feite kan elke activiteit een test zijn
Toetsvorm lok antwoordstrategie uit:
Multiple-choice en open-vraagstrategieën
Antwoordtendenties in afwezigheid van een vraag
Gestelde eisen vooraf lokken strategisch gedrag uit (bijvoorbeeld bij een rubric)
Rubric:
- Combineert criteria (meestal 3-5) en ‘performance descriptions’
- Rubric for learning vs rubric for grading – analytisch (formatief) vs holistisch (summatief)?
- ‘appropriate criteria are the key to effective rubrics’
- Rubric wordt vaker ingezet als grading-tool en niet om feedback te verzorgen
Toetsmatrijs – basis voor toets-constructie (leerdoelen x beheersingsniveau)
Construeren van test-items, grootste uitdaging: vermijden ambiguïteit (is duidelijk wat je vraagt? op
een andere manier te interpreteren?) en ‘nut’ test-wiseness (trucjes gebruiken om toch het goede
antwoord te geven)
Soorten items:
- Kort antwoord (1 woord/term)
Associatie
‘completion’ vragen
- Waar-onwaar
- Multiple-choice
o Voordelen:
Makkelijk af te nemen en te verwerken
Objectieve scoringsmethode
Groter bereik kennisdomein belangrijk
Mits goed geconstrueerd kun je er bijna alles mee meten
o Nadelen
Gemakkelijk oppervlakkig
Gemakkelijke schijnobjectiviteit
, Richtlijnen multiple-choice:
1. gebruik niet te complexe item-types
2. creëer items die bepaalde cognitieve processen op gang brengen
3. vermijd ‘geen/al van het bovenstaande’
4. gebruik 3 mogelijke antwoordopties
5. maak de test uitdagend, maar niet te moeilijk
6. geef feedback
Validering surveyvragen: meetinstrument verbeteren aan de hand van cognitieve validatie
Cognitief interview: tijdintensief, vereist training
RPE (response process evaluation): alternatief op cognitief interview, iteratieve methode om items
voor te leggen en reviseren. Vooral nuttig bij items waarin culturele achtergrond interpretatie
beïnvloedt.
