1 Theoretisch gedeelte .................................................................................................... 2
1.1 Introductie op Assessment en Evaluatie .................................................................. 2
1.2 Construeren van toetsen ........................................................................................ 6
1.3 Zakken, slagen en edumetrische eisen .................................................................... 10
2 Statistiekgedeelte........................................................................................................ 15
1.4 Klassieke testtheorie ............................................................................................ 15
1.5 Factoranalyse ...................................................................................................... 17
1.6 Meetinvariantie .................................................................................................... 20
1
,Assessment Evaluatie
① Selectie- en verwijzingsinstrument ① Kwaliteit lesmethodes; vastellen & verbeteren
② ② Kwaliteit opleidingen; vaststellen & verbeteren
Voortgangscontrole/feedbackinstrument
③ Kwalificatieinstrument ③ Effect beleidsmaatregelen; vaststellen &
verbeteren
1. Formuleren bedoeling
tijdvak doel functie
vóór selectie toelating
tijdens leermiddel sturing
voortgangscontrole bijsturing (formatief)
eind kwalificatie niveaubepaling (summatief)
2. Formuleren en concretiseren van doelen
Omschreven kwaliteiten (kennis, inzicht, vaardigheden, houding) waarover kandidaat moet
beschikken. Categoriseren van doelstellingen, bijv. via Bloom en/of toetsmatrijs
Inhoudsvaliditeit: goede afspiegeling van de stof
Op alle cognitieve niveaus toetsen
3.Kies een toetsvorm die aansluit bij doelen
4. Construeren & controleren toetsvragen/taken
• Operationalisatie doelstellingen (afspiegeling leerstof)
• Pyramide van Miller
• Controleren (relevantie, eenduidigheid, objectiviteit,
specificiteit)
5. Samenstellen toets
toetsmatrijs, instructie, beoordelingscriteria, antwoordmodel
6. Afnemen toets
Tijd, ruimte, transparante communicatie over toets, verwachtingen
7. Nakijken en kwaliteitscontrole
Antwoordmodelm rubrics
Kwaliteitsaspecten: moeilijkheid, onderscheidingsvermogen, aantrekkelijkheid afleiders,
betrouwbaarheid, verschil tussen beoordelaars, ander antwoord ook juist, te moeilijke vraag
8. Zak/slaaggrens (cesuur) bepalen en 9. cijfers berekenen
Standaarden (absoluut), peer vergelijking (relatief), persoonlijke groei
10. Het kunnen verantwoorden van beslissing
Verschil zak/slaag klein, maar hangt veel vanaf? randgevallen 2x beoordelen
11. Rapporteren toetsuitslag
Rapportage aan studenten en opleiding (betrouwbaarheid, kwaliteit, gemiddeldes, etc.)
2
, tijdvak doel
constructiefase inhoudelijke en vormtechnische eisen
samenstelling representativiteit en validiteit
(m.b.v. toetsmatrijs)
na afname kwaliteitscontrole, psychometrische analyse
moeilijkheid / onderscheidingsvermogen / betrouwbaarheid
Validiteit Inhoudsvaliditeit: representatief voor de stof?
1. Theoretische onderbouwing (deel)construct(en)
2. Toetsplan (programma/cursus)
3. Face validity (expert panel)
Begripsvaliditeit: is het een maat voor bedoelde theoretische
begrip?
Psychometrisch
1. Specificatietabel (Toetsmatrijs)
2. Item Response Theory
3. Confirmerende factoranalyse
Criteriumvaliditeit: heeft het een voorspellende waarde voor andere
metingen?
1. Redenatie legitimatie criteriumvaliditeit
2. Multiple regressieanalyse
Betrouwbaarheid Precisie
1 van de afname van het instrument, ongeacht de inhoud
1. Itemevaluatie (P, Rir, Cronbach’s Alpha)
2. correlatie test-hertest/paralleltest/split-half
3. Callibratiesessie subjectiviteit beoordelaars minimaliseren
Transparantie 1. Verwachtingen (Informatieverstrekking vooraf)
Edumetrisch
Utiliteit 2. Toetsinstructie
3. Hoeveelheid items
4. Cesuur
5. Efficiëntie van de afname van het instrument
Impact Gevolgen van de uitkomsten van het instrument
indicator doel uitleg
p-waarde moeilijkheid gemiddelde/maximum
gecorrigeerde p-waarde moeilijkheid gecorrigeerd voor aantal meerkeuzeopties
Rit/Rir-waarde onderscheidend vermogen score/totaalscore
Cronbach’s alpha betrouwbaarheid
verdeling antwoordalternatieven
situatie oplossing
p-waarde<raadkan vraag correct sleutelen of verwijderen
p-waarde < gewenst Rit positief? Handhaven maar niet te veel van dit type
Rit negatief? Verwijderen of opnieuw sleutelen
p-waarde = 1 hou erin
Rit <0 check sleutel: corrigeren of item verwijderen
Rit <.15 check p-waarde, indien ook laag verwijderen
CA <.60 check Rit, bij formatieve toets negatieve Rit verwijderen
3
Let op! Veel vragen verwijderen verlaagt de representativiteit van de toets.
1.1 Introductie op Assessment en Evaluatie .................................................................. 2
1.2 Construeren van toetsen ........................................................................................ 6
1.3 Zakken, slagen en edumetrische eisen .................................................................... 10
2 Statistiekgedeelte........................................................................................................ 15
1.4 Klassieke testtheorie ............................................................................................ 15
1.5 Factoranalyse ...................................................................................................... 17
1.6 Meetinvariantie .................................................................................................... 20
1
,Assessment Evaluatie
① Selectie- en verwijzingsinstrument ① Kwaliteit lesmethodes; vastellen & verbeteren
② ② Kwaliteit opleidingen; vaststellen & verbeteren
Voortgangscontrole/feedbackinstrument
③ Kwalificatieinstrument ③ Effect beleidsmaatregelen; vaststellen &
verbeteren
1. Formuleren bedoeling
tijdvak doel functie
vóór selectie toelating
tijdens leermiddel sturing
voortgangscontrole bijsturing (formatief)
eind kwalificatie niveaubepaling (summatief)
2. Formuleren en concretiseren van doelen
Omschreven kwaliteiten (kennis, inzicht, vaardigheden, houding) waarover kandidaat moet
beschikken. Categoriseren van doelstellingen, bijv. via Bloom en/of toetsmatrijs
Inhoudsvaliditeit: goede afspiegeling van de stof
Op alle cognitieve niveaus toetsen
3.Kies een toetsvorm die aansluit bij doelen
4. Construeren & controleren toetsvragen/taken
• Operationalisatie doelstellingen (afspiegeling leerstof)
• Pyramide van Miller
• Controleren (relevantie, eenduidigheid, objectiviteit,
specificiteit)
5. Samenstellen toets
toetsmatrijs, instructie, beoordelingscriteria, antwoordmodel
6. Afnemen toets
Tijd, ruimte, transparante communicatie over toets, verwachtingen
7. Nakijken en kwaliteitscontrole
Antwoordmodelm rubrics
Kwaliteitsaspecten: moeilijkheid, onderscheidingsvermogen, aantrekkelijkheid afleiders,
betrouwbaarheid, verschil tussen beoordelaars, ander antwoord ook juist, te moeilijke vraag
8. Zak/slaaggrens (cesuur) bepalen en 9. cijfers berekenen
Standaarden (absoluut), peer vergelijking (relatief), persoonlijke groei
10. Het kunnen verantwoorden van beslissing
Verschil zak/slaag klein, maar hangt veel vanaf? randgevallen 2x beoordelen
11. Rapporteren toetsuitslag
Rapportage aan studenten en opleiding (betrouwbaarheid, kwaliteit, gemiddeldes, etc.)
2
, tijdvak doel
constructiefase inhoudelijke en vormtechnische eisen
samenstelling representativiteit en validiteit
(m.b.v. toetsmatrijs)
na afname kwaliteitscontrole, psychometrische analyse
moeilijkheid / onderscheidingsvermogen / betrouwbaarheid
Validiteit Inhoudsvaliditeit: representatief voor de stof?
1. Theoretische onderbouwing (deel)construct(en)
2. Toetsplan (programma/cursus)
3. Face validity (expert panel)
Begripsvaliditeit: is het een maat voor bedoelde theoretische
begrip?
Psychometrisch
1. Specificatietabel (Toetsmatrijs)
2. Item Response Theory
3. Confirmerende factoranalyse
Criteriumvaliditeit: heeft het een voorspellende waarde voor andere
metingen?
1. Redenatie legitimatie criteriumvaliditeit
2. Multiple regressieanalyse
Betrouwbaarheid Precisie
1 van de afname van het instrument, ongeacht de inhoud
1. Itemevaluatie (P, Rir, Cronbach’s Alpha)
2. correlatie test-hertest/paralleltest/split-half
3. Callibratiesessie subjectiviteit beoordelaars minimaliseren
Transparantie 1. Verwachtingen (Informatieverstrekking vooraf)
Edumetrisch
Utiliteit 2. Toetsinstructie
3. Hoeveelheid items
4. Cesuur
5. Efficiëntie van de afname van het instrument
Impact Gevolgen van de uitkomsten van het instrument
indicator doel uitleg
p-waarde moeilijkheid gemiddelde/maximum
gecorrigeerde p-waarde moeilijkheid gecorrigeerd voor aantal meerkeuzeopties
Rit/Rir-waarde onderscheidend vermogen score/totaalscore
Cronbach’s alpha betrouwbaarheid
verdeling antwoordalternatieven
situatie oplossing
p-waarde<raadkan vraag correct sleutelen of verwijderen
p-waarde < gewenst Rit positief? Handhaven maar niet te veel van dit type
Rit negatief? Verwijderen of opnieuw sleutelen
p-waarde = 1 hou erin
Rit <0 check sleutel: corrigeren of item verwijderen
Rit <.15 check p-waarde, indien ook laag verwijderen
CA <.60 check Rit, bij formatieve toets negatieve Rit verwijderen
3
Let op! Veel vragen verwijderen verlaagt de representativiteit van de toets.
