Assessment en evaluatie: samenvatting

A&E
Samenvatting hoorcolleges
3-4-2022




Inhoud
Hoorcollege 1: Doelen van assessment..................................................................................................2
Doelen van assessment:.....................................................................................................................2
Kwaliteitseisen:...................................................................................................................................4
Hoorcollege 2: Confirmatieve Factor-Analyse........................................................................................7
Latente variabelen en validiteit..........................................................................................................7
Confirmatieve factoranalyse (CFA).....................................................................................................8
Hoorcollege 3: EFA & meetvariantie.....................................................................................................13
Exploratieve factoranalyse (EFA)......................................................................................................13
Beslisboom:......................................................................................................................................17
Hoorcollege 4: Betrouwbaarheid..........................................................................................................18
Betrouwbaarheid..............................................................................................................................18
Itemanalyse......................................................................................................................................23
Hoorcollege 5: Testen en toetsen.........................................................................................................24
Wat is een toets/test?......................................................................................................................24
Hoorcollege 6: Data-geïnformeerd werken..........................................................................................29
Hoorcollege 7: Performance assessment & programmatisch toetsen..................................................31
Performance assessment.....................................................................................................................31
Rubrics..................................................................................................................................................32
Hoorcollege 8: Formatief assessment...................................................................................................37
Visie op assessment-toetscultuur.........................................................................................................37
Feedback vanuit het perspectief v/d gever..........................................................................................38
Feedbackgeletterdheid.........................................................................................................................43




1

,Hoorcollege 1: Doelen van assessment

Doelen van assessment:
1. Progressie in het leerproces
2. Informatie generen hoe doelen kunnen worden bereikt
3. Behalen en belang van doelen beoordelen
4. Onderwijskunde richt zich op meer dan kennis: motivatie of burgerschap

Stakeholders:

- Leerlingen/studenten, docenten, ouders, ministerie (onderwijs, cultuur en wetenschap),
CITO, etc.

Cognitieve vs. non-cognitieve vaardigheden:

Cognitieve vaardigheden Niet-cognitieve vaardigheden
Definitie Fluïde intelligentie = de mate Persoonlijke eigenschappen
waarbij mensen leren en (traits), e.g.: persoonlijkheid
Gekristalliseerde intelligentie =
verworven kennis
Gemeten door IQ tests, kennistoetsen Vragenlijsten
Evaluatie Normering, p-waarde, CFA/EFA: factorladingen, etc.
rit-waarde, cesuur


Doelen en ontwikkeling instrument (meetniveau en doel):

1. Vragenlijsten/interviews  attitudes, opvattingen, voorkeuren
o E.g.: langlopende opdracht
o Limitaties van vragenlijsten:
 Verkeerde interpretatie
 Te weinig inzicht
 Reference bias (‘’much less than most of students I taught’’)
 Faken en sociale wenselijkheid
 Gemiddelde schatting vs. situatie en moment
2. Kennistoetsen  kennis en beheersingsniveau
3. Performance assessments  vaardigheden en beheersingsniveaus
o Doel van kennistoetsen:
 Score (bijv. cijfer) voor een examenkandidaat verkrijgen die nauwkeurig het
niveau v/d te bereiken vaardigheid of kennis weergeeft
 Probleem:
 Het type en het aantal studenten kan de data die voor
assessmentsdoelen verzameld is beïnvloeden
 Variantie in studenten van jaar tot jaar kan van invloed zijn op hoe
moeilijk of gemakkelijk testitems en tests zullen lijken
 Inter-rater difference (interbeoordelaars): overeenstemming,
outliers en bias  goede procedures vastleggen
o Limitaties van toetsen:
 Misinterpretatie

2

,  Weerspiegelt mogelijk niet gedrag en competentie v/d getoetste personen in
alle situaties
 Opdracht toets meer dan wat gevraagd is (bijv. oog-hand coördinatie)
 Kunstmatige situaties (in praktijk is het geen toets situatie)
 Oefeningseffecten
 Contexteffecten
 Random meetfout (bijv. foute antwoord gekozen hoewel je de correcte
antwoord wilde kiezen)
4. Formatief assessment  cyclisch, betrokkenheid van studenten
o Formatief toetsen
 Zelftests  voortgangscontrole en evt.
feedback geven
o Citaat:
 “Inference about a student’s learning is
‘elicited, interpreted and used by
teachers, learners, or their peers, to
make decisions about the next steps in
instruction that are likely to be better
or better founded, than the decisions
they would have taken in the absence
of the evidence” (Black & William)




3

, Kwaliteitseisen:


Waarom is 1 item vaak niet voldoende?:

- Construct is niet altijd goed afgedekt
o “It’s very unlikely that a single item can fully represent a complex theoretical
concept” (McIver & Carmines)
o E.g.: “ik ben introvert”
- Discriminatie en sensitiviteit meestal lager
o E.g.: “ik ben tevreden met mijn werk”: Elke dag? Elke taak?
- Test voor betrouwbaarheid moeilijker
o Tenminste 2 metingen nodig om consistentie te kunnen beoordelen
- Hoe complexer het construct, des te meer items zijn er nodig!

Kwaliteit van assessment:

- Test items (elke vraag)
- Opdrachten
- Kennistoetsen
- Het proces van toetsen
- Het programma van toetsen (gerelateerd aan een cursus, of een curriculum)
- Procedures, beleid (policies), administratie

Kwaliteitseisen van assessment:

- Algemene eisen
o Transparantie
 Nauwkeurig mogelijk beschrijven
- Psychometrische eisen
o Validiteit
o Betrouwbaarheid
- Edumetrische eisen
o Utiliteit
o Impact

Inhoud
(theorie)
Convergent
(correlatie)
Validiteit
Begrips
(beoogd doel)
Divergent
(niet-correlatie)
Predictieve
(voorspeller)
Psychometrisch
Interne consistentie
(samenhang)

Betrouwbaarheid Objectiviteit
Kwaliteitseisen
(precisie) (beoordelaas)

Utiliteit Test-hertest
(investering en consequenties) (correlatie)
Edumetrisch
Impact
(transparantie)

4