Waar Cauley & McMillan en waar/wat van Harlen & James?
Leerdoelen:
1. Wat zijn de doelen/functies van toetsing? Of: waar worden toetsen voor gebruikt?
Verloop:
3 essentiële elementen/fasen evaluatie
1. Verzamelen van bruikbare informatie (stap 1)
2. Oordelen over de waarde van iets (stap 2)
3. Nemen van verantwoorde beslissing (stap 3)
Bij onderwijscontext ook een 4e stap: evaluatie moet uitmonden in het informeren van
de betrokkenen, o.a. de leerling, over het oordeel en de genomen beslissing.
Productevaluatie = alleen resultaat van leerproces evalueren
Procesevaluatie = het leerproces evalueren
Summatieve evaluatie = vindt plaats aan het einde van een (deel van het) leerproces. In
schoolcontext vormt het meestal de basis voor de beslissing of een leerling of student mag
overgaan naar een volgend studiejaar of een diploma of certificaat behaalt.
Formatieve evaluatie = gebeurt terwijl het leerproces nog aan de gang is en dient om dat
leerproces als dat nodig is in de gewenste richting bij te sturen. Dit laatste houdt vaak ook in
dat de ondersteuning van dat leerproces (bijv. via het didactisch handelen van de leraar)
veranderingen ondergaat.
Verschillen:
- Resultaten van formatieve evaluatie worden niet verrekend in einduitslagen van
leerlingen, die van summatieve wel.
- Bij summatieve evaluatie vernemen leerlingen het cijfer dat de leraar heeft toegekend,
bij formatieve streeft de leraar er in de eerste plaats naar feedback te geven die de
leerling in staat steelt zijn eigen leerprestaties te analyseren en te evalueren
Testcultuur vs. assessmentcultuur; testcultuur = productevaluatie, assessmentcultuur = zowel
product- als procesevaluatie
Beoordelen via:
Relatieve/groepsgerichte norm (= testcultuur). Nadeel: het zegt alleen maar hoe goed je bent
t.o.v. de rest zegt niks over je eigen ontwikkeling zwakkere leerlingen minder
zelfvertrouwen
Absolute/criteriumgerichte norm (= test- & assessmentcultuur)
, Zelfgerichte norm (= assessmentcultuur) nadruk op vooruitgang. Heeft positieve invloed
op motivatie en zelfvertrouwen van zwakkere leerlingen
Beoordelen door:
- Self-assessment = leerlingen hebben organisatorische, sturende en inhoudelijke rol
ze bepalen (mede) hoe, wanneer en op basis waarvan zal worden beoordeeld. Reflectie
speelt hierbij een belangrijke rol. Deze vorm heeft vaak een formatief karakter
- Co-assessment = als leerlingen elkaar beoordelen
- Peer-assessment hierbij gaat het niet om uiteindelijke beoordeling die studenten aan
elkaar geven, maar vooral om de wijze waarop de peer-assessment een bijdrage levert
aan de kwaliteit van het leerproces van de individuen en de groep. Dit komt veelal
voor in onderwijssituaties waar het werken in de groep een centrale rol speelt. Leren in
kleine groepen (6 tot 15 leerlingen) wordt gebruikt om ‘dieper leren’ aan te moedigen,
om meer autonomie aan de lerenden te geven door een deel van de
verantwoordelijkheid voor doceren en leren naar hen te schuiven. Leraar heeft hierbij
een ondersteunende rol.
self- en peer-assessment zijn vaardigheden die geleerd moeten worden. Onderzoek: deze
vorm zorgt voor betere resultaten als studenten er ervaring mee hebben of worden getraind in
het gebruik ervan
Kwaliteitscriteria evaluatie-instrument
Validiteit = mate waarin het inderdaad meet wat het beoogt te meten. Bijv.: rijexamen, geeft
het inderdaad een goed beeld van de rijvaardigheid?
Belangrijke punten hierbij:
- Relevantie ~ kenmerk van de afzonderlijke vragen en opdrachten die deel uitmaken
van een evaluatie-instrument (toets, overhoring, examen). is die vraag/beoordeling
relevant om erachter te komen of leerlingen de doelen behaald hebben. Bijv. punten
aftrek geven voor spelling bij een geschiedenistoets
- Evenwichtigheid ~ kenmerk van de hele toets, waarbij het erom gaat dat de
verschillende onderdelen of aspecten van kennis, vaardigheid of competentie die
moeten worden getoetst, op een evenwichtige manier zijn vertegenwoordigd in de
toets. Onmogelijk om alles terug te laten komen in een toets, dus de shortlist die wordt
opgesteld, moet representatief zijn voor het geheel.
Betrouwbaarheid = kunnen de resultaten vertekend zijn? Het wordt meestal opgevat als
consistentie in de evaluatieresultaten als de betrouwbaarheid optimaal is, behaalt een
leerling/student steeds dezelfde uitslag, ongeacht wie de toets afneemt en beoordeelt, in welke
omstandigheden dit gebeurt e.d.
Generaliseerbaarheid = in welke mate een evaluatie o.b.v. bijv. een aantal talen
‘veralgemeend’ kan worden naar andere taken die hetzelfde meten.
Optimale betrouwbaarheid betekent dat verschillen in uitslagen alleen te maken hebben met
verschillen in kennis/vaardigheden tussen de leerlingen. Een minder goede betrouwbaarheid
wil zeggen dat naast deze verschillen ook andere factoren (bijv. meetfouten of toevalligheden)
meespelen die de uitslag vertekenen. Deze foutenbronnen moeten dus worden vermeden of
ten minste onder controle worden gehouden.
Meetfouten/toevalligheden kunnen optreden in 4 componenten van de evaluatiesituatie:
1. Het instrument, bijv. onduidelijk geformuleerde vragen, verschillende
interpretatiemogelijkheden of te weinig vragen waardoor de toevalstreffers (‘geluk
hebben’) niet uitgesloten kunnen worden
Leerdoelen:
1. Wat zijn de doelen/functies van toetsing? Of: waar worden toetsen voor gebruikt?
Verloop:
3 essentiële elementen/fasen evaluatie
1. Verzamelen van bruikbare informatie (stap 1)
2. Oordelen over de waarde van iets (stap 2)
3. Nemen van verantwoorde beslissing (stap 3)
Bij onderwijscontext ook een 4e stap: evaluatie moet uitmonden in het informeren van
de betrokkenen, o.a. de leerling, over het oordeel en de genomen beslissing.
Productevaluatie = alleen resultaat van leerproces evalueren
Procesevaluatie = het leerproces evalueren
Summatieve evaluatie = vindt plaats aan het einde van een (deel van het) leerproces. In
schoolcontext vormt het meestal de basis voor de beslissing of een leerling of student mag
overgaan naar een volgend studiejaar of een diploma of certificaat behaalt.
Formatieve evaluatie = gebeurt terwijl het leerproces nog aan de gang is en dient om dat
leerproces als dat nodig is in de gewenste richting bij te sturen. Dit laatste houdt vaak ook in
dat de ondersteuning van dat leerproces (bijv. via het didactisch handelen van de leraar)
veranderingen ondergaat.
Verschillen:
- Resultaten van formatieve evaluatie worden niet verrekend in einduitslagen van
leerlingen, die van summatieve wel.
- Bij summatieve evaluatie vernemen leerlingen het cijfer dat de leraar heeft toegekend,
bij formatieve streeft de leraar er in de eerste plaats naar feedback te geven die de
leerling in staat steelt zijn eigen leerprestaties te analyseren en te evalueren
Testcultuur vs. assessmentcultuur; testcultuur = productevaluatie, assessmentcultuur = zowel
product- als procesevaluatie
Beoordelen via:
Relatieve/groepsgerichte norm (= testcultuur). Nadeel: het zegt alleen maar hoe goed je bent
t.o.v. de rest zegt niks over je eigen ontwikkeling zwakkere leerlingen minder
zelfvertrouwen
Absolute/criteriumgerichte norm (= test- & assessmentcultuur)
, Zelfgerichte norm (= assessmentcultuur) nadruk op vooruitgang. Heeft positieve invloed
op motivatie en zelfvertrouwen van zwakkere leerlingen
Beoordelen door:
- Self-assessment = leerlingen hebben organisatorische, sturende en inhoudelijke rol
ze bepalen (mede) hoe, wanneer en op basis waarvan zal worden beoordeeld. Reflectie
speelt hierbij een belangrijke rol. Deze vorm heeft vaak een formatief karakter
- Co-assessment = als leerlingen elkaar beoordelen
- Peer-assessment hierbij gaat het niet om uiteindelijke beoordeling die studenten aan
elkaar geven, maar vooral om de wijze waarop de peer-assessment een bijdrage levert
aan de kwaliteit van het leerproces van de individuen en de groep. Dit komt veelal
voor in onderwijssituaties waar het werken in de groep een centrale rol speelt. Leren in
kleine groepen (6 tot 15 leerlingen) wordt gebruikt om ‘dieper leren’ aan te moedigen,
om meer autonomie aan de lerenden te geven door een deel van de
verantwoordelijkheid voor doceren en leren naar hen te schuiven. Leraar heeft hierbij
een ondersteunende rol.
self- en peer-assessment zijn vaardigheden die geleerd moeten worden. Onderzoek: deze
vorm zorgt voor betere resultaten als studenten er ervaring mee hebben of worden getraind in
het gebruik ervan
Kwaliteitscriteria evaluatie-instrument
Validiteit = mate waarin het inderdaad meet wat het beoogt te meten. Bijv.: rijexamen, geeft
het inderdaad een goed beeld van de rijvaardigheid?
Belangrijke punten hierbij:
- Relevantie ~ kenmerk van de afzonderlijke vragen en opdrachten die deel uitmaken
van een evaluatie-instrument (toets, overhoring, examen). is die vraag/beoordeling
relevant om erachter te komen of leerlingen de doelen behaald hebben. Bijv. punten
aftrek geven voor spelling bij een geschiedenistoets
- Evenwichtigheid ~ kenmerk van de hele toets, waarbij het erom gaat dat de
verschillende onderdelen of aspecten van kennis, vaardigheid of competentie die
moeten worden getoetst, op een evenwichtige manier zijn vertegenwoordigd in de
toets. Onmogelijk om alles terug te laten komen in een toets, dus de shortlist die wordt
opgesteld, moet representatief zijn voor het geheel.
Betrouwbaarheid = kunnen de resultaten vertekend zijn? Het wordt meestal opgevat als
consistentie in de evaluatieresultaten als de betrouwbaarheid optimaal is, behaalt een
leerling/student steeds dezelfde uitslag, ongeacht wie de toets afneemt en beoordeelt, in welke
omstandigheden dit gebeurt e.d.
Generaliseerbaarheid = in welke mate een evaluatie o.b.v. bijv. een aantal talen
‘veralgemeend’ kan worden naar andere taken die hetzelfde meten.
Optimale betrouwbaarheid betekent dat verschillen in uitslagen alleen te maken hebben met
verschillen in kennis/vaardigheden tussen de leerlingen. Een minder goede betrouwbaarheid
wil zeggen dat naast deze verschillen ook andere factoren (bijv. meetfouten of toevalligheden)
meespelen die de uitslag vertekenen. Deze foutenbronnen moeten dus worden vermeden of
ten minste onder controle worden gehouden.
Meetfouten/toevalligheden kunnen optreden in 4 componenten van de evaluatiesituatie:
1. Het instrument, bijv. onduidelijk geformuleerde vragen, verschillende
interpretatiemogelijkheden of te weinig vragen waardoor de toevalstreffers (‘geluk
hebben’) niet uitgesloten kunnen worden
