Meten en evalueren
Les 1
Situering inhoud
Geef enkele voorbeelden van meten en evalueren in de praktijk/ classificatie voordelen:
continu categorisch
uni Mondeling/open boek examen toegangsexamen
leerlingvolgsysteem (LVS)
multi PISA (unidimensionele metingen) portfolio
OVSG praktische proef OVSG
paper (meerdere aspecten beoordeeld) TOEFL (test of english as a
portfolio (meerdere aspecten beoordeeld) foreign level)
CEFOR (common european
stage-evaluatie (meerdere aspecten beoordeeld) frame of reference)
(kan ook →)
categorisch: verbale labels (meestal geordend) en je valt in 1 van de categorieën
● niveau: bepaald op basis van een percentage (normgericht)
Meeste in dit vak zal gaan over unidimensioneel en continu
● unidimensioneel basis voor categorische uitspraken én voor multidimensionale
uitspraken
continu: weinig handvatten want het is iets complex om te meten
Opmerkingen
● Wat is verschil met aanpak binnen ‘educational effectiveness’?
○ ‘Educational measurement’ focust op het adequaat meten van wat vaak de
afhankelijke variabele is binnen effectiviteitsonderzoek, namelijk het behaalde
prestatieniveau van een leerling.
● Wat met relaties tussen testscores?
○ In dit vak focussen we op het in kaart brengen van de meetkwaliteit van een
enkel meetinstrument.
● Welk verschil met evaluatie in de klaspraktijk?
○ Daar worden leerlingen geëvalueerd door meerdere meetinstrumenten
(toetsen, taken, examens) tijdens het schooljaar.
1
,oude conceptmap: meten en evalueren in onderwijs en opleiding
2 grote kader:
● klassieke testtheorie
○ gebaseerd op somscores
■ aantal problemen
● verschillend punt halen met dezelfde vaardigheid
○ afhankelijk van de moeilijkheid van het examen
■ we willen controleren op de moeilijkheidsgraad
● IRT: item respons theorie (nieuw)
○ proberen de moeilijkheidsgraad de controleren
Paars: ook een aantal problemenen
● cesuurbepaling: wanneer slaagt iemand
● probleem van equivaleren: score op de ene toets is evenwaardig met een bepaalde
score op een andere toets
2
,latere conceptmap: meten en evalueren in onderwijs en opleiding
cyclus van onderzoek: vraagstelling → operationalisering → …
formule: KTT: binnen de trapezium
● e: error: betrouwbaarheid
Eerste les in conceptmap
3
, DEEL 1: Klassieke testtheorie
Carmines, E.G., & Zeller, R.A. (1979). Reliability and validity assessment. Newbury Park:
Sage. (Series Quantitative applications in the social sciences)
Let op: deze tekst wordt niet volledig behandeld in de les
Overzicht tekst
● inleiding
● validiteit
● klassieke testtheorie
● bepalen betrouwbaarheid
Hoofdstuk 1: meten
Inleiding
Wat is meten?
Definitie van meten:
● Stevens (1951) ‘... the assignment of numbers to objects or events according to
rules’
○ concatenatie: optellen eenheden
● wat bij abstracte concepten?
○ zoals items
Steeds linken van abstract concept aan empirische indicator(en)
Twee richtingen aan dat verband:
4
Les 1
Situering inhoud
Geef enkele voorbeelden van meten en evalueren in de praktijk/ classificatie voordelen:
continu categorisch
uni Mondeling/open boek examen toegangsexamen
leerlingvolgsysteem (LVS)
multi PISA (unidimensionele metingen) portfolio
OVSG praktische proef OVSG
paper (meerdere aspecten beoordeeld) TOEFL (test of english as a
portfolio (meerdere aspecten beoordeeld) foreign level)
CEFOR (common european
stage-evaluatie (meerdere aspecten beoordeeld) frame of reference)
(kan ook →)
categorisch: verbale labels (meestal geordend) en je valt in 1 van de categorieën
● niveau: bepaald op basis van een percentage (normgericht)
Meeste in dit vak zal gaan over unidimensioneel en continu
● unidimensioneel basis voor categorische uitspraken én voor multidimensionale
uitspraken
continu: weinig handvatten want het is iets complex om te meten
Opmerkingen
● Wat is verschil met aanpak binnen ‘educational effectiveness’?
○ ‘Educational measurement’ focust op het adequaat meten van wat vaak de
afhankelijke variabele is binnen effectiviteitsonderzoek, namelijk het behaalde
prestatieniveau van een leerling.
● Wat met relaties tussen testscores?
○ In dit vak focussen we op het in kaart brengen van de meetkwaliteit van een
enkel meetinstrument.
● Welk verschil met evaluatie in de klaspraktijk?
○ Daar worden leerlingen geëvalueerd door meerdere meetinstrumenten
(toetsen, taken, examens) tijdens het schooljaar.
1
,oude conceptmap: meten en evalueren in onderwijs en opleiding
2 grote kader:
● klassieke testtheorie
○ gebaseerd op somscores
■ aantal problemen
● verschillend punt halen met dezelfde vaardigheid
○ afhankelijk van de moeilijkheid van het examen
■ we willen controleren op de moeilijkheidsgraad
● IRT: item respons theorie (nieuw)
○ proberen de moeilijkheidsgraad de controleren
Paars: ook een aantal problemenen
● cesuurbepaling: wanneer slaagt iemand
● probleem van equivaleren: score op de ene toets is evenwaardig met een bepaalde
score op een andere toets
2
,latere conceptmap: meten en evalueren in onderwijs en opleiding
cyclus van onderzoek: vraagstelling → operationalisering → …
formule: KTT: binnen de trapezium
● e: error: betrouwbaarheid
Eerste les in conceptmap
3
, DEEL 1: Klassieke testtheorie
Carmines, E.G., & Zeller, R.A. (1979). Reliability and validity assessment. Newbury Park:
Sage. (Series Quantitative applications in the social sciences)
Let op: deze tekst wordt niet volledig behandeld in de les
Overzicht tekst
● inleiding
● validiteit
● klassieke testtheorie
● bepalen betrouwbaarheid
Hoofdstuk 1: meten
Inleiding
Wat is meten?
Definitie van meten:
● Stevens (1951) ‘... the assignment of numbers to objects or events according to
rules’
○ concatenatie: optellen eenheden
● wat bij abstracte concepten?
○ zoals items
Steeds linken van abstract concept aan empirische indicator(en)
Twee richtingen aan dat verband:
4
