SAMENVATTING
INLEIDING OP HET VAK
SITUERING INHOUD
Geef enkele voorbeelden van meten en evalueren in de praktijk?
2 dimensies
continu classificatie
unidimensioneel • IDP • Toetertesten
= verschillende items • PISA • Peilingen
meten 1 begrip • LVS
• Examen
multidimensioneel • Portfolio • onderwijsinspectie
= vanuit verschillende • Functioneringsgesprekken
invalshoeken bekijken,
verschillende aspecten
beoordelen
Uitleg bij tabel
• IDP = interdiocesane proeven
o De scholen nemen vrijwillig deel en krijgen feedback op de resultaten
o Domeinen: wiskunde, taal, wereldoriëntatie en Frans
• PISA = program of international student assessment
• Toetertesten doen een uitspraak of een leerling wel of niet een risicoleerling is
• Peiling → doel van een peiling is nagaan als de leerlingen wel/niet de eindtermen behalen
• Meerderheid van de modellen zijn continu & unidimensioneel
• Bij continu en multidimensioneel zijn er beoordelaarsverschillen
OPMERKINGEN
• Wat is het verschil met de aanpak binnen het vak ‘educational effectiveness’?
o Dit vak heeft de toetsen, ze hebben de bouwstenen waarmee EE verder werkt
o EE = de samenhang tussen alles, kijken waar de resultaten mee samenhangen
• Wat met relaties tussen testscores?
o Elk afzonderlijk domein meet een unidimensionele meetschaal en kijkt naar de
multidimensionele meetschaal (relaties), maar is niet die multidimensionaliteit die we
bedoelen
1
,OVERZICHT
= oude conceptmap
= latere conceptmap
= les 1
2
,DEFINITIE METEN & VALIDITEIT EN BETROUWBAARHEID
INLEIDING
• Definitie van meten:
o Stevens (1951): … the assignment of numbers to objects or events according to rules
▪ Vooral fysische metingen
▪ Vb. De lengte van een object meten → 1 eenheid (cm), en meerdere eenheden naast
elkaar leggen en het aantal van die eenheden tellen
▪ Getallen toewijzen aan gebeurtenissen op basis van bepaalde regels
• Vb. concatentatie-operatie
o Wat bij abstracte concepten?
▪ = op een andere manier te werk gaan
▪ → Proces van linken van abstracte concepten aan empirische indicatoren
• Abstracte concepten = theoretisch niveau
• Empirische indicatoren = empirisch niveau
▪ DUS linken tussen wat we willen meten en de empirische indicatoren
Let op: belang van hulptheorie om de relatie te verduidelijken tussen concepten en hun indicatoren
• Verband tussen de concepten en de indicatoren
o Hoe van de ene kant (indicatoren) naar de andere kant (concepten)?
o Vb. zelfobservatie van de docent van de eigen les versus de feedback van leerlingen. De
assumptie is dat de observatie van de docent een goede indicator is voor de evaluatie van de
les.
• 2 richtingen
o Top-down: van concept naar operationalisatie
▪ Er is altijd een vertaling en deels ook verenging van het begrip
• Vertaling: het vak wordt vertaald naar 10 juist/fout vragen, 2 kennisvragen,
1 inzichtsvraag & 1 toepassingsvraag
• MAAR er is ook een verenging van het examen
3
, ▪ Geen meting zonder mogelijke discussie over die kloof tussen wat men bedoelt te
meten en wat men feitelijk (maar) meet
▪ Vb. online evaluatie van docenten, examens, peiling burgerzin, beoordelingen
leerkracht…
• → er zijn altijd aspecten niet opgenomen die toch zinvol kunnen zijn
o Bottom-up: van antwoorden op items naar een meetschaal
▪ Kwaliteitscriteria/meetmodel om de geldigheid van de conclusies te garanderen
• Hoe goed passen de items bij elkaar als meetschaal?
▪ Empirische lift van de meetschaal (die nog een interpretatie behoeft)
BETROUWBAARHEID EN VALIDITEIT GEDEFINIEERD
• Evalueer verband tussen indicatoren en theoretisch concept
• Betrouwbaarheid:
o = dat je meet
o Consistentie over herhaalde metingen (= systematisch)
▪ Items binnen een test OF
▪ Verschillende meetmomenten van dezelfde test
o Meetmodel voor de data
o Noodzakelijke, maar geen voldoende voorwaarde voor validiteit
• Validiteit
o = wat je meet
o De mate waarin de indicatoren meten wat ze bedoelden te meten
▪ = doelmatigheid
▪ Vb. het examen meet voornamelijk inzicht in plaats van feitenkennis
o Betekenis (cf. het abstracte begrip van het meetmodel)
o Doel of gebruik
o Afhankelijk van het doel is er een andere vorm van validiteit
• VOORBEELD
o Welke is de meest betrouwbare schutter?
▪ de schele schutter:
• = meeste betrouwbare
• → meest consistente ondanks de systematische afwijking
van de roos
▪ Relatief doelgerichte schutter
• = lage betrouwbaarheid
o Betrouwbaar en/of valide?
▪ Je wil toetsen of leerlingen van het 3de leerjaar de kennis van de maaltafels
geautomatiseerd hebben. beoordeel de onderstaande toetsen:
4
INLEIDING OP HET VAK
SITUERING INHOUD
Geef enkele voorbeelden van meten en evalueren in de praktijk?
2 dimensies
continu classificatie
unidimensioneel • IDP • Toetertesten
= verschillende items • PISA • Peilingen
meten 1 begrip • LVS
• Examen
multidimensioneel • Portfolio • onderwijsinspectie
= vanuit verschillende • Functioneringsgesprekken
invalshoeken bekijken,
verschillende aspecten
beoordelen
Uitleg bij tabel
• IDP = interdiocesane proeven
o De scholen nemen vrijwillig deel en krijgen feedback op de resultaten
o Domeinen: wiskunde, taal, wereldoriëntatie en Frans
• PISA = program of international student assessment
• Toetertesten doen een uitspraak of een leerling wel of niet een risicoleerling is
• Peiling → doel van een peiling is nagaan als de leerlingen wel/niet de eindtermen behalen
• Meerderheid van de modellen zijn continu & unidimensioneel
• Bij continu en multidimensioneel zijn er beoordelaarsverschillen
OPMERKINGEN
• Wat is het verschil met de aanpak binnen het vak ‘educational effectiveness’?
o Dit vak heeft de toetsen, ze hebben de bouwstenen waarmee EE verder werkt
o EE = de samenhang tussen alles, kijken waar de resultaten mee samenhangen
• Wat met relaties tussen testscores?
o Elk afzonderlijk domein meet een unidimensionele meetschaal en kijkt naar de
multidimensionele meetschaal (relaties), maar is niet die multidimensionaliteit die we
bedoelen
1
,OVERZICHT
= oude conceptmap
= latere conceptmap
= les 1
2
,DEFINITIE METEN & VALIDITEIT EN BETROUWBAARHEID
INLEIDING
• Definitie van meten:
o Stevens (1951): … the assignment of numbers to objects or events according to rules
▪ Vooral fysische metingen
▪ Vb. De lengte van een object meten → 1 eenheid (cm), en meerdere eenheden naast
elkaar leggen en het aantal van die eenheden tellen
▪ Getallen toewijzen aan gebeurtenissen op basis van bepaalde regels
• Vb. concatentatie-operatie
o Wat bij abstracte concepten?
▪ = op een andere manier te werk gaan
▪ → Proces van linken van abstracte concepten aan empirische indicatoren
• Abstracte concepten = theoretisch niveau
• Empirische indicatoren = empirisch niveau
▪ DUS linken tussen wat we willen meten en de empirische indicatoren
Let op: belang van hulptheorie om de relatie te verduidelijken tussen concepten en hun indicatoren
• Verband tussen de concepten en de indicatoren
o Hoe van de ene kant (indicatoren) naar de andere kant (concepten)?
o Vb. zelfobservatie van de docent van de eigen les versus de feedback van leerlingen. De
assumptie is dat de observatie van de docent een goede indicator is voor de evaluatie van de
les.
• 2 richtingen
o Top-down: van concept naar operationalisatie
▪ Er is altijd een vertaling en deels ook verenging van het begrip
• Vertaling: het vak wordt vertaald naar 10 juist/fout vragen, 2 kennisvragen,
1 inzichtsvraag & 1 toepassingsvraag
• MAAR er is ook een verenging van het examen
3
, ▪ Geen meting zonder mogelijke discussie over die kloof tussen wat men bedoelt te
meten en wat men feitelijk (maar) meet
▪ Vb. online evaluatie van docenten, examens, peiling burgerzin, beoordelingen
leerkracht…
• → er zijn altijd aspecten niet opgenomen die toch zinvol kunnen zijn
o Bottom-up: van antwoorden op items naar een meetschaal
▪ Kwaliteitscriteria/meetmodel om de geldigheid van de conclusies te garanderen
• Hoe goed passen de items bij elkaar als meetschaal?
▪ Empirische lift van de meetschaal (die nog een interpretatie behoeft)
BETROUWBAARHEID EN VALIDITEIT GEDEFINIEERD
• Evalueer verband tussen indicatoren en theoretisch concept
• Betrouwbaarheid:
o = dat je meet
o Consistentie over herhaalde metingen (= systematisch)
▪ Items binnen een test OF
▪ Verschillende meetmomenten van dezelfde test
o Meetmodel voor de data
o Noodzakelijke, maar geen voldoende voorwaarde voor validiteit
• Validiteit
o = wat je meet
o De mate waarin de indicatoren meten wat ze bedoelden te meten
▪ = doelmatigheid
▪ Vb. het examen meet voornamelijk inzicht in plaats van feitenkennis
o Betekenis (cf. het abstracte begrip van het meetmodel)
o Doel of gebruik
o Afhankelijk van het doel is er een andere vorm van validiteit
• VOORBEELD
o Welke is de meest betrouwbare schutter?
▪ de schele schutter:
• = meeste betrouwbare
• → meest consistente ondanks de systematische afwijking
van de roos
▪ Relatief doelgerichte schutter
• = lage betrouwbaarheid
o Betrouwbaar en/of valide?
▪ Je wil toetsen of leerlingen van het 3de leerjaar de kennis van de maaltafels
geautomatiseerd hebben. beoordeel de onderstaande toetsen:
4
