Deel 4 - Evalueren
D1 - Leren en instructie
Referentiekader in de praktijk
Elementen op ≠ niveau’s jouw leeromgeving beïnvloeden
• Microniveau
= klasniveau
• Mesoniveau
= Schoolniveau, opleidingsniveau
• Macroniveau
= beleidsniveau, systeemniveau, eindtermen
Op elk niveau zijn er elementen (factoren, actoren, ..) die + en – effecten kan hebben. ➜ ze beïnvloeden elkaar
ook
Respect voor complexiteit – niet zo eenvoudig
➜ als leraar moet je veel rekening houden voor het opzetten van instructie
Conclusie
Inzicht in onderwijs en het kwaliteit van onderwijs vraagt een complex referentiekader vraagt
➜ een bril om actoren, processen en variabelen te onderscheiden
➜ een manier om naar onderwijs te kijken
Het onderscheid is op verschillende niveaus (micro, meso en macro)
➜ en spelen op elkaar in
Beslissingen gaan genomen worden op basis van de informatie dat er is
= onderzoek evidentie
➜ niet omdat het al jaren zo gedaan wordt
Op het einde van de rit zullen we zelf een onderzoekende houding moeten aannemen ➜ over wat werkt in ons
onderwijs
De grote vraag dat we willen antwoorden is waar we als leraar rekening moeten mee houden bij het opzetten
van een instructie naar leerlingen toe
➜ wat speelt een rol en wat niet
Bijvoorbeeld – Zelfreflectie na rapport
Als je leerlingen zou vragen om eigen leerpresentaties
in te schatten
➜ zorgt dit voor positieve resultaten?
Bijvoorbeeld - Centrale toetsen in vlaanderen?
Het inzetten van centrale examens in het onderwijs
➜ zorgt dat voor positieve resultaten?
Geen garantie dat een leerling de eindtermen bereikt
➜ geen centrale toets in België
➜ 1 van de enige landen dat dit niet heeft
➜ Amerika wel SAT’s
1
,Deel 4 - Evalueren
Evidencebased benaderingen!
➜ houden rekening met de resultaten van wetenschappelijk onderzoek wanneer we beslissingen of keuzes
maken die leren of instructies beïnvloeden
Handig om terug te vallen op de meta analyses van John Hattie
John Hattie
Auteur voor visible learning for teachers
➜ de leerprestaties
Heeft veel meta-analyses gedaan
➜ neemt alle studies samen over een bepaald onderwerp en maakt een
kwantitatieve samenvatting
➜ MAAR zo verliezen detail-informatie
Zowel geliefd en gehaat
➜ hij bracht veel informatie samen over wat werkt en wat niet – wat is algemene relevantie
➜ anderen zeggen dat je veel detail informatie kwijt bent door de meta-analyses
Belangrijk om te testen binnen jouw eigen klas wat werkt en niet werkt
Effect sizes
Effect sizes
= mate waarin er een significant verschil is in de gem. resultaten van 2 groepen.
➜ hoe kleiner de p-waarde = hoe minder toeval
Gaan kijken of de resultaten te wijten zijn aan een toeval of niet
➜ significante waarde (p) – dan is er een verschil dat niet aan toeval te wijten is
➜ kijken naar effect size (ES, d) om te weten hoe significant de waarde is!
Effect size kijkt naar de grootte en dus relevantie van het verschil.
➜ Hoe groot, hoe belangrijk is de test?
2
,Deel 4 - Evalueren
Effect size = d
➜ verwijst naar het # standaarddeviaties
dat de gemiddelde leerprestaties opschuiven
d = 0,5 ➜ leerprestaties schuiven 1 jaar op
➜ ll presteren even goed als die dat
1 jaar verder zitten
d = 1 ➜ leerprestaties schuiven 2 jaar op
d = 1,44 komt overeen met een verbetering bij 52% van de leerlingen
➜ ze hebben dus hogere leerprestaties dan het vroegere gemiddelde
Effect sizes helpen om sterkte van de vastgestelde verschillen beter te begrijpen.
Rode lijn = de normaalcurve = controlegroep
Groene lijn = experimentele groep
d = 1,44 standaarddeviaties
➜ positieve verschuiving naar rechts
➜ interventie met effect
➜ Leerlingen (groen) het beter doen dan oude gem. leerresultaten (zwarte)
Verdeling schuift naar rechts
➜ (kijken naar de oppervlakte onder de curve)
➜ grote effect size = oppervlakte tov oude gemiddelde wordt groter aan de rechterkant van de curve
In VS d = 0,005 standaarddeviaties ➜ zeer kleine effect size
➜ geen verschil tussen de controle en experimentele groep
Niet zeer interessant om gemiddelden te vergelijken
➜ kijken naar de verandering in spreiding (= variantie)
Effect size houdt vooral rekening met die verandering in spreiding
VUISTREGEL
Gemiddelde effect size = d = 0.40
➜ groter of gelijk aan 0.4 is onderzoek dat er toe doet
Heel belangrijk om toch de resultaten nog te ontleden!
Redenen voor d = 0.40:
• Negatieve leereffecten
➜ leereffecten kunnen ook negatief zijn – leerprestaties gaan erop achteruit bv. blijvenzitten
• Leerlingen kunnen bijleren los van instructie
➜ ES tot d = 0.20 ziet men als een ontwikkelingseffect
➜ waardoor we in mindere mate kunnen verwachten dat leerlingen door de aanpak betere prestaties
zullen leveren
• Leerkrachteffect
➜ leerlingen die zich alert zijn dat een leerkracht op een andere manier lesgeeft en meer betrokken zijn,
zijn aandachtiger
➜ dit effect verdwijnt na een tijdje
3
, Deel 4 - Evalueren
Alle ES tot 0.40 verwijzen naar ontwikkelingsinvloeden en/of leerkrachteffecten
➜ daarom = of > dan 0,40 zijn interessant
➜ omdat ze deze invloeden en effecten overstijgen
Effect van interventie kijken we echt naar die resultaten van >0.40
Meta-analyses grondig bekijken want kan een ander beeld opleveren
Bv. huiswerk d = 0,29 ➜ lager d = 0,17 & secundair d = 0,73
Reverse effect/negatieve effecten - <0
Gewone ontwikkelingseffecten - <0,20
Teachereffects – tussen 0,20 en 0,40
Zone van gewilde effecten - > 0,40
Leren en instructie via verschillende dimensies
De dimensies zijn
- Actoren - Didactisch handelen
- Aggregatieniveaus - Organisatie
- Micro – klas - Leeractiviteiten
- Meso – school - Context
- Macro – alles erboven
Actoren
Actoren worden vaak stakeholders genoemd
➜ afhankelijk van de belangen die op het spel staan gaan ze zich anders opstellen
Verschillende actoren in ons referentiekader zijn
- Leerlingen & Leraren
- Ouders
- De overheid
- De inspectie
- De koepels
- Stakeholders of belanghebbende
Aggregatieniveaus
De manier waarop actoren thema’s benaderen is afhankelijk van het aggregatieniveau waarop een thema aan
bod komt
Microniveau - klasniveau
➜ kijkt naar concrete
• leer- en instructiesituatie bv. in een klas
• Lerende of leerkrachten
Directe interactie tussen lerende en leerkracht staat centraal
➜ typisch in de klasgroep
➜ stem v/d media weinig aan bod komen
Op microniveau gaat de aandacht naar concrete actoren
➜ Ze gaan elk op hun eigen manier aan de slag op het microniveau
➜ zijn ook verantwoordelijk voor specifieke processen (instructieactiviteiten, leeractiviteiten, didactisch
handelen)
4
D1 - Leren en instructie
Referentiekader in de praktijk
Elementen op ≠ niveau’s jouw leeromgeving beïnvloeden
• Microniveau
= klasniveau
• Mesoniveau
= Schoolniveau, opleidingsniveau
• Macroniveau
= beleidsniveau, systeemniveau, eindtermen
Op elk niveau zijn er elementen (factoren, actoren, ..) die + en – effecten kan hebben. ➜ ze beïnvloeden elkaar
ook
Respect voor complexiteit – niet zo eenvoudig
➜ als leraar moet je veel rekening houden voor het opzetten van instructie
Conclusie
Inzicht in onderwijs en het kwaliteit van onderwijs vraagt een complex referentiekader vraagt
➜ een bril om actoren, processen en variabelen te onderscheiden
➜ een manier om naar onderwijs te kijken
Het onderscheid is op verschillende niveaus (micro, meso en macro)
➜ en spelen op elkaar in
Beslissingen gaan genomen worden op basis van de informatie dat er is
= onderzoek evidentie
➜ niet omdat het al jaren zo gedaan wordt
Op het einde van de rit zullen we zelf een onderzoekende houding moeten aannemen ➜ over wat werkt in ons
onderwijs
De grote vraag dat we willen antwoorden is waar we als leraar rekening moeten mee houden bij het opzetten
van een instructie naar leerlingen toe
➜ wat speelt een rol en wat niet
Bijvoorbeeld – Zelfreflectie na rapport
Als je leerlingen zou vragen om eigen leerpresentaties
in te schatten
➜ zorgt dit voor positieve resultaten?
Bijvoorbeeld - Centrale toetsen in vlaanderen?
Het inzetten van centrale examens in het onderwijs
➜ zorgt dat voor positieve resultaten?
Geen garantie dat een leerling de eindtermen bereikt
➜ geen centrale toets in België
➜ 1 van de enige landen dat dit niet heeft
➜ Amerika wel SAT’s
1
,Deel 4 - Evalueren
Evidencebased benaderingen!
➜ houden rekening met de resultaten van wetenschappelijk onderzoek wanneer we beslissingen of keuzes
maken die leren of instructies beïnvloeden
Handig om terug te vallen op de meta analyses van John Hattie
John Hattie
Auteur voor visible learning for teachers
➜ de leerprestaties
Heeft veel meta-analyses gedaan
➜ neemt alle studies samen over een bepaald onderwerp en maakt een
kwantitatieve samenvatting
➜ MAAR zo verliezen detail-informatie
Zowel geliefd en gehaat
➜ hij bracht veel informatie samen over wat werkt en wat niet – wat is algemene relevantie
➜ anderen zeggen dat je veel detail informatie kwijt bent door de meta-analyses
Belangrijk om te testen binnen jouw eigen klas wat werkt en niet werkt
Effect sizes
Effect sizes
= mate waarin er een significant verschil is in de gem. resultaten van 2 groepen.
➜ hoe kleiner de p-waarde = hoe minder toeval
Gaan kijken of de resultaten te wijten zijn aan een toeval of niet
➜ significante waarde (p) – dan is er een verschil dat niet aan toeval te wijten is
➜ kijken naar effect size (ES, d) om te weten hoe significant de waarde is!
Effect size kijkt naar de grootte en dus relevantie van het verschil.
➜ Hoe groot, hoe belangrijk is de test?
2
,Deel 4 - Evalueren
Effect size = d
➜ verwijst naar het # standaarddeviaties
dat de gemiddelde leerprestaties opschuiven
d = 0,5 ➜ leerprestaties schuiven 1 jaar op
➜ ll presteren even goed als die dat
1 jaar verder zitten
d = 1 ➜ leerprestaties schuiven 2 jaar op
d = 1,44 komt overeen met een verbetering bij 52% van de leerlingen
➜ ze hebben dus hogere leerprestaties dan het vroegere gemiddelde
Effect sizes helpen om sterkte van de vastgestelde verschillen beter te begrijpen.
Rode lijn = de normaalcurve = controlegroep
Groene lijn = experimentele groep
d = 1,44 standaarddeviaties
➜ positieve verschuiving naar rechts
➜ interventie met effect
➜ Leerlingen (groen) het beter doen dan oude gem. leerresultaten (zwarte)
Verdeling schuift naar rechts
➜ (kijken naar de oppervlakte onder de curve)
➜ grote effect size = oppervlakte tov oude gemiddelde wordt groter aan de rechterkant van de curve
In VS d = 0,005 standaarddeviaties ➜ zeer kleine effect size
➜ geen verschil tussen de controle en experimentele groep
Niet zeer interessant om gemiddelden te vergelijken
➜ kijken naar de verandering in spreiding (= variantie)
Effect size houdt vooral rekening met die verandering in spreiding
VUISTREGEL
Gemiddelde effect size = d = 0.40
➜ groter of gelijk aan 0.4 is onderzoek dat er toe doet
Heel belangrijk om toch de resultaten nog te ontleden!
Redenen voor d = 0.40:
• Negatieve leereffecten
➜ leereffecten kunnen ook negatief zijn – leerprestaties gaan erop achteruit bv. blijvenzitten
• Leerlingen kunnen bijleren los van instructie
➜ ES tot d = 0.20 ziet men als een ontwikkelingseffect
➜ waardoor we in mindere mate kunnen verwachten dat leerlingen door de aanpak betere prestaties
zullen leveren
• Leerkrachteffect
➜ leerlingen die zich alert zijn dat een leerkracht op een andere manier lesgeeft en meer betrokken zijn,
zijn aandachtiger
➜ dit effect verdwijnt na een tijdje
3
, Deel 4 - Evalueren
Alle ES tot 0.40 verwijzen naar ontwikkelingsinvloeden en/of leerkrachteffecten
➜ daarom = of > dan 0,40 zijn interessant
➜ omdat ze deze invloeden en effecten overstijgen
Effect van interventie kijken we echt naar die resultaten van >0.40
Meta-analyses grondig bekijken want kan een ander beeld opleveren
Bv. huiswerk d = 0,29 ➜ lager d = 0,17 & secundair d = 0,73
Reverse effect/negatieve effecten - <0
Gewone ontwikkelingseffecten - <0,20
Teachereffects – tussen 0,20 en 0,40
Zone van gewilde effecten - > 0,40
Leren en instructie via verschillende dimensies
De dimensies zijn
- Actoren - Didactisch handelen
- Aggregatieniveaus - Organisatie
- Micro – klas - Leeractiviteiten
- Meso – school - Context
- Macro – alles erboven
Actoren
Actoren worden vaak stakeholders genoemd
➜ afhankelijk van de belangen die op het spel staan gaan ze zich anders opstellen
Verschillende actoren in ons referentiekader zijn
- Leerlingen & Leraren
- Ouders
- De overheid
- De inspectie
- De koepels
- Stakeholders of belanghebbende
Aggregatieniveaus
De manier waarop actoren thema’s benaderen is afhankelijk van het aggregatieniveau waarop een thema aan
bod komt
Microniveau - klasniveau
➜ kijkt naar concrete
• leer- en instructiesituatie bv. in een klas
• Lerende of leerkrachten
Directe interactie tussen lerende en leerkracht staat centraal
➜ typisch in de klasgroep
➜ stem v/d media weinig aan bod komen
Op microniveau gaat de aandacht naar concrete actoren
➜ Ze gaan elk op hun eigen manier aan de slag op het microniveau
➜ zijn ook verantwoordelijk voor specifieke processen (instructieactiviteiten, leeractiviteiten, didactisch
handelen)
4
