Educational effectiveness
1 LECTURE 1: ........................................................................................................................................................ 4
1.1 BETEKENIS ......................................................................................................................................................... 4
1.2 GESCHIEDENIS VAN EER è 5 GROTE FASEN ........................................................................................................ 4
1.3 EDUCATIONAL EFFECTIVENESS (SCHEERENS, 2004) ........................................................................................ 5
1.4 EFFECTIVITEITS CRITERIA VOOR SCHOLEN ......................................................................................................... 5
1.5 THEORETICAL MODELS ................................................................................................................................... 6
1.5.1 CARROLL (1963): MODEL OF SCHOOL LEARNING .............................................................................................................. 6
1.5.2 EDMONDS (1979): FIVE FACTOR MODEL .......................................................................................................................... 6
1.5.3 SCHEERENS (1990): CIPO-MODEL ................................................................................................................................. 6
1.5.4 CREEMERS (1994): COMPREHENSIVE MODEL OF EDUCATIONAL EFFECTIVENESS ..................................................................... 6
1.5.5 SCHEERENS (2015): INTEGRATED MULTILEVEL MODEL OF EDUCATION.................................................................................. 7
1.6 METHODOLOGIE VAN EER .................................................................................................................................... 7
1.7 MULTILEVEL MODELLEN (MLM): ........................................................................................................................... 8
1.7.1 OMVANG VAN DE SCHOOLEFFECTEN (= SIZE OF SCHOOL EFFECTS) ........................................................................................ 8
1.7.2 CONSISTENTIE VAN SCHOOLEFFECTEN .............................................................................................................................. 8
1.7.3 STABILITEIT VAN SCHOOLEFFECTEN .................................................................................................................................. 8
1.7.4 DIFFERENTIËLE EFFECTEN ............................................................................................................................................... 9
1.7.5 EFFECTEN VAN DE KLAS/SCHOOLSAMENSTELLING (=SCHOOLCOMPOSTION EFFECT) ............................................................... 9
1.7.6 VERSCHILLENDE SCHOOLEFFECTEN................................................................................................................................... 9
2 LECTURE 2: SCHOOL EFFECTS: VALUE ADDED MODELS ................................................................................... 10
2.1 MULTILEVEL STRUCTUREN: KINDEREN VAN DEZELFDE OUDERS .................................................................................... 10
2.2 MULTILEVEL STRUCTUREN IN HET ONDERWIJS ......................................................................................................... 10
2.3 ANALYSE OP MEERDERE NIVEAUS (= MULTILEVEL ANALYSIS) ....................................................................................... 11
2.3.1 BEREKENEN VARIANTIECOMPOSITIE ............................................................................................................................... 11
2.3.1.1 VARIANTIE BEREKENEN BIJ SINGLE LEVEL MODEL ............................................................................................. 11
2.3.1.2 VARIANTIE BEREKENEN BIJ MULTI LEVEL MODEL è VARIANTIEDECOMPOSITIE ............................................. 11
2.3.2 2 STRUCTUREN ....................................................................................................................................................... 11
2.3.2.1 STAP 1: VARIANTIECOMPONENTEN IN HET LEGE MODEL ................................................................................. 12
2.3.2.2 STAP 2 VALUE ADDED MODELS (MODEL 1, MODEL 2...) ................................................................................... 12
2.4 5 TYPES VAN VALUE-ADDED MODELS ............................................................................................................ 15
2.5 4 TYPES VAN SCHOOL-EFFECTEN ........................................................................................................................... 16
2.6 CONTROLEREN VOOR WAT?................................................................................................................................. 16
2.7 INZICHT IN VERSCHILLENDE SOORTEN MODELLEN MET ADDED-VALUE (TIMMERMANS ET AL.,) ....................... 16
2.8 RANKING SCHOOL RESIDUALS ............................................................................................................................... 17
3 LECTURE 3-4: INTERNATIONAL COMPARATIVE STUDIES .................................................................................. 18
3.1 VOORBEELDEN VAN VERGELIJKENDE STUDIES .............................................................................................. 18
3.2 KRITIEK OP VERGELIJKENDE STUDIES ............................................................................................................ 18
3.2.1 KRITIEK 1: TE VEEL DE FOCUS IN DE MEDIA OVER DE ONDERWIJSPRESTATIES IN RANGLIJSTEN ................................................ 18
3.2.1.1 NAAST RANGLIJST OOK FOCUS OP MOTIVATIE VAN DE LEERLINGEN BV. PISA 2015 ....................................... 18
3.2.1.2 NAAST RANGLIJST OOK FOCUS OP WELBEVINDEN VAN DE LEERLINGEN BV. PISA 2018................................. 19
1
, Educational effectiveness
3.2.1.3 ALTERNATIEVE OUTPUTMATEN ZOALS PROBLEM OPLOSSING BV. PISA 2015 ................................................ 19
3.2.2 KRITIEK 2: BEVOLKINGSVERTEKENING (=POPULATION BIAS) ............................................................................................. 19
3.2.3 KRITIEK 3: ENKEL RICHTEN OP KWALITEIT (RUWE SCORES) IPV RECHTVAARDIGHEID .............................................................. 20
3.2.3.1 KWALITEIT ........................................................................................................................................................... 20
3.2.3.2 GELIJKHEID (KANSENGELIJKHEID)/ EQUITY ........................................................................................................ 20
3.2.3.2.1 INDICATOR 1: KIJKEN NAAR DE PERCENTIELEN ........................................................................................... 21
3.2.3.2.2 3 INDICATOREN VOOR METEN EQUITY ......................................................................................................... 22
3.2.3.2.3 INDICATOR 3: CORRELATIE TUSSEN SES EN PRESTATIE .............................................................................. 23
3.2.3.2.4 INDICATOR 4: VERSCHIL IN PRESTATIES TUSSEN IMMIGRATIELLN EN NIET IMMIGRATIELLN ................. 23
3.3 WAAROM INTERNATIONALE STUDIES? ................................................................................................................... 25
3.4 ONDERZOEK: WAAROM PRESTEREN NIET-MIGRANTEN BETER DAN MIGRANTEN .............................................................. 25
3.4.1 VERKLARENDE VARIABELEN........................................................................................................................................... 26
3.4.2 RESULTATEN: REKENING HOUDEND MET ACHTERGRONDVARIABELEN VAN DE STUDENT .......................................................... 27
3.4.3 VERKLARENDE VARIANTIE ............................................................................................................................................. 27
3.4.4 CONCLUSIE ................................................................................................................................................................ 27
3.5 ONDERWIJS-QUASI-MARKT ................................................................................................................................. 28
3.5.1 MARKT MODEL: DRIE VERONDERSTELLINGEN/ MARKTPRINCIPES ......................................................................................... 28
3.5.2 ONDERZOEK ............................................................................................................................................................... 29
3.5.2.1 EMPTY MODELS: ................................................................................................................................................. 29
3.5.2.2 VARIABELEN OP SCHOOLNIVEAU ....................................................................................................................... 30
3.5.3 INTERACTIES ............................................................................................................................................................... 30
3.5.4 BELANGRIJKSTE RESULTATEN......................................................................................................................................... 30
4 LECTURE 5: RELATIEVE & ABSOLUTE SCHOOL EFFECTEN ................................................................................. 31
4.1 RELATIEVE SCHOOLEFFECTEN ............................................................................................................................... 31
4.1.1 PROBLEEM BIJ RELATIEVE SCHOOLEFECTEN: ONDERSCHATTING VAN EFFECT BIJ VALUE- ADDED MODELS: ................................. 31
4.1.2 RELATIEVE SCHOOLEFFECTEN 3 REDENEN OM ZE TOCH TE GEBRUIKEN ................................................................................. 31
4.1.2.1 SCHOOLKEUZE VAN OUDERS TE ONDERBOUWEN............................................................................................. 31
4.1.2.2 VERANTWOORDING VAN SCHOLEN VOOR PRESTATIES (= ACCOUNTABILITY) ................................................. 32
4.1.2.3 PRESTATIECONTROLE DOOR BELEIDSMAKERS ................................................................................................... 32
4.2 RANGLIJSTEN EN KLASSEMENTEN .......................................................................................................................... 32
4.2.1 3 HOOFDFUNCTIES VAN RANGLIJSTEN............................................................................................................................. 32
4.2.2 RANGLIJSTEN IN VERSCHILLENDE LANDEN ........................................................................................................................ 32
4.2.2.1 ENGELAND ........................................................................................................................................................... 32
4.2.2.2 VERENIGDE STATEN ............................................................................................................................................ 33
4.2.2.3 FRANKRIJK ........................................................................................................................................................... 33
4.2.2.4 NEDERLAND......................................................................................................................................................... 33
4.2.2.5 VLAANDEREN....................................................................................................................................................... 33
4.2.3 EFFECTEN VAN RANGLIJSTENV: KWESTIES/PROBLEMEN ..................................................................................................... 34
4.2.3.1 (NEVEN)EFFECTEN VAN RANGLIJSTEN ............................................................................................................... 34
4.2.3.2 TECHNISCHE EN ANALYTISCHE KWESTIES VAN RANGLIJSTEN ........................................................................... 34
4.2.3.2.1 Valide en betrouwbare indicatoren................................................................................................................. 34
4.2.3.2.2 De illusie van precisie ....................................................................................................................................... 34
4.2.3.2.3 Gedifferentieerde effectiviteit ......................................................................................................................... 35
4.2.3.3 BRUIKBAARHEIDSPROBLEMEN OMTRENT RANGLIJSTEN .................................................................................. 35
4.2.3.4 POLITIEKE, ETHISCHE EN MAATSCHAPPELIJKE KWESTIES .................................................................................. 35
2
, Educational effectiveness
4.3 REGRESSIE DISCONTINUÏTEITSANALYSE ................................................................................................................... 36
4.3.1 HET ABSOLUUT EFFECT VAN SCHOLING ........................................................................................................................... 36
4.3.2 RELATIEF LEEFTIJDSEFFECT/ GEBOORTEMAANDEFFECT ...................................................................................................... 36
4.3.3 REGRESSIE-DISCONTINUÏTEIT: SCHOOL EN LEEFTIJDEFFECT................................................................................................. 36
4.3.3.1 PROBLEEM BIJ REGRESSIEDISCONTINUÏTEIT: SNIJPUNT TUSSEN RANEN MET FLEXIBILITEIT NEMEN. ........... 37
4.3.4 2 STUDIES: ................................................................................................................................................................. 37
4.3.4.1 STUDIE 1: LONGITUDINAAL ONDERZOEK ( TUSSEN LANDEN -TIMSS -95)......................................................... 37
4.3.4.1.1 BELANGRIJKSTE BEVINDINGEN ........................................................................................................................ 38
4.3.4.2 STUDY 2: NAGAAN RESULTATEN ABSOLUTE/ REALTIEVE HETZELFDE ZIJN (PIPS) ............................................. 39
4.3.4.2.1 METHODE......................................................................................................................................................... 39
4.3.4.2.2 RESULTATEN ..................................................................................................................................................... 39
5 LECTURE 6: EVIDENCE BASED EDUCATION ...................................................................................................... 40
5.1 EVIDENCE BASED; GROOT ONDERWIJS DEBAT, MYTHEN ...................................................................................... 40
5.2 ONDERWIJS KRITISCH OVER GEBRUIK VAN EVIDENCE BACED ........................................................................................ 40
5.3 PSEUDOWETENSCHAP ........................................................................................................................................ 40
5.4 WAAROM GELOVEN WE IN MYTHEN; 2 REDENEN ..................................................................................................... 40
5.4.1 BEVESTIGINGSBIAS = CONFIRMATION BIAS ........................................................................................................... 40
5.4.2 COGNITIEVE DISSONANTIE = COGNITIVE DISSONANCE ....................................................................................................... 41
5.5 PROBLEEM: SCRIPTED CURRICULUM/ INSTRUCTIE ..................................................................................................... 41
5.6 OPLOSSING: KENNIS GEBASSEERD OP ONDERWIJSONDERZOEK ..................................................................................... 41
5.6.1 VOORBEELD INTERVENTIE VOOR VROEGTIJDIG LEZEN – SLAVIN ........................................................................................... 42
5.6.2 VOORBEELD INTERVENTIE NAAR EFFECT VAN BLIJVENZITTEN (KLASSENBEHOUD) .................................................................... 42
5.7 BIJWERKINGEN: TEACHING TO THE TEST ........................................................................................................... 42
5.8 IS EVIDENCE BASED ONDERWIJS MOGELIJK? ............................................................................................................ 42
5.9 EVIDENCE BASED EDUCATION VS EVIDENCE-INFORMED EDUCATION ............................................................................. 42
5.9.1 VOORBEELD EVIDENCE INFORMED EDUCATION ................................................................................................................ 42
5.10 HOE ONDERWIJS EFFECTITIVTEIT ONDERZOEKEN ..................................................................................................... 43
5.10.1 META-ANALYSE: STATISTISCHE MANIER OM VERSCHILLENDE STUDIES TE COMBINEREN ........................................................ 43
5.10.2 RANDOMISED CONTROLLED TRIAL (RCT) = EXPERIMENTEEL ONDERZOEK .......................................................................... 43
5.10.2.1 Voorbeeld cross-over ontwerp: Succes voor iedereen .................................................................................... 44
5.10.3 QUASI-EXPERIMENTELE DESIGNS (CLUSTER) .................................................................................................................. 44
5.10.4 ENQUÊTES EN KWALITATIEVE STUDIES .......................................................................................................................... 44
5.11 EVIDENCE BASED PRAKTIJK EN BELEID .................................................................................................................. 44
3
, Educational effectiveness
1 LECTURE 1:
1.1 BETEKENIS
Wat: Het probeert alle factoren binnen scholen/onderwijssysteem in het algemeen te onderzoeken die van invloed
kunnen zijn op de leerresultaten van lln in zowel hun academische als sociale ontwikkeling, hetgeen betekent dat
het een breed scala aan factoren omvat zoals onderwijsmethoden, de organisatie - formeel en informeel - van
scholen, het curriculum, de rol van leiderschap en de effecten van educatieve "leeromgevingen" in het algemeen,
of het nu scholen, districten of naties zijn.
Werking: • Educational effectiveness reaserch è 1 manier om te kijken naar onderwijskwaliteit
• Andere manier is bv. economisch – sociologisch
1.2 GESCHIEDENIS VAN EER è 5 GROTE FASEN
Fase 1 De eerste fase ontstond als reactie op de baanbrekende studies van Coleman et al. (1966) (eerste grote studie en
’60-70 Jencks et al. (1972) (gelijkaardige studie), hetgeen tot de conclusie leidde dat scholen weinig effect hadden op de
resultaten van hun lln in vergelijking met de effecten van de eigen capaciteiten en sociale achtergronden van lln .
• Oorzaak: ze keken naar de foute characteristics (school) è deze hebben niks te maken met onderwijzen van
leerkrachten dus foute kenmerken om conclusie te nemen
• Kritiek: deze studies vormde tegenstelling met de voorheen comfortabele veronderstelling dat keuzes tussen
scholen en schoolprocessen belangrijk zijn voor het lot van kinderen (Stringfield,Teddlie, 2011).
Fase 2 Halverwege de jaren ‘80 gekenmerkt door gebruik van multilevel onderzoek (methodologieën) (Goldstein, 2003) en
‘80 methodologisch verfijnde studies hetgeen de wetenschappelijke eigenschappen van schooleffecten begon aan te tonen
op gebieden als de stabiliteit van schooleffecten in de tijd.
Fase 3 Begin jaren ’90 werden er talrijke pogingen werden ondernomen om te onderzoeken waarom scholen verschillende
‘90 effecten hadden. Dit is de verschuiving van "input/output" naar "input/proces/output" studies waar Teddlie en
Reynolds (2000) op wijzen.
• Voorheen: intresse in input-output
• Nu: interesse in inpot-proces-output è toevoeging van procesvariableen (de zwarte doos werd geopend)
Fase 4 Internationalisering van het veld waarbij klas en lkr doen er veel meer toe dan de school è Over
>’00 onderwijseffectiviteitsonderzoek gesproken.
• Gebruik van statistieken, modellen om complexiteit van het onderwijs te zien
• Mixed methods: kwantitatieve studies combineren met kwalitatieve studies.
• Grote schalige longitudinale studies zoals: LOSO,SIBO…
• Internationale vergelijkende studies zoals: PISA, TIMSS, PIRLS
4
1 LECTURE 1: ........................................................................................................................................................ 4
1.1 BETEKENIS ......................................................................................................................................................... 4
1.2 GESCHIEDENIS VAN EER è 5 GROTE FASEN ........................................................................................................ 4
1.3 EDUCATIONAL EFFECTIVENESS (SCHEERENS, 2004) ........................................................................................ 5
1.4 EFFECTIVITEITS CRITERIA VOOR SCHOLEN ......................................................................................................... 5
1.5 THEORETICAL MODELS ................................................................................................................................... 6
1.5.1 CARROLL (1963): MODEL OF SCHOOL LEARNING .............................................................................................................. 6
1.5.2 EDMONDS (1979): FIVE FACTOR MODEL .......................................................................................................................... 6
1.5.3 SCHEERENS (1990): CIPO-MODEL ................................................................................................................................. 6
1.5.4 CREEMERS (1994): COMPREHENSIVE MODEL OF EDUCATIONAL EFFECTIVENESS ..................................................................... 6
1.5.5 SCHEERENS (2015): INTEGRATED MULTILEVEL MODEL OF EDUCATION.................................................................................. 7
1.6 METHODOLOGIE VAN EER .................................................................................................................................... 7
1.7 MULTILEVEL MODELLEN (MLM): ........................................................................................................................... 8
1.7.1 OMVANG VAN DE SCHOOLEFFECTEN (= SIZE OF SCHOOL EFFECTS) ........................................................................................ 8
1.7.2 CONSISTENTIE VAN SCHOOLEFFECTEN .............................................................................................................................. 8
1.7.3 STABILITEIT VAN SCHOOLEFFECTEN .................................................................................................................................. 8
1.7.4 DIFFERENTIËLE EFFECTEN ............................................................................................................................................... 9
1.7.5 EFFECTEN VAN DE KLAS/SCHOOLSAMENSTELLING (=SCHOOLCOMPOSTION EFFECT) ............................................................... 9
1.7.6 VERSCHILLENDE SCHOOLEFFECTEN................................................................................................................................... 9
2 LECTURE 2: SCHOOL EFFECTS: VALUE ADDED MODELS ................................................................................... 10
2.1 MULTILEVEL STRUCTUREN: KINDEREN VAN DEZELFDE OUDERS .................................................................................... 10
2.2 MULTILEVEL STRUCTUREN IN HET ONDERWIJS ......................................................................................................... 10
2.3 ANALYSE OP MEERDERE NIVEAUS (= MULTILEVEL ANALYSIS) ....................................................................................... 11
2.3.1 BEREKENEN VARIANTIECOMPOSITIE ............................................................................................................................... 11
2.3.1.1 VARIANTIE BEREKENEN BIJ SINGLE LEVEL MODEL ............................................................................................. 11
2.3.1.2 VARIANTIE BEREKENEN BIJ MULTI LEVEL MODEL è VARIANTIEDECOMPOSITIE ............................................. 11
2.3.2 2 STRUCTUREN ....................................................................................................................................................... 11
2.3.2.1 STAP 1: VARIANTIECOMPONENTEN IN HET LEGE MODEL ................................................................................. 12
2.3.2.2 STAP 2 VALUE ADDED MODELS (MODEL 1, MODEL 2...) ................................................................................... 12
2.4 5 TYPES VAN VALUE-ADDED MODELS ............................................................................................................ 15
2.5 4 TYPES VAN SCHOOL-EFFECTEN ........................................................................................................................... 16
2.6 CONTROLEREN VOOR WAT?................................................................................................................................. 16
2.7 INZICHT IN VERSCHILLENDE SOORTEN MODELLEN MET ADDED-VALUE (TIMMERMANS ET AL.,) ....................... 16
2.8 RANKING SCHOOL RESIDUALS ............................................................................................................................... 17
3 LECTURE 3-4: INTERNATIONAL COMPARATIVE STUDIES .................................................................................. 18
3.1 VOORBEELDEN VAN VERGELIJKENDE STUDIES .............................................................................................. 18
3.2 KRITIEK OP VERGELIJKENDE STUDIES ............................................................................................................ 18
3.2.1 KRITIEK 1: TE VEEL DE FOCUS IN DE MEDIA OVER DE ONDERWIJSPRESTATIES IN RANGLIJSTEN ................................................ 18
3.2.1.1 NAAST RANGLIJST OOK FOCUS OP MOTIVATIE VAN DE LEERLINGEN BV. PISA 2015 ....................................... 18
3.2.1.2 NAAST RANGLIJST OOK FOCUS OP WELBEVINDEN VAN DE LEERLINGEN BV. PISA 2018................................. 19
1
, Educational effectiveness
3.2.1.3 ALTERNATIEVE OUTPUTMATEN ZOALS PROBLEM OPLOSSING BV. PISA 2015 ................................................ 19
3.2.2 KRITIEK 2: BEVOLKINGSVERTEKENING (=POPULATION BIAS) ............................................................................................. 19
3.2.3 KRITIEK 3: ENKEL RICHTEN OP KWALITEIT (RUWE SCORES) IPV RECHTVAARDIGHEID .............................................................. 20
3.2.3.1 KWALITEIT ........................................................................................................................................................... 20
3.2.3.2 GELIJKHEID (KANSENGELIJKHEID)/ EQUITY ........................................................................................................ 20
3.2.3.2.1 INDICATOR 1: KIJKEN NAAR DE PERCENTIELEN ........................................................................................... 21
3.2.3.2.2 3 INDICATOREN VOOR METEN EQUITY ......................................................................................................... 22
3.2.3.2.3 INDICATOR 3: CORRELATIE TUSSEN SES EN PRESTATIE .............................................................................. 23
3.2.3.2.4 INDICATOR 4: VERSCHIL IN PRESTATIES TUSSEN IMMIGRATIELLN EN NIET IMMIGRATIELLN ................. 23
3.3 WAAROM INTERNATIONALE STUDIES? ................................................................................................................... 25
3.4 ONDERZOEK: WAAROM PRESTEREN NIET-MIGRANTEN BETER DAN MIGRANTEN .............................................................. 25
3.4.1 VERKLARENDE VARIABELEN........................................................................................................................................... 26
3.4.2 RESULTATEN: REKENING HOUDEND MET ACHTERGRONDVARIABELEN VAN DE STUDENT .......................................................... 27
3.4.3 VERKLARENDE VARIANTIE ............................................................................................................................................. 27
3.4.4 CONCLUSIE ................................................................................................................................................................ 27
3.5 ONDERWIJS-QUASI-MARKT ................................................................................................................................. 28
3.5.1 MARKT MODEL: DRIE VERONDERSTELLINGEN/ MARKTPRINCIPES ......................................................................................... 28
3.5.2 ONDERZOEK ............................................................................................................................................................... 29
3.5.2.1 EMPTY MODELS: ................................................................................................................................................. 29
3.5.2.2 VARIABELEN OP SCHOOLNIVEAU ....................................................................................................................... 30
3.5.3 INTERACTIES ............................................................................................................................................................... 30
3.5.4 BELANGRIJKSTE RESULTATEN......................................................................................................................................... 30
4 LECTURE 5: RELATIEVE & ABSOLUTE SCHOOL EFFECTEN ................................................................................. 31
4.1 RELATIEVE SCHOOLEFFECTEN ............................................................................................................................... 31
4.1.1 PROBLEEM BIJ RELATIEVE SCHOOLEFECTEN: ONDERSCHATTING VAN EFFECT BIJ VALUE- ADDED MODELS: ................................. 31
4.1.2 RELATIEVE SCHOOLEFFECTEN 3 REDENEN OM ZE TOCH TE GEBRUIKEN ................................................................................. 31
4.1.2.1 SCHOOLKEUZE VAN OUDERS TE ONDERBOUWEN............................................................................................. 31
4.1.2.2 VERANTWOORDING VAN SCHOLEN VOOR PRESTATIES (= ACCOUNTABILITY) ................................................. 32
4.1.2.3 PRESTATIECONTROLE DOOR BELEIDSMAKERS ................................................................................................... 32
4.2 RANGLIJSTEN EN KLASSEMENTEN .......................................................................................................................... 32
4.2.1 3 HOOFDFUNCTIES VAN RANGLIJSTEN............................................................................................................................. 32
4.2.2 RANGLIJSTEN IN VERSCHILLENDE LANDEN ........................................................................................................................ 32
4.2.2.1 ENGELAND ........................................................................................................................................................... 32
4.2.2.2 VERENIGDE STATEN ............................................................................................................................................ 33
4.2.2.3 FRANKRIJK ........................................................................................................................................................... 33
4.2.2.4 NEDERLAND......................................................................................................................................................... 33
4.2.2.5 VLAANDEREN....................................................................................................................................................... 33
4.2.3 EFFECTEN VAN RANGLIJSTENV: KWESTIES/PROBLEMEN ..................................................................................................... 34
4.2.3.1 (NEVEN)EFFECTEN VAN RANGLIJSTEN ............................................................................................................... 34
4.2.3.2 TECHNISCHE EN ANALYTISCHE KWESTIES VAN RANGLIJSTEN ........................................................................... 34
4.2.3.2.1 Valide en betrouwbare indicatoren................................................................................................................. 34
4.2.3.2.2 De illusie van precisie ....................................................................................................................................... 34
4.2.3.2.3 Gedifferentieerde effectiviteit ......................................................................................................................... 35
4.2.3.3 BRUIKBAARHEIDSPROBLEMEN OMTRENT RANGLIJSTEN .................................................................................. 35
4.2.3.4 POLITIEKE, ETHISCHE EN MAATSCHAPPELIJKE KWESTIES .................................................................................. 35
2
, Educational effectiveness
4.3 REGRESSIE DISCONTINUÏTEITSANALYSE ................................................................................................................... 36
4.3.1 HET ABSOLUUT EFFECT VAN SCHOLING ........................................................................................................................... 36
4.3.2 RELATIEF LEEFTIJDSEFFECT/ GEBOORTEMAANDEFFECT ...................................................................................................... 36
4.3.3 REGRESSIE-DISCONTINUÏTEIT: SCHOOL EN LEEFTIJDEFFECT................................................................................................. 36
4.3.3.1 PROBLEEM BIJ REGRESSIEDISCONTINUÏTEIT: SNIJPUNT TUSSEN RANEN MET FLEXIBILITEIT NEMEN. ........... 37
4.3.4 2 STUDIES: ................................................................................................................................................................. 37
4.3.4.1 STUDIE 1: LONGITUDINAAL ONDERZOEK ( TUSSEN LANDEN -TIMSS -95)......................................................... 37
4.3.4.1.1 BELANGRIJKSTE BEVINDINGEN ........................................................................................................................ 38
4.3.4.2 STUDY 2: NAGAAN RESULTATEN ABSOLUTE/ REALTIEVE HETZELFDE ZIJN (PIPS) ............................................. 39
4.3.4.2.1 METHODE......................................................................................................................................................... 39
4.3.4.2.2 RESULTATEN ..................................................................................................................................................... 39
5 LECTURE 6: EVIDENCE BASED EDUCATION ...................................................................................................... 40
5.1 EVIDENCE BASED; GROOT ONDERWIJS DEBAT, MYTHEN ...................................................................................... 40
5.2 ONDERWIJS KRITISCH OVER GEBRUIK VAN EVIDENCE BACED ........................................................................................ 40
5.3 PSEUDOWETENSCHAP ........................................................................................................................................ 40
5.4 WAAROM GELOVEN WE IN MYTHEN; 2 REDENEN ..................................................................................................... 40
5.4.1 BEVESTIGINGSBIAS = CONFIRMATION BIAS ........................................................................................................... 40
5.4.2 COGNITIEVE DISSONANTIE = COGNITIVE DISSONANCE ....................................................................................................... 41
5.5 PROBLEEM: SCRIPTED CURRICULUM/ INSTRUCTIE ..................................................................................................... 41
5.6 OPLOSSING: KENNIS GEBASSEERD OP ONDERWIJSONDERZOEK ..................................................................................... 41
5.6.1 VOORBEELD INTERVENTIE VOOR VROEGTIJDIG LEZEN – SLAVIN ........................................................................................... 42
5.6.2 VOORBEELD INTERVENTIE NAAR EFFECT VAN BLIJVENZITTEN (KLASSENBEHOUD) .................................................................... 42
5.7 BIJWERKINGEN: TEACHING TO THE TEST ........................................................................................................... 42
5.8 IS EVIDENCE BASED ONDERWIJS MOGELIJK? ............................................................................................................ 42
5.9 EVIDENCE BASED EDUCATION VS EVIDENCE-INFORMED EDUCATION ............................................................................. 42
5.9.1 VOORBEELD EVIDENCE INFORMED EDUCATION ................................................................................................................ 42
5.10 HOE ONDERWIJS EFFECTITIVTEIT ONDERZOEKEN ..................................................................................................... 43
5.10.1 META-ANALYSE: STATISTISCHE MANIER OM VERSCHILLENDE STUDIES TE COMBINEREN ........................................................ 43
5.10.2 RANDOMISED CONTROLLED TRIAL (RCT) = EXPERIMENTEEL ONDERZOEK .......................................................................... 43
5.10.2.1 Voorbeeld cross-over ontwerp: Succes voor iedereen .................................................................................... 44
5.10.3 QUASI-EXPERIMENTELE DESIGNS (CLUSTER) .................................................................................................................. 44
5.10.4 ENQUÊTES EN KWALITATIEVE STUDIES .......................................................................................................................... 44
5.11 EVIDENCE BASED PRAKTIJK EN BELEID .................................................................................................................. 44
3
, Educational effectiveness
1 LECTURE 1:
1.1 BETEKENIS
Wat: Het probeert alle factoren binnen scholen/onderwijssysteem in het algemeen te onderzoeken die van invloed
kunnen zijn op de leerresultaten van lln in zowel hun academische als sociale ontwikkeling, hetgeen betekent dat
het een breed scala aan factoren omvat zoals onderwijsmethoden, de organisatie - formeel en informeel - van
scholen, het curriculum, de rol van leiderschap en de effecten van educatieve "leeromgevingen" in het algemeen,
of het nu scholen, districten of naties zijn.
Werking: • Educational effectiveness reaserch è 1 manier om te kijken naar onderwijskwaliteit
• Andere manier is bv. economisch – sociologisch
1.2 GESCHIEDENIS VAN EER è 5 GROTE FASEN
Fase 1 De eerste fase ontstond als reactie op de baanbrekende studies van Coleman et al. (1966) (eerste grote studie en
’60-70 Jencks et al. (1972) (gelijkaardige studie), hetgeen tot de conclusie leidde dat scholen weinig effect hadden op de
resultaten van hun lln in vergelijking met de effecten van de eigen capaciteiten en sociale achtergronden van lln .
• Oorzaak: ze keken naar de foute characteristics (school) è deze hebben niks te maken met onderwijzen van
leerkrachten dus foute kenmerken om conclusie te nemen
• Kritiek: deze studies vormde tegenstelling met de voorheen comfortabele veronderstelling dat keuzes tussen
scholen en schoolprocessen belangrijk zijn voor het lot van kinderen (Stringfield,Teddlie, 2011).
Fase 2 Halverwege de jaren ‘80 gekenmerkt door gebruik van multilevel onderzoek (methodologieën) (Goldstein, 2003) en
‘80 methodologisch verfijnde studies hetgeen de wetenschappelijke eigenschappen van schooleffecten begon aan te tonen
op gebieden als de stabiliteit van schooleffecten in de tijd.
Fase 3 Begin jaren ’90 werden er talrijke pogingen werden ondernomen om te onderzoeken waarom scholen verschillende
‘90 effecten hadden. Dit is de verschuiving van "input/output" naar "input/proces/output" studies waar Teddlie en
Reynolds (2000) op wijzen.
• Voorheen: intresse in input-output
• Nu: interesse in inpot-proces-output è toevoeging van procesvariableen (de zwarte doos werd geopend)
Fase 4 Internationalisering van het veld waarbij klas en lkr doen er veel meer toe dan de school è Over
>’00 onderwijseffectiviteitsonderzoek gesproken.
• Gebruik van statistieken, modellen om complexiteit van het onderwijs te zien
• Mixed methods: kwantitatieve studies combineren met kwalitatieve studies.
• Grote schalige longitudinale studies zoals: LOSO,SIBO…
• Internationale vergelijkende studies zoals: PISA, TIMSS, PIRLS
4
