Meten &
observeren
OOW
------------------------
UANTWERPEN
2021-2022
,Inhoudsopgave
Hoofdstuk 1: Operationaliseren ...................................................................................... 5
1.1 Van concept naar meten ....................................................................................... 5
Bepaling van het soort concept ...........................................................................................6
“Eenvoudige” concepten operationaliseren ............................................................................6
Complexe concepten operationaliseren .................................................................................7
1.2 Meten als breed begrip ......................................................................................... 7
Wanneer meten we ‘goed’? ...............................................................................................7
1.3 Tools die we kunnen gebruiken om te meten ............................................................. 8
Hoofdstuk 2: Observeren .............................................................................................. 9
2.1 Waarom observeren?............................................................................................ 9
2.2 Vormen van observeren ........................................................................................ 9
2.3 Gestructureerde observatie: van observatie naar scores: te maken keuzes ...................... 10
2.3.1 Stap 1: Observatieschema’s ontwikkelen: aandachtspunten .............................................. 10
2.3.2 Stap 2: Doel en opzet van de observatiestudie bepalen .................................................... 10
2.4 Betrouwbaarheid bij observatiestudies .................................................................... 15
2.4.1 Beoordelingseffecten ............................................................................................. 15
2.4.2 Inter – en intrabeoordelaarsbetrouwbaarheid................................................................. 15
2.5 Interbeoordelaarsbetrouwbaarheid nagaan ............................................................... 15
2.5.1 Cohen’s Kappa (categorische var + 2 beoordelaars) ......................................................... 16
2.5.2. Fleiss’ Kappa (categorische var + >2 beoordelaars) ......................................................... 17
2.5.3 ICC (kwantitatieve variabelen, 2 of > beoordelaars)......................................................... 17
2.6 Validiteit .......................................................................................................... 19
2.7 Facultatieve tekst (Hallgren) ................................................................................. 19
Hoofdstuk 3: Toetsen .................................................................................................. 21
3.1 Taxonomie van toetsen ....................................................................................... 21
Toetsen indelen naargelang de toepassing ........................................................................... 21
3.2 Gesloten toetsen ................................................................................................ 22
3.3 Parallelle toetsen ............................................................................................... 22
Hoe parallelle toetsen maken? ......................................................................................... 22
3.4 Testtheorie ...................................................................................................... 22
3.5 Klassieke testtheorie (KTT) ................................................................................... 23
3.5.1 Willekeurige en systematische meetfouten ................................................................... 23
3.5.2 Theoretisch meetmodel achter de klassieke testtheorie.................................................... 23
2
, 3.5.3 Cronbach’s Alpha als maat van betrouwbaarheid ............................................................ 24
3.5.4 Interpretatie ........................................................................................................ 25
3.5.5 Moeilijkheid van een item in KTT ............................................................................... 25
3.5.6 Discriminerend vermogen van een item in KTT: Rir ........................................................ 26
Berekening in R van moeilijkheid, discriminerend vermogen en betrouwbaarheid ............................ 26
3.5.7 Kritiek op de klassieke testtheorie ............................................................................. 27
3.6 Item Response Theorie (IRT) ................................................................................. 28
3.6.1 Het Rasch-model (= eerste IRT model) ......................................................................... 28
Theoretisch meetmodel achter het Rasch-model ................................................................. 28
Item characteristics curve ............................................................................................ 29
Het Rasch-model in de praktijk ...................................................................................... 30
3.6.2 Het 1-PL model..................................................................................................... 31
Theoretisch meetmodel achter het 1-PL model................................................................... 31
Het 1-LP model in praktijk ........................................................................................... 32
3.6.3 Het 2-PL model..................................................................................................... 33
Het theoretisch meetmodel achter het 2-PL model .............................................................. 33
Het 2-PL model in de praktijk ........................................................................................ 33
3.6.4 Visualiseren van de resultaten ................................................................................... 34
3.6.5 Toetsontwikkeling in de praktijk ................................................................................ 35
3.7 Wat met open vragen? ......................................................................................... 36
3.7.1 Holistisch beoordelen ............................................................................................. 36
3.7.2 Analytisch beoordelen ............................................................................................ 36
3.8 De ene toets is de andere niet ............................................................................... 36
3.9 Problemen bij open beoordelen ............................................................................. 36
Hoofdstuk 4: vragenlijsten ........................................................................................... 39
4.1 Van concepten naar items .................................................................................... 39
4.1.1. Vragenlijstontwikkeling= inductief vs deductief ............................................................. 39
4.1.2 Gebruik van bestaande vragenlijsten ........................................................................... 40
4.1.3 Enkelvoudige vs meervoudige metingen ....................................................................... 40
4.1.4 Latente en manifeste variabelen ................................................................................ 41
4.1.5 Multidimensionaliteit.............................................................................................. 42
4.1.6 Meetfouten / betrouwbaarheid ................................................................................. 42
4.1.7 Bias /validiteit ..................................................................................................... 43
4.2. Betrouwbaarheid / validiteit ................................................................................ 43
4.3 Factoranalyse .................................................................................................... 44
4.3.1 Van correlaties → factoranalyse ................................................................................ 44
3
, 4.3.2 Patronen van samenhang ......................................................................................... 45
4.3.3 Principale componentenanalyse (PCA) ......................................................................... 45
Theorie (zie ook pg 83-87) ............................................................................................ 45
In R ....................................................................................................................... 47
4.3.4 Exploratieve factoranalyse (EFA)................................................................................ 50
De theorie ............................................................................................................... 50
In R ....................................................................................................................... 52
4.4 Betrouwbaarheidsanalyse ..................................................................................... 53
4.4.1 Cronbach’s Alpha .................................................................................................. 53
4.4.2 Hoe interpreteer je Cronbach’s Alpha? ........................................................................ 53
4.4.3 In R ................................................................................................................... 53
4.4.4 Van items naar schalen ........................................................................................... 55
4.5. Het cognitief proces achter het invullen van een vragenlijst ........................................ 57
4.5.1 Soorten problemen per stap ..................................................................................... 57
4.5.2 Strategieën bij vragenlijst ontwikkeling ....................................................................... 58
Hoofdstuk 5: Validiteit in een breder plaatje .................................................................... 59
5.1 Validiteit van meetinstrumenten ............................................................................ 59
5.2 Geschiedenis van de validiteit ............................................................................... 59
5.3 Hedendaagse kijk op validiteit: een argument-gebaseerde benadering (Kane) ................... 60
5.3.1 Bepalen van jouw doel ............................................................................................ 61
5.3.2 Kritische aspecten van het meetinstrument nagaan ......................................................... 61
5.4 De 5 valididatie-stappen: 5 inferenties die interpretatie en gebruik onderbouwen ............. 62
5.5 Van interpretatie-gebruiksargument → validiteitsargument .......................................... 64
5.5.1 Evidentie voor de verschillende inferenties ................................................................... 64
5.5.2 Hoe sterk is je validiteitsargument? ............................................................................ 66
4
, Hoofdstuk 1: Operationaliseren
1.1 Van concept naar meten
Theorieën ontwikkelen → concepten en constructen spelen hierin cruciale rol!
❖ Concept = gemeenschappelijke basis om op terug te vallen. Algemeen aanvaarde collectie van
betekenissen of karakteristieken van gebeurtenissen, objecten, situaties en gedrag. Van zodra je deze
gebeurtenissen, objecten, situaties en gedrag kan groeperen = een concept. (bv: ‘tafel’, ‘lerende’, …)
❖ Construct = abstracter. Vb: motivatie, intelligentie, leeropvattingen, leiderschap, …
Belangrijk om goed te omschrijven wat je onder een bepaald construct of concept verstaat → conceptuele
definitie. (In wetenschappelijke artikels onder ‘conceptueel kader’ of ‘theoretisch kader’)
Bv: Expertise = mate waarin een persoon systematisch goed (of zelfs uitzonderlijk) presteert in verschillende vergelijkbare
situaties.
Operationele definitie = hoe je een bepaald construct of concept meetbaar maakt. Vertalen van het concept
in de wijze waarop je het wil meten/vaststellen = operationaliseren.
Vb: ‘Gender’ = enkel biologische betekenis (XY en XX), maar hoe meten? DNA onderzoek? Of gewoon ‘zien’?
Vb2: Expertise in strafschoppen nemen bij voetballers:
* 25x laten trappen – hoeveel keer in doel? OF
* historische data analyseren OF
* Zeer goede doelman in de goal en dan tellen, …
5
, Bepaling van het soort concept
Waar bevindt mijn concept zich op vlak van:
❖ Complexiteit > 1 component of meerdere componenten in mijn definitie?
❖ Abstractie > Concreet waarneembaar of eerder abstract/theoriegebonden?
Voorbeeld: “Onderpresteren van leerkrachten”
= abstract en complex
“Eenvoudige” concepten operationaliseren
6
observeren
OOW
------------------------
UANTWERPEN
2021-2022
,Inhoudsopgave
Hoofdstuk 1: Operationaliseren ...................................................................................... 5
1.1 Van concept naar meten ....................................................................................... 5
Bepaling van het soort concept ...........................................................................................6
“Eenvoudige” concepten operationaliseren ............................................................................6
Complexe concepten operationaliseren .................................................................................7
1.2 Meten als breed begrip ......................................................................................... 7
Wanneer meten we ‘goed’? ...............................................................................................7
1.3 Tools die we kunnen gebruiken om te meten ............................................................. 8
Hoofdstuk 2: Observeren .............................................................................................. 9
2.1 Waarom observeren?............................................................................................ 9
2.2 Vormen van observeren ........................................................................................ 9
2.3 Gestructureerde observatie: van observatie naar scores: te maken keuzes ...................... 10
2.3.1 Stap 1: Observatieschema’s ontwikkelen: aandachtspunten .............................................. 10
2.3.2 Stap 2: Doel en opzet van de observatiestudie bepalen .................................................... 10
2.4 Betrouwbaarheid bij observatiestudies .................................................................... 15
2.4.1 Beoordelingseffecten ............................................................................................. 15
2.4.2 Inter – en intrabeoordelaarsbetrouwbaarheid................................................................. 15
2.5 Interbeoordelaarsbetrouwbaarheid nagaan ............................................................... 15
2.5.1 Cohen’s Kappa (categorische var + 2 beoordelaars) ......................................................... 16
2.5.2. Fleiss’ Kappa (categorische var + >2 beoordelaars) ......................................................... 17
2.5.3 ICC (kwantitatieve variabelen, 2 of > beoordelaars)......................................................... 17
2.6 Validiteit .......................................................................................................... 19
2.7 Facultatieve tekst (Hallgren) ................................................................................. 19
Hoofdstuk 3: Toetsen .................................................................................................. 21
3.1 Taxonomie van toetsen ....................................................................................... 21
Toetsen indelen naargelang de toepassing ........................................................................... 21
3.2 Gesloten toetsen ................................................................................................ 22
3.3 Parallelle toetsen ............................................................................................... 22
Hoe parallelle toetsen maken? ......................................................................................... 22
3.4 Testtheorie ...................................................................................................... 22
3.5 Klassieke testtheorie (KTT) ................................................................................... 23
3.5.1 Willekeurige en systematische meetfouten ................................................................... 23
3.5.2 Theoretisch meetmodel achter de klassieke testtheorie.................................................... 23
2
, 3.5.3 Cronbach’s Alpha als maat van betrouwbaarheid ............................................................ 24
3.5.4 Interpretatie ........................................................................................................ 25
3.5.5 Moeilijkheid van een item in KTT ............................................................................... 25
3.5.6 Discriminerend vermogen van een item in KTT: Rir ........................................................ 26
Berekening in R van moeilijkheid, discriminerend vermogen en betrouwbaarheid ............................ 26
3.5.7 Kritiek op de klassieke testtheorie ............................................................................. 27
3.6 Item Response Theorie (IRT) ................................................................................. 28
3.6.1 Het Rasch-model (= eerste IRT model) ......................................................................... 28
Theoretisch meetmodel achter het Rasch-model ................................................................. 28
Item characteristics curve ............................................................................................ 29
Het Rasch-model in de praktijk ...................................................................................... 30
3.6.2 Het 1-PL model..................................................................................................... 31
Theoretisch meetmodel achter het 1-PL model................................................................... 31
Het 1-LP model in praktijk ........................................................................................... 32
3.6.3 Het 2-PL model..................................................................................................... 33
Het theoretisch meetmodel achter het 2-PL model .............................................................. 33
Het 2-PL model in de praktijk ........................................................................................ 33
3.6.4 Visualiseren van de resultaten ................................................................................... 34
3.6.5 Toetsontwikkeling in de praktijk ................................................................................ 35
3.7 Wat met open vragen? ......................................................................................... 36
3.7.1 Holistisch beoordelen ............................................................................................. 36
3.7.2 Analytisch beoordelen ............................................................................................ 36
3.8 De ene toets is de andere niet ............................................................................... 36
3.9 Problemen bij open beoordelen ............................................................................. 36
Hoofdstuk 4: vragenlijsten ........................................................................................... 39
4.1 Van concepten naar items .................................................................................... 39
4.1.1. Vragenlijstontwikkeling= inductief vs deductief ............................................................. 39
4.1.2 Gebruik van bestaande vragenlijsten ........................................................................... 40
4.1.3 Enkelvoudige vs meervoudige metingen ....................................................................... 40
4.1.4 Latente en manifeste variabelen ................................................................................ 41
4.1.5 Multidimensionaliteit.............................................................................................. 42
4.1.6 Meetfouten / betrouwbaarheid ................................................................................. 42
4.1.7 Bias /validiteit ..................................................................................................... 43
4.2. Betrouwbaarheid / validiteit ................................................................................ 43
4.3 Factoranalyse .................................................................................................... 44
4.3.1 Van correlaties → factoranalyse ................................................................................ 44
3
, 4.3.2 Patronen van samenhang ......................................................................................... 45
4.3.3 Principale componentenanalyse (PCA) ......................................................................... 45
Theorie (zie ook pg 83-87) ............................................................................................ 45
In R ....................................................................................................................... 47
4.3.4 Exploratieve factoranalyse (EFA)................................................................................ 50
De theorie ............................................................................................................... 50
In R ....................................................................................................................... 52
4.4 Betrouwbaarheidsanalyse ..................................................................................... 53
4.4.1 Cronbach’s Alpha .................................................................................................. 53
4.4.2 Hoe interpreteer je Cronbach’s Alpha? ........................................................................ 53
4.4.3 In R ................................................................................................................... 53
4.4.4 Van items naar schalen ........................................................................................... 55
4.5. Het cognitief proces achter het invullen van een vragenlijst ........................................ 57
4.5.1 Soorten problemen per stap ..................................................................................... 57
4.5.2 Strategieën bij vragenlijst ontwikkeling ....................................................................... 58
Hoofdstuk 5: Validiteit in een breder plaatje .................................................................... 59
5.1 Validiteit van meetinstrumenten ............................................................................ 59
5.2 Geschiedenis van de validiteit ............................................................................... 59
5.3 Hedendaagse kijk op validiteit: een argument-gebaseerde benadering (Kane) ................... 60
5.3.1 Bepalen van jouw doel ............................................................................................ 61
5.3.2 Kritische aspecten van het meetinstrument nagaan ......................................................... 61
5.4 De 5 valididatie-stappen: 5 inferenties die interpretatie en gebruik onderbouwen ............. 62
5.5 Van interpretatie-gebruiksargument → validiteitsargument .......................................... 64
5.5.1 Evidentie voor de verschillende inferenties ................................................................... 64
5.5.2 Hoe sterk is je validiteitsargument? ............................................................................ 66
4
, Hoofdstuk 1: Operationaliseren
1.1 Van concept naar meten
Theorieën ontwikkelen → concepten en constructen spelen hierin cruciale rol!
❖ Concept = gemeenschappelijke basis om op terug te vallen. Algemeen aanvaarde collectie van
betekenissen of karakteristieken van gebeurtenissen, objecten, situaties en gedrag. Van zodra je deze
gebeurtenissen, objecten, situaties en gedrag kan groeperen = een concept. (bv: ‘tafel’, ‘lerende’, …)
❖ Construct = abstracter. Vb: motivatie, intelligentie, leeropvattingen, leiderschap, …
Belangrijk om goed te omschrijven wat je onder een bepaald construct of concept verstaat → conceptuele
definitie. (In wetenschappelijke artikels onder ‘conceptueel kader’ of ‘theoretisch kader’)
Bv: Expertise = mate waarin een persoon systematisch goed (of zelfs uitzonderlijk) presteert in verschillende vergelijkbare
situaties.
Operationele definitie = hoe je een bepaald construct of concept meetbaar maakt. Vertalen van het concept
in de wijze waarop je het wil meten/vaststellen = operationaliseren.
Vb: ‘Gender’ = enkel biologische betekenis (XY en XX), maar hoe meten? DNA onderzoek? Of gewoon ‘zien’?
Vb2: Expertise in strafschoppen nemen bij voetballers:
* 25x laten trappen – hoeveel keer in doel? OF
* historische data analyseren OF
* Zeer goede doelman in de goal en dan tellen, …
5
, Bepaling van het soort concept
Waar bevindt mijn concept zich op vlak van:
❖ Complexiteit > 1 component of meerdere componenten in mijn definitie?
❖ Abstractie > Concreet waarneembaar of eerder abstract/theoriegebonden?
Voorbeeld: “Onderpresteren van leerkrachten”
= abstract en complex
“Eenvoudige” concepten operationaliseren
6
