,Inhoud
Inhoud ................................................................................................................. 1
1. Operationaliseren............................................................................................... 3
1.1. Van Concept naar Conceptuele en Operationele Definitie ................................... 3
1.2. Meten: Van Concept naar Meten ..................................................................... 6
1.3. Wanneer Meten we Goed? ............................................................................. 6
1.4. Welke Tools tot Meten Hebben We? ................................................................. 7
2. Observeren ....................................................................................................... 8
2.1. Waarom observeren? .................................................................................... 8
2.2. Vormen van observeren ................................................................................ 9
2.3. Gestructureerde Observatie: Van Observatie naar Scores .................................10
Observatieschema Ontwikkelen ........................................................................11
2.4. Betrouwbaarheid bij Observatiestudies ...........................................................14
2.5. Validiteit ....................................................................................................15
2.6. Interbeoordelaarsbetrouwbaarheid Nagaan.....................................................17
Cohen’s Kappa (voor 2 beoordelaars!!) .............................................................18
Fleiss’ Kappa (meer dan 2 beoordelaars!!) .........................................................21
ICC (Interclass correlation) ..............................................................................23
3. Toetsen ...........................................................................................................28
3.1. Taxonomie van toetsen ................................................................................28
3.2. Gesloten toetsen .........................................................................................29
3.3. Parallelle toetsen .........................................................................................30
3.4. Testtheorie .................................................................................................31
3.5. Klassieke testtheorie (KTT) ...........................................................................32
Willekeurige en systematische meetfouten .........................................................32
Theoretisch meetmodel achter de klassieke testtheorie ........................................32
Cronbach’s Alpha als maat van betrouwbaarheid .................................................34
Moeilijkheid van een item in KTT .......................................................................36
Discriminerend vermogen van een item in KTT ...................................................36
Kritiek op de klassieke testtheorie .....................................................................40
3.6. Item Response Theorie (IRT) ........................................................................41
Het Rasch-Model (George Rasch) ......................................................................42
Het 1PL-Model ................................................................................................48
Het 2PL-Model ................................................................................................51
Resultaat van IRT-analyses...............................................................................53
Visualiseren van je resultaten ...........................................................................53
3.7. Toetsontwikkeling in de praktijk ................................................................54
3.8. En wat met open vragen… ............................................................................55
1
,4. Vragenlijsten ..............................................................................................56
4.1. Van concepten naar items ............................................................................56
Enkelvoudige vs. Meervoudige metingen ............................................................56
Latente vs. Manifeste variabelen .......................................................................57
Unidimensionaal vs. Multidimesionaliteit ............................................................57
4.2. Vragenlijstontwikkeling: Inductief vs. Deductief ..............................................58
4.3. Factoranalyse .............................................................................................58
Van correlaties naar factoranalyse .....................................................................59
Patronen van samenhang .................................................................................59
Principale componentenanalyse (PCA) ...............................................................59
Exploratieve factoranalyse (EFA) .......................................................................66
4.4. Betrouwbaarheidsanalyse .............................................................................71
Meetfouten .....................................................................................................71
Soorten validiteit ............................................................................................72
Manieren om betrouwbaarheid na te gaan ..........................................................72
Samengevat: Van items naar schalen ................................................................75
4.5. Het cognitief proces achter het invullen van een vragenlijst ..............................77
Cognitief proces (bij beantwoorden van item) .....................................................77
Soorten problemen per stap (in cognitief proces) ................................................77
Strategieën bij vragenlijstontwikkeling ...............................................................80
Gebruik bestaande vragenlijsten .......................................................................81
5. Validiteit in een breder plaatje ............................................................................82
5.1. Validiteit van meetinstrument .......................................................................82
5.2. Geschiedenis van validiteit ...........................................................................82
De vroege jaren ..............................................................................................82
Een wetenschappelijke benadering van validiteit .................................................84
Een alomvattend idee van validiteit ...................................................................85
5.3. Hedendaagse kijk op validiteit: Argument-gebaseerde benadering .....................85
Het bepalen van je doel ...................................................................................86
De kritische aspecten van je meetinstrument nagaan ..........................................86
5.4. Vijf validatie-stappen ...................................................................................88
5.5. Van interpretatie-gebruiksargument naar validiteitsargument ...........................89
Evidentie voor de verschillende inferenties .........................................................89
Hoe sterk is je validiteitsargument? ...................................................................91
5.6. Definities....................................................................................................92
2
,1. Operationaliseren
1.1. Van Concept naar Conceptuele en Operationele Definitie
Concepten
• Concept: Een algemeen aanvaarde collectie van betekenissen of karakteristieken
van gebeurtenissen, objecten, situaties en gedrag.
• Conceptualiseren: Het beschrijven van een concept aan de hand van
karakteristieken en betekenissen, eventueel gebaseerd op theorie.
• Gebruik van concepten: Om kennis te ontwikkelen en informatie te
communiceren, waarbij een gemeenschappelijke basis essentieel is.
• Ontstaan van concepten: Wanneer we gebeurtenissen, objecten, situaties en
gedrag kunnen groeperen, ontstaat er een concept.
• Identificatie van concepten: We gebruiken woorden om concepten te
identificeren, zoals het concept 'tafel', dat objecten met een oppervlak en
ondersteuning omvat.
Constructen
• Constructen: Abstracte concepten die we als onderzoeksgemeenschap
construeren; ze zijn niet tastbaar en bestaan enkel in onze verbeelding.
• Voorbeelden van abstracte concepten (constructen) zijn motivatie, intelligentie,
leiderschap, en leeropvattingen.
• Belang van duidelijke definitie: Onderzoekers moeten goed omschrijven wat
ze verstaan onder een bepaald construct of concept om helderheid te scheppen en
onderzoek te relateren aan bestaande kennis.
Conceptuele Definities
• Conceptuele definities vormen een eerste afbakening, maar maken nog niet
duidelijk hoe concepten of constructen gemeten worden.
• Voor eenzelfde construct of concept kunnen verschillende conceptuele definities
bestaan.
3
,Operationele Definitie
• Operationele definitie: Hierin leg je vast hoe een bepaald concept of construct
meetbaar gemaakt wordt.
• Operationaliseren: Het meetbaar maken van een concept door het vertalen van
een abstract concept naar een manier waarop het gemeten kan worden, zoals
items op een vragenlijst.
•
Bv.
Voorbeelden van Operationaliseren
• Gender:
o Concept: Gender
o Conceptuele definitie: Biologische betekenis, mannen hebben een XY-
chromosoom en vrouwen een XX-chromosoom.
o Operationele definitie: DNA-onderzoek, vragenlijst, of observatie.
• Expertise:
o Concept: Expertise
o Conceptuele definitie: De mate waarin een persoon systematisch goed
of uitzonderlijk presteert.
o Operationele definitie: Bijvoorbeeld 25 keer naar een leeg doel schieten
en tellen hoeveel keer de bal in het doel gaat.
4
,Eenvoudige concepten operationaliseren
Bv.
Stappenplan voor het Operationaliseren van Complexere Concepten
1. Stap 1: Conceptuele definitie
2. Stap 2: Omschrijven van deelaspecten
3. Stap 3: Keuze van de relevante aspecten
4. Stap 4: Relevante aspecten vertalen in observeerbare indicatoren
5. Stap 5: Indicatoren omzetten in richtlijnen tot registratie
6. Stap 6: Operationaliseren
Door deze stappen te volgen, kan een onderzoeker abstracte concepten omzetten in
meetbare elementen die gebruikt kunnen worden in onderzoek. Dit proces helpt bij het
creëren van duidelijkheid en precisie in wetenschappelijk onderzoek.
Voorbeeld stappenplan van persoonlijkheid:
1. Stap 1: Conceptuele definitie
• De persoonlijkheid van een persoon is de omschrijving van
een persoon door middel van psychologische trekken, waarbij
we een psychologische trek kunnen definiëren als een
karakteristiek die verschilt van de ene persoon tot de andere
persoon.
2. Stap 2: Omschrijven van deelaspecten
•
5
, 3. Stap 3: Keuze van relevante (sub)dimensies
• Deze keuze is afhankelijk van de onderzoeksvraag
4. Stap 4: Subdimensies vertalen in observeerbare indicatoren
• Bv. zorgzaamheid: hoe uit zorgzaamheid zich in het dagelijks leven?
→ ‘spullen net en schoon houden’, …
5. Stap 5: indicatoren omzetten in richtlijnen tot registratie
• Bv. vragenlijst met 5 stellingen die allen peilen naar mate van
zorgzaamheid van een leerkracht
1.2. Meten: Van Concept naar Meten
Meten is een breed begrip dat gaat over het toekennen van een waarde aan een
vaststelling.
Meten van Variabelen
Bij het meten van variabelen gaan we op een bepaalde manier van een concept naar
(een reeks van) variabelen (= operationaliseren). Na de operationalisering kan je
numerieke als categorische (nominaal/ordinaal) variabele krijgen.
1.3. Wanneer Meten we Goed?
Als onderzoeker ben je verantwoordelijk ervoor te zorgen dat:
1. Voldoende helderheid wordt gegeven over hoe de concepten zijn gemeten.
2. Onderbouwing wordt geleverd waarom deze meetwijze adequaat is, gegeven de
onderzoeksvraag waarin je geïnteresseerd bent.
Kwaliteitscriteria voor Goede Meting
Het goed meten van een concept vereist het voldoen aan bepaalde kwaliteitscriteria,
zoals validiteit en betrouwbaarheid. Deze criteria bieden een kader om keuzes te
maken in het operationalisatieproces en om te evalueren hoe effectief de metingen zijn.
Validiteit (= weet wat je meet)
Validiteit betekent weten wat je meet. Het betreft de interpretatie en conclusies die we
trekken op basis van het gebruikte instrument of de methode.
Argument-gebaseerdebenadering van Kane = Het is de taak van de onderzoeker om
een goed onderbouwde set argumenten te geven waarom bepaalde beslissingen en
conclusies valide zijn (→ link tussen meting en conclusie)
6
Inhoud ................................................................................................................. 1
1. Operationaliseren............................................................................................... 3
1.1. Van Concept naar Conceptuele en Operationele Definitie ................................... 3
1.2. Meten: Van Concept naar Meten ..................................................................... 6
1.3. Wanneer Meten we Goed? ............................................................................. 6
1.4. Welke Tools tot Meten Hebben We? ................................................................. 7
2. Observeren ....................................................................................................... 8
2.1. Waarom observeren? .................................................................................... 8
2.2. Vormen van observeren ................................................................................ 9
2.3. Gestructureerde Observatie: Van Observatie naar Scores .................................10
Observatieschema Ontwikkelen ........................................................................11
2.4. Betrouwbaarheid bij Observatiestudies ...........................................................14
2.5. Validiteit ....................................................................................................15
2.6. Interbeoordelaarsbetrouwbaarheid Nagaan.....................................................17
Cohen’s Kappa (voor 2 beoordelaars!!) .............................................................18
Fleiss’ Kappa (meer dan 2 beoordelaars!!) .........................................................21
ICC (Interclass correlation) ..............................................................................23
3. Toetsen ...........................................................................................................28
3.1. Taxonomie van toetsen ................................................................................28
3.2. Gesloten toetsen .........................................................................................29
3.3. Parallelle toetsen .........................................................................................30
3.4. Testtheorie .................................................................................................31
3.5. Klassieke testtheorie (KTT) ...........................................................................32
Willekeurige en systematische meetfouten .........................................................32
Theoretisch meetmodel achter de klassieke testtheorie ........................................32
Cronbach’s Alpha als maat van betrouwbaarheid .................................................34
Moeilijkheid van een item in KTT .......................................................................36
Discriminerend vermogen van een item in KTT ...................................................36
Kritiek op de klassieke testtheorie .....................................................................40
3.6. Item Response Theorie (IRT) ........................................................................41
Het Rasch-Model (George Rasch) ......................................................................42
Het 1PL-Model ................................................................................................48
Het 2PL-Model ................................................................................................51
Resultaat van IRT-analyses...............................................................................53
Visualiseren van je resultaten ...........................................................................53
3.7. Toetsontwikkeling in de praktijk ................................................................54
3.8. En wat met open vragen… ............................................................................55
1
,4. Vragenlijsten ..............................................................................................56
4.1. Van concepten naar items ............................................................................56
Enkelvoudige vs. Meervoudige metingen ............................................................56
Latente vs. Manifeste variabelen .......................................................................57
Unidimensionaal vs. Multidimesionaliteit ............................................................57
4.2. Vragenlijstontwikkeling: Inductief vs. Deductief ..............................................58
4.3. Factoranalyse .............................................................................................58
Van correlaties naar factoranalyse .....................................................................59
Patronen van samenhang .................................................................................59
Principale componentenanalyse (PCA) ...............................................................59
Exploratieve factoranalyse (EFA) .......................................................................66
4.4. Betrouwbaarheidsanalyse .............................................................................71
Meetfouten .....................................................................................................71
Soorten validiteit ............................................................................................72
Manieren om betrouwbaarheid na te gaan ..........................................................72
Samengevat: Van items naar schalen ................................................................75
4.5. Het cognitief proces achter het invullen van een vragenlijst ..............................77
Cognitief proces (bij beantwoorden van item) .....................................................77
Soorten problemen per stap (in cognitief proces) ................................................77
Strategieën bij vragenlijstontwikkeling ...............................................................80
Gebruik bestaande vragenlijsten .......................................................................81
5. Validiteit in een breder plaatje ............................................................................82
5.1. Validiteit van meetinstrument .......................................................................82
5.2. Geschiedenis van validiteit ...........................................................................82
De vroege jaren ..............................................................................................82
Een wetenschappelijke benadering van validiteit .................................................84
Een alomvattend idee van validiteit ...................................................................85
5.3. Hedendaagse kijk op validiteit: Argument-gebaseerde benadering .....................85
Het bepalen van je doel ...................................................................................86
De kritische aspecten van je meetinstrument nagaan ..........................................86
5.4. Vijf validatie-stappen ...................................................................................88
5.5. Van interpretatie-gebruiksargument naar validiteitsargument ...........................89
Evidentie voor de verschillende inferenties .........................................................89
Hoe sterk is je validiteitsargument? ...................................................................91
5.6. Definities....................................................................................................92
2
,1. Operationaliseren
1.1. Van Concept naar Conceptuele en Operationele Definitie
Concepten
• Concept: Een algemeen aanvaarde collectie van betekenissen of karakteristieken
van gebeurtenissen, objecten, situaties en gedrag.
• Conceptualiseren: Het beschrijven van een concept aan de hand van
karakteristieken en betekenissen, eventueel gebaseerd op theorie.
• Gebruik van concepten: Om kennis te ontwikkelen en informatie te
communiceren, waarbij een gemeenschappelijke basis essentieel is.
• Ontstaan van concepten: Wanneer we gebeurtenissen, objecten, situaties en
gedrag kunnen groeperen, ontstaat er een concept.
• Identificatie van concepten: We gebruiken woorden om concepten te
identificeren, zoals het concept 'tafel', dat objecten met een oppervlak en
ondersteuning omvat.
Constructen
• Constructen: Abstracte concepten die we als onderzoeksgemeenschap
construeren; ze zijn niet tastbaar en bestaan enkel in onze verbeelding.
• Voorbeelden van abstracte concepten (constructen) zijn motivatie, intelligentie,
leiderschap, en leeropvattingen.
• Belang van duidelijke definitie: Onderzoekers moeten goed omschrijven wat
ze verstaan onder een bepaald construct of concept om helderheid te scheppen en
onderzoek te relateren aan bestaande kennis.
Conceptuele Definities
• Conceptuele definities vormen een eerste afbakening, maar maken nog niet
duidelijk hoe concepten of constructen gemeten worden.
• Voor eenzelfde construct of concept kunnen verschillende conceptuele definities
bestaan.
3
,Operationele Definitie
• Operationele definitie: Hierin leg je vast hoe een bepaald concept of construct
meetbaar gemaakt wordt.
• Operationaliseren: Het meetbaar maken van een concept door het vertalen van
een abstract concept naar een manier waarop het gemeten kan worden, zoals
items op een vragenlijst.
•
Bv.
Voorbeelden van Operationaliseren
• Gender:
o Concept: Gender
o Conceptuele definitie: Biologische betekenis, mannen hebben een XY-
chromosoom en vrouwen een XX-chromosoom.
o Operationele definitie: DNA-onderzoek, vragenlijst, of observatie.
• Expertise:
o Concept: Expertise
o Conceptuele definitie: De mate waarin een persoon systematisch goed
of uitzonderlijk presteert.
o Operationele definitie: Bijvoorbeeld 25 keer naar een leeg doel schieten
en tellen hoeveel keer de bal in het doel gaat.
4
,Eenvoudige concepten operationaliseren
Bv.
Stappenplan voor het Operationaliseren van Complexere Concepten
1. Stap 1: Conceptuele definitie
2. Stap 2: Omschrijven van deelaspecten
3. Stap 3: Keuze van de relevante aspecten
4. Stap 4: Relevante aspecten vertalen in observeerbare indicatoren
5. Stap 5: Indicatoren omzetten in richtlijnen tot registratie
6. Stap 6: Operationaliseren
Door deze stappen te volgen, kan een onderzoeker abstracte concepten omzetten in
meetbare elementen die gebruikt kunnen worden in onderzoek. Dit proces helpt bij het
creëren van duidelijkheid en precisie in wetenschappelijk onderzoek.
Voorbeeld stappenplan van persoonlijkheid:
1. Stap 1: Conceptuele definitie
• De persoonlijkheid van een persoon is de omschrijving van
een persoon door middel van psychologische trekken, waarbij
we een psychologische trek kunnen definiëren als een
karakteristiek die verschilt van de ene persoon tot de andere
persoon.
2. Stap 2: Omschrijven van deelaspecten
•
5
, 3. Stap 3: Keuze van relevante (sub)dimensies
• Deze keuze is afhankelijk van de onderzoeksvraag
4. Stap 4: Subdimensies vertalen in observeerbare indicatoren
• Bv. zorgzaamheid: hoe uit zorgzaamheid zich in het dagelijks leven?
→ ‘spullen net en schoon houden’, …
5. Stap 5: indicatoren omzetten in richtlijnen tot registratie
• Bv. vragenlijst met 5 stellingen die allen peilen naar mate van
zorgzaamheid van een leerkracht
1.2. Meten: Van Concept naar Meten
Meten is een breed begrip dat gaat over het toekennen van een waarde aan een
vaststelling.
Meten van Variabelen
Bij het meten van variabelen gaan we op een bepaalde manier van een concept naar
(een reeks van) variabelen (= operationaliseren). Na de operationalisering kan je
numerieke als categorische (nominaal/ordinaal) variabele krijgen.
1.3. Wanneer Meten we Goed?
Als onderzoeker ben je verantwoordelijk ervoor te zorgen dat:
1. Voldoende helderheid wordt gegeven over hoe de concepten zijn gemeten.
2. Onderbouwing wordt geleverd waarom deze meetwijze adequaat is, gegeven de
onderzoeksvraag waarin je geïnteresseerd bent.
Kwaliteitscriteria voor Goede Meting
Het goed meten van een concept vereist het voldoen aan bepaalde kwaliteitscriteria,
zoals validiteit en betrouwbaarheid. Deze criteria bieden een kader om keuzes te
maken in het operationalisatieproces en om te evalueren hoe effectief de metingen zijn.
Validiteit (= weet wat je meet)
Validiteit betekent weten wat je meet. Het betreft de interpretatie en conclusies die we
trekken op basis van het gebruikte instrument of de methode.
Argument-gebaseerdebenadering van Kane = Het is de taak van de onderzoeker om
een goed onderbouwde set argumenten te geven waarom bepaalde beslissingen en
conclusies valide zijn (→ link tussen meting en conclusie)
6
