METEN EN
OBSERVEREN
Doelstellingen
- Je hebt inzicht in actuele kaders aangaande validiteit van scores en beslissingen;
- Je hebt inzicht in verschillende begrippen aangaande validiteit en betrouwbaarheid zoals interne
consistentie, interbeoordelaarsbetrouwbaarheid, betrouwbaarheid, generaliseerbaarheid,
inhoudsvaliditeit, constructvaliditeit, predictieve validiteit, cognitieve validiteit, Klassieke Testtheorie
en Item Response theorie;
- Je kan verschillende begrippen aangaande validiteit en betrouwbaarheid zoals interne consistentie,
interbeoordelaarsbetrouwbaarheid, betrouwbaarheid, generaliseerbaarheid, inhoudsvaliditeit,
constructvaliditeit, predictieve validiteit, cognitieve validiteit, Klassieke Testtheorie en Item Response
theorie hanteren om voorbeelden uit onderzoekspraktijken kritisch te analyseren;
- Je kan actuele kaders aangaande validiteit en betrouwbaarheid toepassen bij het ontwikkelen van
meetinstrumenten;
- Je kan in R de betrouwbaarheid (interne consistentie en interbeoordelaarsbetrouwbaarheid)
nagaan en interpreteren;
- Je kan in R een basis toetsanalyse uitvoeren en interpreteren a.d.h.v. zowel de klassieke testtheorie
als IRT-modellen;
- Je kan in R een principale componenten analyse en exploratieve factoranalyse uitvoeren en
interpreteren.
,1. OPERATIONALISEREN
Onderzoek: stap 1: WAT gaan we meten?
Theorie ontwikkelen à concepten en constructen!
- Concepten
o Gemeenschappelijke basis om op terug te vallen maar onderscheidend genoeg van zaken die
je niet wil meten
o Algemeen aanvaarde collec>e van betekenissen of karakteris>eken van gebeurtenissen,
objecten, situa>es en gedrag die we groeperen
o Woorden/taal om concepten te iden>ficeren en af te bakenen
o Tastbaar
o Bv. tafel, lerende, …
- Construct
o Abstracter, niet onmiddellijk tastbaar concept
o Bv. mo1va1e, intelligen1e, leeropva5ngen, leiderschap
à Conceptuele defini?e!
- Helder omschrijven wat je onder bepaald construct of concept verstaat
o Helderheid à taak van onderzoeker!
- In wetenschappelijke ar>kels: conceptueel of theore>sch kader
- Concepten zijn:
o Concreet of abstract?
§ Concreet: voor iedereen hetzelfde, ongeveer dezelfde defini>e
§ Abstract: iedereen heeJ eigen invulling
o Enkelvoudig of meervoudig?
§ Enkelvoudig: door één vraag te meten
§ Meervoudig: meerdere vragen nodig om concept te meten
1.1. Wat verstaan we onder operationaliseren?
Opera?onele defini?e
- Vastleggen hoe je een construct of concept meetbaar maakt
- Opera?onaliseren = meetbaar maken = vertalen van concept in wijze waarop je het wil meten of
vaststellen
- Voorbeelden:
o Gender: biologische betekenis à DNA onderzoeken of gewoon ‘zien’?
o Exper1se in strafschoppen à 25 x laten trappen of historische data of … ?
2
Meten en Observeren
,1.2. Meten als breed begrip
Meten
- Het toekennen van een waarde aan een vaststelling
- OLP: me>ngen die resulteren in variabelen
o Van concept naar één of meerdere variabelen
o Leidt tot nominale, ordinale of numerieke waarden
o Bv. variabele lengte, …
1.3. Wanneer meten we goed?
In onderzoek
- Hoe concepten gemeten
- Onderbouwen waarom dit goede manier is om OV meetbaar te maken
à kwaliteitscriteria om uitspraken te doen over de opera>onalisa>e van concepten:
- Validiteit
- Betrouwbaarheid
1.3.1. Validiteit
Verschillende benaderingen
- Validiteit als kenmerken van instrument / methode
- Validiteit als kenmerk van interpreta>e en conclusies o.b.v. instrumenten / methode
à Dit OPO: 2 benaderingen
o Argument gebaseerde benadering
Argument-gebaseerde benadering van Kane
- Niet instrumenten op zich zijn valide
- Wel interpreta>e van resultaten en conclusies o.b.v. instrument
à kenmerk van wat je als onderzoeker doet met de resultaten
3
Meten en Observeren
, Taken van de onderzoeker
- Goed onderbouwde set van argumenten waarom bepaalde conclusies valide zijn, gegeven het
gehanteerde instrument
- Eviden>e aanreiken van link tussen me>ng en conclusie of gebruik van resultaten
o Me>ng/observa>e à conclusie/gebruik
o Focus op kri>sche aspecten (zie laatste hoofdstuk)
o Voorbeelden:
§ Vragenlijst met hoge constructvaliditeit toch onderbouwen waarom gebruik in jouw
onderzoek leidt tot terechte uitspraken à Eviden>e verzamelen op je punt te maken:
• Empirische eviden>e (gebaseerd op feiten en vaststellingen)
• Logische eviden>e
• Eviden>e uit vorig onderzoek (niet enkel dit!)
1.3.2. Betrouwbaarheid
Betrouwbaarheid = herhaalbaarheid
- Onder gelijke omstandigheden zeer vergelijkbare scores
- Hoe aZankelijk zijn me>ngen / scores van allerlei factoren? à Herhaalbaarheid
o Overheen de >jd, overeen verschillende beoordelaars, overheen verschillende taken
- Noodzakelijk voor validiteit!
1.4. Welke ‘tools’ tot meten hebben we?
Triangula?e van methodes
- Meerdere methodes combineren
à Rijkere informa>e
à Zwaktes van ene methode worden gecompenseerd door andere methode
Methodes
- Observeren
- Vragenlijsten
- Toetsen
- (gestructureerde) logboeken
- Oogbewegingen
- Fysiologische me>ngen
- Sociometrice badge: reageren wiemet wie wanneer intrageerde (bv. bedrijven of gedrag op beurs)
4
Meten en Observeren
OBSERVEREN
Doelstellingen
- Je hebt inzicht in actuele kaders aangaande validiteit van scores en beslissingen;
- Je hebt inzicht in verschillende begrippen aangaande validiteit en betrouwbaarheid zoals interne
consistentie, interbeoordelaarsbetrouwbaarheid, betrouwbaarheid, generaliseerbaarheid,
inhoudsvaliditeit, constructvaliditeit, predictieve validiteit, cognitieve validiteit, Klassieke Testtheorie
en Item Response theorie;
- Je kan verschillende begrippen aangaande validiteit en betrouwbaarheid zoals interne consistentie,
interbeoordelaarsbetrouwbaarheid, betrouwbaarheid, generaliseerbaarheid, inhoudsvaliditeit,
constructvaliditeit, predictieve validiteit, cognitieve validiteit, Klassieke Testtheorie en Item Response
theorie hanteren om voorbeelden uit onderzoekspraktijken kritisch te analyseren;
- Je kan actuele kaders aangaande validiteit en betrouwbaarheid toepassen bij het ontwikkelen van
meetinstrumenten;
- Je kan in R de betrouwbaarheid (interne consistentie en interbeoordelaarsbetrouwbaarheid)
nagaan en interpreteren;
- Je kan in R een basis toetsanalyse uitvoeren en interpreteren a.d.h.v. zowel de klassieke testtheorie
als IRT-modellen;
- Je kan in R een principale componenten analyse en exploratieve factoranalyse uitvoeren en
interpreteren.
,1. OPERATIONALISEREN
Onderzoek: stap 1: WAT gaan we meten?
Theorie ontwikkelen à concepten en constructen!
- Concepten
o Gemeenschappelijke basis om op terug te vallen maar onderscheidend genoeg van zaken die
je niet wil meten
o Algemeen aanvaarde collec>e van betekenissen of karakteris>eken van gebeurtenissen,
objecten, situa>es en gedrag die we groeperen
o Woorden/taal om concepten te iden>ficeren en af te bakenen
o Tastbaar
o Bv. tafel, lerende, …
- Construct
o Abstracter, niet onmiddellijk tastbaar concept
o Bv. mo1va1e, intelligen1e, leeropva5ngen, leiderschap
à Conceptuele defini?e!
- Helder omschrijven wat je onder bepaald construct of concept verstaat
o Helderheid à taak van onderzoeker!
- In wetenschappelijke ar>kels: conceptueel of theore>sch kader
- Concepten zijn:
o Concreet of abstract?
§ Concreet: voor iedereen hetzelfde, ongeveer dezelfde defini>e
§ Abstract: iedereen heeJ eigen invulling
o Enkelvoudig of meervoudig?
§ Enkelvoudig: door één vraag te meten
§ Meervoudig: meerdere vragen nodig om concept te meten
1.1. Wat verstaan we onder operationaliseren?
Opera?onele defini?e
- Vastleggen hoe je een construct of concept meetbaar maakt
- Opera?onaliseren = meetbaar maken = vertalen van concept in wijze waarop je het wil meten of
vaststellen
- Voorbeelden:
o Gender: biologische betekenis à DNA onderzoeken of gewoon ‘zien’?
o Exper1se in strafschoppen à 25 x laten trappen of historische data of … ?
2
Meten en Observeren
,1.2. Meten als breed begrip
Meten
- Het toekennen van een waarde aan een vaststelling
- OLP: me>ngen die resulteren in variabelen
o Van concept naar één of meerdere variabelen
o Leidt tot nominale, ordinale of numerieke waarden
o Bv. variabele lengte, …
1.3. Wanneer meten we goed?
In onderzoek
- Hoe concepten gemeten
- Onderbouwen waarom dit goede manier is om OV meetbaar te maken
à kwaliteitscriteria om uitspraken te doen over de opera>onalisa>e van concepten:
- Validiteit
- Betrouwbaarheid
1.3.1. Validiteit
Verschillende benaderingen
- Validiteit als kenmerken van instrument / methode
- Validiteit als kenmerk van interpreta>e en conclusies o.b.v. instrumenten / methode
à Dit OPO: 2 benaderingen
o Argument gebaseerde benadering
Argument-gebaseerde benadering van Kane
- Niet instrumenten op zich zijn valide
- Wel interpreta>e van resultaten en conclusies o.b.v. instrument
à kenmerk van wat je als onderzoeker doet met de resultaten
3
Meten en Observeren
, Taken van de onderzoeker
- Goed onderbouwde set van argumenten waarom bepaalde conclusies valide zijn, gegeven het
gehanteerde instrument
- Eviden>e aanreiken van link tussen me>ng en conclusie of gebruik van resultaten
o Me>ng/observa>e à conclusie/gebruik
o Focus op kri>sche aspecten (zie laatste hoofdstuk)
o Voorbeelden:
§ Vragenlijst met hoge constructvaliditeit toch onderbouwen waarom gebruik in jouw
onderzoek leidt tot terechte uitspraken à Eviden>e verzamelen op je punt te maken:
• Empirische eviden>e (gebaseerd op feiten en vaststellingen)
• Logische eviden>e
• Eviden>e uit vorig onderzoek (niet enkel dit!)
1.3.2. Betrouwbaarheid
Betrouwbaarheid = herhaalbaarheid
- Onder gelijke omstandigheden zeer vergelijkbare scores
- Hoe aZankelijk zijn me>ngen / scores van allerlei factoren? à Herhaalbaarheid
o Overheen de >jd, overeen verschillende beoordelaars, overheen verschillende taken
- Noodzakelijk voor validiteit!
1.4. Welke ‘tools’ tot meten hebben we?
Triangula?e van methodes
- Meerdere methodes combineren
à Rijkere informa>e
à Zwaktes van ene methode worden gecompenseerd door andere methode
Methodes
- Observeren
- Vragenlijsten
- Toetsen
- (gestructureerde) logboeken
- Oogbewegingen
- Fysiologische me>ngen
- Sociometrice badge: reageren wiemet wie wanneer intrageerde (bv. bedrijven of gedrag op beurs)
4
Meten en Observeren
