METEN EN OBSERVEREN
HF1: OPERATIONALISEREN
Constructen/concepten: algemeen aanvaarde collectie van betekenissen of karakteristieken van
gebeurtenissen, objecten, situaties en gedrag (groeperen)
Om kennis te ontwikkelen & te communiceren hebben we nood aan een
gemeenschappelijke basis
Voorbeelden: ‘tafels’ en ‘lerende’
Tastbare concepten: mens, tafel, trein,…
Abstracte concepten: concepten die we zelf als onderzoeksgemeenschap construeren maar
die niet onmiddellijk tastbaar zijn = constructen
Ze bestaan enkel in onze ‘verbeelding’
Voorbeelden: motivatie, intelligentie, leiderschap,…
Conceptuele definitie: het is belangrijk om duidelijk te
omschrijven wat een onderzoeker precies bedoeld met een
bepaald concept
Staat bij ‘conceptueel kader’ of ‘theoretisch kader’
1.1 WAT VERSTAAN WE ONDER
OPERATIONALISEREN?
Operationele definitie: hoe je een bepaald concept/construct
meetbaar maakt
Operationaliseren: het vertalen van een (abstract) concept in de
wijze waarop je het wenst vast te stellen/te meten
Vertalen in ‘metingen’
De activiteit waarbij je als onderzoeker een conceptuele definitie vertaalt naar bijvoorbeeld,
items op een vragenlijst.
Zie voorbeelden pagina 8 en 9!
Denkkader om naar concepten te kijken:
Afhankelijk van waar je
het concept plaatst, is
het eenvoudiger of
moeilijker te
operationaliseren.
,‘Eenvoudige concepten’ operationaliseren: (zie PowerPoint sessie 1 voor ingevuld voorbeeld)
‘Complexere kenmerken’
operationaliseren:
Concreet concept: concept waar je 1 duidelijke definitie voor hebt
Voorbeeld: definitie van een tafel
Abstract concept: Veel verschillende definities/theoretische lenzen/modellen
Voorbeeld: onderpresteren van leerkrachten
Enkelvoudige concepten: kan je in een vragenlijst meten door 1 item in een vragenlijst
Voorbeeld: leeftijd, gender,…
Meervoudige concepten: meerdere aspecten behoren erbij, bestaat uit verschillende kenmerken &
dimensies
Voorbeeld: onderpresteren van leerkrachten
Je moet meerdere keuzes maken gebruik je 1 kader of meerdere, kies welke aspecten je
meeneemt hoe kan je dat wel of niet observeren?
Geen lineair proces in de praktijk soms vanuit operationalisatie ook opnieuw naar conceptuele
definitie kijken
Zie PowerPoint 1 (slide 30-32) voor voorbeeld rond persoonlijkheid!
1.2 METEN ALS BREED BEGRIP
,Meten: als we vanuit een vaststelling naar het toekennen van een waarde gaan
Observeren en objecten met 4 wielen mentaal in de categorie ‘persoonswagen’ plaatsen
Om de 5 maand een kind meten
Variabele die het concept ‘lengte’ operationaliseert
1.3 WANNEER METEN WE GOED?
Kwaliteitscriteria: validiteit en betrouwbaarheid
Validiteit: als kenmerk van interpretatie en conclusies op basis van instrumenten/methodes
Grondleggers: Cronbach en Meehl (1955), Messick (1988) en Kane (2013)
Instrumenten op zich zijn niet valide maar de interpretatie van de resultaten en de conclusies
die we op basis van een instrument trekken zijn in meer of mindere mate valide
Geen kenmerk van een instrument/test/methode, maar wel van wat je als onderzoeker doet
met de resultaten
Argument-gebaseerde benadering van Kane: als onderzoeker heb je als taak om een goed
onderbouwde set van argumenten te geven waarom je als onderzoeker vindt dat bepaalde
beslissingen en conclusies valide (of ook wel terecht) zijn, gegeven het instrumentarium dat je
hanteerde
Constructvaliditeit: meten wat je hoort te meten
Validiteit als kenmerk van een instrument op zich beschouwen: hoge mate van
betrouwbaarheid bij vragenlijst en dus zeggen dat het een gevalideerde vragenlijst is
Kane zegt dat je moet onderbouwen waarom het gebruik van die vragenlijst leidt toch
terechte uitspraken (je moet dan evidentie verzamelen om je punt te maken)
Empirische evidentie: bewijs gebaseerd op feiten en vaststellingen
Logische evidentie: evidentie die we uit eerder onderzoek meenemen
Betrouwbaarheid:
Herhaalbaarheid
Overheen tijd, verschillende vragen, verschillende observatoren, verschillende taken,
…
Hoe afhankelijk zijn metingen/scores van allerlei factoren?
Vaststellingen, observaties of scores zijn betrouwbaar indien je kan aantonen dat je onder
gelijkaardige omstandigheden tot zeer vergelijkbare scores zou komen
Zie voorbeeld pagina 11!
1.4 WELKE ‘TOOLS’ TOT METEN HEBBEN WE?
Observeren, vragenlijsten en toetsen.
Trianguleren van metingen: meetmethoden met elkaar combineren
Rijkere informatie
Zwaktes van bepaalde meetmethoden worden gecompenseerd door de sterktes van andere
meetmethodes
Andere tools:
Logboeken
Nadelen
Belastend voor de studenten
Voordelen
Rijke data
, Zelfrapportage
Oogbewegingen (eye-tracking)
Nadelen
Veel assumpties achter
Voordelen
Geen zelfrapportage
Fysiologische metingen
Voor stress-reacties
Polsbandjes voor hartslag & zweetreactie
Sociometric badge
Badges die registreren met wie en wanneer ze interageerde
Zie voor voorbeelden andere tools pagina 12 en 13!
Zie PowerPoint 1 (slide 40-54)!
HF 2 OBSERVEREN
2.1 WAAROM OBSERVEREN?
Voordelen:
Stelt onderzoeker in staat om op een zeer directe manier data te verzamelen in ‘live’
situaties
Onderzoek naar gedrag en processen
Nadelen: (vertekende factoren)
Interpretatieproblemen
De respondent interpreteert de gestelde vraag anders dan bedoeld door de
onderzoeker.
Voorbeeld: bevragen van artsen over de feedback die ze krijgen, maar wanneer is iets
feedback?
Onvolledigheidsprobleem
De respondent vergeet een aantal belangrijke aspecten te vermelden in zijn antwoord.
Voorbeeld: bevragen van artsen over de feedback die ze krijgen, maar herinneren ze
alle feedback die ze gekregen hebben
Geheugenprobleem
De respondent heeft foute herinneringen van het eigen gedrag.
Sociaal wenselijk antwoordgedrag
De respondent past (al dan niet) doelbewust z’n antwoord aan om zo meer in lijn te
zijn met wat hij of zij denkt dat een wenselijk antwoord is.
Voorbeeld: bevragen van artsen over de feedback die ze krijgen, maar willen ze zich
beter voordoen
Vraagstellingseffecten
De wijze waarop de vraag wordt gesteld heeft een effect op het antwoord van de
respondent.
Interviewer-effecten
Kenmerken van de interviewers (non-verbaal) gedrag of voorkomen hebben een
impact op het antwoordgedrag van de respondent.
Inconsistentie tussen verklaard en vertoond gedrag
Er is niet per definitie overeenkomst tussen hoe respondenten zelf aangeven dat ze
(waarschijnlijk) handelen en het effectief vertoonde gedrag.
HF1: OPERATIONALISEREN
Constructen/concepten: algemeen aanvaarde collectie van betekenissen of karakteristieken van
gebeurtenissen, objecten, situaties en gedrag (groeperen)
Om kennis te ontwikkelen & te communiceren hebben we nood aan een
gemeenschappelijke basis
Voorbeelden: ‘tafels’ en ‘lerende’
Tastbare concepten: mens, tafel, trein,…
Abstracte concepten: concepten die we zelf als onderzoeksgemeenschap construeren maar
die niet onmiddellijk tastbaar zijn = constructen
Ze bestaan enkel in onze ‘verbeelding’
Voorbeelden: motivatie, intelligentie, leiderschap,…
Conceptuele definitie: het is belangrijk om duidelijk te
omschrijven wat een onderzoeker precies bedoeld met een
bepaald concept
Staat bij ‘conceptueel kader’ of ‘theoretisch kader’
1.1 WAT VERSTAAN WE ONDER
OPERATIONALISEREN?
Operationele definitie: hoe je een bepaald concept/construct
meetbaar maakt
Operationaliseren: het vertalen van een (abstract) concept in de
wijze waarop je het wenst vast te stellen/te meten
Vertalen in ‘metingen’
De activiteit waarbij je als onderzoeker een conceptuele definitie vertaalt naar bijvoorbeeld,
items op een vragenlijst.
Zie voorbeelden pagina 8 en 9!
Denkkader om naar concepten te kijken:
Afhankelijk van waar je
het concept plaatst, is
het eenvoudiger of
moeilijker te
operationaliseren.
,‘Eenvoudige concepten’ operationaliseren: (zie PowerPoint sessie 1 voor ingevuld voorbeeld)
‘Complexere kenmerken’
operationaliseren:
Concreet concept: concept waar je 1 duidelijke definitie voor hebt
Voorbeeld: definitie van een tafel
Abstract concept: Veel verschillende definities/theoretische lenzen/modellen
Voorbeeld: onderpresteren van leerkrachten
Enkelvoudige concepten: kan je in een vragenlijst meten door 1 item in een vragenlijst
Voorbeeld: leeftijd, gender,…
Meervoudige concepten: meerdere aspecten behoren erbij, bestaat uit verschillende kenmerken &
dimensies
Voorbeeld: onderpresteren van leerkrachten
Je moet meerdere keuzes maken gebruik je 1 kader of meerdere, kies welke aspecten je
meeneemt hoe kan je dat wel of niet observeren?
Geen lineair proces in de praktijk soms vanuit operationalisatie ook opnieuw naar conceptuele
definitie kijken
Zie PowerPoint 1 (slide 30-32) voor voorbeeld rond persoonlijkheid!
1.2 METEN ALS BREED BEGRIP
,Meten: als we vanuit een vaststelling naar het toekennen van een waarde gaan
Observeren en objecten met 4 wielen mentaal in de categorie ‘persoonswagen’ plaatsen
Om de 5 maand een kind meten
Variabele die het concept ‘lengte’ operationaliseert
1.3 WANNEER METEN WE GOED?
Kwaliteitscriteria: validiteit en betrouwbaarheid
Validiteit: als kenmerk van interpretatie en conclusies op basis van instrumenten/methodes
Grondleggers: Cronbach en Meehl (1955), Messick (1988) en Kane (2013)
Instrumenten op zich zijn niet valide maar de interpretatie van de resultaten en de conclusies
die we op basis van een instrument trekken zijn in meer of mindere mate valide
Geen kenmerk van een instrument/test/methode, maar wel van wat je als onderzoeker doet
met de resultaten
Argument-gebaseerde benadering van Kane: als onderzoeker heb je als taak om een goed
onderbouwde set van argumenten te geven waarom je als onderzoeker vindt dat bepaalde
beslissingen en conclusies valide (of ook wel terecht) zijn, gegeven het instrumentarium dat je
hanteerde
Constructvaliditeit: meten wat je hoort te meten
Validiteit als kenmerk van een instrument op zich beschouwen: hoge mate van
betrouwbaarheid bij vragenlijst en dus zeggen dat het een gevalideerde vragenlijst is
Kane zegt dat je moet onderbouwen waarom het gebruik van die vragenlijst leidt toch
terechte uitspraken (je moet dan evidentie verzamelen om je punt te maken)
Empirische evidentie: bewijs gebaseerd op feiten en vaststellingen
Logische evidentie: evidentie die we uit eerder onderzoek meenemen
Betrouwbaarheid:
Herhaalbaarheid
Overheen tijd, verschillende vragen, verschillende observatoren, verschillende taken,
…
Hoe afhankelijk zijn metingen/scores van allerlei factoren?
Vaststellingen, observaties of scores zijn betrouwbaar indien je kan aantonen dat je onder
gelijkaardige omstandigheden tot zeer vergelijkbare scores zou komen
Zie voorbeeld pagina 11!
1.4 WELKE ‘TOOLS’ TOT METEN HEBBEN WE?
Observeren, vragenlijsten en toetsen.
Trianguleren van metingen: meetmethoden met elkaar combineren
Rijkere informatie
Zwaktes van bepaalde meetmethoden worden gecompenseerd door de sterktes van andere
meetmethodes
Andere tools:
Logboeken
Nadelen
Belastend voor de studenten
Voordelen
Rijke data
, Zelfrapportage
Oogbewegingen (eye-tracking)
Nadelen
Veel assumpties achter
Voordelen
Geen zelfrapportage
Fysiologische metingen
Voor stress-reacties
Polsbandjes voor hartslag & zweetreactie
Sociometric badge
Badges die registreren met wie en wanneer ze interageerde
Zie voor voorbeelden andere tools pagina 12 en 13!
Zie PowerPoint 1 (slide 40-54)!
HF 2 OBSERVEREN
2.1 WAAROM OBSERVEREN?
Voordelen:
Stelt onderzoeker in staat om op een zeer directe manier data te verzamelen in ‘live’
situaties
Onderzoek naar gedrag en processen
Nadelen: (vertekende factoren)
Interpretatieproblemen
De respondent interpreteert de gestelde vraag anders dan bedoeld door de
onderzoeker.
Voorbeeld: bevragen van artsen over de feedback die ze krijgen, maar wanneer is iets
feedback?
Onvolledigheidsprobleem
De respondent vergeet een aantal belangrijke aspecten te vermelden in zijn antwoord.
Voorbeeld: bevragen van artsen over de feedback die ze krijgen, maar herinneren ze
alle feedback die ze gekregen hebben
Geheugenprobleem
De respondent heeft foute herinneringen van het eigen gedrag.
Sociaal wenselijk antwoordgedrag
De respondent past (al dan niet) doelbewust z’n antwoord aan om zo meer in lijn te
zijn met wat hij of zij denkt dat een wenselijk antwoord is.
Voorbeeld: bevragen van artsen over de feedback die ze krijgen, maar willen ze zich
beter voordoen
Vraagstellingseffecten
De wijze waarop de vraag wordt gesteld heeft een effect op het antwoord van de
respondent.
Interviewer-effecten
Kenmerken van de interviewers (non-verbaal) gedrag of voorkomen hebben een
impact op het antwoordgedrag van de respondent.
Inconsistentie tussen verklaard en vertoond gedrag
Er is niet per definitie overeenkomst tussen hoe respondenten zelf aangeven dat ze
(waarschijnlijk) handelen en het effectief vertoonde gedrag.
