1 Operationaliseren
Grip krijgen op realiteit > theorieën ontwikkelen en testen
Constructen en concepten spelen hier een rol
= gemeenschappelijke basis om op terug te vallen
= algemeen aanvaarde collectie van betekenissen of karakteristieken van gebeurtenissen,
objecten, situaties, gedrag, …
= gebeurtenissen, situaties, … groeperen >
concept
Kan variëren in abstractie: abstracte concepten
= constructen (vb. motivatie, leiderschap, …)
= concepten die we construeren in een
onderzoeksgemeenschap, maar die niet
onmiddellijk tastbaar zijn
Goede omschrijving is van groot belang!!
In de vorm van een conceptuele definitie
Duidelijk maken hoe je onderzoek aansluit bij
eventueel bestaand onderzoek + werk
relateerbaar aan kennisbasis
1.1 Wat is operationaliseren
Conceptuele definitie = 1e afbakening
Nog niet duidelijk hoe concepten of constructen gemeten zullen worden
Nood aan operationele definitie = vastleggen hoe bepaalde concepten meetbaar worden
gemaakt
Operationaliseren = het vertalen van een (abstract) concept in de wijze waarop je het wenst vast te
stellen of te meten
1.2 Meten als breed begrip
Operationaliseren = vertalen van een concept in ‘metingen’
Meten = vanuit vaststelling naar het toekennen van een waarde
Binnen MOB > metingen die resulteren in variabelen
Van concept naar reeks variabelen
1.3 Wanneer meten we goed
In onderzoek
- Helderheid brengen in hoe je
concepten hebt gemeten
- Onderbouwen waarom je denkt dat
dit de goede manier is
Wanneer goed gemeten = vraag naar
kwaliteitscriteria
Validiteit en
Betrouwbaarheid!!!
,1.3.1 Validiteit
Validiteit ≠ kenmerk van een instrument/test/methode
Validiteit = wat je als onderzoeker met je resultaten doet
(argument-gebaseerde benadering van Kane)
BELANGRIJK: Goed onderbouwde set van argumenten geven, waarom bepaalde beslissingen al dan niet
terecht zijn
Evidentie verzamelen om punt te maken
1. Empirische evidentie: bewijs gebaseerd op feiten en vaststellingen
2. Logische evidentie
3. Evidentie die we uit eerder onderzoek meenemen
1.3.2 Betrouwbaarheid
Betrouwbaarheid = noodzakelijke voorwaarde om te spreken van validiteit
Betrouwbaarheid = herhaalbaarheid
Vaststellingen, observaties of scores zijn betrouwbaar indien je kan aantonen dat je onder
gelijkaardige omstandigheden vergelijkbare resultaten zou kunnen bekomen
1. Overheen tijd
2. Overheen verschillende beoordelaars
3. Overheen verschillende taken
4. …
1.4 Welke tools tot meten hebben we?
- Observeren
- Vragenlijsten
- Toetsen
Zinvol om meerdere meetmethoden te combineren = triangulatie
Rijkere info
Zwaktes van bepaalde meetmethoden compenseren door sterktes van andere
Enkele voorbeelden
Voorbeeld 1 - Gestructureerde logboeken
Gedurende bepaalde periode rapporteren over leerervaringen, … (vaststaand aantal vaak)
Kent aantal regels
Voorbeeld 2 – Oogbewegingen
Eye-tracking = oogbewegingen van een participant registreren terwijl hij of zij kijkt naar een
computerscherm om info te zoeken, verwerven of taken te maken
Voorbeeld 3 – Fysiologische meti ngen
Elektronische en digitale instrumenten die het mogelijk maken om fysiologische reacties van
participanten na te gaan
Vb. stressreacties onderzoeken
Voorbeeld 4 – Sociometric badge
Registratie van wie met wie wanneer interageerde
,2 Observeren
2.1 Waarom observeren?
Observeren = op zeer directe manier data verzamelen in live situaties
Geschikt voor onderzoek naar gedrag en processen
Andere technieken zijn indirecter
Vb. bevragen van respondenten over hun gedrag via interviews of vragenlijsten
MAAR vertekende factoren indien respondenten over eigen gedrag rapporteren
o Interpretatieproblemen: respondent interpreteert gestelde vraag anders dan bedoeld door
onderzoeker
o Onvolledigheidproblemen: respondent vergeet aantal belangrijke aspecten te vermelden
o Geheugenproblemen: respondent heeft foute herinneringen aan eigen gedrag
o Sociaal wenselijk antwoordgedrag: respondent past -al da niet doelbewust- z’n antwoord
aan om zo meer in lijn te zijn met het wenselijke antwoord
o Vraagstellingseffecten: wijze waarop vraag wordt gesteld heeft effect op antwoord
o Interviewer-effecten: kenmerken van de interviewer (non-verbaal), gedrag of voorkomen
hebben impact op het antwoordgedrag van de respondent
o Inconsistentie tussen verklaard en vertoond gedrag : niet per definitie een overeenkomst
tussen hoe respondenten zelf aangeven dat handelen ne het effectief vertoonde gedrag
Impact op uiteindelijke metingen
Vertekening = bedreiging validiteit
Observeren = uitschakelen van deze factoren (ook niet risicovrij)
2.2 Vormen van observeren
Gestructureerd of Onderzoeker stelt duidelijke regels die de observator richting geeft in hoe ze
systematisch moeten observeren
Observatieschema: bevat set van regels die gevolgd dienen te worden
Zorgt ervoor dat bij iedere participant het relevant gedrag wordt
vastgelegd (op systematische wijze)
Observatieschema leidt tot set variabelen die het gedrag van de
respondent operationaliseren
Input voor verder KWAN onderzoek
Ongestructureerd Geen observatieschema
In detail het gedrag van de respondent vastleggen
In de diepte fenomenen beschrijven en exploreren
KWAL onderzoek
Participerend Observatoren maken deel uit van het sociaal systeem waarbinnen ze gedrag
wensen te observeren > Later fenomenen beschrijven
Geen observatieschema
Onderzoeker moet volledig opgaan in rol
Logboek en veldnotities (op vrije momenten aanvullen op basis van
observaties en ervaringen)
Niet- Volledig toeleggen op rol van observator (participanten kennen rol van observator)
participerend
, Op meer systematische wijze het gedrag observeren (via schema)
Natuurlijke Observaties in natuurlijke omgeving
observaties
Gedrag en processen observeren in dagdagelijkse situaties
Onderzoeker grijpt nooit in en oefent geen invloed uit
Gecontroleerde of Te observeren gedrag uitlokken
gemanipuleerde
Onderzoeker simuleert bepaalde setting of situatie om te kunnen
observeren hoe participanten zich gedragen
Combinatie van observaties mogelijk!
Verschillende observatievormen onder te brengen onder 2 grote tradities
2.3 Gestructureerde observatie: van observatie naar scores
2.3.1 Observatieschema’s ontwikkelen
Aandachtspunten bij het opstellen van een observatieschema
1. Onderzoeker zorgt ervoor dat de observatoren een duidelijk focus hebben tijdens het observeren
o Observatoren moeten geïnformeerd zijn over wie, wat, wanneer
2. Observatieschema’s bevatten categorieën
o Elke vorm van gedrag moet registreerbaar zijn en vertaalbaar naar 1 van de voorziene
categorieën of schalen
o Schalen dienen elkaar uit te sluiten = mutually exclusive
= gedrag dient eenduidig ondergebracht te kunnen worden binnen slechts 1 van de opties
3. Onderzoeker mag geen te moeilijke of vage termen hanteren, waardoor interpretatie onder druk
komt te staan
o Invullen schema dient eenvoudig te zijn
o Cognitief te belastende activiteiten uitschakelen
o Beoordelaar heeft voldoende tijd nodig om gedrag te observeren en registreren
Vaak pilootonderzoek > ontwerp observatieschema wordt onderzocht
Via potentiële observatoren samples van gedrag laten beoordelen
Observator luidop laten redeneren > problemen komen bovendrijven
Voldoende tijd en energie steken in ontwikkelingsfase!! > resultaten staan en vallen hiermee
2.3.2 Observatiestudie opzetten
Strategie voor observatie kan sterk verschillen > afstemmen op het doel
Incidenten Als onderzoeker op wacht staan tot een bepaalde situatie zich voordoet > dan
starten met observatie en vastleggen
= gecontroleerde observatie
Vastgezette Op voorhand periodes bepalen waarop hij of zij gaat observeren > gedurende die
periodes periode het gedrag zoals het zich voordoet capteren
Inventariseren welk gedrag zich voordoet en hoe vaak
Lange periodes Grip krijgen op procesmatige van het gedrag > welk gedrag vertoont de participant
Grip krijgen op realiteit > theorieën ontwikkelen en testen
Constructen en concepten spelen hier een rol
= gemeenschappelijke basis om op terug te vallen
= algemeen aanvaarde collectie van betekenissen of karakteristieken van gebeurtenissen,
objecten, situaties, gedrag, …
= gebeurtenissen, situaties, … groeperen >
concept
Kan variëren in abstractie: abstracte concepten
= constructen (vb. motivatie, leiderschap, …)
= concepten die we construeren in een
onderzoeksgemeenschap, maar die niet
onmiddellijk tastbaar zijn
Goede omschrijving is van groot belang!!
In de vorm van een conceptuele definitie
Duidelijk maken hoe je onderzoek aansluit bij
eventueel bestaand onderzoek + werk
relateerbaar aan kennisbasis
1.1 Wat is operationaliseren
Conceptuele definitie = 1e afbakening
Nog niet duidelijk hoe concepten of constructen gemeten zullen worden
Nood aan operationele definitie = vastleggen hoe bepaalde concepten meetbaar worden
gemaakt
Operationaliseren = het vertalen van een (abstract) concept in de wijze waarop je het wenst vast te
stellen of te meten
1.2 Meten als breed begrip
Operationaliseren = vertalen van een concept in ‘metingen’
Meten = vanuit vaststelling naar het toekennen van een waarde
Binnen MOB > metingen die resulteren in variabelen
Van concept naar reeks variabelen
1.3 Wanneer meten we goed
In onderzoek
- Helderheid brengen in hoe je
concepten hebt gemeten
- Onderbouwen waarom je denkt dat
dit de goede manier is
Wanneer goed gemeten = vraag naar
kwaliteitscriteria
Validiteit en
Betrouwbaarheid!!!
,1.3.1 Validiteit
Validiteit ≠ kenmerk van een instrument/test/methode
Validiteit = wat je als onderzoeker met je resultaten doet
(argument-gebaseerde benadering van Kane)
BELANGRIJK: Goed onderbouwde set van argumenten geven, waarom bepaalde beslissingen al dan niet
terecht zijn
Evidentie verzamelen om punt te maken
1. Empirische evidentie: bewijs gebaseerd op feiten en vaststellingen
2. Logische evidentie
3. Evidentie die we uit eerder onderzoek meenemen
1.3.2 Betrouwbaarheid
Betrouwbaarheid = noodzakelijke voorwaarde om te spreken van validiteit
Betrouwbaarheid = herhaalbaarheid
Vaststellingen, observaties of scores zijn betrouwbaar indien je kan aantonen dat je onder
gelijkaardige omstandigheden vergelijkbare resultaten zou kunnen bekomen
1. Overheen tijd
2. Overheen verschillende beoordelaars
3. Overheen verschillende taken
4. …
1.4 Welke tools tot meten hebben we?
- Observeren
- Vragenlijsten
- Toetsen
Zinvol om meerdere meetmethoden te combineren = triangulatie
Rijkere info
Zwaktes van bepaalde meetmethoden compenseren door sterktes van andere
Enkele voorbeelden
Voorbeeld 1 - Gestructureerde logboeken
Gedurende bepaalde periode rapporteren over leerervaringen, … (vaststaand aantal vaak)
Kent aantal regels
Voorbeeld 2 – Oogbewegingen
Eye-tracking = oogbewegingen van een participant registreren terwijl hij of zij kijkt naar een
computerscherm om info te zoeken, verwerven of taken te maken
Voorbeeld 3 – Fysiologische meti ngen
Elektronische en digitale instrumenten die het mogelijk maken om fysiologische reacties van
participanten na te gaan
Vb. stressreacties onderzoeken
Voorbeeld 4 – Sociometric badge
Registratie van wie met wie wanneer interageerde
,2 Observeren
2.1 Waarom observeren?
Observeren = op zeer directe manier data verzamelen in live situaties
Geschikt voor onderzoek naar gedrag en processen
Andere technieken zijn indirecter
Vb. bevragen van respondenten over hun gedrag via interviews of vragenlijsten
MAAR vertekende factoren indien respondenten over eigen gedrag rapporteren
o Interpretatieproblemen: respondent interpreteert gestelde vraag anders dan bedoeld door
onderzoeker
o Onvolledigheidproblemen: respondent vergeet aantal belangrijke aspecten te vermelden
o Geheugenproblemen: respondent heeft foute herinneringen aan eigen gedrag
o Sociaal wenselijk antwoordgedrag: respondent past -al da niet doelbewust- z’n antwoord
aan om zo meer in lijn te zijn met het wenselijke antwoord
o Vraagstellingseffecten: wijze waarop vraag wordt gesteld heeft effect op antwoord
o Interviewer-effecten: kenmerken van de interviewer (non-verbaal), gedrag of voorkomen
hebben impact op het antwoordgedrag van de respondent
o Inconsistentie tussen verklaard en vertoond gedrag : niet per definitie een overeenkomst
tussen hoe respondenten zelf aangeven dat handelen ne het effectief vertoonde gedrag
Impact op uiteindelijke metingen
Vertekening = bedreiging validiteit
Observeren = uitschakelen van deze factoren (ook niet risicovrij)
2.2 Vormen van observeren
Gestructureerd of Onderzoeker stelt duidelijke regels die de observator richting geeft in hoe ze
systematisch moeten observeren
Observatieschema: bevat set van regels die gevolgd dienen te worden
Zorgt ervoor dat bij iedere participant het relevant gedrag wordt
vastgelegd (op systematische wijze)
Observatieschema leidt tot set variabelen die het gedrag van de
respondent operationaliseren
Input voor verder KWAN onderzoek
Ongestructureerd Geen observatieschema
In detail het gedrag van de respondent vastleggen
In de diepte fenomenen beschrijven en exploreren
KWAL onderzoek
Participerend Observatoren maken deel uit van het sociaal systeem waarbinnen ze gedrag
wensen te observeren > Later fenomenen beschrijven
Geen observatieschema
Onderzoeker moet volledig opgaan in rol
Logboek en veldnotities (op vrije momenten aanvullen op basis van
observaties en ervaringen)
Niet- Volledig toeleggen op rol van observator (participanten kennen rol van observator)
participerend
, Op meer systematische wijze het gedrag observeren (via schema)
Natuurlijke Observaties in natuurlijke omgeving
observaties
Gedrag en processen observeren in dagdagelijkse situaties
Onderzoeker grijpt nooit in en oefent geen invloed uit
Gecontroleerde of Te observeren gedrag uitlokken
gemanipuleerde
Onderzoeker simuleert bepaalde setting of situatie om te kunnen
observeren hoe participanten zich gedragen
Combinatie van observaties mogelijk!
Verschillende observatievormen onder te brengen onder 2 grote tradities
2.3 Gestructureerde observatie: van observatie naar scores
2.3.1 Observatieschema’s ontwikkelen
Aandachtspunten bij het opstellen van een observatieschema
1. Onderzoeker zorgt ervoor dat de observatoren een duidelijk focus hebben tijdens het observeren
o Observatoren moeten geïnformeerd zijn over wie, wat, wanneer
2. Observatieschema’s bevatten categorieën
o Elke vorm van gedrag moet registreerbaar zijn en vertaalbaar naar 1 van de voorziene
categorieën of schalen
o Schalen dienen elkaar uit te sluiten = mutually exclusive
= gedrag dient eenduidig ondergebracht te kunnen worden binnen slechts 1 van de opties
3. Onderzoeker mag geen te moeilijke of vage termen hanteren, waardoor interpretatie onder druk
komt te staan
o Invullen schema dient eenvoudig te zijn
o Cognitief te belastende activiteiten uitschakelen
o Beoordelaar heeft voldoende tijd nodig om gedrag te observeren en registreren
Vaak pilootonderzoek > ontwerp observatieschema wordt onderzocht
Via potentiële observatoren samples van gedrag laten beoordelen
Observator luidop laten redeneren > problemen komen bovendrijven
Voldoende tijd en energie steken in ontwikkelingsfase!! > resultaten staan en vallen hiermee
2.3.2 Observatiestudie opzetten
Strategie voor observatie kan sterk verschillen > afstemmen op het doel
Incidenten Als onderzoeker op wacht staan tot een bepaalde situatie zich voordoet > dan
starten met observatie en vastleggen
= gecontroleerde observatie
Vastgezette Op voorhand periodes bepalen waarop hij of zij gaat observeren > gedurende die
periodes periode het gedrag zoals het zich voordoet capteren
Inventariseren welk gedrag zich voordoet en hoe vaak
Lange periodes Grip krijgen op procesmatige van het gedrag > welk gedrag vertoont de participant
