College 1 - Introductie
Inhoud:
Observatiemethodes in onderzoek
ethische overwegingen
Observatiemethodes in onderzoek
Wat zijn mogelijke settings voor een observaties?
Locatie: Situatie:
thuis vrij spel (bij onderzoek)
school maaltijd
in het lab bad- of bedroutine
in praktijkinstelling voorlezen
op publieke locatie (supermarkt) gestructureerd: (lastige) taak
diagnostisch onderzoek
schoolobservatie
Welke methode kun je gebruiken voor het meten van gedrag?
Voordelen observatie: bij een observatie hoop je iets meer het ‘’echte’’
gedrag te observeren, in plaats van dat mensen zich beter voordoen bij
zelfrapportage. Je kunt mensen meer in hun natuurlijke omgeving observeren.
Nadelen observatie: participanten kunnen zich beter voordoen als de
onderzoeker observeert (observer reactivity, ofwel hawthorne effect). Ook
kost het hele proces veel tijd. Ook kun je de omgeving minder
standaardiseren, waardoor je minder kunt vergelijken. Een observatie is ook
best invastief voor het gezin.
College 1 - Introductie 1
, Gestandaardiseerde
Wat wil je meten/bereiken? Vragenlijst/interview
observatie
Inzicht in gedachten, gevoelens, etc. + -
+/- (in klinische
Over een langere periode +
setting)
Onbewust gedrag vangen - +
Uniforme interpretatie construct - +
Uitfilteren sociale wenselijkheid - +/-
Uitfilteren effect van stemming - -
Uniforme interpretatie construct = participanten kunnen een vraag
verschillend opvatten, waardoor er verschillende antwoorden op komen. Het
antwoord is dan dus afhankelijk van interpretatie. Bij een observatie kun je
echter met betrouwbare codeurs een uniforme interpretatie bereiken.
Het effect van stemming is bij beiden niet uit te filteren, dat kan zowel op een
vragenlijst/interview als observatie invloed hebben.
Wat zijn uitdagingen bij observatie en mogelijke oplossingen hiervoor?
Uitdagingen Oplossing om nadeel te beperken?
- training
Techniek bij opnames - duidelijke instructies voor filmen
- opnieuw als mislukt
- duur van opname beperken, maar je wil wel lang
Tijdsintentief, daarmee hoge
genoeg om voldoende gedrag te vangen en sociale
kosten
wenselijkheid te verkleinen
Belasting voor deelnemers,
- compensatie of vergoeding
invasief
Duidelijk definiëren variabelen - helder afbakenen
(en scores) soms lastig - voorbeelden geven in codeerhandeleiding
Moeilijk voor codeurs om - intensieve training
betrouwbaar te worden en - dubbelcoderen en/of intervisie
blijven! (betrouwbaarheidscoëfficient van boven .70)
- meerdere opnames maken
Momentopname
- niet zoals normaal gesproken? dan opnieuw
College 1 - Introductie 2
, Uitdagingen Oplossing om nadeel te beperken?
- langer observeren
Hawthorne effect/observer - juiste instructie
reactivity - observatoren uit zicht/ ruimte verlaten
- longitudinale studie: dezelfde onderzoeker
- toestemming gebruik video’s
Ethiek
- meldplicht
Hoe zit het met de betrouwbaarheid en validiteit bij observatie?
Invloeden op de externe/ecologische validiteit
hawthorne effect/observer reactivity: maatregelen
gestructureerde vs naturalistische observatie
setting
Thuis Lab
Ecologische validiteit Hoog Laag
Ruis Meer Minder
Onderzoek toont aan dat er lage correlaties zijn tussen observaties thuis en in
het lab (Gardner et al., 2000).
Welke verschillende methodes zijn er om te coderen?
Gedragsfrequenties (tellen): specifieke definities van relevante
gedragingen
Event-based: alleen onder bepaalde omstandigheden, gedrag coderen
Micro-level (real time):
micro-gedrag: bijv. glimlachten, fronsen, stem verheffen. Voorbeeld:
observeren hoeveel seconden kind verstijft bij angsttaak.
moment-to-moment: per tijdseenheid, bijvoorbeeld 25/min
komt het voor: ja of nee?
Macro-level schalen: omschrijving schaalpunten aan de hand van
concrete gedragingen (bijvoorbeeld sensitiviteit)
College 1 - Introductie 3
, Hoe verloopt een observatietraining?
1. Gestandaardiseerd codeerprotocol: nemen de codeurs door
2. Intensieve training: filmpjes bekijken en scoren
3. Betrouwbaarheidsset maken: zonder antwoorden zien een filmpje bekijken
en scoren
4. Intercodeursbetrouwbaarheid moet in orde zijn, zelfde score als expert
hebben, zodat deze betrouwbaarheid in orde is.
5. Voorkom ‘’coder drift’’! Kan je voorkomen door dubbelcoderen en/of
intervisie nadat iemand een tijdje in de praktijk gecodeerd heeft.
Alle neuzen dezelfde kant op is belangrijk:
Berekening mate van overeenstemming:
tussen scores codeur en expertscore
tussen scores codeurs onderling
Uitkomstmaat twee mogelijkheden:
1. categorieën? dan Cohen’s Kappa ⇒ % overeenkomst gecontroleerd voor
kans
2. interval/ratio? dan Intraclass correlations ⇒ correlatie tussen scores
binnen elke observatie
Wat is het inferentieniveau van elk observatiesysteem?
Inferentieniveau = de mate waarin het instrument gevoelig is voor
subjectiviteit/interpretatie en daarmee hoeveel training nodig is om het
instrument onder de knie te krijgen
Observatie systeem Low Medium High
Gedragsfrequenties X
Event-based X
Micro level schalen X
Macro level schalen X
Hoe zorg je voor objectiviteit bij grootschalig onderzoek?
College 1 - Introductie 4
Inhoud:
Observatiemethodes in onderzoek
ethische overwegingen
Observatiemethodes in onderzoek
Wat zijn mogelijke settings voor een observaties?
Locatie: Situatie:
thuis vrij spel (bij onderzoek)
school maaltijd
in het lab bad- of bedroutine
in praktijkinstelling voorlezen
op publieke locatie (supermarkt) gestructureerd: (lastige) taak
diagnostisch onderzoek
schoolobservatie
Welke methode kun je gebruiken voor het meten van gedrag?
Voordelen observatie: bij een observatie hoop je iets meer het ‘’echte’’
gedrag te observeren, in plaats van dat mensen zich beter voordoen bij
zelfrapportage. Je kunt mensen meer in hun natuurlijke omgeving observeren.
Nadelen observatie: participanten kunnen zich beter voordoen als de
onderzoeker observeert (observer reactivity, ofwel hawthorne effect). Ook
kost het hele proces veel tijd. Ook kun je de omgeving minder
standaardiseren, waardoor je minder kunt vergelijken. Een observatie is ook
best invastief voor het gezin.
College 1 - Introductie 1
, Gestandaardiseerde
Wat wil je meten/bereiken? Vragenlijst/interview
observatie
Inzicht in gedachten, gevoelens, etc. + -
+/- (in klinische
Over een langere periode +
setting)
Onbewust gedrag vangen - +
Uniforme interpretatie construct - +
Uitfilteren sociale wenselijkheid - +/-
Uitfilteren effect van stemming - -
Uniforme interpretatie construct = participanten kunnen een vraag
verschillend opvatten, waardoor er verschillende antwoorden op komen. Het
antwoord is dan dus afhankelijk van interpretatie. Bij een observatie kun je
echter met betrouwbare codeurs een uniforme interpretatie bereiken.
Het effect van stemming is bij beiden niet uit te filteren, dat kan zowel op een
vragenlijst/interview als observatie invloed hebben.
Wat zijn uitdagingen bij observatie en mogelijke oplossingen hiervoor?
Uitdagingen Oplossing om nadeel te beperken?
- training
Techniek bij opnames - duidelijke instructies voor filmen
- opnieuw als mislukt
- duur van opname beperken, maar je wil wel lang
Tijdsintentief, daarmee hoge
genoeg om voldoende gedrag te vangen en sociale
kosten
wenselijkheid te verkleinen
Belasting voor deelnemers,
- compensatie of vergoeding
invasief
Duidelijk definiëren variabelen - helder afbakenen
(en scores) soms lastig - voorbeelden geven in codeerhandeleiding
Moeilijk voor codeurs om - intensieve training
betrouwbaar te worden en - dubbelcoderen en/of intervisie
blijven! (betrouwbaarheidscoëfficient van boven .70)
- meerdere opnames maken
Momentopname
- niet zoals normaal gesproken? dan opnieuw
College 1 - Introductie 2
, Uitdagingen Oplossing om nadeel te beperken?
- langer observeren
Hawthorne effect/observer - juiste instructie
reactivity - observatoren uit zicht/ ruimte verlaten
- longitudinale studie: dezelfde onderzoeker
- toestemming gebruik video’s
Ethiek
- meldplicht
Hoe zit het met de betrouwbaarheid en validiteit bij observatie?
Invloeden op de externe/ecologische validiteit
hawthorne effect/observer reactivity: maatregelen
gestructureerde vs naturalistische observatie
setting
Thuis Lab
Ecologische validiteit Hoog Laag
Ruis Meer Minder
Onderzoek toont aan dat er lage correlaties zijn tussen observaties thuis en in
het lab (Gardner et al., 2000).
Welke verschillende methodes zijn er om te coderen?
Gedragsfrequenties (tellen): specifieke definities van relevante
gedragingen
Event-based: alleen onder bepaalde omstandigheden, gedrag coderen
Micro-level (real time):
micro-gedrag: bijv. glimlachten, fronsen, stem verheffen. Voorbeeld:
observeren hoeveel seconden kind verstijft bij angsttaak.
moment-to-moment: per tijdseenheid, bijvoorbeeld 25/min
komt het voor: ja of nee?
Macro-level schalen: omschrijving schaalpunten aan de hand van
concrete gedragingen (bijvoorbeeld sensitiviteit)
College 1 - Introductie 3
, Hoe verloopt een observatietraining?
1. Gestandaardiseerd codeerprotocol: nemen de codeurs door
2. Intensieve training: filmpjes bekijken en scoren
3. Betrouwbaarheidsset maken: zonder antwoorden zien een filmpje bekijken
en scoren
4. Intercodeursbetrouwbaarheid moet in orde zijn, zelfde score als expert
hebben, zodat deze betrouwbaarheid in orde is.
5. Voorkom ‘’coder drift’’! Kan je voorkomen door dubbelcoderen en/of
intervisie nadat iemand een tijdje in de praktijk gecodeerd heeft.
Alle neuzen dezelfde kant op is belangrijk:
Berekening mate van overeenstemming:
tussen scores codeur en expertscore
tussen scores codeurs onderling
Uitkomstmaat twee mogelijkheden:
1. categorieën? dan Cohen’s Kappa ⇒ % overeenkomst gecontroleerd voor
kans
2. interval/ratio? dan Intraclass correlations ⇒ correlatie tussen scores
binnen elke observatie
Wat is het inferentieniveau van elk observatiesysteem?
Inferentieniveau = de mate waarin het instrument gevoelig is voor
subjectiviteit/interpretatie en daarmee hoeveel training nodig is om het
instrument onder de knie te krijgen
Observatie systeem Low Medium High
Gedragsfrequenties X
Event-based X
Micro level schalen X
Macro level schalen X
Hoe zorg je voor objectiviteit bij grootschalig onderzoek?
College 1 - Introductie 4
