College 1: introductiecollege
Meten van gedrag: welke methode kies je?
Uitdagingen bij observatie:
Spelobservatie
Maaltijd-interactie
Oudergedrag
Kind en oudergedrag apart
Dynamiek ouder-kind
Dynamiek broertjes-zusjes
Dynamiek gezin als geheel
Spelsituatie is laagdrempelig: helemaal vrijgelaten of gestructureerd (gestandaardiseerde taak).
Het gedrag dat wordt laten zien is vaak net zo belangrijk als de testjes die een kind doet
Observer-reactivity: Hawthorne e ect (het feit dat er iemand aanwezig is heeft e ect op gedrag,
en de verlaagt de ecologische validiteit). Oplossing: Je kunt bijvoorbeeld alvast de camera
aanzetten en ze alvast iets laagdrempeligs laten doen zodat ze kunnen wennen aan de camera,
meestal vergeten mensen na 5-10 min dat ze worden ge lmd.
Door twee mensen dezelfde video te laten coderen en nabespreken. Daar kun je een
betrouwbaarheidscoe cient uit halen (meestal boven de 0.7). Je vraagt jezelf dan af: zijn we
genoeg op dezelfde manier aan het observeren?
ffi ff fi ff
, Kwaliteitsmaten van observatiemethode: betrouwbaarheid en validiteit
Ecologische validiteit: thuis: hoog, lab: laag
Ruis: thuis: meer, lab: minder
Onderzoek: lage correlaties tussen observaties thuis en in lab (Gardner et al. 2000).
Artikel Gardner: observaties hebben een goede voorspellende waarde voor later gedrag, maar
Gardner stelt ook dat de betrouwbaarheid en voorspellende waarde sterk afhangen van de
methodologische aanpak. Bij reactiviteit zou je kunnen benadrukken dat sommige deelnemers
sneller wennen aan observatie dan anderen, en dat reactieve gedragsveranderingen niet altijd
veroorzaakt worden door de observator zelf (maar bijvoorbeeld ook door stemming). Wat betreft
de locatie van de observatie: sommige gedragingen (zoals controle van ouders) zijn wél stabiel
zijn over verschillende settings, terwijl andere (zoals con ictgedrag) minder consistent zijn.
Coderen: verschillende methodes
Gedragsfrequenties (Tellen)
- Speci eke de nities van relevante gedragingen, zoals rozijntjes tellen die worden aangeboden
Event-based
Alleen als een bepaalde situatie zich voordoet ga je scoren, anders niet
Micro-level coderen (denk aan robot-onderzoek bij baby)
- micro-gedrag: bv glimlachen, fronsen, stem verhe en
- Moment-to-moment: per tijdseenheid (bv 25 minuten)
- Komt het voor: ja of nee?
Macro-level schalen
- Omschrijving van schaalpunten adhv concrete gedragingen
Verloop van een observatietraining
1) Gestandaardiseerd codeerprotocol (handleiding waarmee je werkt)
2) Intensieve training
3) Betrouwbaarheidsset (je score wordt vergeleken met de score van de expert)
4) Intercodeursbetrouwbaarheid (je scores worden vergeleken met de scores van de codeurs)
5) Voorkom ‘coder drift’ (de codeur drijft gaandeweg af van hoe hij/zij begonnen is; ga dan
dubbelcoderen/intervisie)
Intercodeurbetrouwbaarhheid (alle neuzen dezelfde kant op)
Berekening mate van overeenstemming:
- tussen scores codeur & expertscore
- Tussen scores codeurs onderling
Uitkomstmaat = categorieen: Cohen’s Kappa
- % overeenstemming gecontroleerd voor kans
Uitkomstmaat = interval/ratio: Intraclass correlations
- correlatie tussen scores binnen elke observatie
Minimaal een betrouwbaarheid van 0.7 als grens
Inferentieniveau
De mate waarin het instrument gevoelig is voor subjectiveit/interpretatie en daarmee hoeveel
training nodig is om het instrument onder de knie te krijgen
fi fi ff fl
, Grootschalige longitudinale onderzoeksprojecten
1) Coderen meerdere gedragingen, vaak meerdere keren
2) Grotere kans op subjectiviteit als:
- Je het gezin zelf hebt bezocht
- Je dezelfde persoon al eerder hebt gecodeerd (op zelfde construct of op ander construct)
Dit noemen we codeerrestricties: de regels waar je je aan moet houden om het zo
onbevooroordeeld mogelijk te kunnen doen
Coder bias (systematische variatie in scores die samenhangen met kenmerken van de codeur in
plaats van met relevante gedragingen van de persoon die wordt geobserveerd)
Voorbeeld: etniciteit > intercodeurbetrouwbaarheid is groter tussen codeurs met dezelfde
achtergrond. Codeurs zijn positiever over participanten met dezelfde achtergrond, zelfde culturele
waarden etc. Training beperkt dit type bias, maar neemt het niet weg.
Context: onderzoek vs praktijk
Als je onderzoek doet kijk je naar groepen mensen, je gebruikt de gestandaardiseerde
instrumenten vaker en ook vaker op de manier waarop het oorspronkelijk ontworpen is. Je houdt
je vaker aan die handleiding, de precieze manier van scoren. In de praktijk hebben mensen wel
een instrument, maar is dat meer als hulpmiddel wat je meeneemt om aan de verschillende
domeinen te denken, maar waar het minder draait om de score. Je bent meer geïnteresseerd in
gedrag. Bij onderzoek is de tussentijdse evaluatie weer van groepen mensen ipv individuen. Als
hulpverlener/pedagoog ben je vaak je eigen instrument, juist jouw observatieblik is belangrijk en
dat die een beetje meer gekleurd is, is dat erg? Is ook stukje expertise. Vb praktijk: VIPP-SD
Ethische overwegingen: Algemene Verordening Gegevensbescherming (sinds 2018)
1. Versterking rechten van betrokkenen:
- Inzage
- Correctie
- Verwijdering
- Dataportabiliteit = recht om gegevens over te dragen
2. Meer verplichtingen voor onderzoekers:
- Beperkte toegang (versleutelen)
- Transparantie t.a.v. authorisatie
- Coderen via de universiteit
- Melding datalekken aan de betrokkenen
AVG en de RUG richtlijnen over persoonsgegevens
1) Dataminimalisatie
2) Datakwaliteit
3) Doelomschrijving
4) Opslagbeperking
5) Beveilingsmaatregelen
6) Transparantie
7) Rechten van betrokkenen
8) Verantwoording
Meten van gedrag: welke methode kies je?
Uitdagingen bij observatie:
Spelobservatie
Maaltijd-interactie
Oudergedrag
Kind en oudergedrag apart
Dynamiek ouder-kind
Dynamiek broertjes-zusjes
Dynamiek gezin als geheel
Spelsituatie is laagdrempelig: helemaal vrijgelaten of gestructureerd (gestandaardiseerde taak).
Het gedrag dat wordt laten zien is vaak net zo belangrijk als de testjes die een kind doet
Observer-reactivity: Hawthorne e ect (het feit dat er iemand aanwezig is heeft e ect op gedrag,
en de verlaagt de ecologische validiteit). Oplossing: Je kunt bijvoorbeeld alvast de camera
aanzetten en ze alvast iets laagdrempeligs laten doen zodat ze kunnen wennen aan de camera,
meestal vergeten mensen na 5-10 min dat ze worden ge lmd.
Door twee mensen dezelfde video te laten coderen en nabespreken. Daar kun je een
betrouwbaarheidscoe cient uit halen (meestal boven de 0.7). Je vraagt jezelf dan af: zijn we
genoeg op dezelfde manier aan het observeren?
ffi ff fi ff
, Kwaliteitsmaten van observatiemethode: betrouwbaarheid en validiteit
Ecologische validiteit: thuis: hoog, lab: laag
Ruis: thuis: meer, lab: minder
Onderzoek: lage correlaties tussen observaties thuis en in lab (Gardner et al. 2000).
Artikel Gardner: observaties hebben een goede voorspellende waarde voor later gedrag, maar
Gardner stelt ook dat de betrouwbaarheid en voorspellende waarde sterk afhangen van de
methodologische aanpak. Bij reactiviteit zou je kunnen benadrukken dat sommige deelnemers
sneller wennen aan observatie dan anderen, en dat reactieve gedragsveranderingen niet altijd
veroorzaakt worden door de observator zelf (maar bijvoorbeeld ook door stemming). Wat betreft
de locatie van de observatie: sommige gedragingen (zoals controle van ouders) zijn wél stabiel
zijn over verschillende settings, terwijl andere (zoals con ictgedrag) minder consistent zijn.
Coderen: verschillende methodes
Gedragsfrequenties (Tellen)
- Speci eke de nities van relevante gedragingen, zoals rozijntjes tellen die worden aangeboden
Event-based
Alleen als een bepaalde situatie zich voordoet ga je scoren, anders niet
Micro-level coderen (denk aan robot-onderzoek bij baby)
- micro-gedrag: bv glimlachen, fronsen, stem verhe en
- Moment-to-moment: per tijdseenheid (bv 25 minuten)
- Komt het voor: ja of nee?
Macro-level schalen
- Omschrijving van schaalpunten adhv concrete gedragingen
Verloop van een observatietraining
1) Gestandaardiseerd codeerprotocol (handleiding waarmee je werkt)
2) Intensieve training
3) Betrouwbaarheidsset (je score wordt vergeleken met de score van de expert)
4) Intercodeursbetrouwbaarheid (je scores worden vergeleken met de scores van de codeurs)
5) Voorkom ‘coder drift’ (de codeur drijft gaandeweg af van hoe hij/zij begonnen is; ga dan
dubbelcoderen/intervisie)
Intercodeurbetrouwbaarhheid (alle neuzen dezelfde kant op)
Berekening mate van overeenstemming:
- tussen scores codeur & expertscore
- Tussen scores codeurs onderling
Uitkomstmaat = categorieen: Cohen’s Kappa
- % overeenstemming gecontroleerd voor kans
Uitkomstmaat = interval/ratio: Intraclass correlations
- correlatie tussen scores binnen elke observatie
Minimaal een betrouwbaarheid van 0.7 als grens
Inferentieniveau
De mate waarin het instrument gevoelig is voor subjectiveit/interpretatie en daarmee hoeveel
training nodig is om het instrument onder de knie te krijgen
fi fi ff fl
, Grootschalige longitudinale onderzoeksprojecten
1) Coderen meerdere gedragingen, vaak meerdere keren
2) Grotere kans op subjectiviteit als:
- Je het gezin zelf hebt bezocht
- Je dezelfde persoon al eerder hebt gecodeerd (op zelfde construct of op ander construct)
Dit noemen we codeerrestricties: de regels waar je je aan moet houden om het zo
onbevooroordeeld mogelijk te kunnen doen
Coder bias (systematische variatie in scores die samenhangen met kenmerken van de codeur in
plaats van met relevante gedragingen van de persoon die wordt geobserveerd)
Voorbeeld: etniciteit > intercodeurbetrouwbaarheid is groter tussen codeurs met dezelfde
achtergrond. Codeurs zijn positiever over participanten met dezelfde achtergrond, zelfde culturele
waarden etc. Training beperkt dit type bias, maar neemt het niet weg.
Context: onderzoek vs praktijk
Als je onderzoek doet kijk je naar groepen mensen, je gebruikt de gestandaardiseerde
instrumenten vaker en ook vaker op de manier waarop het oorspronkelijk ontworpen is. Je houdt
je vaker aan die handleiding, de precieze manier van scoren. In de praktijk hebben mensen wel
een instrument, maar is dat meer als hulpmiddel wat je meeneemt om aan de verschillende
domeinen te denken, maar waar het minder draait om de score. Je bent meer geïnteresseerd in
gedrag. Bij onderzoek is de tussentijdse evaluatie weer van groepen mensen ipv individuen. Als
hulpverlener/pedagoog ben je vaak je eigen instrument, juist jouw observatieblik is belangrijk en
dat die een beetje meer gekleurd is, is dat erg? Is ook stukje expertise. Vb praktijk: VIPP-SD
Ethische overwegingen: Algemene Verordening Gegevensbescherming (sinds 2018)
1. Versterking rechten van betrokkenen:
- Inzage
- Correctie
- Verwijdering
- Dataportabiliteit = recht om gegevens over te dragen
2. Meer verplichtingen voor onderzoekers:
- Beperkte toegang (versleutelen)
- Transparantie t.a.v. authorisatie
- Coderen via de universiteit
- Melding datalekken aan de betrokkenen
AVG en de RUG richtlijnen over persoonsgegevens
1) Dataminimalisatie
2) Datakwaliteit
3) Doelomschrijving
4) Opslagbeperking
5) Beveilingsmaatregelen
6) Transparantie
7) Rechten van betrokkenen
8) Verantwoording
