College 1: introductiecollege
Observatie voorbeelden.
- Interactie moeder/kind zonder speelgoed.
- Interactie moeder/vader/kind met speelgoed.
- Kind bij avondeten met ouders.
- Interactie kind/moeder/vader opruimen speelgoed.
Observatie binnen gezinnen: mogelijke settings.
- Locatie.
o Thuis.
o In het lab.
o Op publieke locatie (bijv. supermarkt).
- Situatie.
o Vrij spel.
o Bedroutine.
o Badroutine.
o Maaltijd
o Gestructureerd: opruimen, afblijven, (lastige) taak.
Uitdagendere situatie! Lokt bepaald gedrag uit.
Makkelijker vergelijken.
Gedisciplineerd gedrag van ouder observeren.
Welke strategieën gebruikt de ouder bij lastiger gedrag?
Het meten van gedrag: welke methode? Gardner et al., 2000.
- Vragenlijst.
- Interview.
- Observatie.
o Interview en observatie handig om allebei te doen.
Wat wil je meten/bereiken? Vragenlijst/interview Gestandaardiseerde observatie
Inzichten in gedachten,
+ -
gevoelens etc.
Over een langere periode + -
Onbewust gedrag vangen - +
Uniforme interpretatie
construct: bepaald gedrag op - +
dezelfde manier interpreteren
Uitfilteren sociale
- +/-
wenselijkheid
Uitfilteren effect van stemming - -
Uitdagingen observatie.
Uitdagingen, o.a.: Oplossing om nadeel te beperken?
Techniek bij opnames Training
Duidelijke instructies voor filmen
Opnieuw als het mislukt
Tijdsintensief, daarmee hoge kosten Duur van opname beperken
Belasting voor deelnemers, invasief (een Compensatie/vergoeding
belasting is bijv. een huisbezoek)
Duidelijk definiëren variabelen (en scores) soms Helder afbakenen
1
, lastig (denk aan beschrijvende schalen) Voorbeelden geven in codeerhandleiding
Moeilijk voor codeurs om betrouwbaar te Intensieve training
worden (en blijven!) Dubbelcoderen en/of intervisie
Momentopname Meerdere opnames maken
Niet zoals normaal gesproken? Dan opnieuw
(vraag aan ouders of het gaat zoals normaal, is
een kind bijv. ziek > ander gedrag)
Hawthorne effect/observer reactivity: reactie Langer observeren
op de omstandigheden (ander gedrag vertonen) Juiste instructie aan ouders
Onderzoekers uit zicht/ruimte verlaten
Longitudinaal: dezelfde onderzoeker
Ethiek (het is niet anoniem) Toestemming gebruik video’s + goed
informeren
Kwaliteitsmaten van observatiemethode.
- Betrouwbaarheid: doen we het allemaal op dezelfde manier?
- Validiteit: meet je wat je wil meten? Gedraagt de persoon zich tijdens de observatie
hetzelfde als normaal?
Validiteit: extern/ecologisch.
- Meet ik wat ik wil meten? Is het gedrag dat ik observeer een goede afspiegeling van hoe de
persoon zich in het algemeen gedraagt?
- Invloeden op de externe/ecologische validiteit:
o Hawthorne effect/observer reactivity: maatregelen.
o Gestructureerde vs naturalistische observatie.
o Setting.
Observatie setting.
- Hoog/laag/meer/minder?
- Onderzoek: lage correlaties tussen observaties thuis en in lab (o.a. Gardner et al., 2000).
- Ecologische validiteit: zijn de meetresultaten representatief voor de alledaagse praktijk?
Thuis Lab
Ecologische validiteit Hoog Laag
Ruis (storing) Meer Minder
Coderen: verschillende methodes.
- Gedragsfrequenties (tellen).
o Specifieke definities van relevante gedragingen.
- Event-based.
o Alleen onder bepaalde omstandigheden gedrag coderen.
- Micro-level (real time).
o Micro-gedrag: bijv. glimlachen, fronsen, stem verheffen.
o Moment-to-moment: per tijdseenheid (bijv. 25 minuten).
o Komt het voor: ja of nee?
- Macro-level schalen.
o Omschrijving schaalpunten a.d.h.v. concrete gedragingen.
Verloop van een observatietraining.
1. Gestandaardiseerd codeerprotocol.
2. Intensieve training.
2
, 3. Betrouwbaarheidsset.
4. Intercodeursbetrouwbaarheid.
a. Betrouwbaarheid tussen de codeurs onderling.
b. Minimaal 0.80 om als voldoende gezien te worden.
5. Voorkom ‘coder drift’.
a. Nadat je betrouwbaar bent bevonden toch je eigen draai eraan geven.
b. Oplossing: dubbel coderen en intervisie.
Intercodeurbetrouwbaarheid.
Alle neuzen dezelfde kant op!
- Berekening mate van overeenstemming.
o Tussen scores codeur & expertscore.
o Tussen scores codeurs onderling.
- Uitkomstmaat = categorieën: Cohen’s kappa.
o % overeenstemming gecontroleerd voor kans.
- Uitkomstmaat = interval/ratio: intraclass correlations.
o Correlatie tussen scores binnen elke observatie.
Intercodeurbetrouwbaarheid (A).
- Categorieën.
- Cohen’s kappa gebruiken: het is categorisch
(onveilig/veilig gehecht), observeerder A en
observeerder B.
o In hoeverre zijn ze het met elkaar eens? De
diagonale cellen.
o Corrigeer dit voor gokken, dan komt er een
bepaalde Kappa Coëfficiënt uit.
Intercodeurbetrouwbaarheid (B).
- Ordinal/interval/ratio: intraclass correlations
(numerieke variabelen). 0.80 = goed.
o Voor elke losse observaties (de rijen).
Komen de rijen ongeveer overeen?
- Waarom geen Pearson correlations? De correlatie
tussen kolommen obv volgorde.
o Verticaal kijken. Heeft het van laag naar hoog dezelfde volgorde?
Inferentieniveau.
- De mate waarin het instrument gevoelig is voor subjectiviteit/interpretatie en daarmee
hoeveel training nodig is om het instrument onder de knie te krijgen.
o Hoe concreter het gedrag, hoe makkelijker te meten.
3
, Grootschalig onderzoek: objectiviteit?
- Grootschalige (longitudinale) onderzoeksprojecten.
o Coderen meerdere gedragingen, vaak meerdere keren.
o Grotere kans op subjectiviteit als:
Je het gezin zelf hebt bezocht.
Je dezelfde persoon al eerder hebt gecodeerd (vooroordelen).
Op zelfde construct.
Op ander contruct.
- Codeerrestricties: beperkingen van een codeerproces. Zorgen dat het zo goed mogelijk
verloopt.
Coder bias.
- Systematische variatie in scores die samenhangen met kenmerken codeur i.p.v. met
relevante gedragingen van de persoon die wordt geobserveerd.
o Dit voorkom je niet: afhankelijk van hoe je bent opgevoed en wat jouw kijk op de
wereld is.
o Je wordt makkelijker betrouwbaar als je dezelfde achtergrond hebt.
Hou hier rekening mee.
- Voorbeeld: etniciteit.
o Intercodeurbetrouwbaarheid groter tussen codeurs met dezelfde achtergrond.
o Codeurs positiever over participanten met dezelfde achtergrond.
o Training beperkt dit type bias, maar neemt het niet weg.
- Uitdaging in dit vak: ontdek je eigen bias!
8 richtlijnen: filmpje AVG.
- Data minimalisatie: niet meer gegevens dan wat je voor jouw project nodig hebt.
- Datakwaliteit: goede kwaliteit van gegevens (klopt het, actualiteit).
- Doelomschrijving: welke gegevens, met welk doel en voor hoe lang je de gegevens gebruikt.
- Opslagbeperking: zo minmogelijk mensen toegang tot data.
- Beveiligingsmaatregelen: gegevens goed beveiligen (versleutelen, anonimiseren).
- Transparantie: alle betrokkenen informeren over welke gegevens, met welk doel, hoe lang,
door wie toegankelijk en op welke wijze ze zijn opgeslagen en beveiligd.
- Rechten van betrokkenen: kenbaar maken dat betrokkenen gegevens kunnen inzien,
wijzigen, laten afschermen of verwijderen (waar mogelijk).
- Verantwoording: wie is eindverantwoordelijke voor de gegevens en hoe zijn rollen, taken en
bevoegdheden vastgelegd.
Ethische overwegingen.
- Algemene Verordening Gegevensbescherming (sinds 2018).
o Versterking rechten van betrokkenen:
Inzage.
Correctie (op aanvraag + data verwijderen die niet nodig is).
Verwijdering (op aanvraag).
Dataportabiliteit = recht om gegevens over te dragen.
o Meer verplichtingen voor onderzoekers:
Beperkte toegang (versleutelen).
Transparantie t.a.v. autorisatie.
Waar geef je goedkeuring voor? Mag je altijd intrekken.
Coderen via de universiteit en niet ergens anders.
Melding datalekken.
4
Observatie voorbeelden.
- Interactie moeder/kind zonder speelgoed.
- Interactie moeder/vader/kind met speelgoed.
- Kind bij avondeten met ouders.
- Interactie kind/moeder/vader opruimen speelgoed.
Observatie binnen gezinnen: mogelijke settings.
- Locatie.
o Thuis.
o In het lab.
o Op publieke locatie (bijv. supermarkt).
- Situatie.
o Vrij spel.
o Bedroutine.
o Badroutine.
o Maaltijd
o Gestructureerd: opruimen, afblijven, (lastige) taak.
Uitdagendere situatie! Lokt bepaald gedrag uit.
Makkelijker vergelijken.
Gedisciplineerd gedrag van ouder observeren.
Welke strategieën gebruikt de ouder bij lastiger gedrag?
Het meten van gedrag: welke methode? Gardner et al., 2000.
- Vragenlijst.
- Interview.
- Observatie.
o Interview en observatie handig om allebei te doen.
Wat wil je meten/bereiken? Vragenlijst/interview Gestandaardiseerde observatie
Inzichten in gedachten,
+ -
gevoelens etc.
Over een langere periode + -
Onbewust gedrag vangen - +
Uniforme interpretatie
construct: bepaald gedrag op - +
dezelfde manier interpreteren
Uitfilteren sociale
- +/-
wenselijkheid
Uitfilteren effect van stemming - -
Uitdagingen observatie.
Uitdagingen, o.a.: Oplossing om nadeel te beperken?
Techniek bij opnames Training
Duidelijke instructies voor filmen
Opnieuw als het mislukt
Tijdsintensief, daarmee hoge kosten Duur van opname beperken
Belasting voor deelnemers, invasief (een Compensatie/vergoeding
belasting is bijv. een huisbezoek)
Duidelijk definiëren variabelen (en scores) soms Helder afbakenen
1
, lastig (denk aan beschrijvende schalen) Voorbeelden geven in codeerhandleiding
Moeilijk voor codeurs om betrouwbaar te Intensieve training
worden (en blijven!) Dubbelcoderen en/of intervisie
Momentopname Meerdere opnames maken
Niet zoals normaal gesproken? Dan opnieuw
(vraag aan ouders of het gaat zoals normaal, is
een kind bijv. ziek > ander gedrag)
Hawthorne effect/observer reactivity: reactie Langer observeren
op de omstandigheden (ander gedrag vertonen) Juiste instructie aan ouders
Onderzoekers uit zicht/ruimte verlaten
Longitudinaal: dezelfde onderzoeker
Ethiek (het is niet anoniem) Toestemming gebruik video’s + goed
informeren
Kwaliteitsmaten van observatiemethode.
- Betrouwbaarheid: doen we het allemaal op dezelfde manier?
- Validiteit: meet je wat je wil meten? Gedraagt de persoon zich tijdens de observatie
hetzelfde als normaal?
Validiteit: extern/ecologisch.
- Meet ik wat ik wil meten? Is het gedrag dat ik observeer een goede afspiegeling van hoe de
persoon zich in het algemeen gedraagt?
- Invloeden op de externe/ecologische validiteit:
o Hawthorne effect/observer reactivity: maatregelen.
o Gestructureerde vs naturalistische observatie.
o Setting.
Observatie setting.
- Hoog/laag/meer/minder?
- Onderzoek: lage correlaties tussen observaties thuis en in lab (o.a. Gardner et al., 2000).
- Ecologische validiteit: zijn de meetresultaten representatief voor de alledaagse praktijk?
Thuis Lab
Ecologische validiteit Hoog Laag
Ruis (storing) Meer Minder
Coderen: verschillende methodes.
- Gedragsfrequenties (tellen).
o Specifieke definities van relevante gedragingen.
- Event-based.
o Alleen onder bepaalde omstandigheden gedrag coderen.
- Micro-level (real time).
o Micro-gedrag: bijv. glimlachen, fronsen, stem verheffen.
o Moment-to-moment: per tijdseenheid (bijv. 25 minuten).
o Komt het voor: ja of nee?
- Macro-level schalen.
o Omschrijving schaalpunten a.d.h.v. concrete gedragingen.
Verloop van een observatietraining.
1. Gestandaardiseerd codeerprotocol.
2. Intensieve training.
2
, 3. Betrouwbaarheidsset.
4. Intercodeursbetrouwbaarheid.
a. Betrouwbaarheid tussen de codeurs onderling.
b. Minimaal 0.80 om als voldoende gezien te worden.
5. Voorkom ‘coder drift’.
a. Nadat je betrouwbaar bent bevonden toch je eigen draai eraan geven.
b. Oplossing: dubbel coderen en intervisie.
Intercodeurbetrouwbaarheid.
Alle neuzen dezelfde kant op!
- Berekening mate van overeenstemming.
o Tussen scores codeur & expertscore.
o Tussen scores codeurs onderling.
- Uitkomstmaat = categorieën: Cohen’s kappa.
o % overeenstemming gecontroleerd voor kans.
- Uitkomstmaat = interval/ratio: intraclass correlations.
o Correlatie tussen scores binnen elke observatie.
Intercodeurbetrouwbaarheid (A).
- Categorieën.
- Cohen’s kappa gebruiken: het is categorisch
(onveilig/veilig gehecht), observeerder A en
observeerder B.
o In hoeverre zijn ze het met elkaar eens? De
diagonale cellen.
o Corrigeer dit voor gokken, dan komt er een
bepaalde Kappa Coëfficiënt uit.
Intercodeurbetrouwbaarheid (B).
- Ordinal/interval/ratio: intraclass correlations
(numerieke variabelen). 0.80 = goed.
o Voor elke losse observaties (de rijen).
Komen de rijen ongeveer overeen?
- Waarom geen Pearson correlations? De correlatie
tussen kolommen obv volgorde.
o Verticaal kijken. Heeft het van laag naar hoog dezelfde volgorde?
Inferentieniveau.
- De mate waarin het instrument gevoelig is voor subjectiviteit/interpretatie en daarmee
hoeveel training nodig is om het instrument onder de knie te krijgen.
o Hoe concreter het gedrag, hoe makkelijker te meten.
3
, Grootschalig onderzoek: objectiviteit?
- Grootschalige (longitudinale) onderzoeksprojecten.
o Coderen meerdere gedragingen, vaak meerdere keren.
o Grotere kans op subjectiviteit als:
Je het gezin zelf hebt bezocht.
Je dezelfde persoon al eerder hebt gecodeerd (vooroordelen).
Op zelfde construct.
Op ander contruct.
- Codeerrestricties: beperkingen van een codeerproces. Zorgen dat het zo goed mogelijk
verloopt.
Coder bias.
- Systematische variatie in scores die samenhangen met kenmerken codeur i.p.v. met
relevante gedragingen van de persoon die wordt geobserveerd.
o Dit voorkom je niet: afhankelijk van hoe je bent opgevoed en wat jouw kijk op de
wereld is.
o Je wordt makkelijker betrouwbaar als je dezelfde achtergrond hebt.
Hou hier rekening mee.
- Voorbeeld: etniciteit.
o Intercodeurbetrouwbaarheid groter tussen codeurs met dezelfde achtergrond.
o Codeurs positiever over participanten met dezelfde achtergrond.
o Training beperkt dit type bias, maar neemt het niet weg.
- Uitdaging in dit vak: ontdek je eigen bias!
8 richtlijnen: filmpje AVG.
- Data minimalisatie: niet meer gegevens dan wat je voor jouw project nodig hebt.
- Datakwaliteit: goede kwaliteit van gegevens (klopt het, actualiteit).
- Doelomschrijving: welke gegevens, met welk doel en voor hoe lang je de gegevens gebruikt.
- Opslagbeperking: zo minmogelijk mensen toegang tot data.
- Beveiligingsmaatregelen: gegevens goed beveiligen (versleutelen, anonimiseren).
- Transparantie: alle betrokkenen informeren over welke gegevens, met welk doel, hoe lang,
door wie toegankelijk en op welke wijze ze zijn opgeslagen en beveiligd.
- Rechten van betrokkenen: kenbaar maken dat betrokkenen gegevens kunnen inzien,
wijzigen, laten afschermen of verwijderen (waar mogelijk).
- Verantwoording: wie is eindverantwoordelijke voor de gegevens en hoe zijn rollen, taken en
bevoegdheden vastgelegd.
Ethische overwegingen.
- Algemene Verordening Gegevensbescherming (sinds 2018).
o Versterking rechten van betrokkenen:
Inzage.
Correctie (op aanvraag + data verwijderen die niet nodig is).
Verwijdering (op aanvraag).
Dataportabiliteit = recht om gegevens over te dragen.
o Meer verplichtingen voor onderzoekers:
Beperkte toegang (versleutelen).
Transparantie t.a.v. autorisatie.
Waar geef je goedkeuring voor? Mag je altijd intrekken.
Coderen via de universiteit en niet ergens anders.
Melding datalekken.
4
