Samenvatting onderzoekspracticum designs
Week 1; inleiding van onderzoekspracticum (design), hoorcolleges
Hoorcollege 1; inleiding in de onderzoeksmethodologie en ethiek
Onderzoeksvraag criteria; ethisch verantwoord, haalbaar, helder en open en
zinvol. Specificeer doelgroep, omstandigheden en type taak.
Empirische cyclus; observatie> inductie (algemenere uitspraak of theorie uit
concrete observaties) > deductie (hypothese vanuit die uitspraak + uitwerking
onderzoeksontwerp incl. methode en design)> toetsing > evaluatie.
Zacht bewijs; bijv. actieonderzoek, casestudie
Medium bewijs; enquete, interview, correlationele en quasi-experimentele
studies.
Hard bewijs; wetenschappelijke experimenten, reviews, meta-analyses (is niet
‘beter’)
Basis principes van ethiek; do no harm (bijv the monster study> blijvende
spraakproblemen bij kinderen), data verzamelen (anonimiteit en
vertrouwelijkheid, geïnformeerde toestemming, privacywetgeving (AVG>
bescherming persoonsgegevens) en ethische comissie) en misleiding (milgram
conformity experiment (schokken, onethisch) en asch conformity experiment
(invloed groepsdruk, ethisch)).
Integer handelen; zorgplichten van instellingen (bijv. beschikbaar
vertrouwenspersoon), maatregelen en sancties, 61 normen en vijf principes
(eerlijkheid, zorgvuldigheid, transparantie, onafhankelijkheid en
verantwoordelijkheid).
Niet-integer handelen; niet eerlijk of frauduleus bijv. geen correcte bron
vermelden, fabriceren of vervalsen van onderzoeksgegevens of kopiëren van
teksten.
Questionable research practices; achteraf aanpassen van onderzoeksvraag
of hypothese (voor betere matching aan resultaten), selectief rapporteren van
gunstige resultaten (>publicatiebias), vissen in de dataset (gewenste resultaten)
of een schatting opnieuw uitvoeren.
Ethische comissie (EC)/ institutional review board (IRB); toetsen
onderzoekvoorstellen op ethisch verantwoord en wetenschappelijk integer
handelen; EC-aanvraagprocedure; research team (wie heeft toegang tot
onderzoek en data?)> onderzoeksplan > data management plan (transparantie,
anonimisering, opslag in datapackage)> informing participants> asking for
consent> debriefing after participation. (meer nadruk op privacy sinds AVG/GDPR
(2018)).
Instrumentatie kernvragen; past het instrument bij de doelgroep?, wat is
bekend over de kwaliteit van het instrument? (COTAN-beoordeling, comissie test
aangelegenheden Nederland), past het bij de onderzoeksvraag? En is het
praktisch uitvoerbaar?
,Sensory profile-NL (SP-NL); vragenlijst voor ouders of verzorgers die
sensorische informatieverwerking van kinderen in kaart brengt.
COTAN beoordeeld meetinstrumenten op kwaliteit; uitgangspunten
testconstructie (onvoldoende; herkomst items en definities kernconcepten),
kwaliteit testmateriaal (goed; niet kwetsend maar formuleringen kunnen
onduidelijk zijn), kwaliteit handleiding (voldoende, alles beschreven maar niet
altijd consistent), normen en interpretatie (onvoldoende, combinatie
normgerichte en criteriumgerichte interpretatie is onvoldoende uitgelegd,
bemoeilijkt betrouwbare score interpretatie).
Normgerichte interpretatie; score vergelijken met andere kinderen
Criteriumgerichte interpretatie; score vergelijken met vast criterium
Meetinstrumenten; interview, observatie, vragenlijst, tests, dagboek,
beoordelingsschaal, persoonlijkheidstests etc.
Validiteit; criteriumvaliditeit (overeenkomst uitkomst en uitkomst
vergelijkbare externe instrumenten, zowel predictief (scores vergelijken met
toekomstige prestaties) als concurrent (gelijktijdige resultaten)),
constructvaliditeit (maakt instrument de juiste conclusies mogelijk?
Representatieve weergave van concept?) en inhoudsvaliditeit (biedt het
instrument voldoende dekking met een juiste inhoud die aansluit bij het doel van
het instrument? Bevat het instrument een representatieve steekproef?).
Validity coefficient; hoe hoger deze, hoe beter het instrument meet of
voorspelt wat het beoogt.
Betrouwbaarheid; mate waarin instrument bij verschillende meetmomenten
dezelfde resultaten oplevert. Equivalente vormen methode (twee
gelijkwaardige versies vergelijken bijv. tentamen en her), test-retest methode
(dezelfde later opnieuw), interbeoordelaars (overeenstemming tussen scores
(scoring agreement)), interne consistentie (samenhang tussen items,
Cronbach’s alpha, KR20/KR21). De uitkomst van deze beoordelingen krijgt
betrouwbaarheidscoëfficiënt tussen de 0 en 1.
Betrouwbaarheid gaat over de consistentie van een meetinstrument en validiteit
gaat over het meten van het juiste construct. Betrouwbaarheid is dus een
noodzakelijke voorwaarde voor validiteit maar op zichzelf niet voldoende.
Week 1; ethiek, instrumentatie en betrouwbaarheid & validiteit;
literatuur
Hoofdstuk 4; Ethiek
, Kernkwesties in ethisch onderzoek; bescherming deelnemers tegen schade,
vertrouwelijkheid van onderzoeksgegevens en gebruik van misleiding en
verantwoording daarvan.
Institutional review board (IRB); national research act (1974, verplicht
onderzoeksinstellingen met financiering om een IRB op te richten) Federale
richtlijnen worden beheerd door het department of health en human services
(HHS). Alle meewerkende moeten een online CITI-training volgen.
IRB classificeert onderzoeken in categorieën; 1; exempt review (zonder risico,
schriftelijk informed consent is niet vereist), 2; expedited review (minimale
risico’s, mondelinge toestemming is vereist) en 3; full review (mogelijk
kwetsbaar, IRB-vergadering vereist).
Hoofdstuk 7; instrumentatie
Anekdotische verslagen registreren geobserveerd gedrag als verhalen zonder
vaste structuur voor vastleggen van belangrijk gedrag. Je hebt vier typen;
evaluatief, interpretatief (verklarend), generaliserende (algemene beschrijving)
en specifieke/concrete anekdotes (exacte weergave gedrag en context zonder
oordeel).
Veel gebruikte attitudeschalen (reageren op stellingen over voorkeuren en
opvattingen), likertschalen (sterk oneens tot sterk eens), semantic differential
(via adjectief paren, goed-slecht) en gezichtsschalen (X onder gezicht met
passende gevoelens).
Persoonlijkheids- of karakterinventarissen meten eigenschappen of gevoelens
van individuen over zichzelf.
Vaardigheids- of prestatietoetsen meten kennis of vaardigheden in bepaald
vakgebied, je hebt algemene (meerdere vakken) en specifieke
vaardigheidstoetsen.
Sociometrische instrumenten laten individuen medeleerlingen beoordelen of
keuzes maken in sociale situaties voor inzicht in interpersoonlijke relaties en
groepsstructuren.
Meetschalen; nominaal (zonder ordening), ordinaal (rangorde, ongelijke
afstand), interval (gelijke intervallen, geen absoluut 0) en ratio (gelijke
intervallen, absoluut nulpunt en betekenisvolle verhoudingen).
Standaardmeetfout (SEMeas) geeft variatie door meetfouten aan.
week 2; validiteit en onderzoeksdesigns; hoorcollege 2
Week 1; inleiding van onderzoekspracticum (design), hoorcolleges
Hoorcollege 1; inleiding in de onderzoeksmethodologie en ethiek
Onderzoeksvraag criteria; ethisch verantwoord, haalbaar, helder en open en
zinvol. Specificeer doelgroep, omstandigheden en type taak.
Empirische cyclus; observatie> inductie (algemenere uitspraak of theorie uit
concrete observaties) > deductie (hypothese vanuit die uitspraak + uitwerking
onderzoeksontwerp incl. methode en design)> toetsing > evaluatie.
Zacht bewijs; bijv. actieonderzoek, casestudie
Medium bewijs; enquete, interview, correlationele en quasi-experimentele
studies.
Hard bewijs; wetenschappelijke experimenten, reviews, meta-analyses (is niet
‘beter’)
Basis principes van ethiek; do no harm (bijv the monster study> blijvende
spraakproblemen bij kinderen), data verzamelen (anonimiteit en
vertrouwelijkheid, geïnformeerde toestemming, privacywetgeving (AVG>
bescherming persoonsgegevens) en ethische comissie) en misleiding (milgram
conformity experiment (schokken, onethisch) en asch conformity experiment
(invloed groepsdruk, ethisch)).
Integer handelen; zorgplichten van instellingen (bijv. beschikbaar
vertrouwenspersoon), maatregelen en sancties, 61 normen en vijf principes
(eerlijkheid, zorgvuldigheid, transparantie, onafhankelijkheid en
verantwoordelijkheid).
Niet-integer handelen; niet eerlijk of frauduleus bijv. geen correcte bron
vermelden, fabriceren of vervalsen van onderzoeksgegevens of kopiëren van
teksten.
Questionable research practices; achteraf aanpassen van onderzoeksvraag
of hypothese (voor betere matching aan resultaten), selectief rapporteren van
gunstige resultaten (>publicatiebias), vissen in de dataset (gewenste resultaten)
of een schatting opnieuw uitvoeren.
Ethische comissie (EC)/ institutional review board (IRB); toetsen
onderzoekvoorstellen op ethisch verantwoord en wetenschappelijk integer
handelen; EC-aanvraagprocedure; research team (wie heeft toegang tot
onderzoek en data?)> onderzoeksplan > data management plan (transparantie,
anonimisering, opslag in datapackage)> informing participants> asking for
consent> debriefing after participation. (meer nadruk op privacy sinds AVG/GDPR
(2018)).
Instrumentatie kernvragen; past het instrument bij de doelgroep?, wat is
bekend over de kwaliteit van het instrument? (COTAN-beoordeling, comissie test
aangelegenheden Nederland), past het bij de onderzoeksvraag? En is het
praktisch uitvoerbaar?
,Sensory profile-NL (SP-NL); vragenlijst voor ouders of verzorgers die
sensorische informatieverwerking van kinderen in kaart brengt.
COTAN beoordeeld meetinstrumenten op kwaliteit; uitgangspunten
testconstructie (onvoldoende; herkomst items en definities kernconcepten),
kwaliteit testmateriaal (goed; niet kwetsend maar formuleringen kunnen
onduidelijk zijn), kwaliteit handleiding (voldoende, alles beschreven maar niet
altijd consistent), normen en interpretatie (onvoldoende, combinatie
normgerichte en criteriumgerichte interpretatie is onvoldoende uitgelegd,
bemoeilijkt betrouwbare score interpretatie).
Normgerichte interpretatie; score vergelijken met andere kinderen
Criteriumgerichte interpretatie; score vergelijken met vast criterium
Meetinstrumenten; interview, observatie, vragenlijst, tests, dagboek,
beoordelingsschaal, persoonlijkheidstests etc.
Validiteit; criteriumvaliditeit (overeenkomst uitkomst en uitkomst
vergelijkbare externe instrumenten, zowel predictief (scores vergelijken met
toekomstige prestaties) als concurrent (gelijktijdige resultaten)),
constructvaliditeit (maakt instrument de juiste conclusies mogelijk?
Representatieve weergave van concept?) en inhoudsvaliditeit (biedt het
instrument voldoende dekking met een juiste inhoud die aansluit bij het doel van
het instrument? Bevat het instrument een representatieve steekproef?).
Validity coefficient; hoe hoger deze, hoe beter het instrument meet of
voorspelt wat het beoogt.
Betrouwbaarheid; mate waarin instrument bij verschillende meetmomenten
dezelfde resultaten oplevert. Equivalente vormen methode (twee
gelijkwaardige versies vergelijken bijv. tentamen en her), test-retest methode
(dezelfde later opnieuw), interbeoordelaars (overeenstemming tussen scores
(scoring agreement)), interne consistentie (samenhang tussen items,
Cronbach’s alpha, KR20/KR21). De uitkomst van deze beoordelingen krijgt
betrouwbaarheidscoëfficiënt tussen de 0 en 1.
Betrouwbaarheid gaat over de consistentie van een meetinstrument en validiteit
gaat over het meten van het juiste construct. Betrouwbaarheid is dus een
noodzakelijke voorwaarde voor validiteit maar op zichzelf niet voldoende.
Week 1; ethiek, instrumentatie en betrouwbaarheid & validiteit;
literatuur
Hoofdstuk 4; Ethiek
, Kernkwesties in ethisch onderzoek; bescherming deelnemers tegen schade,
vertrouwelijkheid van onderzoeksgegevens en gebruik van misleiding en
verantwoording daarvan.
Institutional review board (IRB); national research act (1974, verplicht
onderzoeksinstellingen met financiering om een IRB op te richten) Federale
richtlijnen worden beheerd door het department of health en human services
(HHS). Alle meewerkende moeten een online CITI-training volgen.
IRB classificeert onderzoeken in categorieën; 1; exempt review (zonder risico,
schriftelijk informed consent is niet vereist), 2; expedited review (minimale
risico’s, mondelinge toestemming is vereist) en 3; full review (mogelijk
kwetsbaar, IRB-vergadering vereist).
Hoofdstuk 7; instrumentatie
Anekdotische verslagen registreren geobserveerd gedrag als verhalen zonder
vaste structuur voor vastleggen van belangrijk gedrag. Je hebt vier typen;
evaluatief, interpretatief (verklarend), generaliserende (algemene beschrijving)
en specifieke/concrete anekdotes (exacte weergave gedrag en context zonder
oordeel).
Veel gebruikte attitudeschalen (reageren op stellingen over voorkeuren en
opvattingen), likertschalen (sterk oneens tot sterk eens), semantic differential
(via adjectief paren, goed-slecht) en gezichtsschalen (X onder gezicht met
passende gevoelens).
Persoonlijkheids- of karakterinventarissen meten eigenschappen of gevoelens
van individuen over zichzelf.
Vaardigheids- of prestatietoetsen meten kennis of vaardigheden in bepaald
vakgebied, je hebt algemene (meerdere vakken) en specifieke
vaardigheidstoetsen.
Sociometrische instrumenten laten individuen medeleerlingen beoordelen of
keuzes maken in sociale situaties voor inzicht in interpersoonlijke relaties en
groepsstructuren.
Meetschalen; nominaal (zonder ordening), ordinaal (rangorde, ongelijke
afstand), interval (gelijke intervallen, geen absoluut 0) en ratio (gelijke
intervallen, absoluut nulpunt en betekenisvolle verhoudingen).
Standaardmeetfout (SEMeas) geeft variatie door meetfouten aan.
week 2; validiteit en onderzoeksdesigns; hoorcollege 2
