Onderzoekspracticum
inleiding onderzoek
,Thema 1 - Basis concepten
1.1 Wetenschappelijk onderzoek
Beschrijven waarom wetenschap wordt beoefend
Wetenschap
Wetenschap vormt de zoektocht naar kennis (over de werkelijkheid), waarbij die kennis via een
systematische methode wordt verkregen (objectief).
Beschrijven wat de empirische onderzoekscyclus is en uit welke fasen deze bestaat
Onderzoekscyclus
Empirisch onderzoek is onderzoek waarbij data worden verzameld. In het systematische proces van
wetenschappelijk onderzoek zijn vijf fasen te onderscheiden, die samen de empirische
onderzoekscyclus vormen:
1. Onderzoeksvraag formuleren (vaak de vraag naar een verband).
2. Studie ontwerpen (design, ontwerp: operationalisaties).
3. Data verzamelen
4. Data analyseren
5. Rapporteren (publiseren).
Het doorlopen van de onderzoekscyclus is een iteratief proces. In de praktijk lopen de fasen
enigszins door elkaar heen. Het is wel onherroepelijk dat dataverzameling nooit kan starten voordat
de studie ontworpen is (en ethische toetsing heeft plaatsgevonden).
Verspreiding van uitkomsten van wetenschappelijk onderzoek
Vanaf oudsher communiceren wetenschappers in de vorm van wetenschappelijke artikelen die via
wetenschappelijk journals worden verspreid. De artikelen worden eerst beoordeeld door andere
wetenschappers (peer reviewers), voordat ze geaccepteerd worden voor publicatie.
Open Access-tijdschriften zijn voor iedereen gratis toegankelijk.
Beschrijven wat dubieuze onderzoekspraktijken zijn.
Hernieuwde aandacht voor goed onderzoek
Het fingeren of falsificeren van data is een groot vergrijp (Diederik Stapel).
Publication bias (ook wel file-drawer-problem): de neiging om alleen studies te publiceren die
effecten laten zien.
Dubieuze onderzoekspraktijken (questionable research practices of QRP’s ): gebaseerd op het
verkrijgen van gewenste resultaten:
- selectiviteit of flexibiliteit bij het opstellen van de hypotheses; op basis van de uitkomsten
van het onderzoek bepaalde hypotheses achterwege laten of achteraf aanpassen zodat deze
beter aansluiten bij de gevonden resultaten
- flexibiliteit bij de dataverzameling:
• op basis van de resultaten besluiten om extra data te verzamelen omdat voorlopige
data-analyse nog niet de gewenste effecten laat zien
• eerder te stoppen met de dataverzameling – omdat voorlopige data-analyse al het
gewenste effect laat zien.
- Flexibiliteit bij de data-analyse; op basis van de uitkomsten van de data-analyse besluiten
om wel of niet een extra variabele in de analyse te betrekken of om bepaalde afwijkende
scores wel of niet in de dataset te laten
- selectief rapporteren van variabelen of condities in een studie (bijvoorbeeld alleen de
variabelen of condities die het gewenste effect laten zien).
Preregistratie: het vastleggen van de onderzoeksvraag, onderzoeksopzet en methode van
dataverzameling (noodzakelijk bij zuiver wetenschappelijk onderzoek).
,De psychologie en de onderwijswetenschappen zijn zich onder andere door de Stapel-affaire veel
bewuster geworden van de noodzaak tot preregistratie en Full disclosure (volledige openheid over
het onderzoeksproces).
1.2 Operationalisaties
Beschrijven wat variabelen zijn en welke functies ze kunnen hebben
Variabelen
Variabele: iets dat varieert of zou kunnen variëren (bijv. aantal cacaobonen).
Het meten van psychologische variabelen (bijv. extraversie) is ingewikkeld:
- niet direct observeerbaar
- geen eenduidige definitie
- geen algemeen gebruikte ‘eenheid’ (IQ is een uitzondering).
Beschrijven wat constructen zijn (verschil tussen variabelen en constructen)
Constructen
Psychologische constructen: psychologische variabelen waarbij de definitie is afgeleid vanuit theorie
en waarbij die definitie specificeert wat wel en wat niet tot de variabele behoort (bijv. depressie).
Psychologische constructen zijn theoretisch omdat we niet weten of ze ‘echt bestaan’. Ze kunnen
wel andere variabelen die wel direct observeerbaar zijn voorspellen of beïnvloeden.
Een duidelijke, eenduidige en uitgebreide definitie van het construct is belangrijk:
- de meeste mensen zijn niet bekend met de exacte definities van psychologische constructen
- mensen hebben beperkte mogelijkheden tot introspectie (overschatting)
- ook psychologische constructen zijn niet direct observeerbaar
Beschrijven wat operationalisaties zijn
Operationalisaties
Operationalisaties vormen de vertaling van de definitie van het theoretische construct naar een
meetinstrument of manipulatie (het construct wordt concreet en tastbaar).
Beschrijven wat meetinstrumenten zijn
Meetinstrumenten
Meetinstrumenten: op consistente wijze een variabele kwantificeren (representeren in een
datareeks van getallen), zonder dat er iets wordt beïnvloed.
- Items (ook wel stimuli): uitspraken, taken, observaties die samen het betreffende construct
omvatten, waaraan getallen kunnen worden toegekend.
Beschrijven wat datapunten en -reeksen zijn
Meetwaarden: de mogelijke waarden die behaald kunnen worden bij een operationalisatie zijn (bijv.
meetwaarden 1 tot 7 op een vragenlijst). De resulterende datapunten vormen een datareeks,
afkomstig van hetzelfde meetinstrument (ook variabele genoemd).
Beschrijven wat manipulaties zijn
Manipulaties
Het doel van manipulaties is om een construct te beïnvloeden, om te onderzoeken of een
verandering in de ene variabele een verandering in de andere variabele veroorzaakt (causaal
verband).
Bij een manipulatie worden stimuli aan deelnemers gepresenteerd, om een bepaalde toestand van
of verandering in het construct teweeg te brengen (getallen toekennen aan verschillende condities).
, Uitleggen hoe variabelen, operationalisaties, meetinstrumenten en manipulaties zich tot
elkaar verhouden
Binnen elk onderzoek (steekproef) is er een datareeks per variabele (zowel bij meetinstrumenten als
manipulaties). Deze datareeksen representeren de waarden van de bijbehorende variabelen onder
voorwaarde dat de operationalisaties betrouwbaar en valide zijn.
Uitleggen wat een meetmodel is en hoe dit eruit ziet.
Meetmodel
Een meetmodel visualiseert hoe een variabele via stimuli of items wordt geoperationaliseerd.
- Ovalen: variabelen of constructen.
- Rechthoeken: de stimuli of items die het construct operationaliseren (indicatoren).
Reflectief meetmodel: lijnen van het construct (latente variabele) lopen naar de indicatoren. De
richting van de pijl veronderstelt dat het construct bepaalt hoe op de indicatoren wordt gescoord.
De meeste studies bevatten één operationalisatie voor elk construct (bijv. één vragenlijst).
Bij manipulaties worden deelnemers vaak aan slechts één stimulus blootgesteld (in tegenstelling tot
meetinstrumenten die vaak uit meerdere items bestaan). Het meetmodel van een manipulatie
bestaat dan slechts uit één indicator (want één stimulus), waarbij de pijl in tegengestelde richting
loopt, van de indicator (rechthoek) naar het construct (ovaal). De stimulus wordt namelijk
aangeboden om het construct te beïnvloeden (omdat bij een manipulatie de operationalisatie vaak
gevormd wordt door slechts één stimulus, wordt in de praktijk de ovaal vaak weggelaten en staat de
variabelenaam in plaats daarvan in de rechthoek).
1.3 Betrouwbaarheid en validiteit
Bij onderzoek wordt de imperfectie (of onzuiverheid) van metingen vaak omschreven in termen
van betrouwbaarheid en validiteit.
inleiding onderzoek
,Thema 1 - Basis concepten
1.1 Wetenschappelijk onderzoek
Beschrijven waarom wetenschap wordt beoefend
Wetenschap
Wetenschap vormt de zoektocht naar kennis (over de werkelijkheid), waarbij die kennis via een
systematische methode wordt verkregen (objectief).
Beschrijven wat de empirische onderzoekscyclus is en uit welke fasen deze bestaat
Onderzoekscyclus
Empirisch onderzoek is onderzoek waarbij data worden verzameld. In het systematische proces van
wetenschappelijk onderzoek zijn vijf fasen te onderscheiden, die samen de empirische
onderzoekscyclus vormen:
1. Onderzoeksvraag formuleren (vaak de vraag naar een verband).
2. Studie ontwerpen (design, ontwerp: operationalisaties).
3. Data verzamelen
4. Data analyseren
5. Rapporteren (publiseren).
Het doorlopen van de onderzoekscyclus is een iteratief proces. In de praktijk lopen de fasen
enigszins door elkaar heen. Het is wel onherroepelijk dat dataverzameling nooit kan starten voordat
de studie ontworpen is (en ethische toetsing heeft plaatsgevonden).
Verspreiding van uitkomsten van wetenschappelijk onderzoek
Vanaf oudsher communiceren wetenschappers in de vorm van wetenschappelijke artikelen die via
wetenschappelijk journals worden verspreid. De artikelen worden eerst beoordeeld door andere
wetenschappers (peer reviewers), voordat ze geaccepteerd worden voor publicatie.
Open Access-tijdschriften zijn voor iedereen gratis toegankelijk.
Beschrijven wat dubieuze onderzoekspraktijken zijn.
Hernieuwde aandacht voor goed onderzoek
Het fingeren of falsificeren van data is een groot vergrijp (Diederik Stapel).
Publication bias (ook wel file-drawer-problem): de neiging om alleen studies te publiceren die
effecten laten zien.
Dubieuze onderzoekspraktijken (questionable research practices of QRP’s ): gebaseerd op het
verkrijgen van gewenste resultaten:
- selectiviteit of flexibiliteit bij het opstellen van de hypotheses; op basis van de uitkomsten
van het onderzoek bepaalde hypotheses achterwege laten of achteraf aanpassen zodat deze
beter aansluiten bij de gevonden resultaten
- flexibiliteit bij de dataverzameling:
• op basis van de resultaten besluiten om extra data te verzamelen omdat voorlopige
data-analyse nog niet de gewenste effecten laat zien
• eerder te stoppen met de dataverzameling – omdat voorlopige data-analyse al het
gewenste effect laat zien.
- Flexibiliteit bij de data-analyse; op basis van de uitkomsten van de data-analyse besluiten
om wel of niet een extra variabele in de analyse te betrekken of om bepaalde afwijkende
scores wel of niet in de dataset te laten
- selectief rapporteren van variabelen of condities in een studie (bijvoorbeeld alleen de
variabelen of condities die het gewenste effect laten zien).
Preregistratie: het vastleggen van de onderzoeksvraag, onderzoeksopzet en methode van
dataverzameling (noodzakelijk bij zuiver wetenschappelijk onderzoek).
,De psychologie en de onderwijswetenschappen zijn zich onder andere door de Stapel-affaire veel
bewuster geworden van de noodzaak tot preregistratie en Full disclosure (volledige openheid over
het onderzoeksproces).
1.2 Operationalisaties
Beschrijven wat variabelen zijn en welke functies ze kunnen hebben
Variabelen
Variabele: iets dat varieert of zou kunnen variëren (bijv. aantal cacaobonen).
Het meten van psychologische variabelen (bijv. extraversie) is ingewikkeld:
- niet direct observeerbaar
- geen eenduidige definitie
- geen algemeen gebruikte ‘eenheid’ (IQ is een uitzondering).
Beschrijven wat constructen zijn (verschil tussen variabelen en constructen)
Constructen
Psychologische constructen: psychologische variabelen waarbij de definitie is afgeleid vanuit theorie
en waarbij die definitie specificeert wat wel en wat niet tot de variabele behoort (bijv. depressie).
Psychologische constructen zijn theoretisch omdat we niet weten of ze ‘echt bestaan’. Ze kunnen
wel andere variabelen die wel direct observeerbaar zijn voorspellen of beïnvloeden.
Een duidelijke, eenduidige en uitgebreide definitie van het construct is belangrijk:
- de meeste mensen zijn niet bekend met de exacte definities van psychologische constructen
- mensen hebben beperkte mogelijkheden tot introspectie (overschatting)
- ook psychologische constructen zijn niet direct observeerbaar
Beschrijven wat operationalisaties zijn
Operationalisaties
Operationalisaties vormen de vertaling van de definitie van het theoretische construct naar een
meetinstrument of manipulatie (het construct wordt concreet en tastbaar).
Beschrijven wat meetinstrumenten zijn
Meetinstrumenten
Meetinstrumenten: op consistente wijze een variabele kwantificeren (representeren in een
datareeks van getallen), zonder dat er iets wordt beïnvloed.
- Items (ook wel stimuli): uitspraken, taken, observaties die samen het betreffende construct
omvatten, waaraan getallen kunnen worden toegekend.
Beschrijven wat datapunten en -reeksen zijn
Meetwaarden: de mogelijke waarden die behaald kunnen worden bij een operationalisatie zijn (bijv.
meetwaarden 1 tot 7 op een vragenlijst). De resulterende datapunten vormen een datareeks,
afkomstig van hetzelfde meetinstrument (ook variabele genoemd).
Beschrijven wat manipulaties zijn
Manipulaties
Het doel van manipulaties is om een construct te beïnvloeden, om te onderzoeken of een
verandering in de ene variabele een verandering in de andere variabele veroorzaakt (causaal
verband).
Bij een manipulatie worden stimuli aan deelnemers gepresenteerd, om een bepaalde toestand van
of verandering in het construct teweeg te brengen (getallen toekennen aan verschillende condities).
, Uitleggen hoe variabelen, operationalisaties, meetinstrumenten en manipulaties zich tot
elkaar verhouden
Binnen elk onderzoek (steekproef) is er een datareeks per variabele (zowel bij meetinstrumenten als
manipulaties). Deze datareeksen representeren de waarden van de bijbehorende variabelen onder
voorwaarde dat de operationalisaties betrouwbaar en valide zijn.
Uitleggen wat een meetmodel is en hoe dit eruit ziet.
Meetmodel
Een meetmodel visualiseert hoe een variabele via stimuli of items wordt geoperationaliseerd.
- Ovalen: variabelen of constructen.
- Rechthoeken: de stimuli of items die het construct operationaliseren (indicatoren).
Reflectief meetmodel: lijnen van het construct (latente variabele) lopen naar de indicatoren. De
richting van de pijl veronderstelt dat het construct bepaalt hoe op de indicatoren wordt gescoord.
De meeste studies bevatten één operationalisatie voor elk construct (bijv. één vragenlijst).
Bij manipulaties worden deelnemers vaak aan slechts één stimulus blootgesteld (in tegenstelling tot
meetinstrumenten die vaak uit meerdere items bestaan). Het meetmodel van een manipulatie
bestaat dan slechts uit één indicator (want één stimulus), waarbij de pijl in tegengestelde richting
loopt, van de indicator (rechthoek) naar het construct (ovaal). De stimulus wordt namelijk
aangeboden om het construct te beïnvloeden (omdat bij een manipulatie de operationalisatie vaak
gevormd wordt door slechts één stimulus, wordt in de praktijk de ovaal vaak weggelaten en staat de
variabelenaam in plaats daarvan in de rechthoek).
1.3 Betrouwbaarheid en validiteit
Bij onderzoek wordt de imperfectie (of onzuiverheid) van metingen vaak omschreven in termen
van betrouwbaarheid en validiteit.
