Inleiding onderzoek
Thema 1 Basisconcepten
Wetenschappelijk onderzoek
Na het bestuderen van deze studietaak kun je
beschrijven waarom wetenschap wordt beoefend
beschrijven wat de empirische onderzoekscyclus is en uit welke fasen deze bestaat
beschrijven wat dubieuze onderzoekspraktijken zijn.
Wetenschap
Om te weten wat werkt en welke effecten een bepaalde interventie heeft, is wetenschappelijk
onderzoek nodig.
Onderzoekscyclus
Vraag 1.1
In de empirische onderzoekscyclus zijn vijf fasen te onderscheiden.
onderzoeksvraag formuleren
studie ontwerpen
data verzamelen
data analyseren
rapporteren
In de praktijk lopen deze vaak een beetje door elkaar. Een mogelijke uitwerking van deze
fasen voor het onderzoek naar statistiekangst, is als volgt.
onderzoeksvraag formuleren: zorgt een statistiekcursus waarin studenten op
toegepaste wijze stapsgewijs kennismaken met de statistische begrippen, zonder al
te veel gebruik te maken van statistische formules, voor minder statistiekangst in
vergelijking met een traditionele statistiekcursus?
studie ontwerpen: vergelijking van twee groepen (toegepaste statistiekcursus versus
traditionele statistiekcursus). Er wordt een voor- en nameting uitgevoerd op
statistiekkennis en statistiekangst. Om te weten hoeveel data verzameld moeten
worden, worden poweranalyses gedaan. De studieopzet, inclusief de methode van
dataverzameling en de analyses die uitgevoerd zullen worden, worden vastgelegd
(preregistratie).
data verzamelen: volgens het plan zoals gepreregistreerd
data analyseren: volgens het plan zoals gepreregistreerd
rapporteren: beschrijven van studie en uitkomsten, wat vervolgens weer nieuwe
onderzoeksvragen zal oproepen
Het fingeren of falsificeren van data is een groot vergrijp. Bij dubieuze
onderzoekspraktijken gaat het meestal om kleinere zaken zoals:
het selectief rapporteren van variabelen of condities in een studie; bijvoorbeeld alleen
de variabelen of condities die het gewenste effect laten zien
flexibiliteit bij de data-analyse; op basis van de uitkomsten van de data-analyse
besluiten om wel of niet een extra variabele in de analyse te betrekken of om
bepaalde afwijkende scores wel of niet in de dataset te laten
selectiviteit of flexibiliteit bij het opstellen van de hypotheses; op basis van de
uitkomsten van het onderzoek bepaalde hypotheses achterwege laten of achteraf
aanpassen zodat deze beter aansluiten bij de gevonden resultaten
flexibiliteit bij de dataverzameling; op basis van de resultaten besluiten om extra data
te verzamelen – omdat voorlopige data-analyse nog niet de gewenste effecten laat
zien – of juist eerder te stoppen met de dataverzameling – omdat voorlopige data-
analyse al het gewenste effect laat zien.
,Full disclosure houdt in dat volledige openheid wordt gegeven over het
onderzoeksproces.
Verspreiding van uitkomsten van wetenschappelijk onderzoek
Vanaf oudsher communiceren wetenschappers in de vorm van
wetenschappelijke artikelen die via wetenschappelijk journals (tijdschriften) worden
verspreid. De artikelen worden eerst beoordeeld door andere wetenschappers, zogenaamde
peer reviewers, voordat ze geaccepteerd worden voor publicatie. Wetenschappelijke
artikelen en journals zijn bijna allemaal Engelstalig. Open Access-tijdschriften zijn voor
iedereen gratis toegankelijk.
Hernieuwde aandacht voor goed onderzoek
Vraag 1.3
Publication bias verwijst naar het fenomeen dat het gemakkelijker is om onderzoek te
publiceren dat wel een effect laat zien dan onderzoek dat geen effect laat zien. Dit komt
omdat journals onderzoek dat effecten aantoont interessanter vinden om te publiceren dan
onderzoek dat geen effecten laat zien. Onderzoekers zijn zich hiervan bewust en zijn
vervolgens geneigd om artikelen die geen effecten laten zien niet eens op te sturen naar een
tijdschrift ter publicatie. Publication bias wordt ook wel het file-drawer-probleem genoemd
omdat onderzoek dat geen effecten laat zien in de kast blijft liggen.
Een voorbeeld kan verduidelijken hoe dit ertoe kan leiden dat onderzoek niet goed
repliceerbaar is. Stel: een onderzoek laat zien dat het eten van cacaobonen op dagelijkse
basis ervoor zorgt dat je je beter voelt. Dit is een aansprekend onderzoek wat aantrekkelijk is
om te publiceren. Stel dat daarna een replicatieonderzoek wordt uitgevoerd dat geen
effecten van het eten van cacaobonen laat zien. Als er sprake is van publication bias, dan is
het veel lastiger om dit replicatieonderzoek, dat geen effecten laat zien, te publiceren dan het
oorspronkelijke onderzoek, dat wel effecten laat zien. Het gevolg hiervan is dat het effect van
het eten van cacaobonen robuuster lijkt dan het in werkelijkheid is. Dit heeft de
replicatiecrisis in de hand gewerkt omdat – toen er meer aandacht kwam voor
replicatieonderzoek – bleek dat effecten in de psychologische wetenschap en de
onderwijswetenschappen toch niet zo robuust waren als aanvankelijk gedacht.
Het fingeren of falsificeren van data is een groot vergrijp. Bij dubieuze onderzoekspraktijken
gaat het meestal om kleinere zaken zoals:
het selectief rapporteren van variabelen of condities in een studie; bijvoorbeeld alleen
de variabelen of condities die het gewenste effect laten zien
flexibiliteit bij de data-analyse; op basis van de uitkomsten van de data-analyse
besluiten om wel of niet een extra variabele in de analyse te betrekken of om
bepaalde afwijkende scores wel of niet in de dataset te laten
selectiviteit of flexibiliteit bij het opstellen van de hypotheses; op basis van de
uitkomsten van het onderzoek bepaalde hypotheses achterwege laten of achteraf
aanpassen zodat deze beter aansluiten bij de gevonden resultaten
flexibiliteit bij de dataverzameling; op basis van de resultaten besluiten om extra data
te verzamelen – omdat voorlopige data-analyse nog niet de gewenste effecten laat
zien – of juist eerder te stoppen met de dataverzameling – omdat voorlopige data-
analyse al het gewenste effect laat zien.
Vraag 1.4
Bij dubieuze onderzoekspraktijken beïnvloeden de gewenste uitkomsten van het
onderzoek, al dan niet bewust, de methode, analyse en rapportage van het onderzoek.
Door deze flexibiliteit en/of selectiviteit zal het onderzoek vaker in een effect (van het een
of ander) resulteren. Bij replicatieonderzoek, waarbij voorafgaand aan de replicatiepoging
duidelijk wordt vastgelegd hoe het onderzoek zal worden opgezet en hoe dit zal worden
geanalyseerd, wordt deze flexibiliteit en selectiviteit in methode, analyse en rapportage
, van het onderzoek tegengegaan. Regelmatig zal dan blijken dat het originele onderzoek
niet gerepliceerd kan worden.
Operationalisaties
Na het bestuderen van deze studietaak kun je
beschrijven wat variabelen zijn en welke functies ze kunnen hebben
beschrijven wat constructen zijn
beschrijven wat het verschil is tussen variabelen en constructen
beschrijven wat operationalisaties zijn
beschrijven wat meetinstrumenten zijn
beschrijven wat manipulaties zijn
beschrijven wat datapunten en -reeksen zijn
uitleggen hoe variabelen, operationalisaties, meetinstrumenten en manipulaties zich tot
elkaar verhouden
uitleggen wat een meetmodel is en hoe deze eruit ziet.
Variabelen
Als je onderzoek wilt uitvoeren, moet je eerst bepalen welke variabelen je precies gaat
meten. Een variabele wordt gedefinieerd als iets dat varieert, of zou kunnen variëren.
Psychologische variabelen of constructen
Het meten van psychologische variabelen is ingewikkelder omdat deze niet direct
observeerbaar zijn. Een psychologische variabele zoals extraversie kun je niet zomaar
ergens uit aflezen. Hiermee hangt samen dat psychologische variabelen geen eenduidige
definities hebben. Er bestaat niet één allesomvattende definitie van extraversie die
eenduidig beschrijft wat extraversie is en daarmee ook meteen uitsluit wat extraversie niet
is.
Een ander lastig punt is dat er voor psychologische begrippen zoals extraversie geen
algemeen gebruikte ‘eenheid’ is om deze variabelen in te meten (in tegenstelling tot
bijvoorbeeld ‘aantal cacaobonen’ en ‘aantal jaren en/of maanden’ voor leeftijd).
Extraversie wordt niet gemeten in aantallen ‘extraversies’ of ‘extraversiepunten’.
Intelligentie, standaard gemeten in IQ-punten, is een uitzondering.
Soms wordt de term psychologische constructen gebruikt. Dit zijn psychologische variabelen
waarbij de definitie is afgeleid vanuit theorie en waarbij die definitie specificeert wat wel en
wat niet tot de variabele behoort. Extraversie is bijvoorbeeld een psychologisch construct
omdat de definitie hiervan gebaseerd is op theorie, net zoals depressie, leervaardigheid etc.
Operationalisaties
Om psychologische constructen te meten, worden operationalisaties gebruikt.
Operationalisaties van een variabele maken het construct concreet en
tastbaar. Operationalisaties vormen de vertaling van de definitie van het theoretische
construct naar een meetinstrument of manipulatie.
Meetinstrumenten
Er zijn twee soorten operationalisaties: meetinstrumenten en manipulaties. De Need for
Cognition Scale is een voorbeeld van een meetinstrument. De bedoeling van een
meetinstrument is om op consistente wijze een variabele (zoals de mate van extraversie
of neiging tot nadenken) te kwantificeren, oftewel te representeren in een datareeks van
getallen. Het is hierbij uitdrukkelijk niet de bedoeling dat er iets wordt beïnvloed.
In dit soort meetinstrumenten worden constructen gemeten met verschillende items (ook
wel stimuli genoemd), die samen het betreffende construct omvatten. Aan reacties op die
items worden op een consistente manier getallen toegekend. Elke reactie op een item
Thema 1 Basisconcepten
Wetenschappelijk onderzoek
Na het bestuderen van deze studietaak kun je
beschrijven waarom wetenschap wordt beoefend
beschrijven wat de empirische onderzoekscyclus is en uit welke fasen deze bestaat
beschrijven wat dubieuze onderzoekspraktijken zijn.
Wetenschap
Om te weten wat werkt en welke effecten een bepaalde interventie heeft, is wetenschappelijk
onderzoek nodig.
Onderzoekscyclus
Vraag 1.1
In de empirische onderzoekscyclus zijn vijf fasen te onderscheiden.
onderzoeksvraag formuleren
studie ontwerpen
data verzamelen
data analyseren
rapporteren
In de praktijk lopen deze vaak een beetje door elkaar. Een mogelijke uitwerking van deze
fasen voor het onderzoek naar statistiekangst, is als volgt.
onderzoeksvraag formuleren: zorgt een statistiekcursus waarin studenten op
toegepaste wijze stapsgewijs kennismaken met de statistische begrippen, zonder al
te veel gebruik te maken van statistische formules, voor minder statistiekangst in
vergelijking met een traditionele statistiekcursus?
studie ontwerpen: vergelijking van twee groepen (toegepaste statistiekcursus versus
traditionele statistiekcursus). Er wordt een voor- en nameting uitgevoerd op
statistiekkennis en statistiekangst. Om te weten hoeveel data verzameld moeten
worden, worden poweranalyses gedaan. De studieopzet, inclusief de methode van
dataverzameling en de analyses die uitgevoerd zullen worden, worden vastgelegd
(preregistratie).
data verzamelen: volgens het plan zoals gepreregistreerd
data analyseren: volgens het plan zoals gepreregistreerd
rapporteren: beschrijven van studie en uitkomsten, wat vervolgens weer nieuwe
onderzoeksvragen zal oproepen
Het fingeren of falsificeren van data is een groot vergrijp. Bij dubieuze
onderzoekspraktijken gaat het meestal om kleinere zaken zoals:
het selectief rapporteren van variabelen of condities in een studie; bijvoorbeeld alleen
de variabelen of condities die het gewenste effect laten zien
flexibiliteit bij de data-analyse; op basis van de uitkomsten van de data-analyse
besluiten om wel of niet een extra variabele in de analyse te betrekken of om
bepaalde afwijkende scores wel of niet in de dataset te laten
selectiviteit of flexibiliteit bij het opstellen van de hypotheses; op basis van de
uitkomsten van het onderzoek bepaalde hypotheses achterwege laten of achteraf
aanpassen zodat deze beter aansluiten bij de gevonden resultaten
flexibiliteit bij de dataverzameling; op basis van de resultaten besluiten om extra data
te verzamelen – omdat voorlopige data-analyse nog niet de gewenste effecten laat
zien – of juist eerder te stoppen met de dataverzameling – omdat voorlopige data-
analyse al het gewenste effect laat zien.
,Full disclosure houdt in dat volledige openheid wordt gegeven over het
onderzoeksproces.
Verspreiding van uitkomsten van wetenschappelijk onderzoek
Vanaf oudsher communiceren wetenschappers in de vorm van
wetenschappelijke artikelen die via wetenschappelijk journals (tijdschriften) worden
verspreid. De artikelen worden eerst beoordeeld door andere wetenschappers, zogenaamde
peer reviewers, voordat ze geaccepteerd worden voor publicatie. Wetenschappelijke
artikelen en journals zijn bijna allemaal Engelstalig. Open Access-tijdschriften zijn voor
iedereen gratis toegankelijk.
Hernieuwde aandacht voor goed onderzoek
Vraag 1.3
Publication bias verwijst naar het fenomeen dat het gemakkelijker is om onderzoek te
publiceren dat wel een effect laat zien dan onderzoek dat geen effect laat zien. Dit komt
omdat journals onderzoek dat effecten aantoont interessanter vinden om te publiceren dan
onderzoek dat geen effecten laat zien. Onderzoekers zijn zich hiervan bewust en zijn
vervolgens geneigd om artikelen die geen effecten laten zien niet eens op te sturen naar een
tijdschrift ter publicatie. Publication bias wordt ook wel het file-drawer-probleem genoemd
omdat onderzoek dat geen effecten laat zien in de kast blijft liggen.
Een voorbeeld kan verduidelijken hoe dit ertoe kan leiden dat onderzoek niet goed
repliceerbaar is. Stel: een onderzoek laat zien dat het eten van cacaobonen op dagelijkse
basis ervoor zorgt dat je je beter voelt. Dit is een aansprekend onderzoek wat aantrekkelijk is
om te publiceren. Stel dat daarna een replicatieonderzoek wordt uitgevoerd dat geen
effecten van het eten van cacaobonen laat zien. Als er sprake is van publication bias, dan is
het veel lastiger om dit replicatieonderzoek, dat geen effecten laat zien, te publiceren dan het
oorspronkelijke onderzoek, dat wel effecten laat zien. Het gevolg hiervan is dat het effect van
het eten van cacaobonen robuuster lijkt dan het in werkelijkheid is. Dit heeft de
replicatiecrisis in de hand gewerkt omdat – toen er meer aandacht kwam voor
replicatieonderzoek – bleek dat effecten in de psychologische wetenschap en de
onderwijswetenschappen toch niet zo robuust waren als aanvankelijk gedacht.
Het fingeren of falsificeren van data is een groot vergrijp. Bij dubieuze onderzoekspraktijken
gaat het meestal om kleinere zaken zoals:
het selectief rapporteren van variabelen of condities in een studie; bijvoorbeeld alleen
de variabelen of condities die het gewenste effect laten zien
flexibiliteit bij de data-analyse; op basis van de uitkomsten van de data-analyse
besluiten om wel of niet een extra variabele in de analyse te betrekken of om
bepaalde afwijkende scores wel of niet in de dataset te laten
selectiviteit of flexibiliteit bij het opstellen van de hypotheses; op basis van de
uitkomsten van het onderzoek bepaalde hypotheses achterwege laten of achteraf
aanpassen zodat deze beter aansluiten bij de gevonden resultaten
flexibiliteit bij de dataverzameling; op basis van de resultaten besluiten om extra data
te verzamelen – omdat voorlopige data-analyse nog niet de gewenste effecten laat
zien – of juist eerder te stoppen met de dataverzameling – omdat voorlopige data-
analyse al het gewenste effect laat zien.
Vraag 1.4
Bij dubieuze onderzoekspraktijken beïnvloeden de gewenste uitkomsten van het
onderzoek, al dan niet bewust, de methode, analyse en rapportage van het onderzoek.
Door deze flexibiliteit en/of selectiviteit zal het onderzoek vaker in een effect (van het een
of ander) resulteren. Bij replicatieonderzoek, waarbij voorafgaand aan de replicatiepoging
duidelijk wordt vastgelegd hoe het onderzoek zal worden opgezet en hoe dit zal worden
geanalyseerd, wordt deze flexibiliteit en selectiviteit in methode, analyse en rapportage
, van het onderzoek tegengegaan. Regelmatig zal dan blijken dat het originele onderzoek
niet gerepliceerd kan worden.
Operationalisaties
Na het bestuderen van deze studietaak kun je
beschrijven wat variabelen zijn en welke functies ze kunnen hebben
beschrijven wat constructen zijn
beschrijven wat het verschil is tussen variabelen en constructen
beschrijven wat operationalisaties zijn
beschrijven wat meetinstrumenten zijn
beschrijven wat manipulaties zijn
beschrijven wat datapunten en -reeksen zijn
uitleggen hoe variabelen, operationalisaties, meetinstrumenten en manipulaties zich tot
elkaar verhouden
uitleggen wat een meetmodel is en hoe deze eruit ziet.
Variabelen
Als je onderzoek wilt uitvoeren, moet je eerst bepalen welke variabelen je precies gaat
meten. Een variabele wordt gedefinieerd als iets dat varieert, of zou kunnen variëren.
Psychologische variabelen of constructen
Het meten van psychologische variabelen is ingewikkelder omdat deze niet direct
observeerbaar zijn. Een psychologische variabele zoals extraversie kun je niet zomaar
ergens uit aflezen. Hiermee hangt samen dat psychologische variabelen geen eenduidige
definities hebben. Er bestaat niet één allesomvattende definitie van extraversie die
eenduidig beschrijft wat extraversie is en daarmee ook meteen uitsluit wat extraversie niet
is.
Een ander lastig punt is dat er voor psychologische begrippen zoals extraversie geen
algemeen gebruikte ‘eenheid’ is om deze variabelen in te meten (in tegenstelling tot
bijvoorbeeld ‘aantal cacaobonen’ en ‘aantal jaren en/of maanden’ voor leeftijd).
Extraversie wordt niet gemeten in aantallen ‘extraversies’ of ‘extraversiepunten’.
Intelligentie, standaard gemeten in IQ-punten, is een uitzondering.
Soms wordt de term psychologische constructen gebruikt. Dit zijn psychologische variabelen
waarbij de definitie is afgeleid vanuit theorie en waarbij die definitie specificeert wat wel en
wat niet tot de variabele behoort. Extraversie is bijvoorbeeld een psychologisch construct
omdat de definitie hiervan gebaseerd is op theorie, net zoals depressie, leervaardigheid etc.
Operationalisaties
Om psychologische constructen te meten, worden operationalisaties gebruikt.
Operationalisaties van een variabele maken het construct concreet en
tastbaar. Operationalisaties vormen de vertaling van de definitie van het theoretische
construct naar een meetinstrument of manipulatie.
Meetinstrumenten
Er zijn twee soorten operationalisaties: meetinstrumenten en manipulaties. De Need for
Cognition Scale is een voorbeeld van een meetinstrument. De bedoeling van een
meetinstrument is om op consistente wijze een variabele (zoals de mate van extraversie
of neiging tot nadenken) te kwantificeren, oftewel te representeren in een datareeks van
getallen. Het is hierbij uitdrukkelijk niet de bedoeling dat er iets wordt beïnvloed.
In dit soort meetinstrumenten worden constructen gemeten met verschillende items (ook
wel stimuli genoemd), die samen het betreffende construct omvatten. Aan reacties op die
items worden op een consistente manier getallen toegekend. Elke reactie op een item
