STATISTIEK 1: INLEIDING ONDERZOEK
Thema 1: basisconcepten
1.1: wetenschappelijk onderzoek
Deel vd menselijke geest die onze zintuiglijke informatie verwerkt, is
gevoelig voor verstoringen in informatieverwerking. Daarom zijn er
systematische methoden van informatieverzameling en –verwerking
nodig.
Wetenschap: objectieve (zonder vooringenomenheid) en systematische
(op zorgvuldige manier onderzoeken) methode om te leren over de
werkelijkheid (na dit onderzoek weten we iets meer over de werkelijkheid
en de populatie.
Empirische onderzoekscyclus: systematisch, zich vaak iteratief
(herhalend) proces van wetenschappelijk onderzoek, bestaande uit vijf
fasen:
1. onderzoeksvraag formuleren
2. studie ontwerpen
3. data verzamelen
4. data analyseren
5. rapporteren -> hieruit komen weer nieuwe onderzoeksvragen voort
in de praktijk lopen deze fases enigszins door elkaar heen (bijv tijdens
ontwerpfase achterkomen dat de onderzoeksvraag moet worden
aangepast).
eerste internationale wetenschappelijke tijdschrift: 6 maart 1665,
olv Henry Oldenburg, Philosophical Transactions: giving some accompt of
the present undertakings, studies and labours of the ingenious in many
considerable parts of the world
peer reviewers: voor ze geaccepteerd worden voor publicatie, worden
wetenschappelijke artikelen eerst beoordeeld door andere
wetenschappers
open access-tijdschriften: tijdschriften met wetenschappelijke
publicatie die voor iedereen gratis toegankelijk zijn. Hiermee komen ze
tegemoet aan het principe dat wetenschappelijk onderzoek en de
resultaten daarvan voor iedereen transparant en toegankelijk moeten zijn.
Publication bias: neiging om alleen studies te publiceren die effecten
laten zien.
Replicatiecrisis: vaststelling dat veel onderzoek in de sociale
wetenschappen bij replicatie andere uitkomsten oplevert. Dat veel
processen die in sociale wetenschappen voor waar worden aangenomen
niet repliceerbaar zijn komt door
, 1. publication bias: de onderzoeken zonder gewenste resultaten blijven
buiten zicht
2. journals hebben weinig interesse in het publiceren van
replicatiestudies, waardoor deze dus minder worden uitgevoerd
3. dubieuze onderzoekspraktijken (bijv underpowered = te kleine
steekproefomvang)
preregistratie: het vastleggen van een onderzoeksvraag,
onderzoeksopzet, methode van dataverzameling en data-analyse voordat
met dataverzameling en data-analyse wordt gestart. Op deze manier
wordt flexibiliteit bij dataverzameling, data-analyse en/of rapportage
vermeden. Indienen en dan geaccepteerd worden door een journal ->
onderzoek wordt gepresenteerd ongeacht of het de verwachte effecten
laat zien of niet, mits het onderzoek is uitgevoerd zoals voorgesteld in
preregistratie. (verkleining v publication bias)
full disclosure: volledige openheid over onderzoeksproces. Onderzoekers
publiceren bij hun onderzoek alle informatie mee die nodig is om het
onderzoek te kunnen repliceren. Denk aan data en analysescripts voor
statistische analyses om de analyses te kunnen herhalen.
Analysescripts: bestand, meestal in platte tekst, dat een reeks
commando’s voor statische analyses bevat, al dan niet in combinatie met
commentaren om deze toe te lichten. Voorbeelden zijn R-scripts voor R en
syntax voor SPSS.
Dubieuze (questionable) onderzoekpraktijken (QRP): de
dataverzameling, -analyse en –rapportage is gebaseerd op het verkrijgen
van gewenste resultaten ipv op het zuiver uitvoeren van het onderzoek.
Zuiver onderzoek is gericht op het leren over de werkelijkheid, maar bij
dubieuze praktijken staat dit niet meer centraal, maar wordt het
onderzoek (onbewust) beïnvloed door het toewerken naar gewenste
resultaten.
Voorbeelden van kleine QRP-vergrijpen
1. selectiviteit bij rapporteren (alleen variabelen die het gewenste
effect laten zien)
2. flexibiliteit bij data-analyse (afwijkende score wel of niet in de
dataset te laten)
3. selectiviteit / flexibiliteit bij opstellen van hypotheses (bijv achteraf
aanpassen zodat deze aansluiten bij onderzoeksresultaten
4. flexibiliteit bij dataverzameling: stoppen bij gewenst resultaat,
langer doorgaan bij ongewenst resultaat
1.2: operationalisaties
variabele: iets dat kan variëren of zou kunnen variëren. In principe kun je
alles meten wat mogelijk varieert, maar dat is in de praktijk niet haalbaar
of zinnig. Gegeven een bepaalde onderzoeksvraag is het aantal variabelen
waarin een onderzoeker daadwerkelijk geïnteresseerd is, beperkt.
,Psychologische variabelen: zijn moeilijker te meten, omdat ze geen
harde definities hebben zoals bijvoorbeeld leeftijd, wat wel objectief na te
gaan is. Daarnaast hebben veel psychologische begrippen, zoals
extraversie, geen ‘eenheid’ om de variabele mee te meten. Intelligentie,
gemeten in IQ, is hierop een uitzondering.
Construct: naam en definitie van een variabele in een theorie. Dus een
psychologische variabele waarvan de definitie is afgeleid van theorie en
waarbij die definitie specificeert wat wel en wat niet tot de variabele
behoort. Hoewel het dus om theorieën gaat, zijn ze wel heel bruikbaar,
omdat ze namelijk andere variabelen die wel direct observeerbaar zijn
kunnen voorspellen of beïnvloeden.
Operationalisatie: maken het construct concreet en tastbaar. Het is de
vertaling van de definitie van het theoretische construct naar een
meetinstrument of manipulatie. Bij een ideale vertaling zijn de
datareeksen sterk indicatief voor hoe mensen scoren op de onderzochte
psychologische constructen. (bijv bij intelligentietest zou de schatting
ervan in het ideale geval exact de ware intelligentie van de deelnemers
weergeven)
twee soorten operationalisaties:
1. meetinstrumenten
2. manipulaties
meetinstrumenten: op consistente wijze een variabele te kwantificeren
(representeren in een datareeks van getallen). Niet de bedoeling dat iets
wordt beïnvloed. Constructen worden met items (of stimuli) samen
gemeten. Elke reactie op een item krijgt een score en die scores worden
gemiddeld of opgeteld om tot een totaalscore voor die variabele te komen.
Vb item: vraag in vragenlijst, of computertaakjes. Meetwaarden:
mogelijk haalbare waarden bij een operationalisatie, zoals een score
tussen 1-7 op een vragenlijst bijv.
datapunten: resultaat van onderzoek, bijv uitgedrukt in getallen
variabele: reeks datapunten van hetzelfde meetinstrument. Variabele is
dus zowel de theoretische variabele (zoals extraversie) als de reeks
datapunten die indicatief is voor de waarde van die theoretische variabele.
Manipulaties: door manipuleren van variabelen in experimenteel
onderzoek kan onderzocht worden of er een causaal verband bestaat
tussen twee variabelen, oftewel, of een verandering in de ene variabele
een verandering in de andere variabele veroorzaakt.
Verschil meetinstrument en manipulatie: meetinstrumenten zijn
ontwikkeld om een specifiek construct te meten, manipulaties zijn
ontwikkeld om specifiek construct (of combinatie constructen) te
beïnvloeden. Daarnaast bestaan meetinstrumenten vaak uit meerdere
items en worden bij manipulaties de deelnemers vaak aan slechts één
stimulus blootgesteld.
, Resultaat operationalisaties: resulteren per onderzoekseenheid in een
datapunt per variabele en binnen elk onderzoek is er een datareeks per
variabele.
Meetmodel: visualiseert hoe een variabele via stimuli of items wordt
geoperationaliseerd. Worden doorgaans alleen opgesteld voor
meetinstrumenten. Bij manipulaties worden deelnemers vaak aan slechts
één stimulus blootgesteld, waardoor het meetmodel dan uit slechts één
indicator (want één stimulus) bestaat.
Reflectief meetmodel: soort meetmodel waarbij er lijnen van het
construct, ook wel de latente variabele genoemd, naar de indicatoren
loopt, het construct bepaalt hoe op de indicatoren wordt gescoord.
Reflectief meetmodel is niet van toepassing op indexvariabelen (zoals
sociaaleconomische status), waarbij inkomen, postcode bij elkaar worden
opgeteld. Bij meetmodellen voor manipulaties loopt de pijl in
tegenovergestelde richting, van indicator naar construct aangezien de
stimulus wordt aangeboden om het construct te beïnvloeden.
Indicator: variabele die rechtstreeks wordt gemeten bij
onderzoekseenheden (iets waar data over verzameld wordt, vaak
mensen). Antwoorden op vragen zijn voorbeelden van indicatoren. In een
meetmodel worden deze in rechthoeken weergegeven. Constructen, zoals
bijv extraversie, worden in ovalen weergegeven.
Voorbeeld verschil indicatoren en constructen in Big Five
personalities
Thema 1: basisconcepten
1.1: wetenschappelijk onderzoek
Deel vd menselijke geest die onze zintuiglijke informatie verwerkt, is
gevoelig voor verstoringen in informatieverwerking. Daarom zijn er
systematische methoden van informatieverzameling en –verwerking
nodig.
Wetenschap: objectieve (zonder vooringenomenheid) en systematische
(op zorgvuldige manier onderzoeken) methode om te leren over de
werkelijkheid (na dit onderzoek weten we iets meer over de werkelijkheid
en de populatie.
Empirische onderzoekscyclus: systematisch, zich vaak iteratief
(herhalend) proces van wetenschappelijk onderzoek, bestaande uit vijf
fasen:
1. onderzoeksvraag formuleren
2. studie ontwerpen
3. data verzamelen
4. data analyseren
5. rapporteren -> hieruit komen weer nieuwe onderzoeksvragen voort
in de praktijk lopen deze fases enigszins door elkaar heen (bijv tijdens
ontwerpfase achterkomen dat de onderzoeksvraag moet worden
aangepast).
eerste internationale wetenschappelijke tijdschrift: 6 maart 1665,
olv Henry Oldenburg, Philosophical Transactions: giving some accompt of
the present undertakings, studies and labours of the ingenious in many
considerable parts of the world
peer reviewers: voor ze geaccepteerd worden voor publicatie, worden
wetenschappelijke artikelen eerst beoordeeld door andere
wetenschappers
open access-tijdschriften: tijdschriften met wetenschappelijke
publicatie die voor iedereen gratis toegankelijk zijn. Hiermee komen ze
tegemoet aan het principe dat wetenschappelijk onderzoek en de
resultaten daarvan voor iedereen transparant en toegankelijk moeten zijn.
Publication bias: neiging om alleen studies te publiceren die effecten
laten zien.
Replicatiecrisis: vaststelling dat veel onderzoek in de sociale
wetenschappen bij replicatie andere uitkomsten oplevert. Dat veel
processen die in sociale wetenschappen voor waar worden aangenomen
niet repliceerbaar zijn komt door
, 1. publication bias: de onderzoeken zonder gewenste resultaten blijven
buiten zicht
2. journals hebben weinig interesse in het publiceren van
replicatiestudies, waardoor deze dus minder worden uitgevoerd
3. dubieuze onderzoekspraktijken (bijv underpowered = te kleine
steekproefomvang)
preregistratie: het vastleggen van een onderzoeksvraag,
onderzoeksopzet, methode van dataverzameling en data-analyse voordat
met dataverzameling en data-analyse wordt gestart. Op deze manier
wordt flexibiliteit bij dataverzameling, data-analyse en/of rapportage
vermeden. Indienen en dan geaccepteerd worden door een journal ->
onderzoek wordt gepresenteerd ongeacht of het de verwachte effecten
laat zien of niet, mits het onderzoek is uitgevoerd zoals voorgesteld in
preregistratie. (verkleining v publication bias)
full disclosure: volledige openheid over onderzoeksproces. Onderzoekers
publiceren bij hun onderzoek alle informatie mee die nodig is om het
onderzoek te kunnen repliceren. Denk aan data en analysescripts voor
statistische analyses om de analyses te kunnen herhalen.
Analysescripts: bestand, meestal in platte tekst, dat een reeks
commando’s voor statische analyses bevat, al dan niet in combinatie met
commentaren om deze toe te lichten. Voorbeelden zijn R-scripts voor R en
syntax voor SPSS.
Dubieuze (questionable) onderzoekpraktijken (QRP): de
dataverzameling, -analyse en –rapportage is gebaseerd op het verkrijgen
van gewenste resultaten ipv op het zuiver uitvoeren van het onderzoek.
Zuiver onderzoek is gericht op het leren over de werkelijkheid, maar bij
dubieuze praktijken staat dit niet meer centraal, maar wordt het
onderzoek (onbewust) beïnvloed door het toewerken naar gewenste
resultaten.
Voorbeelden van kleine QRP-vergrijpen
1. selectiviteit bij rapporteren (alleen variabelen die het gewenste
effect laten zien)
2. flexibiliteit bij data-analyse (afwijkende score wel of niet in de
dataset te laten)
3. selectiviteit / flexibiliteit bij opstellen van hypotheses (bijv achteraf
aanpassen zodat deze aansluiten bij onderzoeksresultaten
4. flexibiliteit bij dataverzameling: stoppen bij gewenst resultaat,
langer doorgaan bij ongewenst resultaat
1.2: operationalisaties
variabele: iets dat kan variëren of zou kunnen variëren. In principe kun je
alles meten wat mogelijk varieert, maar dat is in de praktijk niet haalbaar
of zinnig. Gegeven een bepaalde onderzoeksvraag is het aantal variabelen
waarin een onderzoeker daadwerkelijk geïnteresseerd is, beperkt.
,Psychologische variabelen: zijn moeilijker te meten, omdat ze geen
harde definities hebben zoals bijvoorbeeld leeftijd, wat wel objectief na te
gaan is. Daarnaast hebben veel psychologische begrippen, zoals
extraversie, geen ‘eenheid’ om de variabele mee te meten. Intelligentie,
gemeten in IQ, is hierop een uitzondering.
Construct: naam en definitie van een variabele in een theorie. Dus een
psychologische variabele waarvan de definitie is afgeleid van theorie en
waarbij die definitie specificeert wat wel en wat niet tot de variabele
behoort. Hoewel het dus om theorieën gaat, zijn ze wel heel bruikbaar,
omdat ze namelijk andere variabelen die wel direct observeerbaar zijn
kunnen voorspellen of beïnvloeden.
Operationalisatie: maken het construct concreet en tastbaar. Het is de
vertaling van de definitie van het theoretische construct naar een
meetinstrument of manipulatie. Bij een ideale vertaling zijn de
datareeksen sterk indicatief voor hoe mensen scoren op de onderzochte
psychologische constructen. (bijv bij intelligentietest zou de schatting
ervan in het ideale geval exact de ware intelligentie van de deelnemers
weergeven)
twee soorten operationalisaties:
1. meetinstrumenten
2. manipulaties
meetinstrumenten: op consistente wijze een variabele te kwantificeren
(representeren in een datareeks van getallen). Niet de bedoeling dat iets
wordt beïnvloed. Constructen worden met items (of stimuli) samen
gemeten. Elke reactie op een item krijgt een score en die scores worden
gemiddeld of opgeteld om tot een totaalscore voor die variabele te komen.
Vb item: vraag in vragenlijst, of computertaakjes. Meetwaarden:
mogelijk haalbare waarden bij een operationalisatie, zoals een score
tussen 1-7 op een vragenlijst bijv.
datapunten: resultaat van onderzoek, bijv uitgedrukt in getallen
variabele: reeks datapunten van hetzelfde meetinstrument. Variabele is
dus zowel de theoretische variabele (zoals extraversie) als de reeks
datapunten die indicatief is voor de waarde van die theoretische variabele.
Manipulaties: door manipuleren van variabelen in experimenteel
onderzoek kan onderzocht worden of er een causaal verband bestaat
tussen twee variabelen, oftewel, of een verandering in de ene variabele
een verandering in de andere variabele veroorzaakt.
Verschil meetinstrument en manipulatie: meetinstrumenten zijn
ontwikkeld om een specifiek construct te meten, manipulaties zijn
ontwikkeld om specifiek construct (of combinatie constructen) te
beïnvloeden. Daarnaast bestaan meetinstrumenten vaak uit meerdere
items en worden bij manipulaties de deelnemers vaak aan slechts één
stimulus blootgesteld.
, Resultaat operationalisaties: resulteren per onderzoekseenheid in een
datapunt per variabele en binnen elk onderzoek is er een datareeks per
variabele.
Meetmodel: visualiseert hoe een variabele via stimuli of items wordt
geoperationaliseerd. Worden doorgaans alleen opgesteld voor
meetinstrumenten. Bij manipulaties worden deelnemers vaak aan slechts
één stimulus blootgesteld, waardoor het meetmodel dan uit slechts één
indicator (want één stimulus) bestaat.
Reflectief meetmodel: soort meetmodel waarbij er lijnen van het
construct, ook wel de latente variabele genoemd, naar de indicatoren
loopt, het construct bepaalt hoe op de indicatoren wordt gescoord.
Reflectief meetmodel is niet van toepassing op indexvariabelen (zoals
sociaaleconomische status), waarbij inkomen, postcode bij elkaar worden
opgeteld. Bij meetmodellen voor manipulaties loopt de pijl in
tegenovergestelde richting, van indicator naar construct aangezien de
stimulus wordt aangeboden om het construct te beïnvloeden.
Indicator: variabele die rechtstreeks wordt gemeten bij
onderzoekseenheden (iets waar data over verzameld wordt, vaak
mensen). Antwoorden op vragen zijn voorbeelden van indicatoren. In een
meetmodel worden deze in rechthoeken weergegeven. Constructen, zoals
bijv extraversie, worden in ovalen weergegeven.
Voorbeeld verschil indicatoren en constructen in Big Five
personalities
