How to Design and Report Experiments | Field & Hole
Hoofdstuk 1 | Before You Begin
Er zijn grofweg twee manieren van onderzoeken:
1. Correlationele / observerende methoden. Het observeren van iets wat op natuurlijke
wijze gebeurd in de echte wereld.
2. Experimenten. Het manipuleren van een aspect in de omgeving en het observeren
van het effect.
De overeenkomsten van deze methoden zijn:
Empirisch. Beide methoden doen observaties om bewijs te verzamelen en meten op
zo’n wijze dat het onderzoek gerepliceerd kan worden.
Meting. Beide methoden doelen op het meten van datgene wat bestudeerd wordt.
Repliceerbaarheid. Beide methoden zorgen ervoor dat het onderzoek gerepliceerd
kan worden.
Objectiviteit. Hoewel objectiviteit een wetenschappelijk ideaal is, worden resultaten
altijd beïnvloed door de verwachtingen van de onderzoekers.
Het verschil tussen de methoden zit in het manipuleren van de variabelen.
1.1 Variables and Measurement
Variabelen hebben verschillende meetniveaus, namelijk:
Non-parametric.
o Nominaal. Hierbij is er geen relatie tussen de grootte van het nummer en
datgene wat wordt gemeten.
o Ordinaal. Hierbij kun je de scores op volgorde van laag naar hoog plaatsen,
maar je kunt niet zeggen hoe groot het verschil tussen iedere score is.
Parametric.
o Interval. Hierbij kun je wel uitspraken doen over de grootte van de verschillen
tussen scores.
o Ratio. Hierbij is ook nog sprake van een absoluut nulpunt.
Daarnaast kun je nog onderscheid maken tussen discrete variabelen (hier zijn slechts twee
antwoordmogelijkheden) en variabelen die gemeten kunnen worden op continue wijze
(oneindig veel antwoordmogelijkheden).
1.2 Experimental versus Correlational Research
Bij correlationele onderzoeken wordt de werkelijkheid niet gemanipuleerd. Dit is beter voor
de ecologische validiteit en het geeft een natuurlijke weergave van effecten.
Bij onderzoek gaat het vaak om het achterhalen van een causaal verband. Een causaal
verband is mogelijk als de volgende drie criteria worden behaald:
1. Oorzaak en effect doen zich vlak na elkaar voor in de tijd;
2. De oorzaak vindt in tijd voor het gevolg plaats;
3. Het effect vindt nooit plaats zonder de oorzaak.
,Er zijn twee redenen waardoor een relatie tussen variabelen niet causaal kan zijn:
1. The tertium quid. Er zijn externe factoren die beide variabelen verklaren (ook wel
confounds genoemd).
2. Direction of causality. Als het effect andersom is, van gevolg naar oorzaak.
Falsificatie houdt in dat het tegendeel bewezen moet worden, voordat je kan zeggen dat een
uitspraak niet waar is. Je probeert de hypothesen te ontkrachten.
Het testen van theorieën doe je op de volgende manieren:
Het isoleren van de oorzaak: controle condities. Dit doe je door alleen twee condities
te vergelijken, een waarbij de verwachte oorzaak aanwezig is en een waarbij de
verwachte oorzaak afwezig is. Deze laatste conditie wordt ook wel controleconditie
genoemd.
De tertium quid voorkomen door het controleren van andere factoren. Alle aspecten
van de experimentele condities moeten hetzelfde zijn, behalve datgene wat
gemanipuleerd wordt.
De tertium quid voorkomen door te randomiseren. Op basis van toeval mensen
toewijzen aan de experimentele groepen.
Het vergelijken van theorieën met statistiek. Je moet ervoor zorgen dat je een
uitspraak kunt doen met 95% betrouwbaarheid.
1.3 The Dynamic Nature of Scientific Method
Paradigma’s veranderen in de loop van de tijd. Er zijn drie stadia:
1. De Pre-paradigmatic stage. Een periode waarin verschillende Scholars of
communities het ergens niet over eens zijn.
2. De Normal science. Een periode waarin normale wetenschappelijke ontwikkelingen
binnen het paradigma plaatsvinden.
3. De Extraordinary science. Het paradigma verschuift naar een nieuw paradigma.
, Hoofdstuk 2 | Planning an experiment
2.1 What should I research: Finding out what’s been done?
Om tot een onderzoeksvraag te komen kun je de volgende stappen doorlopen:
1. Begin bij een breed onderwerp vanuit je eigen interesse.
2. Gebruik een tekstboek over dit brede onderwerp om tot een specifieker onderwerp
te komen.
3. Gebruik een gespecialiseerd boek over dit specifieke onderwerp om tot een bepaalde
theorie te komen.
4. Lees review articles voor een samenvatting van onderzoek van dit onderwerp.
Hiervoor kun je databases gebruiken.
5. Lees specifieke journals over het onderwerp om te ontdekken waar nog geen
onderzoek naar gedaan is.
2.2 How do I research my question?
Bij experimenten is de afhankelijke variabele altijd het effect en de onafhankelijke variabele
de oorzaak. De oorzaak (onafhankelijke variabele) wordt altijd gemanipuleerd. Iedere
manipulatie kan worden gezien als een ‘level’ van de onafhankelijke variabele. De meest
basic experimenten zullen twee levels hebben (controle vergeleken met experimentele
variabele). Er zijn ook meer complexe experimenten waarbij meer levels zijn, bijvoorbeeld:
positieve informatie, negatieve informatie, geen informatie. Er moet altijd voor gezorgd
worden dan de levels zo veel mogelijk op elkaar lijken wat betreft overige factoren.
Daarnaast is het van belang om voor ieder level verschillende elementen te testen, om uit te
sluiten dat er effecten ontstaan als gevolg van bijvoorbeeld het gekozen onderwerp. Zo is
het bijvoorbeeld verstandig om voor positieve en negatieve informatie verschillende
berichtonderwerpen te testen. Dit wordt counterbalancing genoemd.
Validiteit
Bij het gebruiken van self-report metingen is het van belang om rekening te houden met de
validiteit, zoals:
1. Content validiteit. Dit is de mate waarin je items representatief zijn. Vragen moeten
de gehele breedte van het construct meten.
2. Criteria validiteit. Dit is of de vragenlijst datgene meet wat het claimt te meten.
3. Factoriale validiteit. Je moet een factoranalyse doen om te kijken of je verschillende
factoren samen betekenisvol zijn.
Betrouwbaarheid
Naast valide moet je self-report lijst ook betrouwbaar zijn. Als het meetinstrument
betrouwbaar is, kunnen dezelfde resultaten worden gemeten onder dezelfde
omstandigheden. De vragenlijst moet eerst valide zijn om ook betrouwbaar te zijn. De meest
simpele statistische techniek om voor betrouwbaarheid te zorgen is de split-half methode.
Hierbij wordt de vragenlijst random in twee groepen gesplitst. Je kunt dan kijken of de score
van een persoon op de ene helft van het construct hetzelfde is als op de andere helft. Om te
meten of een construct daadwerkelijk betrouwbaar is kun je Cronbach’s alpha gebruiken. Als
deze 0.8 is, is dit acceptabel.
Hoofdstuk 1 | Before You Begin
Er zijn grofweg twee manieren van onderzoeken:
1. Correlationele / observerende methoden. Het observeren van iets wat op natuurlijke
wijze gebeurd in de echte wereld.
2. Experimenten. Het manipuleren van een aspect in de omgeving en het observeren
van het effect.
De overeenkomsten van deze methoden zijn:
Empirisch. Beide methoden doen observaties om bewijs te verzamelen en meten op
zo’n wijze dat het onderzoek gerepliceerd kan worden.
Meting. Beide methoden doelen op het meten van datgene wat bestudeerd wordt.
Repliceerbaarheid. Beide methoden zorgen ervoor dat het onderzoek gerepliceerd
kan worden.
Objectiviteit. Hoewel objectiviteit een wetenschappelijk ideaal is, worden resultaten
altijd beïnvloed door de verwachtingen van de onderzoekers.
Het verschil tussen de methoden zit in het manipuleren van de variabelen.
1.1 Variables and Measurement
Variabelen hebben verschillende meetniveaus, namelijk:
Non-parametric.
o Nominaal. Hierbij is er geen relatie tussen de grootte van het nummer en
datgene wat wordt gemeten.
o Ordinaal. Hierbij kun je de scores op volgorde van laag naar hoog plaatsen,
maar je kunt niet zeggen hoe groot het verschil tussen iedere score is.
Parametric.
o Interval. Hierbij kun je wel uitspraken doen over de grootte van de verschillen
tussen scores.
o Ratio. Hierbij is ook nog sprake van een absoluut nulpunt.
Daarnaast kun je nog onderscheid maken tussen discrete variabelen (hier zijn slechts twee
antwoordmogelijkheden) en variabelen die gemeten kunnen worden op continue wijze
(oneindig veel antwoordmogelijkheden).
1.2 Experimental versus Correlational Research
Bij correlationele onderzoeken wordt de werkelijkheid niet gemanipuleerd. Dit is beter voor
de ecologische validiteit en het geeft een natuurlijke weergave van effecten.
Bij onderzoek gaat het vaak om het achterhalen van een causaal verband. Een causaal
verband is mogelijk als de volgende drie criteria worden behaald:
1. Oorzaak en effect doen zich vlak na elkaar voor in de tijd;
2. De oorzaak vindt in tijd voor het gevolg plaats;
3. Het effect vindt nooit plaats zonder de oorzaak.
,Er zijn twee redenen waardoor een relatie tussen variabelen niet causaal kan zijn:
1. The tertium quid. Er zijn externe factoren die beide variabelen verklaren (ook wel
confounds genoemd).
2. Direction of causality. Als het effect andersom is, van gevolg naar oorzaak.
Falsificatie houdt in dat het tegendeel bewezen moet worden, voordat je kan zeggen dat een
uitspraak niet waar is. Je probeert de hypothesen te ontkrachten.
Het testen van theorieën doe je op de volgende manieren:
Het isoleren van de oorzaak: controle condities. Dit doe je door alleen twee condities
te vergelijken, een waarbij de verwachte oorzaak aanwezig is en een waarbij de
verwachte oorzaak afwezig is. Deze laatste conditie wordt ook wel controleconditie
genoemd.
De tertium quid voorkomen door het controleren van andere factoren. Alle aspecten
van de experimentele condities moeten hetzelfde zijn, behalve datgene wat
gemanipuleerd wordt.
De tertium quid voorkomen door te randomiseren. Op basis van toeval mensen
toewijzen aan de experimentele groepen.
Het vergelijken van theorieën met statistiek. Je moet ervoor zorgen dat je een
uitspraak kunt doen met 95% betrouwbaarheid.
1.3 The Dynamic Nature of Scientific Method
Paradigma’s veranderen in de loop van de tijd. Er zijn drie stadia:
1. De Pre-paradigmatic stage. Een periode waarin verschillende Scholars of
communities het ergens niet over eens zijn.
2. De Normal science. Een periode waarin normale wetenschappelijke ontwikkelingen
binnen het paradigma plaatsvinden.
3. De Extraordinary science. Het paradigma verschuift naar een nieuw paradigma.
, Hoofdstuk 2 | Planning an experiment
2.1 What should I research: Finding out what’s been done?
Om tot een onderzoeksvraag te komen kun je de volgende stappen doorlopen:
1. Begin bij een breed onderwerp vanuit je eigen interesse.
2. Gebruik een tekstboek over dit brede onderwerp om tot een specifieker onderwerp
te komen.
3. Gebruik een gespecialiseerd boek over dit specifieke onderwerp om tot een bepaalde
theorie te komen.
4. Lees review articles voor een samenvatting van onderzoek van dit onderwerp.
Hiervoor kun je databases gebruiken.
5. Lees specifieke journals over het onderwerp om te ontdekken waar nog geen
onderzoek naar gedaan is.
2.2 How do I research my question?
Bij experimenten is de afhankelijke variabele altijd het effect en de onafhankelijke variabele
de oorzaak. De oorzaak (onafhankelijke variabele) wordt altijd gemanipuleerd. Iedere
manipulatie kan worden gezien als een ‘level’ van de onafhankelijke variabele. De meest
basic experimenten zullen twee levels hebben (controle vergeleken met experimentele
variabele). Er zijn ook meer complexe experimenten waarbij meer levels zijn, bijvoorbeeld:
positieve informatie, negatieve informatie, geen informatie. Er moet altijd voor gezorgd
worden dan de levels zo veel mogelijk op elkaar lijken wat betreft overige factoren.
Daarnaast is het van belang om voor ieder level verschillende elementen te testen, om uit te
sluiten dat er effecten ontstaan als gevolg van bijvoorbeeld het gekozen onderwerp. Zo is
het bijvoorbeeld verstandig om voor positieve en negatieve informatie verschillende
berichtonderwerpen te testen. Dit wordt counterbalancing genoemd.
Validiteit
Bij het gebruiken van self-report metingen is het van belang om rekening te houden met de
validiteit, zoals:
1. Content validiteit. Dit is de mate waarin je items representatief zijn. Vragen moeten
de gehele breedte van het construct meten.
2. Criteria validiteit. Dit is of de vragenlijst datgene meet wat het claimt te meten.
3. Factoriale validiteit. Je moet een factoranalyse doen om te kijken of je verschillende
factoren samen betekenisvol zijn.
Betrouwbaarheid
Naast valide moet je self-report lijst ook betrouwbaar zijn. Als het meetinstrument
betrouwbaar is, kunnen dezelfde resultaten worden gemeten onder dezelfde
omstandigheden. De vragenlijst moet eerst valide zijn om ook betrouwbaar te zijn. De meest
simpele statistische techniek om voor betrouwbaarheid te zorgen is de split-half methode.
Hierbij wordt de vragenlijst random in twee groepen gesplitst. Je kunt dan kijken of de score
van een persoon op de ene helft van het construct hetzelfde is als op de andere helft. Om te
meten of een construct daadwerkelijk betrouwbaar is kun je Cronbach’s alpha gebruiken. Als
deze 0.8 is, is dit acceptabel.
