Leerproject 3
How to Design and Report Experiments – Andy Field &
Graham Hole
Hoofdstuk 1 | Voordat je begint
Er zijn twee manieren om antwoord te geven op fundamentele onderzoeksvragen:
1. Correlationele/observationele methoden: het observeren van wat van nature in de echte
wereld gebeurt, zonder het te verstoren.
2. Experimentele methode: het manipuleren van sommige aspecten van de omgeving, waarna
het effect wordt geobserveerd.
Deze twee benaderingen hebben verschillende overeenkomsten:
Empirisch: beide methoden proberen door observatie en meting bewijs te verzamelen dat
door anderen kan worden gerepliceerd.
Meting: beide methoden proberen te meten wat er wordt bestudeerd.
Repliceerbaarheid: beide methoden proberen ervoor te zorgen dat resultaten kunnen
worden gerepliceerd door andere onderzoekers.
objectiviteit: beide methoden trachten de onderzoeksvraag op objectieve wijze te
beantwoorden. Hoewel objectiviteit een wetenschappelijk ideaal is, worden de interpretaties
van onderzoekers van hun resultaten beïnvloed door hun verwachtingen van wat ze hopen
te doorgronden.
Het fundamentele verschil tussen de twee benaderingen is het manipuleren van de variabelen.
In sociale wetenschappen is het vaak moeilijk constructen direct te meten. De relatie tussen wat
wordt gemeten en de cijfers die op een schaal worden verkregen, is het meetniveau. Het
meetniveau is de mate waarin een schaal informeert over het te meten construct. Het heeft
betrekking op de meetnauwkeurigheid. Als we iets niet direct kunnen meten, zal er altijd een
discrepantie zijn tussen de cijfers die we gebruiken om het ding dat we meten te vertegenwoordigen
en de werkelijke waarde van het ding dat we meten. Dit zijn meetfouten.
1.1 Variabelen en metingen
Onderzoekers zijn geïnteresseerd in hoe variabelen veranderen en wat deze veranderingen
veroorzaakt. Deze moeten op een bepaalde manier worden gemeten. Er zijn vier niveaus waarop
variabelen kunnen worden gemeten:
Categorieën Ordening Betekenisvolle Absoluut
verschillen nulpunt
Nominaal X
Kwalitatief
Ordinaal X X
Kwantitatie Interval X X X
f Ratio X X X X
Nominale en ordinale variabelen moeten worden geanalyseerd met niet-parametrische tests.
Interval en ratio variabelen kunnen worden geanalyseerd met parametrische tests.
Voor een discrete variabele bestaat geen onderliggend continuüm; de meting classificeert items in
niet-overlappende categorieën (bv. geslacht; man/vrouw). Andere variabelen worden in een
continuüm gemeten (bv. mate van agressie).
,1.2 Experimenteel versus correlationeel onderzoek
In correlationeel onderzoek worden natuurlijke gebeurtenissen geobserveerd of wordt er een
momentopname van variabelen vastgesteld. Het voordeel is dat het een natuurlijk beeld geeft van de
vraag die wordt onderzocht; we beïnvloeden niet wat er gebeurt en daarom krijgen we metingen van
vertekend zouden moeten zijn door de aanwezigheid van de onderzoeker (ecologische validiteit). Bij
experimenteel onderzoek worden variabelen gemanipuleerd.
Veel onderzoeksvragen kunnen worden opgedeeld in de voorgestelde oorzaak en de voorgestelde
uitkomst. De oorzaak en de uitkomst zijn variabelen. Men wil achterhalen in hoeverre de
voorgestelde oorzaak en de voorgestelde uitkomst met elkaar samenhangen.
Drie voorwaarden voor causaliteit volgens Hume zijn:
1. De oorzaak en het effect treden dicht na elkaar op in tijd (continuïteit).
2. De oorzaak vindt vóór het effect plaats.
3. Het effect mag nooit optreden zonder de aanwezigheid van de oorzaak.
Toch impliceert correlatie niet altijd dat er sprake is van causaliteit. Twee redenen hiervoor zijn:
1. De tertium quid: een andere variabele die effect heeft op zowel de voorgestelde oorzaak als
de uitkomst. Deze worden confounds genoemd.
2. Richting van causaliteit: hoewel de voorwaarde van tijdelijke prioriteit logische
gevolgtrekking over de richting van causaliteit geeft, kan de richting niet worden bewezen.
De richting kan dus ook andersom gelden.
Inductief redeneren is gebaseerd op waarschijnlijke uitkomsten en houdt verband met het
extrapoleren van een reeks observaties naar enkele meer algemene conclusies.
Mill heeft de voorwaarden voor causaliteit uitgebreid naar:
1. De oorzaak moet voorafgaan aan het effect.
2. De oorzaak en het effect moeten samenhangen.
3. Alle andere verklaringen van de oorzaak-effect-relatie moeten worden uitgesloten.
Om ervoor te zorgen dat aan de derde voorwaarde wordt voldaan zijn er verschillende methoden:
De methode van overeenstemming: er moet een effect aanwezig zijn als de oorzaak
aanwezig is.
De methode van verschil: wanneer de oorzaak afwezig is, is het effect ook afwezig.
De methode van gelijktijdige variatie: wanneer de twee voorgaande relaties worden
waargenomen, zal de causale gevolgtrekking worden versterkt omdat de meeste andere
interpretaties van de oorzaak-gevolg-relatie zijn uitgesloten.
Wetenschappelijke verklaringen kunnen empirisch worden bevestigd of ontkend. Als dit niet mogelijk
is, is het niet wetenschappelijk. Falsificatie is de fundamentele basis voor wetenschappelijke
ontdekkingen. Elke nieuwe wetenschappelijke studie zou twee dingen moeten doen:
1. Verwerp een oude hypothese.
2. Bevestig een nieuwe hypothese.
Uiteindelijk wachten alle theorieën op verwerping en kunnen ze pas als ‘waar’ worden bestempeld
als alle pogingen om de theorie te verwerpen zijn mislukt. Echter zal deze situatie nooit worden
bereikt.
,Theorieën op de proef stellen; twee principes voor onderzoek:
1. Om causale variabelen te isoleren, moeten we alle andere verklaringen van het waargenomen
effect uitsluiten.
Isoleren van de oorzaak: controle condities
We moeten twee situaties (condities) vergelijken die in elk opzicht identiek zijn, behalve de
veronderstelde causale variabele. De veronderstelde oorzaak, de onafhankelijke variabele, zal
worden gemanipuleerd door te veranderen of de oorzaak aanwezig of afwezig is, of iets
daartussenin. Het aantal manipulaties van de onafhankelijke variabele is het aantal levels van die
variabele. De uitkomstvariabele is de afhankelijke variabele.
Controle conditie: de toestand waarin de oorzaak ontbreekt. Het dient als basis om gedrag
te vergelijken wanneer een voorgestelde oorzaak aanwezig is.
Experimentele conditie: de toestand waarin de oorzaak aanwezig is.
Het beheersen van andere factoren
De volgende stap in het uitsluiten van andere verklaringen van causale relaties is het minimaliseren
van het risico op random factoren die invloed hebben op het experiment. De condities moeten
identiek zijn in alle factoren, behalve op de voorgestelde oorzaak.
Randomisatie
Wanneer je individuele deelnemers op basis van toeval toewijst aan de controle- en experimentele
condities, mag je bij voldoende grote steekproeven ervan uitgaan dat behalve de manipulatie alle
achtergrondkenmerken min of meer gelijk verdeeld zijn over de groepen. Met randomiseren worden
random invloeden uitgesloten en controleer je álle achtergrondkenmerken, ook waar je zelf niet aan
gedacht had.
2. We moeten proberen theorieën te vervalsen door experimenten te ontwerpen die de ene theorie
met de andere vergelijken.
Theorieën vergelijken: statistieken
Naarmate de kans dat het resultaat door toeval optreedt afneemt, neemt ons vertrouwen in het
resultaat toe. Dus wanneer we groepen waarin de veronderstelde oorzaak aanwezig is
(experimentele groep) vergelijken met een groep waarvan veronderstelde oorzaak afwezig is
(controlegroep), moet het verschil tussen deze groepen voldoende groot zijn zodat we erop kunnen
vertrouwen dat het verschil geen toevallig resultaat is. Een passend betrouwbaarheidsniveau is 95%,
waarbij de kans dat de resultaten het gevolg zijn van toeval minder dan 5% is. In dat geval moeten
we concluderen dat het resultaat ‘echt’ is. Daarnaast zal het vertrouwen in een gegeven
wetenschappelijke verklaring toenemen als een gegeven set resultaten vele malen (en door
verschillende onderzoekers) kan worden herhaald.
1.3 De dynamische aard van wetenschappelijke methoden
Een paradigma is een raamwerk waarbinnen wetenschappers werken. Het kan op veel verschillende
niveaus werken. Het woord paradigma impliceert overeenstemming tussen wetenschappers over
verschillende kwesties:
1. De problemen: wat moet worden bestudeerd?
2. De methoden: hoe moet het probleem worden bestudeerd?
3. Theoretische kaders: op welk kader kunnen hypothesen worden gebaseerd?
, Paradigma's zijn dynamisch; ze veranderen in de tijd. Er zijn drie fasen:
1. Pre-paradigmatische fase: een periode van verwarring waarin verschillende
wetenschappelijke scholen het oneens zijn over een wetenschappelijk probleem.
2. Normale wetenschap: er wordt enige consensus bereikt over aanvaardbare
methoden/kaders voor studie. Wanneer de beperkingen van het paradigma zichtbaar
worden, moet het paradigma worden aangepast.
3. Buitengewone wetenschap: wanneer het paradigma afbreekt en aanleiding geeft tot een
nieuw paradigma. deze paradigmaverschuiving wordt gekenmerkt door een nieuwe
theoretische en / of methodologische benadering.
How to Design and Report Experiments – Andy Field &
Graham Hole
Hoofdstuk 1 | Voordat je begint
Er zijn twee manieren om antwoord te geven op fundamentele onderzoeksvragen:
1. Correlationele/observationele methoden: het observeren van wat van nature in de echte
wereld gebeurt, zonder het te verstoren.
2. Experimentele methode: het manipuleren van sommige aspecten van de omgeving, waarna
het effect wordt geobserveerd.
Deze twee benaderingen hebben verschillende overeenkomsten:
Empirisch: beide methoden proberen door observatie en meting bewijs te verzamelen dat
door anderen kan worden gerepliceerd.
Meting: beide methoden proberen te meten wat er wordt bestudeerd.
Repliceerbaarheid: beide methoden proberen ervoor te zorgen dat resultaten kunnen
worden gerepliceerd door andere onderzoekers.
objectiviteit: beide methoden trachten de onderzoeksvraag op objectieve wijze te
beantwoorden. Hoewel objectiviteit een wetenschappelijk ideaal is, worden de interpretaties
van onderzoekers van hun resultaten beïnvloed door hun verwachtingen van wat ze hopen
te doorgronden.
Het fundamentele verschil tussen de twee benaderingen is het manipuleren van de variabelen.
In sociale wetenschappen is het vaak moeilijk constructen direct te meten. De relatie tussen wat
wordt gemeten en de cijfers die op een schaal worden verkregen, is het meetniveau. Het
meetniveau is de mate waarin een schaal informeert over het te meten construct. Het heeft
betrekking op de meetnauwkeurigheid. Als we iets niet direct kunnen meten, zal er altijd een
discrepantie zijn tussen de cijfers die we gebruiken om het ding dat we meten te vertegenwoordigen
en de werkelijke waarde van het ding dat we meten. Dit zijn meetfouten.
1.1 Variabelen en metingen
Onderzoekers zijn geïnteresseerd in hoe variabelen veranderen en wat deze veranderingen
veroorzaakt. Deze moeten op een bepaalde manier worden gemeten. Er zijn vier niveaus waarop
variabelen kunnen worden gemeten:
Categorieën Ordening Betekenisvolle Absoluut
verschillen nulpunt
Nominaal X
Kwalitatief
Ordinaal X X
Kwantitatie Interval X X X
f Ratio X X X X
Nominale en ordinale variabelen moeten worden geanalyseerd met niet-parametrische tests.
Interval en ratio variabelen kunnen worden geanalyseerd met parametrische tests.
Voor een discrete variabele bestaat geen onderliggend continuüm; de meting classificeert items in
niet-overlappende categorieën (bv. geslacht; man/vrouw). Andere variabelen worden in een
continuüm gemeten (bv. mate van agressie).
,1.2 Experimenteel versus correlationeel onderzoek
In correlationeel onderzoek worden natuurlijke gebeurtenissen geobserveerd of wordt er een
momentopname van variabelen vastgesteld. Het voordeel is dat het een natuurlijk beeld geeft van de
vraag die wordt onderzocht; we beïnvloeden niet wat er gebeurt en daarom krijgen we metingen van
vertekend zouden moeten zijn door de aanwezigheid van de onderzoeker (ecologische validiteit). Bij
experimenteel onderzoek worden variabelen gemanipuleerd.
Veel onderzoeksvragen kunnen worden opgedeeld in de voorgestelde oorzaak en de voorgestelde
uitkomst. De oorzaak en de uitkomst zijn variabelen. Men wil achterhalen in hoeverre de
voorgestelde oorzaak en de voorgestelde uitkomst met elkaar samenhangen.
Drie voorwaarden voor causaliteit volgens Hume zijn:
1. De oorzaak en het effect treden dicht na elkaar op in tijd (continuïteit).
2. De oorzaak vindt vóór het effect plaats.
3. Het effect mag nooit optreden zonder de aanwezigheid van de oorzaak.
Toch impliceert correlatie niet altijd dat er sprake is van causaliteit. Twee redenen hiervoor zijn:
1. De tertium quid: een andere variabele die effect heeft op zowel de voorgestelde oorzaak als
de uitkomst. Deze worden confounds genoemd.
2. Richting van causaliteit: hoewel de voorwaarde van tijdelijke prioriteit logische
gevolgtrekking over de richting van causaliteit geeft, kan de richting niet worden bewezen.
De richting kan dus ook andersom gelden.
Inductief redeneren is gebaseerd op waarschijnlijke uitkomsten en houdt verband met het
extrapoleren van een reeks observaties naar enkele meer algemene conclusies.
Mill heeft de voorwaarden voor causaliteit uitgebreid naar:
1. De oorzaak moet voorafgaan aan het effect.
2. De oorzaak en het effect moeten samenhangen.
3. Alle andere verklaringen van de oorzaak-effect-relatie moeten worden uitgesloten.
Om ervoor te zorgen dat aan de derde voorwaarde wordt voldaan zijn er verschillende methoden:
De methode van overeenstemming: er moet een effect aanwezig zijn als de oorzaak
aanwezig is.
De methode van verschil: wanneer de oorzaak afwezig is, is het effect ook afwezig.
De methode van gelijktijdige variatie: wanneer de twee voorgaande relaties worden
waargenomen, zal de causale gevolgtrekking worden versterkt omdat de meeste andere
interpretaties van de oorzaak-gevolg-relatie zijn uitgesloten.
Wetenschappelijke verklaringen kunnen empirisch worden bevestigd of ontkend. Als dit niet mogelijk
is, is het niet wetenschappelijk. Falsificatie is de fundamentele basis voor wetenschappelijke
ontdekkingen. Elke nieuwe wetenschappelijke studie zou twee dingen moeten doen:
1. Verwerp een oude hypothese.
2. Bevestig een nieuwe hypothese.
Uiteindelijk wachten alle theorieën op verwerping en kunnen ze pas als ‘waar’ worden bestempeld
als alle pogingen om de theorie te verwerpen zijn mislukt. Echter zal deze situatie nooit worden
bereikt.
,Theorieën op de proef stellen; twee principes voor onderzoek:
1. Om causale variabelen te isoleren, moeten we alle andere verklaringen van het waargenomen
effect uitsluiten.
Isoleren van de oorzaak: controle condities
We moeten twee situaties (condities) vergelijken die in elk opzicht identiek zijn, behalve de
veronderstelde causale variabele. De veronderstelde oorzaak, de onafhankelijke variabele, zal
worden gemanipuleerd door te veranderen of de oorzaak aanwezig of afwezig is, of iets
daartussenin. Het aantal manipulaties van de onafhankelijke variabele is het aantal levels van die
variabele. De uitkomstvariabele is de afhankelijke variabele.
Controle conditie: de toestand waarin de oorzaak ontbreekt. Het dient als basis om gedrag
te vergelijken wanneer een voorgestelde oorzaak aanwezig is.
Experimentele conditie: de toestand waarin de oorzaak aanwezig is.
Het beheersen van andere factoren
De volgende stap in het uitsluiten van andere verklaringen van causale relaties is het minimaliseren
van het risico op random factoren die invloed hebben op het experiment. De condities moeten
identiek zijn in alle factoren, behalve op de voorgestelde oorzaak.
Randomisatie
Wanneer je individuele deelnemers op basis van toeval toewijst aan de controle- en experimentele
condities, mag je bij voldoende grote steekproeven ervan uitgaan dat behalve de manipulatie alle
achtergrondkenmerken min of meer gelijk verdeeld zijn over de groepen. Met randomiseren worden
random invloeden uitgesloten en controleer je álle achtergrondkenmerken, ook waar je zelf niet aan
gedacht had.
2. We moeten proberen theorieën te vervalsen door experimenten te ontwerpen die de ene theorie
met de andere vergelijken.
Theorieën vergelijken: statistieken
Naarmate de kans dat het resultaat door toeval optreedt afneemt, neemt ons vertrouwen in het
resultaat toe. Dus wanneer we groepen waarin de veronderstelde oorzaak aanwezig is
(experimentele groep) vergelijken met een groep waarvan veronderstelde oorzaak afwezig is
(controlegroep), moet het verschil tussen deze groepen voldoende groot zijn zodat we erop kunnen
vertrouwen dat het verschil geen toevallig resultaat is. Een passend betrouwbaarheidsniveau is 95%,
waarbij de kans dat de resultaten het gevolg zijn van toeval minder dan 5% is. In dat geval moeten
we concluderen dat het resultaat ‘echt’ is. Daarnaast zal het vertrouwen in een gegeven
wetenschappelijke verklaring toenemen als een gegeven set resultaten vele malen (en door
verschillende onderzoekers) kan worden herhaald.
1.3 De dynamische aard van wetenschappelijke methoden
Een paradigma is een raamwerk waarbinnen wetenschappers werken. Het kan op veel verschillende
niveaus werken. Het woord paradigma impliceert overeenstemming tussen wetenschappers over
verschillende kwesties:
1. De problemen: wat moet worden bestudeerd?
2. De methoden: hoe moet het probleem worden bestudeerd?
3. Theoretische kaders: op welk kader kunnen hypothesen worden gebaseerd?
, Paradigma's zijn dynamisch; ze veranderen in de tijd. Er zijn drie fasen:
1. Pre-paradigmatische fase: een periode van verwarring waarin verschillende
wetenschappelijke scholen het oneens zijn over een wetenschappelijk probleem.
2. Normale wetenschap: er wordt enige consensus bereikt over aanvaardbare
methoden/kaders voor studie. Wanneer de beperkingen van het paradigma zichtbaar
worden, moet het paradigma worden aangepast.
3. Buitengewone wetenschap: wanneer het paradigma afbreekt en aanleiding geeft tot een
nieuw paradigma. deze paradigmaverschuiving wordt gekenmerkt door een nieuwe
theoretische en / of methodologische benadering.
