Research Methods and Techniques II: Quantitative Methods
Practical Information:
Exam will be available in English AND Dutch! All lectures, practical sessions (wpo’s – 6!!), course
materials, assignments and exams are in English. In this course, we are going to look more broadly at
scientific resource. What is scientific resource? What ere the strengths and weaknesses of scientific
resource (wetenschappelijke bron)? We’re also mainly going to focus on quantitative research:
survey studies, experiments,.. The slides, own notes, are part of the study material.
Exam: 70% (multiple choice, standard setting, there will be a practice exam at the end of the
semester! The correct answers will be post a week later) and assignment: 30% (group assignment,
group receives a grade for the assignment but peer assessment is used to ajust group grade for
individual group members). You need to pass both the exam and the assignment, to pass the course.
The goal of the assignment: learn how to evaluate scientific research and to develop a proposal for a
scientific study. You will select a study from a list of articles (available on Canvas). Critically read and
evaluate the selected article using the 4 aspects of validity. In the second part of the assignment, you
have to propose a follow-up study that addresses weaknesses from the original study and appraise
the quality of the follow-up study using the 4 aspects of validity.
The Wpo’s contain exercises to help you with the assignment.
Deadline to submit the assignment: the 23rd of May (5pm) on Canvas! (max. 5 pages excluding title
page and reference pages).
De afbeelding die laat zien wat het doel van deze cursus is: er is een man
die met zijn vinger in de wond prikt, dat is ‘de ongelovige’ Thomas. Het
doel van deze cursus is om je kritisch te laten nadenken over
wetenschappelijk onderzoek. Om te kijken naar de sterke en zwakke
punten van de studie. We zullen in deze cursus zien dat alle studies
sterke en zwakke punten hebben: geen enkele studie is perfect.
Lecture 1: Introduction to scientific reasoning
1.1. Psychology as way of thinking
Sommigen van ons zullen later zelf onderzoek doen (bijvoorbeeld als we een PhD volgen), maar de
meesten van ons zullen onderzoek consumeren. Stel je voor dat je patiënten met ernstige autisme
behandelt en je je afvraagt wat de beste manier is om hen te helpen. Welke behandelingen werken
hier? De beste manier van werken zou zijn om de wetenschappelijke literatuur te raadplegen: wat
weten we op basis van eerder onderzoek? Zijn er behandelingen die effectief of ineffectief zijn? Dit
betekent dat je studies moet kunnen vinden die relevant zijn voor jouw vraag, maar ook dat je ze
moet kunnen lezen en begrijpen. Daarnaast moet je de sterke en zwakke punten van elke studie
kunnen beoordelen.
→ Voorbeeld om het belang van de rol van onderzoekconsument (research consumer) te illustreren:
* Een paar maanden geleden was Griet Op de Beeck op tv in het programma ‘De
Afspraak’. Wat ze de presentator en het publiek vertelde, was: ‘Ik ga therapie geven aan
mensen.’ Ze heeft echter geen diploma in de psychologie of in een gerelateerd vakgebied.
Maar ze beweerde dat ze geen diploma nodig heeft om therapie te geven. Ze zei dat ze
therapie kon geven omdat ze enkele trainingen had gevolgd bij wat zij ‘de grootste
experts ter wereld’ in de VS noemde. Natuurlijk was er wat scepsis/twijl. Ze zei dat ze
Internal Family Systems Therapy zou geven en verwees naar een wetenschappelijke
studie die zou aantonen dat deze therapie effectief is. Dit klinkt overtuigend: als iemand zegt ‘kijk, er
is een wetenschappelijke studie die aantoont dat dit werkt’. Maar als je die studie van dichterbij
1
,bekijkt, is het minder overtuigend. In de studie nodigden ze mensen met PTSS uit om deel te nemen.
Ze maten het niveau van posttraumatische stress dat ze ervoeren en gaven hen vervolgens deze
therapie (Internal Family Systems Therapy). Daarna maten ze opnieuw de posttraumatische stress en
vonden ze een afname (decrease) in stressniveaus. Op basis hiervan beweerden ze dat de therapie
werkte. Maar er vallen twee dingen op:
1. Ze hadden slechts 10-20 deelnemers: een erg kleine steekproef. Een kleine steekproef kan tot
problemen leiden, zoals vals-positieve resultaten, verkeerde conclusies, of de indruk wekken dat er
een effect is terwijl dat er in werkelijkheid niet is.
2. Ze gebruikten een experimenteel design dat waarschijnlijk het slechtste experimentele design is
dat je kunt gebruiken: ze hadden één groep deelnemers – gaven hen de behandeling – maten hun
stressniveau voor en na de behandeling – en dat was alles. Ze hadden geen controlegroep! Dat is
cruciaal! Zonder controlegroep zijn er veel andere mogelijke verklaringen voor de afname van
stressniveaus, bijvoorbeeld dat het niets met de therapie te maken heeft.
Het bewijs uit deze studie is dus erg zwak. Dit laat zien waarom het belangrijk is om te leren hoe je
wetenschappelijk onderzoek kritisch beoordeelt. Kunnen we deze claims echt vertrouwen?
→ Een ander voorbeeld: er is een beroemde studie die in 2011 werd uitgevoerd door Daryl Bem. In
zijn studie laat hij zien dat mensen daadwerkelijk de toekomst kunnen voorspellen. Mensen die het
artikel lazen, waren een beetje sceptisch. Maar het werd gepubliceerd in een prestigieus tijdschrift,
en de studie zelf is ook behoorlijk overtuigend. De studie bevat 9 afzonderlijke
studies/experimenten. In elk experiment laat hij zien dat mensen op de een of andere manier
konden aanvoelen of voorspellen wat er op een later moment zou gebeuren. Bijvoorbeeld: in een
van de experimenten nam hij een bekend experimenteel ontwerp en draaide het om. Er is een
bekende experimentele bevinding die als volgt luidt: “Wanneer we mensen een lijst met woorden
geven om te onthouden, en we hen vervolgens vertellen dat we willekeurig enkele woorden uit deze
lijst zullen selecteren en dat zij deze woorden moeten opschrijven, hebben ze een grotere kans om
zich juist die woorden te herinneren. Waarom? Omdat ze op verschillende manieren verwerkt zijn: je
zag de woorden, je las ze, maar je schreef ze ook op. Daardoor onthoud je ze beter.” Hij draaide dit
om! In zijn experiment vroeg hij mensen om naar het lab te komen en gaf hij hen een lijst met
woorden. Hij vroeg de mensen om deze woorden te onthouden en zei vervolgens meteen: “Vertel
me welke woorden je je herinnert.” Dus begonnen mensen woorden op te noemen. In het tweede
deel van het experiment selecteerde hij willekeurig woorden uit de lijst, gaf deze aan de deelnemers
en vroeg hen om ze op te schrijven. Wat hij statistisch aantoonde, was dat de woorden die mensen
zich in het eerste deel van het experiment herinnerden, een grotere kans hadden om in het tweede
deel willekeurig te worden geselecteerd en aan hen te worden gegeven om op te schrijven. Mensen
voorspelden dus als het ware welke woorden willekeurig zouden worden gekozen in het tweede
deel. De onderzoekers dachten daarom dat we in staat zijn om de toekomst te voorspellen.
Echter, toen deze studie werd gepubliceerd, was er veel discussie. Mensen begonnen vragen te
stellen en keken dieper naar hoe hij de studies had uitgevoerd. Het blijkt dat er hier problemen zijn.
Bijvoorbeeld: het artikel bevat 9 experimenten, maar Daryl Bem voerde niet zomaar 9 experimenten
uit en publiceerde de resultaten. Hij voerde veel meer experimenten uit, en de meeste experimenten
lieten helemaal geen effect zien. In de meeste experimenten konden mensen de toekomst niet
voorspellen. Maar in sommige experimenten wel, en alleen die rapporteerde hij. Ten tweede
analyseerde hij de data, maar hij ‘martelde’ de data (tortured the data): omdat hij niet de resultaten
vond die hij verwachtte, begon hij te spelen met de data (hij voegde een controlevariabele toe, hij
verwijderde een paar observaties omdat hij dacht dat het uitschieters waren, …). Op een bepaald
moment in de analyse vond hij ineens een resultaat dat zijn hypothese bevestigde. Op dat moment
zei hij: ‘Ah kijk, nu kan ik stoppen, want ik heb mijn bewijs gevonden.’ Het probleem is: als je je data
2
,maar lang genoeg martelt, zul je altijd wel iets vinden. Dus, er zijn problemen in hoe hij zijn
onderzoek uitvoerde, in hoe hij zijn resultaten rapporteerde, en deze studie leidde ook tot veel
replicatiepogingen. Anderen probeerden zijn bevindingen te repliceren (ze voerden dezelfde
experimenten uit in andere omgevingen en met andere deelnemers), maar ze slaagden er niet in om
dezelfde effecten te vinden. Dit leidde tot de replicatiecrisis in de psychologie (the replication crisis
in psychology), omdat onderzoekers niet alleen deze studie begonnen te repliceren, maar ook
andere studies. Het bleek dat veel studies in de psychologie, vooral bekende studies in de sociale
psychologie, niet altijd gerepliceerd konden worden. Waarom? Dit heeft te maken met hoe
onderzoek wordt uitgevoerd. Dit leidde tot een beweging die deze onderzoeksmethoden in twijfel
trekt. Dit heet ‘de open science movement’, die suggereert dat we de manier waarop we onderzoek
doen moeten veranderen om te voorkomen dat dit soort studies gepubliceerd worden.
De belangrijkste boodschap hier: een kritische mindset is essentieel! Niet al het gepubliceerde
onderzoek is correct of robuust!
Fundamental characteristics of scientific research: how scientists work!
- science is based on empiricism
- scientists test theories
- scientists work on fundamental and applied problems
- science is continuously evolving
- scientists publish their findings in scientific journal
- scientists communicate with the general public via journalists
1.1.1. Science is based on empiricism
De eerste eigenschap van wetenschappelijk onderzoek is ‘dat wetenschap voornamelijk gebaseerd is
op empirisme’. Wat bedoelen we met empirisme? Het betekent dat we gegevens/data verzamelen
om bepaalde theorieën/hypothesen te testen. Gegevens/data verzamelen betekent dat we
informatie verkrijgen door:
- onze eigen zintuigen (senses) te gebruiken (je kunt gedrag observeren, je kunt horen/luisteren
naar wat mensen zeggen – je gebruikt dus je zintuigen)
- instrumenten te gebruiken die onze zintuigen ondersteunen (thermometer, vragenlijsten, timer,
…)
Empiristen streven ernaar om onderzoek op een systematische, rigoureuze en repliceerbare manier
uit te voeren!
* Systematisch/systematic: wanneer ik gegevens verzamel, doe ik dit op dezelfde,
gestructureerde/systematische manier bij alle deelnemers!
* Rigoureus/rigorous (nauwgezet/transparant): ik denk heel goed na over hoe ik de gegevens zal
verzamelen en ik ben heel transparant over hoe ik dit doe. Zo kunnen anderen precies zien hoe ik de
gegevens heb verzameld! Dit stelt hen in staat om het onderzoek te repliceren en kritisch te
beoordelen. (duidelijk rapporteren, geen details vergeten, over alle details nadenken bij de opzet van
de studie)
* Repliceerbaar/replicable: het is belangrijk dat wanneer ik een studie uitvoer, anderen deze studie
opnieuw kunnen uitvoeren, repliceren en kunnen zien of ze dezelfde resultaten vinden of niet.
Het belangrijkste hier is dat we met de gegevens die we verzamelen theorieën/hypothesen proberen
te testen.
Empirisme is NIET gebaseerd op eigen ervaringen, intuïtie of autoriteitsfiguren!
1.1.2. Scientists test theories
Empirisch werken betekent dat je de Theory-Data cycle of de Empirische
3
, cyclus/Empirical cycle volgt, zolang je hierbij een ‘confirmatory’ (deductieve) approach/benadering
gebruikt. Wat betekent dit? In veel gevallen beginnen onderzoekers met een theorie, een bepaald
theoretisch idee dat ze willen testen. Die theorie leidt ertoe dat ze een onderzoeksvraag/research
question formuleren. Vervolgens ontwerpen ze een studie (they design a study) waarmee ze die
onderzoeksvraag kunnen testen. Om dit te testen, hebben ze een specifieke, expliciete hypothese
nodig, waarin precies staat wat ze verwachten te zien (zodat je kunt controleren of de gegevens/data
die hypothese bevestigen of niet). Zodra de hypothese is geformuleerd, wordt de studie opgezet en
worden de gegevens verzameld. Dan wordt getest of de gegevens overeenkomen met de hypothese
of niet. Als de hypothese wordt ondersteund, biedt dat extra steun voor de theorie. Als de hypothese
niet wordt ondersteund, betekent dit dat de theorie moet worden aangepast of verworpen, of dat er
mogelijk iets mis is met het onderzoeksontwerp (the study design). => Dit suggereert dat er een
‘confirmatory’ aanpak is: je begint met een theorie, formuleert een hypothese en test of de theorie
bevestigd kan worden. Deze cyclus geldt alleen voor confirmatory approaches of deductieve
benaderingen! (Je start vanuit een theorie en kijkt of je er bewijs voor vindt).
Er bestaat ook onderzoek dat een exploratieve/exploratory (inductieve) benadering gebruikt,
bijvoorbeeld kwalitatief onderzoek (zoals interviews). In dat geval worden geen hypothesen getest.
Je interviewt mensen om te begrijpen hoe ze iets ervaren of wat hun overtuigingen zijn. Hier gaat het
dus niet om het bevestigen van theorieën! (je start niet vanuit een theorie, maar vanuit de data zelf,
bv. bij interviews is er bij de start van het onderzoek geen hypothese die getest wordt, je wilt
eigenlijk gewoon breed inzicht krijgen in een fenomeen. In de interviews zal je zien: wat komt er uit
de data naar voor? Zijn er bepaalde patronen? Je leert iets bij over een fenomeen -> je exploreert de
data)
Illustratie: een bekend voorbeeld is het onderzoek van Harlow naar hechting. Hij wist dat er
verschillende theorieën bestonden over waarom baby’s zich hechten aan een
ouderfiguur. De Cupboard Theory (niet zijn theorie) stelt dat hechting ontstaat omdat je
je hecht aan degene die je voedt en ervoor zorgt dat je overleeft. De Contact Comfort
Theory (Harlow’s theorie) stelt dat hechting ontstaat omdat je je hecht aan degene die je
comfort biedt, je knuffelt en liefde geeft. Deze twee theorieën bestonden tegelijkertijd.
Harlow wilde onderzoeken welke theorie ondersteund werd door data. Hij ontwierp een
studie met baby-aapjes. In een kooi plaatste hij twee constructies: links: een constructie met een fles
melk, zodat de baby-aapjes daar konden drinken. Verder was deze constructie oncomfortabel,
gemaakt van koud, metalen draad. Rechts: een constructie zonder eten, maar bedekt met zachte
materialen en warm. Zijn idee was: Als de Cupboard Theory klopt, zouden de baby-aapjes de meeste
tijd doorbrengen aan de linkerkant (waar voedsel is). Als de Contact Comfort Theory klopt, zouden ze
de meeste tijd doorbrengen aan de rechterkant. Hij verzamelde data en observeerde dat de baby-
aapjes de meeste tijd aan de rechterkant doorbrachten, wat steun bood voor de Contact Comfort
Theory. De Cupboard Theory werd niet ondersteund door deze resultaten.
Dit toont de empirische cyclus in actie: twee theorieën worden getest, een studie wordt ontworpen,
een specifieke hypothese wordt geformuleerd (“Als theorie X klopt, gebeurt dit; als theorie Y klopt,
gebeurt dat”), gegevens worden verzameld en conclusies worden getrokken.
Goede theoretische modellen hebben bepaalde eigenschappen die hen onderscheiden van ‘slechte’
theoretische modellen. The characteristics of good theories are:
1. een theorie die ondersteund wordt door data, is betrouwbaarder.
2. goede theoretische modellen zijn falsifieerbaar → Dit betekent dat het mogelijk is
om de theorie te ontkrachten of weerleggen (to disprove). Als een theorie niet
falsifieerbaar is, spreken we van pseudowetenschap. Voorbeeld van een niet-
falsifieerbare theorie: ‘Facilitated Communication Treatment believers’. Wat betekent
4
Practical Information:
Exam will be available in English AND Dutch! All lectures, practical sessions (wpo’s – 6!!), course
materials, assignments and exams are in English. In this course, we are going to look more broadly at
scientific resource. What is scientific resource? What ere the strengths and weaknesses of scientific
resource (wetenschappelijke bron)? We’re also mainly going to focus on quantitative research:
survey studies, experiments,.. The slides, own notes, are part of the study material.
Exam: 70% (multiple choice, standard setting, there will be a practice exam at the end of the
semester! The correct answers will be post a week later) and assignment: 30% (group assignment,
group receives a grade for the assignment but peer assessment is used to ajust group grade for
individual group members). You need to pass both the exam and the assignment, to pass the course.
The goal of the assignment: learn how to evaluate scientific research and to develop a proposal for a
scientific study. You will select a study from a list of articles (available on Canvas). Critically read and
evaluate the selected article using the 4 aspects of validity. In the second part of the assignment, you
have to propose a follow-up study that addresses weaknesses from the original study and appraise
the quality of the follow-up study using the 4 aspects of validity.
The Wpo’s contain exercises to help you with the assignment.
Deadline to submit the assignment: the 23rd of May (5pm) on Canvas! (max. 5 pages excluding title
page and reference pages).
De afbeelding die laat zien wat het doel van deze cursus is: er is een man
die met zijn vinger in de wond prikt, dat is ‘de ongelovige’ Thomas. Het
doel van deze cursus is om je kritisch te laten nadenken over
wetenschappelijk onderzoek. Om te kijken naar de sterke en zwakke
punten van de studie. We zullen in deze cursus zien dat alle studies
sterke en zwakke punten hebben: geen enkele studie is perfect.
Lecture 1: Introduction to scientific reasoning
1.1. Psychology as way of thinking
Sommigen van ons zullen later zelf onderzoek doen (bijvoorbeeld als we een PhD volgen), maar de
meesten van ons zullen onderzoek consumeren. Stel je voor dat je patiënten met ernstige autisme
behandelt en je je afvraagt wat de beste manier is om hen te helpen. Welke behandelingen werken
hier? De beste manier van werken zou zijn om de wetenschappelijke literatuur te raadplegen: wat
weten we op basis van eerder onderzoek? Zijn er behandelingen die effectief of ineffectief zijn? Dit
betekent dat je studies moet kunnen vinden die relevant zijn voor jouw vraag, maar ook dat je ze
moet kunnen lezen en begrijpen. Daarnaast moet je de sterke en zwakke punten van elke studie
kunnen beoordelen.
→ Voorbeeld om het belang van de rol van onderzoekconsument (research consumer) te illustreren:
* Een paar maanden geleden was Griet Op de Beeck op tv in het programma ‘De
Afspraak’. Wat ze de presentator en het publiek vertelde, was: ‘Ik ga therapie geven aan
mensen.’ Ze heeft echter geen diploma in de psychologie of in een gerelateerd vakgebied.
Maar ze beweerde dat ze geen diploma nodig heeft om therapie te geven. Ze zei dat ze
therapie kon geven omdat ze enkele trainingen had gevolgd bij wat zij ‘de grootste
experts ter wereld’ in de VS noemde. Natuurlijk was er wat scepsis/twijl. Ze zei dat ze
Internal Family Systems Therapy zou geven en verwees naar een wetenschappelijke
studie die zou aantonen dat deze therapie effectief is. Dit klinkt overtuigend: als iemand zegt ‘kijk, er
is een wetenschappelijke studie die aantoont dat dit werkt’. Maar als je die studie van dichterbij
1
,bekijkt, is het minder overtuigend. In de studie nodigden ze mensen met PTSS uit om deel te nemen.
Ze maten het niveau van posttraumatische stress dat ze ervoeren en gaven hen vervolgens deze
therapie (Internal Family Systems Therapy). Daarna maten ze opnieuw de posttraumatische stress en
vonden ze een afname (decrease) in stressniveaus. Op basis hiervan beweerden ze dat de therapie
werkte. Maar er vallen twee dingen op:
1. Ze hadden slechts 10-20 deelnemers: een erg kleine steekproef. Een kleine steekproef kan tot
problemen leiden, zoals vals-positieve resultaten, verkeerde conclusies, of de indruk wekken dat er
een effect is terwijl dat er in werkelijkheid niet is.
2. Ze gebruikten een experimenteel design dat waarschijnlijk het slechtste experimentele design is
dat je kunt gebruiken: ze hadden één groep deelnemers – gaven hen de behandeling – maten hun
stressniveau voor en na de behandeling – en dat was alles. Ze hadden geen controlegroep! Dat is
cruciaal! Zonder controlegroep zijn er veel andere mogelijke verklaringen voor de afname van
stressniveaus, bijvoorbeeld dat het niets met de therapie te maken heeft.
Het bewijs uit deze studie is dus erg zwak. Dit laat zien waarom het belangrijk is om te leren hoe je
wetenschappelijk onderzoek kritisch beoordeelt. Kunnen we deze claims echt vertrouwen?
→ Een ander voorbeeld: er is een beroemde studie die in 2011 werd uitgevoerd door Daryl Bem. In
zijn studie laat hij zien dat mensen daadwerkelijk de toekomst kunnen voorspellen. Mensen die het
artikel lazen, waren een beetje sceptisch. Maar het werd gepubliceerd in een prestigieus tijdschrift,
en de studie zelf is ook behoorlijk overtuigend. De studie bevat 9 afzonderlijke
studies/experimenten. In elk experiment laat hij zien dat mensen op de een of andere manier
konden aanvoelen of voorspellen wat er op een later moment zou gebeuren. Bijvoorbeeld: in een
van de experimenten nam hij een bekend experimenteel ontwerp en draaide het om. Er is een
bekende experimentele bevinding die als volgt luidt: “Wanneer we mensen een lijst met woorden
geven om te onthouden, en we hen vervolgens vertellen dat we willekeurig enkele woorden uit deze
lijst zullen selecteren en dat zij deze woorden moeten opschrijven, hebben ze een grotere kans om
zich juist die woorden te herinneren. Waarom? Omdat ze op verschillende manieren verwerkt zijn: je
zag de woorden, je las ze, maar je schreef ze ook op. Daardoor onthoud je ze beter.” Hij draaide dit
om! In zijn experiment vroeg hij mensen om naar het lab te komen en gaf hij hen een lijst met
woorden. Hij vroeg de mensen om deze woorden te onthouden en zei vervolgens meteen: “Vertel
me welke woorden je je herinnert.” Dus begonnen mensen woorden op te noemen. In het tweede
deel van het experiment selecteerde hij willekeurig woorden uit de lijst, gaf deze aan de deelnemers
en vroeg hen om ze op te schrijven. Wat hij statistisch aantoonde, was dat de woorden die mensen
zich in het eerste deel van het experiment herinnerden, een grotere kans hadden om in het tweede
deel willekeurig te worden geselecteerd en aan hen te worden gegeven om op te schrijven. Mensen
voorspelden dus als het ware welke woorden willekeurig zouden worden gekozen in het tweede
deel. De onderzoekers dachten daarom dat we in staat zijn om de toekomst te voorspellen.
Echter, toen deze studie werd gepubliceerd, was er veel discussie. Mensen begonnen vragen te
stellen en keken dieper naar hoe hij de studies had uitgevoerd. Het blijkt dat er hier problemen zijn.
Bijvoorbeeld: het artikel bevat 9 experimenten, maar Daryl Bem voerde niet zomaar 9 experimenten
uit en publiceerde de resultaten. Hij voerde veel meer experimenten uit, en de meeste experimenten
lieten helemaal geen effect zien. In de meeste experimenten konden mensen de toekomst niet
voorspellen. Maar in sommige experimenten wel, en alleen die rapporteerde hij. Ten tweede
analyseerde hij de data, maar hij ‘martelde’ de data (tortured the data): omdat hij niet de resultaten
vond die hij verwachtte, begon hij te spelen met de data (hij voegde een controlevariabele toe, hij
verwijderde een paar observaties omdat hij dacht dat het uitschieters waren, …). Op een bepaald
moment in de analyse vond hij ineens een resultaat dat zijn hypothese bevestigde. Op dat moment
zei hij: ‘Ah kijk, nu kan ik stoppen, want ik heb mijn bewijs gevonden.’ Het probleem is: als je je data
2
,maar lang genoeg martelt, zul je altijd wel iets vinden. Dus, er zijn problemen in hoe hij zijn
onderzoek uitvoerde, in hoe hij zijn resultaten rapporteerde, en deze studie leidde ook tot veel
replicatiepogingen. Anderen probeerden zijn bevindingen te repliceren (ze voerden dezelfde
experimenten uit in andere omgevingen en met andere deelnemers), maar ze slaagden er niet in om
dezelfde effecten te vinden. Dit leidde tot de replicatiecrisis in de psychologie (the replication crisis
in psychology), omdat onderzoekers niet alleen deze studie begonnen te repliceren, maar ook
andere studies. Het bleek dat veel studies in de psychologie, vooral bekende studies in de sociale
psychologie, niet altijd gerepliceerd konden worden. Waarom? Dit heeft te maken met hoe
onderzoek wordt uitgevoerd. Dit leidde tot een beweging die deze onderzoeksmethoden in twijfel
trekt. Dit heet ‘de open science movement’, die suggereert dat we de manier waarop we onderzoek
doen moeten veranderen om te voorkomen dat dit soort studies gepubliceerd worden.
De belangrijkste boodschap hier: een kritische mindset is essentieel! Niet al het gepubliceerde
onderzoek is correct of robuust!
Fundamental characteristics of scientific research: how scientists work!
- science is based on empiricism
- scientists test theories
- scientists work on fundamental and applied problems
- science is continuously evolving
- scientists publish their findings in scientific journal
- scientists communicate with the general public via journalists
1.1.1. Science is based on empiricism
De eerste eigenschap van wetenschappelijk onderzoek is ‘dat wetenschap voornamelijk gebaseerd is
op empirisme’. Wat bedoelen we met empirisme? Het betekent dat we gegevens/data verzamelen
om bepaalde theorieën/hypothesen te testen. Gegevens/data verzamelen betekent dat we
informatie verkrijgen door:
- onze eigen zintuigen (senses) te gebruiken (je kunt gedrag observeren, je kunt horen/luisteren
naar wat mensen zeggen – je gebruikt dus je zintuigen)
- instrumenten te gebruiken die onze zintuigen ondersteunen (thermometer, vragenlijsten, timer,
…)
Empiristen streven ernaar om onderzoek op een systematische, rigoureuze en repliceerbare manier
uit te voeren!
* Systematisch/systematic: wanneer ik gegevens verzamel, doe ik dit op dezelfde,
gestructureerde/systematische manier bij alle deelnemers!
* Rigoureus/rigorous (nauwgezet/transparant): ik denk heel goed na over hoe ik de gegevens zal
verzamelen en ik ben heel transparant over hoe ik dit doe. Zo kunnen anderen precies zien hoe ik de
gegevens heb verzameld! Dit stelt hen in staat om het onderzoek te repliceren en kritisch te
beoordelen. (duidelijk rapporteren, geen details vergeten, over alle details nadenken bij de opzet van
de studie)
* Repliceerbaar/replicable: het is belangrijk dat wanneer ik een studie uitvoer, anderen deze studie
opnieuw kunnen uitvoeren, repliceren en kunnen zien of ze dezelfde resultaten vinden of niet.
Het belangrijkste hier is dat we met de gegevens die we verzamelen theorieën/hypothesen proberen
te testen.
Empirisme is NIET gebaseerd op eigen ervaringen, intuïtie of autoriteitsfiguren!
1.1.2. Scientists test theories
Empirisch werken betekent dat je de Theory-Data cycle of de Empirische
3
, cyclus/Empirical cycle volgt, zolang je hierbij een ‘confirmatory’ (deductieve) approach/benadering
gebruikt. Wat betekent dit? In veel gevallen beginnen onderzoekers met een theorie, een bepaald
theoretisch idee dat ze willen testen. Die theorie leidt ertoe dat ze een onderzoeksvraag/research
question formuleren. Vervolgens ontwerpen ze een studie (they design a study) waarmee ze die
onderzoeksvraag kunnen testen. Om dit te testen, hebben ze een specifieke, expliciete hypothese
nodig, waarin precies staat wat ze verwachten te zien (zodat je kunt controleren of de gegevens/data
die hypothese bevestigen of niet). Zodra de hypothese is geformuleerd, wordt de studie opgezet en
worden de gegevens verzameld. Dan wordt getest of de gegevens overeenkomen met de hypothese
of niet. Als de hypothese wordt ondersteund, biedt dat extra steun voor de theorie. Als de hypothese
niet wordt ondersteund, betekent dit dat de theorie moet worden aangepast of verworpen, of dat er
mogelijk iets mis is met het onderzoeksontwerp (the study design). => Dit suggereert dat er een
‘confirmatory’ aanpak is: je begint met een theorie, formuleert een hypothese en test of de theorie
bevestigd kan worden. Deze cyclus geldt alleen voor confirmatory approaches of deductieve
benaderingen! (Je start vanuit een theorie en kijkt of je er bewijs voor vindt).
Er bestaat ook onderzoek dat een exploratieve/exploratory (inductieve) benadering gebruikt,
bijvoorbeeld kwalitatief onderzoek (zoals interviews). In dat geval worden geen hypothesen getest.
Je interviewt mensen om te begrijpen hoe ze iets ervaren of wat hun overtuigingen zijn. Hier gaat het
dus niet om het bevestigen van theorieën! (je start niet vanuit een theorie, maar vanuit de data zelf,
bv. bij interviews is er bij de start van het onderzoek geen hypothese die getest wordt, je wilt
eigenlijk gewoon breed inzicht krijgen in een fenomeen. In de interviews zal je zien: wat komt er uit
de data naar voor? Zijn er bepaalde patronen? Je leert iets bij over een fenomeen -> je exploreert de
data)
Illustratie: een bekend voorbeeld is het onderzoek van Harlow naar hechting. Hij wist dat er
verschillende theorieën bestonden over waarom baby’s zich hechten aan een
ouderfiguur. De Cupboard Theory (niet zijn theorie) stelt dat hechting ontstaat omdat je
je hecht aan degene die je voedt en ervoor zorgt dat je overleeft. De Contact Comfort
Theory (Harlow’s theorie) stelt dat hechting ontstaat omdat je je hecht aan degene die je
comfort biedt, je knuffelt en liefde geeft. Deze twee theorieën bestonden tegelijkertijd.
Harlow wilde onderzoeken welke theorie ondersteund werd door data. Hij ontwierp een
studie met baby-aapjes. In een kooi plaatste hij twee constructies: links: een constructie met een fles
melk, zodat de baby-aapjes daar konden drinken. Verder was deze constructie oncomfortabel,
gemaakt van koud, metalen draad. Rechts: een constructie zonder eten, maar bedekt met zachte
materialen en warm. Zijn idee was: Als de Cupboard Theory klopt, zouden de baby-aapjes de meeste
tijd doorbrengen aan de linkerkant (waar voedsel is). Als de Contact Comfort Theory klopt, zouden ze
de meeste tijd doorbrengen aan de rechterkant. Hij verzamelde data en observeerde dat de baby-
aapjes de meeste tijd aan de rechterkant doorbrachten, wat steun bood voor de Contact Comfort
Theory. De Cupboard Theory werd niet ondersteund door deze resultaten.
Dit toont de empirische cyclus in actie: twee theorieën worden getest, een studie wordt ontworpen,
een specifieke hypothese wordt geformuleerd (“Als theorie X klopt, gebeurt dit; als theorie Y klopt,
gebeurt dat”), gegevens worden verzameld en conclusies worden getrokken.
Goede theoretische modellen hebben bepaalde eigenschappen die hen onderscheiden van ‘slechte’
theoretische modellen. The characteristics of good theories are:
1. een theorie die ondersteund wordt door data, is betrouwbaarder.
2. goede theoretische modellen zijn falsifieerbaar → Dit betekent dat het mogelijk is
om de theorie te ontkrachten of weerleggen (to disprove). Als een theorie niet
falsifieerbaar is, spreken we van pseudowetenschap. Voorbeeld van een niet-
falsifieerbare theorie: ‘Facilitated Communication Treatment believers’. Wat betekent
4
