OMT II
Inhoudsopgave
RMT II: HOC 1 – INTRODUCTION TO SCIENTIFIC REASONING ........................................................................ 3
1. PSYCHOLOGY AS A WAY OF THINKING........................................................................................................................3
1.1 Producing versus consuming research .....................................................................................................3
1.2 Hoe wetenschappers werken....................................................................................................................3
1.3 Wetenschappers testen theorieën............................................................................................................6
1.4 Scientists Form a Community ...................................................................................................................7
2. SOURCES OF INFORMATION ....................................................................................................................................7
2.1 Research versus Experience ......................................................................................................................7
2.2 Research versus Intuition..........................................................................................................................9
2.3 Authority Figures ....................................................................................................................................10
2.4 Overview .................................................................................................................................................10
2.5 Scientific Sources ....................................................................................................................................11
2.6 Pyramid of Scientific Evidence ................................................................................................................11
RMT II: HOC 2 – FOUNDATIONS OF RESEARCH ................................................................................ 13
1. THREE CLAIMS, FOUR VALIDITIES ............................................................................................................................13
1.1 Variables .................................................................................................................................................13
1.2 Three Claims ...........................................................................................................................................14
1.3 The Four Big Validities ............................................................................................................................17
1.4 Conditions for Causality ..........................................................................................................................18
1.5 Spurious Associations .............................................................................................................................20
1.6 Correlation Does Not Equal Causation ...................................................................................................20
1.7 Prioritizing Types of Validity ...................................................................................................................20
2. ETHICAL GUIDELINES FOR PSYCHOLOGY RESEARCH .....................................................................................................21
2.1 Historical Examples:................................................................................................................................21
2.2 The Belmont Report ................................................................................................................................21
2.3 APA Guidelines ........................................................................................................................................22
2.4 Research Fraud .......................................................................................................................................23
2.5 Open Science...........................................................................................................................................26
2.6 Dierenonderzoek.....................................................................................................................................26
RMT II: HOC 3 - SURVEY RESEARCH ........................................................................................................... 27
1. IDENTIFYING GOOD MEASUREMENT (GOEDE METINGEN) ............................................................................................27
1.1 Verschillende manieren om een variabele te meten ..............................................................................27
1.2 Operationaliseren ...................................................................................................................................27
1.3 Construct validity and reliability .............................................................................................................28
1.4 Reliability: ...............................................................................................................................................29
1.5 Construct validity: ...................................................................................................................................31
1.6 Evaluating reliability and construct validity in articles ...........................................................................32
2. SURVEYS AND OBSERVATIONS (SURVEY- EN OBSERVATIEONDERZOEK) ...........................................................................34
2.1 Surveys ....................................................................................................................................................34
2.2 Observations ...........................................................................................................................................39
RMT II: HOC 4 - SAMPLING ....................................................................................................................... 42
1.1 Sampling bias..........................................................................................................................................43
1.2 Margin of error .......................................................................................................................................43
1.3 Sampling distribution demonstration .....................................................................................................44
1.4 Sampling techniques ...............................................................................................................................44
1.5 Oefening: boeken in de VUB-bibliotheek ................................................................................................50
, 1.7 When is external validity important? .....................................................................................................50
1.8 How to evaluate external validity ...........................................................................................................50
1.9 WEIRD samples .......................................................................................................................................50
1.10 Online paid panels ................................................................................................................................51
1.11 Sample size ...........................................................................................................................................52
RMT II: HOC 5 - BIVARIATE CORRELATIONAL RESEARCH ............................................................................. 54
1.1 Three examples .......................................................................................................................................54
1.2 Bivariate correlational research .............................................................................................................56
1.3 Evaluating Validity ..................................................................................................................................56
RMT II: HOC 6 - MULTIVARIATE CORRELATIONAL RESEARCH ...................................................................... 64
1.1 Criteria for causality ...............................................................................................................................64
1.2 Longitudinaal design ..............................................................................................................................65
1.3 Multiple regression .................................................................................................................................68
1.4 Mediation ...............................................................................................................................................74
RMT2: HOC 7 - SIMPLE EXPERIMENTAL RESEARCH..................................................................................... 78
1.1 Two examples .........................................................................................................................................78
1.2 Experimental variables ...........................................................................................................................79
1.3 Potential Outcomes Framework .............................................................................................................79
1.4 simple experiment ..................................................................................................................................80
1.5 Experiments ............................................................................................................................................80
1.7 Evaluating four aspects of validity .........................................................................................................89
RMT2: HOC 8 - EXPERIMENTS: CONFOUNDING AND OBSCURING VARIABLES ............................................. 91
1.1 Examples of bad experiments .................................................................................................................91
1.2 Threats Internal Validity .........................................................................................................................92
1.3 Null-effect .............................................................................................................................................100
1.4 Power ....................................................................................................................................................105
RMT2: HOC 9 - EXPERIMENTS WITH MORE THAN 1 INDEPENDENT VARIABLE ........................................... 109
1.1 Factorial Designs...................................................................................................................................110
1.2 Main and interaction effects ................................................................................................................111
1.3 Explaining effects ..................................................................................................................................117
RMT2: HOC10 - QUASI-EXPERIMENTS, SMALL-N DESIGNS, & REPLICATION............................................... 124
1.1Quasi-experiments.................................................................................................................................124
1.2 Types of experiments ............................................................................................................................128
1.3 Small-N experiment ..............................................................................................................................128
1.4 Replication ............................................................................................................................................131
1.5 Meta-analysis .......................................................................................................................................135
1.6 Generalisability .....................................................................................................................................137
2
,RMT II: HOC 1 – Introduction to Scientific Reasoning
1. Psychology as a way of thinking
1.1 Producing versus consuming research
Psychologie wordt voorgesteld als een manier van denken, niet enkel als een verzameling feiten.
Er wordt een onderscheid gemaakt tussen twee rollen:
• De research producer, die zelf onderzoek uitvoert, data verzamelt en analyseert.
• De research consumer, die leert hoe je kritisch onderzoek leest, beoordeelt en toepast in
de praktijk.
Beide rollen zijn essentieel in de psychologie en vereisen een kritische, wetenschappelijke
houding.
Voorbeeld van het belang van de onderzoekconsument
De boodschap is dat zelfs gepubliceerde informatie kritisch bekeken moet worden. Het
benadrukt dat wetenschappelijke geletterdheid nodig is om correcte conclusies te trekken,
zeker in een tijd waarin desinformatie en selectieve interpretatie van data vaak voorkomen.
Een kritische mindset is onmisbaar in de psychologie. Niet elk gepubliceerd onderzoek is correct
of betrouwbaar. De dia verwijst naar de replicatiecrisis, een probleem waarbij veel psychologische
studies niet opnieuw dezelfde resultaten opleveren. Dit ondermijnt het vertrouwen in de
wetenschap en toont aan dat repliceerbaarheid en methodologische strengheid cruciaal zijn
voor betrouwbare kennis.
1.2 Hoe wetenschappers werken
Hun werk is gebaseerd op empirisme, waarbij kennis voortkomt uit systematische observatie
en metingen. Ze testen theorieën, werken aan zowel fundamentele als toegepaste vragen, en
publiceren hun bevindingen in wetenschappelijke tijdschriften. Daarnaast communiceren ze
ook met het brede publiek via journalisten, wat de vertaalslag van wetenschap naar
maatschappij benadrukt. Wetenschap is een continu proces van toetsing en verbetering.
Empirisme
Empirisme betekent dat kennis gebaseerd is op data verkregen door zintuiglijke
waarneming of op instrumenten die deze waarneming ondersteunen, zoals vragenlijsten of
thermometers. Empirisch onderzoek moet systematisch, rigoureus en herhaalbaar zijn. Het
staat in contrast met kennis gebaseerd op persoonlijke ervaring, intuïtie of autoriteit, die vaak
onbetrouwbaar is. Dit vormt de kern van wetenschappelijke betrouwbaarheid.
3
, Fundamental versus Applied Research
Onderscheid tussen fundamenteel onderzoek, dat gericht is op het begrijpen van basisprincipes
en theorieën, en toegepast onderzoek, dat gericht is op het oplossen van praktische problemen.
Beide vormen zijn belangrijk: fundamenteel onderzoek levert de bouwstenen voor kennis, terwijl
toegepast onderzoek die kennis inzet in de echte wereld.
Continuously Evolving
Wetenschap is geen statisch geheel van feiten, maar een dynamisch proces. Theorieën worden
voortdurend getest, aangepast of verworpen. Elk onderzoek leidt tot nieuwe
vragen en vervolgonderzoek. Een voorbeeld is het onderzoek van Meier et al. (2012) naar de
invloed van kleur op motivatie. Dit toont hoe één studie aanleiding kan geven tot een hele reeks
nieuwe studies.
Theorieën zijn voortdurend in ontwikkeling. Wetenschappelijke kennis groeit door kritische
toetsing, herziening en replicatie. Het voorbeeld van Meier et al. wordt opnieuw genoemd om
te illustreren hoe onderzoek leidt tot verfijning van theorieën.
Publishing
Onderzoekers dienen hun manuscripten in bij wetenschappelijke tijdschriften
zoals Nature, Science of Psychological Bulletin. Het peer-reviewproces is essentieel: een
editor stuurt het artikel naar reviewers, die het beoordelen op kwaliteit. Mogelijke uitkomsten
zijn: verwerpen, herzien en opnieuw indienen, of accepteren. Dit proces bewaakt de kwaliteit
en integriteit van wetenschappelijke publicaties.
Number of Submitted and Published Articles at Nature (1997–2017)
De grafiek geeft het aantal ingediende en gepubliceerde artikelen bij Nature over een periode
van 20 jaar weer. De boodschap is dat slechts een klein percentage van de ingediende artikelen
uiteindelijk wordt gepubliceerd. Dit benadrukt hoe competitief en streng het publicatieproces is
in de wetenschap.
4
Inhoudsopgave
RMT II: HOC 1 – INTRODUCTION TO SCIENTIFIC REASONING ........................................................................ 3
1. PSYCHOLOGY AS A WAY OF THINKING........................................................................................................................3
1.1 Producing versus consuming research .....................................................................................................3
1.2 Hoe wetenschappers werken....................................................................................................................3
1.3 Wetenschappers testen theorieën............................................................................................................6
1.4 Scientists Form a Community ...................................................................................................................7
2. SOURCES OF INFORMATION ....................................................................................................................................7
2.1 Research versus Experience ......................................................................................................................7
2.2 Research versus Intuition..........................................................................................................................9
2.3 Authority Figures ....................................................................................................................................10
2.4 Overview .................................................................................................................................................10
2.5 Scientific Sources ....................................................................................................................................11
2.6 Pyramid of Scientific Evidence ................................................................................................................11
RMT II: HOC 2 – FOUNDATIONS OF RESEARCH ................................................................................ 13
1. THREE CLAIMS, FOUR VALIDITIES ............................................................................................................................13
1.1 Variables .................................................................................................................................................13
1.2 Three Claims ...........................................................................................................................................14
1.3 The Four Big Validities ............................................................................................................................17
1.4 Conditions for Causality ..........................................................................................................................18
1.5 Spurious Associations .............................................................................................................................20
1.6 Correlation Does Not Equal Causation ...................................................................................................20
1.7 Prioritizing Types of Validity ...................................................................................................................20
2. ETHICAL GUIDELINES FOR PSYCHOLOGY RESEARCH .....................................................................................................21
2.1 Historical Examples:................................................................................................................................21
2.2 The Belmont Report ................................................................................................................................21
2.3 APA Guidelines ........................................................................................................................................22
2.4 Research Fraud .......................................................................................................................................23
2.5 Open Science...........................................................................................................................................26
2.6 Dierenonderzoek.....................................................................................................................................26
RMT II: HOC 3 - SURVEY RESEARCH ........................................................................................................... 27
1. IDENTIFYING GOOD MEASUREMENT (GOEDE METINGEN) ............................................................................................27
1.1 Verschillende manieren om een variabele te meten ..............................................................................27
1.2 Operationaliseren ...................................................................................................................................27
1.3 Construct validity and reliability .............................................................................................................28
1.4 Reliability: ...............................................................................................................................................29
1.5 Construct validity: ...................................................................................................................................31
1.6 Evaluating reliability and construct validity in articles ...........................................................................32
2. SURVEYS AND OBSERVATIONS (SURVEY- EN OBSERVATIEONDERZOEK) ...........................................................................34
2.1 Surveys ....................................................................................................................................................34
2.2 Observations ...........................................................................................................................................39
RMT II: HOC 4 - SAMPLING ....................................................................................................................... 42
1.1 Sampling bias..........................................................................................................................................43
1.2 Margin of error .......................................................................................................................................43
1.3 Sampling distribution demonstration .....................................................................................................44
1.4 Sampling techniques ...............................................................................................................................44
1.5 Oefening: boeken in de VUB-bibliotheek ................................................................................................50
, 1.7 When is external validity important? .....................................................................................................50
1.8 How to evaluate external validity ...........................................................................................................50
1.9 WEIRD samples .......................................................................................................................................50
1.10 Online paid panels ................................................................................................................................51
1.11 Sample size ...........................................................................................................................................52
RMT II: HOC 5 - BIVARIATE CORRELATIONAL RESEARCH ............................................................................. 54
1.1 Three examples .......................................................................................................................................54
1.2 Bivariate correlational research .............................................................................................................56
1.3 Evaluating Validity ..................................................................................................................................56
RMT II: HOC 6 - MULTIVARIATE CORRELATIONAL RESEARCH ...................................................................... 64
1.1 Criteria for causality ...............................................................................................................................64
1.2 Longitudinaal design ..............................................................................................................................65
1.3 Multiple regression .................................................................................................................................68
1.4 Mediation ...............................................................................................................................................74
RMT2: HOC 7 - SIMPLE EXPERIMENTAL RESEARCH..................................................................................... 78
1.1 Two examples .........................................................................................................................................78
1.2 Experimental variables ...........................................................................................................................79
1.3 Potential Outcomes Framework .............................................................................................................79
1.4 simple experiment ..................................................................................................................................80
1.5 Experiments ............................................................................................................................................80
1.7 Evaluating four aspects of validity .........................................................................................................89
RMT2: HOC 8 - EXPERIMENTS: CONFOUNDING AND OBSCURING VARIABLES ............................................. 91
1.1 Examples of bad experiments .................................................................................................................91
1.2 Threats Internal Validity .........................................................................................................................92
1.3 Null-effect .............................................................................................................................................100
1.4 Power ....................................................................................................................................................105
RMT2: HOC 9 - EXPERIMENTS WITH MORE THAN 1 INDEPENDENT VARIABLE ........................................... 109
1.1 Factorial Designs...................................................................................................................................110
1.2 Main and interaction effects ................................................................................................................111
1.3 Explaining effects ..................................................................................................................................117
RMT2: HOC10 - QUASI-EXPERIMENTS, SMALL-N DESIGNS, & REPLICATION............................................... 124
1.1Quasi-experiments.................................................................................................................................124
1.2 Types of experiments ............................................................................................................................128
1.3 Small-N experiment ..............................................................................................................................128
1.4 Replication ............................................................................................................................................131
1.5 Meta-analysis .......................................................................................................................................135
1.6 Generalisability .....................................................................................................................................137
2
,RMT II: HOC 1 – Introduction to Scientific Reasoning
1. Psychology as a way of thinking
1.1 Producing versus consuming research
Psychologie wordt voorgesteld als een manier van denken, niet enkel als een verzameling feiten.
Er wordt een onderscheid gemaakt tussen twee rollen:
• De research producer, die zelf onderzoek uitvoert, data verzamelt en analyseert.
• De research consumer, die leert hoe je kritisch onderzoek leest, beoordeelt en toepast in
de praktijk.
Beide rollen zijn essentieel in de psychologie en vereisen een kritische, wetenschappelijke
houding.
Voorbeeld van het belang van de onderzoekconsument
De boodschap is dat zelfs gepubliceerde informatie kritisch bekeken moet worden. Het
benadrukt dat wetenschappelijke geletterdheid nodig is om correcte conclusies te trekken,
zeker in een tijd waarin desinformatie en selectieve interpretatie van data vaak voorkomen.
Een kritische mindset is onmisbaar in de psychologie. Niet elk gepubliceerd onderzoek is correct
of betrouwbaar. De dia verwijst naar de replicatiecrisis, een probleem waarbij veel psychologische
studies niet opnieuw dezelfde resultaten opleveren. Dit ondermijnt het vertrouwen in de
wetenschap en toont aan dat repliceerbaarheid en methodologische strengheid cruciaal zijn
voor betrouwbare kennis.
1.2 Hoe wetenschappers werken
Hun werk is gebaseerd op empirisme, waarbij kennis voortkomt uit systematische observatie
en metingen. Ze testen theorieën, werken aan zowel fundamentele als toegepaste vragen, en
publiceren hun bevindingen in wetenschappelijke tijdschriften. Daarnaast communiceren ze
ook met het brede publiek via journalisten, wat de vertaalslag van wetenschap naar
maatschappij benadrukt. Wetenschap is een continu proces van toetsing en verbetering.
Empirisme
Empirisme betekent dat kennis gebaseerd is op data verkregen door zintuiglijke
waarneming of op instrumenten die deze waarneming ondersteunen, zoals vragenlijsten of
thermometers. Empirisch onderzoek moet systematisch, rigoureus en herhaalbaar zijn. Het
staat in contrast met kennis gebaseerd op persoonlijke ervaring, intuïtie of autoriteit, die vaak
onbetrouwbaar is. Dit vormt de kern van wetenschappelijke betrouwbaarheid.
3
, Fundamental versus Applied Research
Onderscheid tussen fundamenteel onderzoek, dat gericht is op het begrijpen van basisprincipes
en theorieën, en toegepast onderzoek, dat gericht is op het oplossen van praktische problemen.
Beide vormen zijn belangrijk: fundamenteel onderzoek levert de bouwstenen voor kennis, terwijl
toegepast onderzoek die kennis inzet in de echte wereld.
Continuously Evolving
Wetenschap is geen statisch geheel van feiten, maar een dynamisch proces. Theorieën worden
voortdurend getest, aangepast of verworpen. Elk onderzoek leidt tot nieuwe
vragen en vervolgonderzoek. Een voorbeeld is het onderzoek van Meier et al. (2012) naar de
invloed van kleur op motivatie. Dit toont hoe één studie aanleiding kan geven tot een hele reeks
nieuwe studies.
Theorieën zijn voortdurend in ontwikkeling. Wetenschappelijke kennis groeit door kritische
toetsing, herziening en replicatie. Het voorbeeld van Meier et al. wordt opnieuw genoemd om
te illustreren hoe onderzoek leidt tot verfijning van theorieën.
Publishing
Onderzoekers dienen hun manuscripten in bij wetenschappelijke tijdschriften
zoals Nature, Science of Psychological Bulletin. Het peer-reviewproces is essentieel: een
editor stuurt het artikel naar reviewers, die het beoordelen op kwaliteit. Mogelijke uitkomsten
zijn: verwerpen, herzien en opnieuw indienen, of accepteren. Dit proces bewaakt de kwaliteit
en integriteit van wetenschappelijke publicaties.
Number of Submitted and Published Articles at Nature (1997–2017)
De grafiek geeft het aantal ingediende en gepubliceerde artikelen bij Nature over een periode
van 20 jaar weer. De boodschap is dat slechts een klein percentage van de ingediende artikelen
uiteindelijk wordt gepubliceerd. Dit benadrukt hoe competitief en streng het publicatieproces is
in de wetenschap.
4
