VUB
Onderzoeksmethoden en technieken II
Inhoud
1 Introductie tot wetenschappelijk denken ......................................................................................... 6
1.1 Psychologie als wijze van denken ........................................................................................... 6
1.1.1 Onderzoek produceren of consumeren ............................................................................ 6
1.1.2 Hoe werken wetenschappers?.......................................................................................... 6
1.1.2.1 Empirie ........................................................................................................................ 6
1.1.2.2 Theorieën testen........................................................................................................... 6
1.1.2.3 Wetenschappers vormen een gemeenschap ................................................................. 7
1.1.2.4 Fundamenteel en toegepast onderzoek ........................................................................ 8
1.1.2.5 Continue ontwikkeling ................................................................................................ 8
1.1.2.6 Publiceren .................................................................................................................... 8
1.1.2.7 Communiceren ............................................................................................................ 9
1.2 Bronnen van informatie ........................................................................................................... 9
1.2.1 Onderzoek vs. ervaring.................................................................................................... 9
1.2.2 Onderzoek vs. intuïtie...................................................................................................... 9
1.2.3 Autoriteiten geloven ...................................................................................................... 10
1.2.4 Wetenschappelijke bronnen........................................................................................... 10
2 Grondbeginselen van alle onderzoek............................................................................................. 11
2.1 Drie soorten uitspraken, vier aspecten................................................................................... 11
2.1.1 Variabelen ..................................................................................................................... 11
2.1.2 Drie soorten uitspraken.................................................................................................. 12
2.1.2.1 Uitspraken over frequenties ....................................................................................... 12
2.1.2.2 Uitspraken over verbanden ........................................................................................ 12
2.1.2.3 Uitspraken over causale verbanden ........................................................................... 12
2.1.3 Vier aspecten van validiteit ........................................................................................... 13
2.1.3.1 Validiteit en uitspraken over frequenties ................................................................... 14
2.1.3.2 Validiteit en uitspraken over verbanden .................................................................... 14
2.1.3.3 Validiteit en uitspraken over causale verbanden ....................................................... 14
2.1.4 Voorwaarden voor causaliteit ........................................................................................ 14
2.1.5 Afwegen van verschillende aspecten van validiteit ....................................................... 15
2.2 Ethische richtlijnen voor psychologisch onderzoek .............................................................. 15
2.2.1 Het Belmont verslag ...................................................................................................... 15
2.2.2 APA richtlijnen.............................................................................................................. 15
2.2.2.1 Ethische commissie ................................................................................................... 16
2.2.2.2 Informed consent ....................................................................................................... 16
1
,Aurélie Weverbergh 2 BA PSYCH 2020-2021
VUB
2.2.2.3 Misleiding .................................................................................................................. 16
2.2.2.4 Debriefing .................................................................................................................. 16
2.2.3 Onderzoeksfraude .......................................................................................................... 16
2.2.4 Open science beweging ................................................................................................. 17
2.2.5 Onderzoek met dieren.................................................................................................... 18
3 Goede metingen ............................................................................................................................. 19
3.1 Operationaliseren................................................................................................................... 19
3.2 Verschillende manieren om variabelen te meten ................................................................... 19
3.3 Meetniveaus........................................................................................................................... 19
3.4 Construct validiteit en betrouwbaarheid ................................................................................ 20
3.4.1 Betrouwbaarheid............................................................................................................ 20
3.4.1.1 Test-hertest betrouwbaarheid .................................................................................... 20
3.4.1.2 Interrater betrouwbaarheid ........................................................................................ 20
3.4.1.3 Interne consistentie betrouwbaarheid ........................................................................ 20
3.4.2 Construct validiteit ........................................................................................................ 21
3.4.2.1 Betrouwbaarheid en construct validiteit beoordelen in artikels ................................ 21
4 Surveys en observaties .................................................................................................................. 22
4.1 Experience sampling methods ............................................................................................... 22
4.2 Surveys .................................................................................................................................. 22
4.3 Schaalformaat kiezen ............................................................................................................ 23
4.4 Goede vragen schrijven ......................................................................................................... 24
4.5 Accurate antwoorden aanmoedigen ...................................................................................... 24
4.6 Observaties ............................................................................................................................ 25
5 Sampling........................................................................................................................................ 27
5.1 Veralgemenen ........................................................................................................................ 27
5.2 Representative sample / Probability sampling....................................................................... 27
5.2.1 Simple random sample .................................................................................................. 28
5.2.2 Cluster sample ............................................................................................................... 28
5.2.3 Multistage sample.......................................................................................................... 28
5.2.4 Stratisfied random sample ............................................................................................. 28
5.2.5 Oversampling ................................................................................................................ 28
5.2.6 Systematic sampling ...................................................................................................... 29
5.3 Biased sampling .................................................................................................................... 29
5.3.1 Convenience sample ...................................................................................................... 29
5.3.2 Purposive sampling ....................................................................................................... 29
5.3.3 Snowball sampling ........................................................................................................ 29
5.3.4 Quota sampling.............................................................................................................. 29
2
,Aurélie Weverbergh 2 BA PSYCH 2020-2021
VUB
5.3.5 Voorbeeld ...................................................................................................................... 29
5.4 Wanneer is externe validiteit belangrijk? .............................................................................. 30
5.4.1 Student samples ............................................................................................................. 30
5.4.2 Online panels ................................................................................................................. 31
5.5 Sample size ............................................................................................................................ 31
6 Bivariaat correlationeel onderzoek ................................................................................................ 32
6.1 3 voorbeelden ........................................................................................................................ 32
6.1.1 Mehl et al. (2010): eavesdropping on happiness ........................................................... 32
6.1.2 Cacioppo et al. (2013) ................................................................................................... 33
6.1.3 Siddarth et al. (2018) ..................................................................................................... 34
6.2 Definitie ................................................................................................................................. 34
6.3 Validiteit beoordelen ............................................................................................................. 34
6.3.1 Statistische validiteit ...................................................................................................... 35
6.3.2 Interne validiteit............................................................................................................. 38
6.3.3 Externe validiteit ........................................................................................................... 39
6.3.3.1 Moderator .................................................................................................................. 39
7 Multivariaat correlationeel onderzoek ........................................................................................... 40
7.1 Criteria voor causaliteit ......................................................................................................... 40
7.1.1 Longitudinale designs.................................................................................................... 40
7.2 Meervoudige regressie........................................................................................................... 42
7.2.1 Derde variabele uitsluiten .............................................................................................. 42
7.2.1.1 Samenvatting ............................................................................................................. 43
7.2.2 Patronen en parsimonie ................................................................................................. 43
7.3 Mediatie ................................................................................................................................. 44
7.4 Controleren ............................................................................................................................ 46
8 Eenvoudig experimenteel onderzoek ............................................................................................ 47
8.1 Experimentele variabelen ...................................................................................................... 48
8.2 Experimenten......................................................................................................................... 48
8.2.1 Causaliteit ...................................................................................................................... 48
8.2.2 Bedreigingen interne validiteit ...................................................................................... 48
8.2.3 Designs .......................................................................................................................... 49
8.2.3.1 Posttest-only .............................................................................................................. 49
8.2.3.2 Pretest/posttest design ............................................................................................... 50
8.2.3.3 Repeated-measures design......................................................................................... 50
8.2.3.4 Concurrent-measures design ..................................................................................... 51
8.2.4 Voordelen within-subjects designs ................................................................................ 51
8.2.5 Bedreiging interne validiteit .......................................................................................... 51
3
,Aurélie Weverbergh 2 BA PSYCH 2020-2021
VUB
8.2.5.1 Counterbalancing....................................................................................................... 52
8.2.6 Nadelen within-subject design ...................................................................................... 52
8.3 Vier aspecten van validiteit beoordelen................................................................................. 52
9 Experimenten: confounding en obscuring variables ..................................................................... 54
9.1 Bedreigingen interne validiteit .............................................................................................. 54
9.1.1 Maturatie ....................................................................................................................... 54
9.1.2 History threat ................................................................................................................. 55
9.1.3 Regressie naar het gemiddelde ...................................................................................... 55
9.1.4 Attrition ......................................................................................................................... 56
9.1.5 Testing ........................................................................................................................... 56
9.1.6 Instrumentation .............................................................................................................. 57
9.1.7 Selection threats............................................................................................................. 57
9.1.8 Observer bias en demand characteristics ....................................................................... 58
9.1.9 Placebo effect ................................................................................................................ 58
9.2 Null-effects ............................................................................................................................ 58
9.2.1 Oorzaken ....................................................................................................................... 58
9.2.1.1 Onvoldoende verschillen tussen groepen .................................................................. 59
9.2.1.2 Te veel verschillen binnen groepen ........................................................................... 59
9.2.2 95% CI en accuraatheid ................................................................................................. 60
9.2.3 Obscuring factors........................................................................................................... 60
9.3 Power ..................................................................................................................................... 61
9.3.1 Inferentiële statistiek ..................................................................................................... 61
9.3.1.1 Stappen in inferentiële statistiek ................................................................................ 62
9.3.2 Alpha ............................................................................................................................. 62
9.3.3 Type I en type II fouten voorkomen .............................................................................. 62
10 Experimenten met meer dan1 onafhankelijke variabele............................................................ 64
10.1 Factoriële designs: 2x2 factorieel design .............................................................................. 64
10.1.1 Wat kunnen factoriële designs aantonen ....................................................................... 66
10.1.2 Hoofdeffecten en interacties .......................................................................................... 66
10.1.2.1 Intuïtieve interactieaffecten ................................................................................... 66
10.1.2.2 Hoofdeffecten ........................................................................................................ 67
10.1.2.3 Interactie effecten .................................................................................................. 68
10.1.3 Mogelijke effecten in een 2x2 design ............................................................................ 70
10.1.4 Resultaten verwoorden .................................................................................................. 71
10.1.4.1 Hoofdeffecten ........................................................................................................ 71
10.1.4.2 Interactie effecten .................................................................................................. 72
10.1.5 Varianten van factoriële designs.................................................................................... 72
4
,Aurélie Weverbergh 2 BA PSYCH 2020-2021
VUB
10.1.5.1 Drie onafhankelijke variabelen .............................................................................. 73
10.1.5.2 Varianten afhankelijk van aantal onafhankelijke variabelen en levels. ................. 76
11 Quasi-experiment, small-N designs en replicatie ...................................................................... 77
11.1 Quasi-experimenten............................................................................................................... 77
11.1.1 Designs .......................................................................................................................... 77
11.1.2 Voorbeelden .................................................................................................................. 77
11.1.3 Interne validiteit............................................................................................................. 80
11.1.4 Prioriteiten ..................................................................................................................... 81
11.1.5 Verschil met correlationele studies ............................................................................... 81
11.2 Small-N experiment .............................................................................................................. 82
11.2.1 Verschil tussen large-N en small-N designs .................................................................. 82
11.2.2 Interne validiteit............................................................................................................. 82
11.2.3 Designs .......................................................................................................................... 83
11.2.4 Validiteit ........................................................................................................................ 84
11.3 Replicatie ............................................................................................................................... 85
11.3.1 De replicatie crisis in de psychologie ............................................................................ 85
11.3.2 Enkele bekende voorbeelden ......................................................................................... 86
11.3.3 Vormen .......................................................................................................................... 86
11.3.3.1 Directe replicatie ................................................................................................... 87
11.3.3.2 Conceptuele replicatie ........................................................................................... 87
11.3.3.3 Replicatie-plus-extensie ........................................................................................ 88
11.3.4 Replicatie projecten ....................................................................................................... 88
11.4 Meta-analyse ......................................................................................................................... 89
11.4.1 Definitie ......................................................................................................................... 89
11.4.2 Voorbeeld: Anderson & Bushman (2001) ..................................................................... 89
11.4.3 Sterktes en zwaktes........................................................................................................ 90
11.4.3.1 File drawer probleem ............................................................................................. 90
11.5 Veralgemeenbaarheid ............................................................................................................ 90
11.5.1 Moet een studie een goede externe validiteit hebben? .................................................. 90
11.5.1.1 Culturele psychologie: een bijzondere vorm van generalisation mode ................. 91
11.5.2 Externe validiteit en de werkelijke wereld .................................................................... 91
5
, Aurélie Weverbergh 2 BA PSYCH 2020-2021
VUB
1 Introductie tot wetenschappelijk denken
1.1 Psychologie als wijze van denken
1.1.1 Onderzoek produceren of consumeren
❖ Rol van onderzoek “producent” versus rol van onderzoek “consument"
o Men kan onderzoek produceren of consumeren
▪ Om te produceren moet men weten hoe (daarom OMT)
▪ Voorbeelden om het belang van de rol van onderzoek “consument” te
illustreren:
• Facilitated communication treatment
o Therapeut gaat hand van ASS-patiënt begeleiden om zinnen
te vormen en op die manier communicatie mogelijk te
maken. Uit onderzoek blijkt dat vaak onbewust gedachten
van therapeut worden gevormd i.p.v. die van patiënt
o Uit onderzoek weet men dus dat dit niet werkt
• Scared-straight approach
o Jongeren die in contact waren met justitie op het juiste pad
brengen door ze bang te maken (vb.: bezoek in gevangenis)
o Studies: als men deze jongeren gaat opvolgen lijkt het geen
effect te hebben, heeft zelf omgekeerd effect nl. meer
criminaliteit.
❖ Kritische mindset is essentieel
o Niet alle gepubliceerd onderzoek is correct / robust
o Psychologisch onderzoek zit in een turbulente periode
▪ Voorbije decennia hebben onderzoekers ontdekt dat veel resultaten uit oude
onderzoeken niet repliceerbaar zijn en soms zelf niet juist zijn.
1.1.2 Hoe werken wetenschappers?
❖ Wetenschap is gebaseerd op empirie
❖ Wetenschappers testen theorieën
❖ Wetenschap kan fundamentele en toegepaste vragen beantwoorden
❖ Wetenschap is continu in ontwikkeling
❖ Wetenschappers publiceren hun resultaten in vaktijdschriften
❖ Wetenschappers communiceren met het brede publiek via journalisten
1.1.2.1 Empirie
❖ Empirische methode is gebaseerd op data van
o Directe zintuiglijke waarnemingen
o Meetinstrumenten
❖ Empirische wetenschappers trachten systematisch, nauwkeurig, en repliceerbaar onderzoek
te verrichten
❖ Empirie is niet gebaseerd op eigen ervaringen, intuïtie, of autoriteitsfiguren.
1.1.2.2 Theorieën testen
❖ Die data gaan we dan gebruiken om theorieën te toetsen
6