Samenvatting Onderzoekspracticum
inleiding onderzoek – PB0212
,Dit document bevat belangrijke informatie uit de cursus PB0212 – Onderzoekspracticum
inleiding onderzoek van de Open Universiteit. Het werkt de thema’s 1 t/m 8 uit. Hierin
worden o.a. gedeeltes van het online boek ‘Open Methodologie en Statistiek’ en het online
boek ‘Rosetta for OU’. Verder vind je op blz. 93/94 en 106 een gedetailleerde beschrijvingen
over de betekenis van verschillende waarden die voortkomen uit SPSS.
Rode woorden/begrippen Belangrijke begrippen/theorieën
Dik gedrukt Belangrijke vragen
Geel gearceerd en dood Belangrijke onderwerpen
1
,Inhoudsopgave
THEMA 1 – BASIS CONCEPTEN ........................................................................................................................3
1.1 – WETENSCHAPPELIJK ONDERZOEK ........................................................................................................................ 3
1.2 – OPERATIONALISATIES ....................................................................................................................................... 5
1.3 – BETROUWBAARHEID EN VALIDITEIT ..................................................................................................................... 9
1.4 – POPULATIES EN STEEKPROEVEN ........................................................................................................................ 13
THEMA 2 – MODELLEN, DESIGNS EN ONDERZOEKSVRAGEN .......................................................................... 16
2.1 – STRUCTURELE MODELLEN ............................................................................................................................... 16
2.2 – TYPEN DESIGN .............................................................................................................................................. 17
2.3 – ONDERZOEKSVRAGEN EN HYPOTHESEN .............................................................................................................. 21
2.4 – EXTRACURRICULAIRE VERDIEPING ..................................................................................................................... 23
THEMA 3 – UNIVARIATIE ANALYSE ................................................................................................................ 25
3.1 – DATA EN MEETNIVEAUS .................................................................................................................................. 25
3.2 – BESCHRIJVINGSMATEN ................................................................................................................................... 28
3.3 – VERDELINGSVORMEN EN MATEN ...................................................................................................................... 36
3.4 – STEEKPROEVENVERDELINGEN EN BETROUWBAARHEIDSINTERVALLEN........................................................................ 45
3.5 – ZELF ANALYSEREN ......................................................................................................................................... 50
THEMA 4 – CORRELATIE ................................................................................................................................ 52
4.1 – HET VERBAND TUSSEN TWEE CONTINUE VARIABELEN ............................................................................................ 52
4.2 – DE CORRELATIECOËFFICIËNT ............................................................................................................................ 54
4.3 – DE P-WAARDE VAN PEARSON’S R ..................................................................................................................... 64
4.4 – TYPE-1 EN TYPE-2 FOUTEN ............................................................................................................................. 68
4.5 – POWER EN MULTIPLE TESTING ......................................................................................................................... 72
THEMA 5 – REGRESSIE .................................................................................................................................. 80
5.1 – LINEAIRE REGRESSIEANALYSE ........................................................................................................................... 80
5.2 – DE STEEKPROEVENVERDELING VAN BETA ............................................................................................................ 84
5.3 – DICHOTOME ONAFHANKELIJKE VARIABELEN ........................................................................................................ 91
THEMA 6 – T-TOETSEN EN COHEN’S D ........................................................................................................... 95
6.1 – ONAFHANKELIJKE STEEKPROEVEN ..................................................................................................................... 95
6.2 – AFHANKELIJKE STEEKPROEVEN ....................................................................................................................... 103
THEMA 7 – ANOVA ..................................................................................................................................... 107
7.1 – VARIANTIEANALYSE ..................................................................................................................................... 107
7.3 – SAMENVATTING ANALYSE KEUZE .................................................................................................................... 125
THEMA 8 – OVERIG ..................................................................................................................................... 126
8.2 – ETHIEK ...................................................................................................................................................... 126
2
,Thema 1 – Basis concepten
1.1 – Wetenschappelijk onderzoek
Waarom wordt wetenschap beoefend?
Onze ideeën over de werkelijkheid zijn niet zomaar te vertrouwen. Om de werkelijkheid in
kaart te brengen, zijn daarom systematische methoden van informatieverzameling en -
verwerking nodig.
Wetenschap: vormt de zoektocht naar kennis, waarbij die kennis via een systematische
methode wordt verkregen. De wetenschappelijke methode vormt een systematische methode
om te leren over de werkelijkheid.
Wetenschappelijke kennis – op een systematische manier verkregen – zorgt ervoor dat
uitspraken over de werkzaamheid van deze interventies voorbij gaan aan anekdotische en
subjectieve ervaringen en zo goed mogelijk aansluiten op de werkelijkheid.
Wat is de empirische onderzoekscyclus en uit welke fasen bestaat deze?
Empirisch onderzoek: onderzoek waarbij data worden verzameld, in de praktijk is bijna al het
onderzoek te beschouwen als empirisch onderzoek.
5 fasen van empirische onderzoekscyclus:
1. Onderzoeksvraag formuleren
2. Studie ontwerpen
3. Data verzamelen
4. Data analyseren
5. Rapporteren
Wat zijn dubieuze onderzoekspraktijken?
Dubieuze onderzoekspraktijken hebben ertoe geleid dat veel psychologische studies effecten
suggereren die er in werkelijkheid niet zijn.
Iets wat je vaak ziet is dat de dataverzameling, -analyse en -rapportage gebaseerd is op het
verkrijgen van gewenste resultaten in plaats van op het zuiver uitvoeren van onderzoek –
ongeacht wat de resultaten zijn.
Voorbeelden van dubieuze onderzoekspraktijken:
- Selectief rapporteren van variabelen en condities in een studie: bijvoorbeeld alleen
variabelen of condities die het gewenste effect laten zien.
- Flexibiliteit bij de data-analyse: op basis van uitkomsten van de data-analyse besluiten
om wel of niet een extra variabele in de analyse te betrekken of om bepaalde afwijkende
scores wel of niet in de dataset te laten.
- Selectiviteit of flexibiliteit bij het opstellen van de hypothese: op basis van de uitkomsten
van het onderzoek bepaalde hypotheses achterwege laten of achteraf aanpassen zodat deze
beter aansluiten bij de gevonden resultaten.
- Flexibiliteit bij de dataverzameling: op basis van de resultaten besluiten om extra data te
verzamelen, omdat voorlopige data-analyse nog niet de gewenste effecten laat zien, of
juist eerder stoppen met dataverzameling, omdat voorlopige data-analyse al het gewenste
effect laat zien.
3
,Je kan hieruit concluderen dat de fasen van de empirische onderzoekscyclus te flexibel
worden opgevat.
Hoewel het doorlopen van de empirische cyclus iteratief is, is het belangrijk om de
onderzoeksvraag, onderzoeksopzet en het plan van dataverzameling en -analyse al vast liggen
voordat data verzameld en geanalyseerd wordt.
Preregistratie: het vastleggen van de onderzoeksvraag, onderzoeksopzet en methode van
dataverzameling en -analyse.
Full-disclosure: volledige openheid wordt gegeven over het onderzoeksproces.
Publication-bias: de neiging om alleen studies te publiceren die effecten laten zien. Het is ook
makkelijker om studies te publiceren die effecten laten zien, omdat journals dit soort
onderzoeken interessanter vinden. Onderzoeken waarin het effect niet voorkomt zijn niet
interessant genoeg en worden daarom moeilijker gepubliceerd.
Wanneer een onderzoek een effect laat zien en een replicatieonderzoek niet, dan is het voor
het replicatieonderzoek moeilijker om gepubliceerd te worden, waardoor veel onderzoeken al
wel ontkracht zijn, maar het minder bekend is. Ze zijn niet interessant genoeg om te lezen.
4
, 1.2 – Operationalisaties
Wat zijn variabelen en welke functies kunnen ze hebben?
Variabele: iets wat varieert, of zou kunnen variëren – bv. de hoeveelheid cacaobonen dat je
per dag eet.
Voorbeelden van variabelen:
- Intelligentie
- Extraversie
- Optimisme
- Iemands attitude tegenover statistiek
Het meten van psychologische variabelen is ingewikkeld, omdat deze niet direct
observeerbaar zijn (i.t.t. het aantal cacaobonen). Daarbij komt dat het begrip extraversie niet
één allesomvattende definitie omvat, water bijvoorbeeld wel. Verder is er voor
psychologische begrippen zoals extraversie geen algemeen gebruikte eenheid om de variabele
te meten (i.t.t. bv. aantal cacaobonen of aantal jaren en/of maanden voor leeftijd).
Intelligentie is een uitzondering die gemeten wordt in IQ-punten.
Wat zijn constructen?
Psychologische constructen: psychologische variabelen waarbij de definitie is afgeleid vanuit
theorie en waarbij die definitie specificeert wat wel en wat niet tot de variabele behoort.
- Extraversie, depressie, leervaardigheid – zijn theoretisch onderbouwt, omdat we niet
weten of ze ‘echt bestaan’, zoals bv. een tafel of zwaartekracht.
Mensen hebben geen extraversie, impulsiviteit of depressie in hun hoofd zitten, zoals mensen
bloeddruk of longinhoud hebben.
Toch zijn de psychologische constructen wel heel bruikbaar, omdat ze andere variabelen die
wel observeerbaar zijn kunnen voorspellen of beïnvloeden.
- Cijfer voor een tentamen
- Snelheid van herstel na een zware operatie
- Prestatie tijdens een sollicitatiegesprek
Wat zijn operationalisaties?
Operationalisaties: vormen de vertaling van de definitie van het theoretische construct naar
een meetinstrument of manipulatie – het maakt een construct concreet en tastbaar.
Twee soorten operationalisaties:
1. Meetinstrumenten
2. Manipulaties
Wat zijn meetinstrumenten?
De bedoeling van een meetinstrument is om op consistente wijze een variabele (zoals de mate
van extraversie of neiging tot nadenken) te kwantificeren, oftewel te representeren in een
datareeks van getallen – het is hierbij niet de bedoeling dat er iets wordt beïnvloed.
In dit soort meetinstrumenten worden constructen gemeten met verschillende items, die samen
het betreffende construct omvatten. De reacties op de items worden gekoppeld aan getallen,
elke reactie krijgt een score en die scores worden gemiddeld of opgeteld om tot een
totaalscore voor die variabele te komen.
5
inleiding onderzoek – PB0212
,Dit document bevat belangrijke informatie uit de cursus PB0212 – Onderzoekspracticum
inleiding onderzoek van de Open Universiteit. Het werkt de thema’s 1 t/m 8 uit. Hierin
worden o.a. gedeeltes van het online boek ‘Open Methodologie en Statistiek’ en het online
boek ‘Rosetta for OU’. Verder vind je op blz. 93/94 en 106 een gedetailleerde beschrijvingen
over de betekenis van verschillende waarden die voortkomen uit SPSS.
Rode woorden/begrippen Belangrijke begrippen/theorieën
Dik gedrukt Belangrijke vragen
Geel gearceerd en dood Belangrijke onderwerpen
1
,Inhoudsopgave
THEMA 1 – BASIS CONCEPTEN ........................................................................................................................3
1.1 – WETENSCHAPPELIJK ONDERZOEK ........................................................................................................................ 3
1.2 – OPERATIONALISATIES ....................................................................................................................................... 5
1.3 – BETROUWBAARHEID EN VALIDITEIT ..................................................................................................................... 9
1.4 – POPULATIES EN STEEKPROEVEN ........................................................................................................................ 13
THEMA 2 – MODELLEN, DESIGNS EN ONDERZOEKSVRAGEN .......................................................................... 16
2.1 – STRUCTURELE MODELLEN ............................................................................................................................... 16
2.2 – TYPEN DESIGN .............................................................................................................................................. 17
2.3 – ONDERZOEKSVRAGEN EN HYPOTHESEN .............................................................................................................. 21
2.4 – EXTRACURRICULAIRE VERDIEPING ..................................................................................................................... 23
THEMA 3 – UNIVARIATIE ANALYSE ................................................................................................................ 25
3.1 – DATA EN MEETNIVEAUS .................................................................................................................................. 25
3.2 – BESCHRIJVINGSMATEN ................................................................................................................................... 28
3.3 – VERDELINGSVORMEN EN MATEN ...................................................................................................................... 36
3.4 – STEEKPROEVENVERDELINGEN EN BETROUWBAARHEIDSINTERVALLEN........................................................................ 45
3.5 – ZELF ANALYSEREN ......................................................................................................................................... 50
THEMA 4 – CORRELATIE ................................................................................................................................ 52
4.1 – HET VERBAND TUSSEN TWEE CONTINUE VARIABELEN ............................................................................................ 52
4.2 – DE CORRELATIECOËFFICIËNT ............................................................................................................................ 54
4.3 – DE P-WAARDE VAN PEARSON’S R ..................................................................................................................... 64
4.4 – TYPE-1 EN TYPE-2 FOUTEN ............................................................................................................................. 68
4.5 – POWER EN MULTIPLE TESTING ......................................................................................................................... 72
THEMA 5 – REGRESSIE .................................................................................................................................. 80
5.1 – LINEAIRE REGRESSIEANALYSE ........................................................................................................................... 80
5.2 – DE STEEKPROEVENVERDELING VAN BETA ............................................................................................................ 84
5.3 – DICHOTOME ONAFHANKELIJKE VARIABELEN ........................................................................................................ 91
THEMA 6 – T-TOETSEN EN COHEN’S D ........................................................................................................... 95
6.1 – ONAFHANKELIJKE STEEKPROEVEN ..................................................................................................................... 95
6.2 – AFHANKELIJKE STEEKPROEVEN ....................................................................................................................... 103
THEMA 7 – ANOVA ..................................................................................................................................... 107
7.1 – VARIANTIEANALYSE ..................................................................................................................................... 107
7.3 – SAMENVATTING ANALYSE KEUZE .................................................................................................................... 125
THEMA 8 – OVERIG ..................................................................................................................................... 126
8.2 – ETHIEK ...................................................................................................................................................... 126
2
,Thema 1 – Basis concepten
1.1 – Wetenschappelijk onderzoek
Waarom wordt wetenschap beoefend?
Onze ideeën over de werkelijkheid zijn niet zomaar te vertrouwen. Om de werkelijkheid in
kaart te brengen, zijn daarom systematische methoden van informatieverzameling en -
verwerking nodig.
Wetenschap: vormt de zoektocht naar kennis, waarbij die kennis via een systematische
methode wordt verkregen. De wetenschappelijke methode vormt een systematische methode
om te leren over de werkelijkheid.
Wetenschappelijke kennis – op een systematische manier verkregen – zorgt ervoor dat
uitspraken over de werkzaamheid van deze interventies voorbij gaan aan anekdotische en
subjectieve ervaringen en zo goed mogelijk aansluiten op de werkelijkheid.
Wat is de empirische onderzoekscyclus en uit welke fasen bestaat deze?
Empirisch onderzoek: onderzoek waarbij data worden verzameld, in de praktijk is bijna al het
onderzoek te beschouwen als empirisch onderzoek.
5 fasen van empirische onderzoekscyclus:
1. Onderzoeksvraag formuleren
2. Studie ontwerpen
3. Data verzamelen
4. Data analyseren
5. Rapporteren
Wat zijn dubieuze onderzoekspraktijken?
Dubieuze onderzoekspraktijken hebben ertoe geleid dat veel psychologische studies effecten
suggereren die er in werkelijkheid niet zijn.
Iets wat je vaak ziet is dat de dataverzameling, -analyse en -rapportage gebaseerd is op het
verkrijgen van gewenste resultaten in plaats van op het zuiver uitvoeren van onderzoek –
ongeacht wat de resultaten zijn.
Voorbeelden van dubieuze onderzoekspraktijken:
- Selectief rapporteren van variabelen en condities in een studie: bijvoorbeeld alleen
variabelen of condities die het gewenste effect laten zien.
- Flexibiliteit bij de data-analyse: op basis van uitkomsten van de data-analyse besluiten
om wel of niet een extra variabele in de analyse te betrekken of om bepaalde afwijkende
scores wel of niet in de dataset te laten.
- Selectiviteit of flexibiliteit bij het opstellen van de hypothese: op basis van de uitkomsten
van het onderzoek bepaalde hypotheses achterwege laten of achteraf aanpassen zodat deze
beter aansluiten bij de gevonden resultaten.
- Flexibiliteit bij de dataverzameling: op basis van de resultaten besluiten om extra data te
verzamelen, omdat voorlopige data-analyse nog niet de gewenste effecten laat zien, of
juist eerder stoppen met dataverzameling, omdat voorlopige data-analyse al het gewenste
effect laat zien.
3
,Je kan hieruit concluderen dat de fasen van de empirische onderzoekscyclus te flexibel
worden opgevat.
Hoewel het doorlopen van de empirische cyclus iteratief is, is het belangrijk om de
onderzoeksvraag, onderzoeksopzet en het plan van dataverzameling en -analyse al vast liggen
voordat data verzameld en geanalyseerd wordt.
Preregistratie: het vastleggen van de onderzoeksvraag, onderzoeksopzet en methode van
dataverzameling en -analyse.
Full-disclosure: volledige openheid wordt gegeven over het onderzoeksproces.
Publication-bias: de neiging om alleen studies te publiceren die effecten laten zien. Het is ook
makkelijker om studies te publiceren die effecten laten zien, omdat journals dit soort
onderzoeken interessanter vinden. Onderzoeken waarin het effect niet voorkomt zijn niet
interessant genoeg en worden daarom moeilijker gepubliceerd.
Wanneer een onderzoek een effect laat zien en een replicatieonderzoek niet, dan is het voor
het replicatieonderzoek moeilijker om gepubliceerd te worden, waardoor veel onderzoeken al
wel ontkracht zijn, maar het minder bekend is. Ze zijn niet interessant genoeg om te lezen.
4
, 1.2 – Operationalisaties
Wat zijn variabelen en welke functies kunnen ze hebben?
Variabele: iets wat varieert, of zou kunnen variëren – bv. de hoeveelheid cacaobonen dat je
per dag eet.
Voorbeelden van variabelen:
- Intelligentie
- Extraversie
- Optimisme
- Iemands attitude tegenover statistiek
Het meten van psychologische variabelen is ingewikkeld, omdat deze niet direct
observeerbaar zijn (i.t.t. het aantal cacaobonen). Daarbij komt dat het begrip extraversie niet
één allesomvattende definitie omvat, water bijvoorbeeld wel. Verder is er voor
psychologische begrippen zoals extraversie geen algemeen gebruikte eenheid om de variabele
te meten (i.t.t. bv. aantal cacaobonen of aantal jaren en/of maanden voor leeftijd).
Intelligentie is een uitzondering die gemeten wordt in IQ-punten.
Wat zijn constructen?
Psychologische constructen: psychologische variabelen waarbij de definitie is afgeleid vanuit
theorie en waarbij die definitie specificeert wat wel en wat niet tot de variabele behoort.
- Extraversie, depressie, leervaardigheid – zijn theoretisch onderbouwt, omdat we niet
weten of ze ‘echt bestaan’, zoals bv. een tafel of zwaartekracht.
Mensen hebben geen extraversie, impulsiviteit of depressie in hun hoofd zitten, zoals mensen
bloeddruk of longinhoud hebben.
Toch zijn de psychologische constructen wel heel bruikbaar, omdat ze andere variabelen die
wel observeerbaar zijn kunnen voorspellen of beïnvloeden.
- Cijfer voor een tentamen
- Snelheid van herstel na een zware operatie
- Prestatie tijdens een sollicitatiegesprek
Wat zijn operationalisaties?
Operationalisaties: vormen de vertaling van de definitie van het theoretische construct naar
een meetinstrument of manipulatie – het maakt een construct concreet en tastbaar.
Twee soorten operationalisaties:
1. Meetinstrumenten
2. Manipulaties
Wat zijn meetinstrumenten?
De bedoeling van een meetinstrument is om op consistente wijze een variabele (zoals de mate
van extraversie of neiging tot nadenken) te kwantificeren, oftewel te representeren in een
datareeks van getallen – het is hierbij niet de bedoeling dat er iets wordt beïnvloed.
In dit soort meetinstrumenten worden constructen gemeten met verschillende items, die samen
het betreffende construct omvatten. De reacties op de items worden gekoppeld aan getallen,
elke reactie krijgt een score en die scores worden gemiddeld of opgeteld om tot een
totaalscore voor die variabele te komen.
5
