Onderzoekspracticum inleiding onderzoek
Inhoudsopgave
Thema 1 - Basis concepten ...................................................................................................................... 2
1.1 Wetenschappelijk onderzoek ...................................................................................................... 2
1.2 Operationalisaties ....................................................................................................................... 4
1.3 Betrouwbaarheid en validiteit..................................................................................................... 6
1.4 Populaties en steekproeven ........................................................................................................ 9
Thema 2 - Modellen, designs en onderzoeksvragen ............................................................................. 11
2.1 Structurele modellen ................................................................................................................. 11
2.2 Typen designs ............................................................................................................................ 12
2.3 Onderzoeksvragen en hypothesen............................................................................................ 14
2.4 Extracurriculaire verdieping ...................................................................................................... 15
Thema 3 - Univariate analyse ................................................................................................................ 16
3.1 Data en meetniveaus................................................................................................................. 16
3.2 Beschrijvingsmaten ................................................................................................................... 17
3.3 Verdelingsvormen en maten..................................................................................................... 20
3.4 Steekproevenverdelingen en betrouwbaarheidsintervallen .................................................... 23
4.1 Het verband tussen twee continue variabelen ......................................................................... 26
4.2 De correlatie-coëfficient............................................................................................................ 27
4.3 De steekproevenverdeling van Pearson’s r ............................................................................... 29
4.4 Het BI van Pearson’s r ............................................................................................................... 30
4.5 De p-waarde van Pearson’s r..................................................................................................... 31
4.6 Type-1 en type-2 fouten ............................................................................................................ 32
4.7 Power en multiple testing ......................................................................................................... 33
Thema 5 – Regressie.............................................................................................................................. 34
5.1 Lineaire regressieanalyse .......................................................................................................... 34
5.2 De steekproevenverdeling van beta ......................................................................................... 36
5.3 Dichotome onafhankelijke variabelen ...................................................................................... 40
Thema 6 - t-toetsen en Cohen’s d ......................................................................................................... 42
6.1 Onafhankelijke/ongepaarde steekproeven............................................................................... 42
6.2 Afhankelijke/gepaarde steekproeven ....................................................................................... 45
Thema 7 – ANOVA ................................................................................................................................. 46
7.3 Samenvatting analyse keuzes ................................................................................................... 49
8.2 Ethiek......................................................................................................................................... 50
1
, Thema 1 - Basis concepten
1.1 Wetenschappelijk onderzoek
- Beschrijven waarom wetenschap wordt beoefend
Wetenschap: de zoektocht naar kennis, waarbij die kennis via een systematische methode wordt
verkregen. Wetenschappelijke methode: systematische methode om te leren over de werkelijkheid.
- Beschrijven wat de empirische onderzoekscyclus is en uit welke fasen deze bestaat
Empirisch onderzoek is onderzoek waarbij data worden verzameld. In de praktijk is bijna al het
onderzoek te beschouwen als empirisch onderzoek.
De empirische onderzoekscyclus omvat vijf fasen, deze lopen door elkaar heen (op de
onderzoeksvraag na):
- Onderzoeksvraag formuleren
o Bvb. Zorgt een statistiekcursus waarin studenten op toegepaste wijze stapsgewijs
kennismaken met de statistische begrippen, zonder al te veel gebruik te maken van
statistische formules, voor minder statistiekangst in vergelijking met een traditionele
statistiekcursus?
- Studie ontwerpen
o Bvb. Vergelijking van twee groepen (toegepaste statistiekcursus versus traditionele
statistiekcursus). Er wordt een voor- en nameting uitgevoerd op statistiekkennis en
statistiekangst. Om te weten hoeveel data verzameld moeten worden,
worden poweranalyses gedaan. De studieopzet, inclusief de methode van
dataverzameling en de analyses die uitgevoerd zullen worden, worden vastgelegd
(preregistratie). Bvb. Vragenlijst of experiment.
- Data verzamelen
o Volgens het plan zoals gepreregistreerd
- Data analyseren
o Volgens het plan zoals gepreregistreerd
- Rapporteren
o Beschrijven van studie en uitkomsten, wat vervolgens weer nieuwe
onderzoeksvragen zal oproepen
- Beschrijven wat dubieuze onderzoekspraktijken zijn
Verspreiding van uitkomsten van wetenschappelijk onderzoek: Wetenschappers communiceren in
de vorm van wetenschappelijke artikelen die via wetenschappelijke journals worden verspreid.
Artikelen worden eerst beoordeeld door andere wetenschappers voordat ze worden gepubliceerd.
Nadeel: Onderzoek is niet publiekelijk toegankelijk, maar alleen voor mensen die aan instellingen,
(zoals universiteiten) verbonden zijn. Tegenwoordig wel meer open access tijdschriften.
Publication bias: de neiging om alleen studies te publiceren die effecten laten zien. Hierdoor lijkt het
alsof het effect veel groter is. Niet goed repliceerbaar omdat effect daadwerkelijk niet zo groot zijn.
Gemene deler bij dubieuze onderzoekspraktijken: Dataverzameling, - analyse en -rapportage is
gebaseerd op het verkrijgen van gewenste resultaten in plaats van op het zuiver uitvoeren van het
onderzoek, ongeacht wat de resultaten zullen zijn.
Gaat vaak om kleine vergrijpen, zoals;
- Selectief rapporteren van variabelen of condities
- Flexibiliteit bij data-analyse
2
, o Op basis van uitkomsten besluiten om wel of niet extra variabele in de analyse te
betrekken
- Selectiviteit of flexibiliteit bij het opstellen van de hypotheses
o Op basis van uitkomsten onderzoek bepaalde hypotheses achterwege laten/achteraf
aanpassen
- Flexibiliteit bij dataverzameling
o Op basis van resultaten besluiten om extra data te verzamelen of juist eerder
stoppen
Probleem bij dubieus onderzoek: fasen van empirische onderzoekscyclus te flexibel opgevat
- Preregistratie: vastleggen van de onderzoeksvraag, onderzoeksopzet en methode van
dataverzameling en -analyse
o Moet gebeuren voordat data verzameld en geanalyseerd gaat worden
- Publication bias verkleinen: preregistratie wordt bij journal ingediend en geaccepteerd en
vervolgens wordt ook het onderzoek gepubliceerd, ongeacht resultaten.
Replicatiecrisis: Slechts helft van onderzoeken kregen effecten in dezelfde richting naar boven.
Onderzoekers zijn zich veel bewuster geworden van belang preregistratie en full disclosur.
Full disclosure: volledige openheid moet worden gegeven over het onderzoeksproces. Tegenwoordig
kan, door digitaal, de data en metadata mee gepubliceerd worden.
3
, 1.2 Operationalisaties
- Beschrijven wat variabelen zijn en welke functies ze kunnen hebben
Een variabele wordt gedefinieerd als iets dat varieert, of zou kunnen variëren.
- Beschrijven wat constructen zijn
Naam en definitie van een variabele in een theorie, welke moeilijk te observeren zijn.
Dit zijn psychologische variabelen waarbij de definitie is afgeleid vanuit theorie en waarbij die
definitie specificeert wat wel en wat niet tot de variabele behoort. Psychologie constructen zijn lastig
te onderzoeken, want:
- Meeste mensen zijn niet bekend met exacte definities van constructen (bvb, leergierig,
extravert)
- Mensen hebben beperkte mogelijkheden tot introspectie (naar binnen kijken)
- Is niet direct observeerbaar
-
- Beschrijven wat het verschil is tussen variabelen en constructen
Het meten van een variabel is makkelijker (leeftijd, hoeveelheid cacaobonen per dag) dan
constructen (leergierig, extravert, geen eenduidige definitie. Intelligentie in IQ is een uitzondering.
- Beschrijven wat operationalisaties zijn
Operationalisatie: meetbaar maken. Operationalisaties: vormen de vertaling van de definitie van het
theoretische construct naar een meetinstrument of manipulatie. Wordt gebruikt om
(psychologische) constructen te meten.
Volgorde: construct – operationalisatie – onderzoekseenheid
1. Construct: Naam en definitie van een variabele in een theorie
2. Operationalisatie: vertaling van die definitie naar een meetinstrument of manipulatie
3. Onderzoekseenheid: bvb een deelnemer aan een onderzoek, waar de operationalisatie op
wordt toegepast
- Beschrijven wat meetinstrumenten zijn
De bedoeling van een meetinstrument is om op consistente wijze een variabele (zoals de mate van
extraversie of neiging tot nadenken) te kwantificeren, oftewel te representeren in een datareeks van
getallen. Het is hierbij uitdrukkelijk niet de bedoeling dat er iets wordt beïnvloed. Meetinstrument
wordt gebruikt om gegevens te verzamelen.
Meetwaarden: de waarden die behaald kunnen worden bij een operationalisatie. Als je meet: ‘mate
waarin geld van belang wordt geacht’ op 7 puntenschaal, dan zijn meetwaarden 1 t/m 7.
- Beschrijven wat manipulaties zijn
Net zoals meetinstrumenten ontwikkeld zijn om een specifiek construct te meten, zijn manipulaties
ontwikkeld om een specifiek construct (of soms een combinatie van constructen) te beïnvloeden.
Voorbeelden en functie manipulaties:
- Deelnemers vertellen dat ze een beloning krijgen als ze goed presteren
o Verwachting over positieve uitkomst van gedrag
- Deelnemers naar een verdrietig filmpje laten kijken
o Gemoedstoestand
- Deelnemers blootstellen aan een rolmodel dat laat zien hoe je kunt omgaan met sociale druk
Met betrekking tot alcoholconsumptie
o Sociale weerbaarheid
- Deelnemers een alinea laten schrijven over hun best mogelijke zelf
o Optimisme
4
Inhoudsopgave
Thema 1 - Basis concepten ...................................................................................................................... 2
1.1 Wetenschappelijk onderzoek ...................................................................................................... 2
1.2 Operationalisaties ....................................................................................................................... 4
1.3 Betrouwbaarheid en validiteit..................................................................................................... 6
1.4 Populaties en steekproeven ........................................................................................................ 9
Thema 2 - Modellen, designs en onderzoeksvragen ............................................................................. 11
2.1 Structurele modellen ................................................................................................................. 11
2.2 Typen designs ............................................................................................................................ 12
2.3 Onderzoeksvragen en hypothesen............................................................................................ 14
2.4 Extracurriculaire verdieping ...................................................................................................... 15
Thema 3 - Univariate analyse ................................................................................................................ 16
3.1 Data en meetniveaus................................................................................................................. 16
3.2 Beschrijvingsmaten ................................................................................................................... 17
3.3 Verdelingsvormen en maten..................................................................................................... 20
3.4 Steekproevenverdelingen en betrouwbaarheidsintervallen .................................................... 23
4.1 Het verband tussen twee continue variabelen ......................................................................... 26
4.2 De correlatie-coëfficient............................................................................................................ 27
4.3 De steekproevenverdeling van Pearson’s r ............................................................................... 29
4.4 Het BI van Pearson’s r ............................................................................................................... 30
4.5 De p-waarde van Pearson’s r..................................................................................................... 31
4.6 Type-1 en type-2 fouten ............................................................................................................ 32
4.7 Power en multiple testing ......................................................................................................... 33
Thema 5 – Regressie.............................................................................................................................. 34
5.1 Lineaire regressieanalyse .......................................................................................................... 34
5.2 De steekproevenverdeling van beta ......................................................................................... 36
5.3 Dichotome onafhankelijke variabelen ...................................................................................... 40
Thema 6 - t-toetsen en Cohen’s d ......................................................................................................... 42
6.1 Onafhankelijke/ongepaarde steekproeven............................................................................... 42
6.2 Afhankelijke/gepaarde steekproeven ....................................................................................... 45
Thema 7 – ANOVA ................................................................................................................................. 46
7.3 Samenvatting analyse keuzes ................................................................................................... 49
8.2 Ethiek......................................................................................................................................... 50
1
, Thema 1 - Basis concepten
1.1 Wetenschappelijk onderzoek
- Beschrijven waarom wetenschap wordt beoefend
Wetenschap: de zoektocht naar kennis, waarbij die kennis via een systematische methode wordt
verkregen. Wetenschappelijke methode: systematische methode om te leren over de werkelijkheid.
- Beschrijven wat de empirische onderzoekscyclus is en uit welke fasen deze bestaat
Empirisch onderzoek is onderzoek waarbij data worden verzameld. In de praktijk is bijna al het
onderzoek te beschouwen als empirisch onderzoek.
De empirische onderzoekscyclus omvat vijf fasen, deze lopen door elkaar heen (op de
onderzoeksvraag na):
- Onderzoeksvraag formuleren
o Bvb. Zorgt een statistiekcursus waarin studenten op toegepaste wijze stapsgewijs
kennismaken met de statistische begrippen, zonder al te veel gebruik te maken van
statistische formules, voor minder statistiekangst in vergelijking met een traditionele
statistiekcursus?
- Studie ontwerpen
o Bvb. Vergelijking van twee groepen (toegepaste statistiekcursus versus traditionele
statistiekcursus). Er wordt een voor- en nameting uitgevoerd op statistiekkennis en
statistiekangst. Om te weten hoeveel data verzameld moeten worden,
worden poweranalyses gedaan. De studieopzet, inclusief de methode van
dataverzameling en de analyses die uitgevoerd zullen worden, worden vastgelegd
(preregistratie). Bvb. Vragenlijst of experiment.
- Data verzamelen
o Volgens het plan zoals gepreregistreerd
- Data analyseren
o Volgens het plan zoals gepreregistreerd
- Rapporteren
o Beschrijven van studie en uitkomsten, wat vervolgens weer nieuwe
onderzoeksvragen zal oproepen
- Beschrijven wat dubieuze onderzoekspraktijken zijn
Verspreiding van uitkomsten van wetenschappelijk onderzoek: Wetenschappers communiceren in
de vorm van wetenschappelijke artikelen die via wetenschappelijke journals worden verspreid.
Artikelen worden eerst beoordeeld door andere wetenschappers voordat ze worden gepubliceerd.
Nadeel: Onderzoek is niet publiekelijk toegankelijk, maar alleen voor mensen die aan instellingen,
(zoals universiteiten) verbonden zijn. Tegenwoordig wel meer open access tijdschriften.
Publication bias: de neiging om alleen studies te publiceren die effecten laten zien. Hierdoor lijkt het
alsof het effect veel groter is. Niet goed repliceerbaar omdat effect daadwerkelijk niet zo groot zijn.
Gemene deler bij dubieuze onderzoekspraktijken: Dataverzameling, - analyse en -rapportage is
gebaseerd op het verkrijgen van gewenste resultaten in plaats van op het zuiver uitvoeren van het
onderzoek, ongeacht wat de resultaten zullen zijn.
Gaat vaak om kleine vergrijpen, zoals;
- Selectief rapporteren van variabelen of condities
- Flexibiliteit bij data-analyse
2
, o Op basis van uitkomsten besluiten om wel of niet extra variabele in de analyse te
betrekken
- Selectiviteit of flexibiliteit bij het opstellen van de hypotheses
o Op basis van uitkomsten onderzoek bepaalde hypotheses achterwege laten/achteraf
aanpassen
- Flexibiliteit bij dataverzameling
o Op basis van resultaten besluiten om extra data te verzamelen of juist eerder
stoppen
Probleem bij dubieus onderzoek: fasen van empirische onderzoekscyclus te flexibel opgevat
- Preregistratie: vastleggen van de onderzoeksvraag, onderzoeksopzet en methode van
dataverzameling en -analyse
o Moet gebeuren voordat data verzameld en geanalyseerd gaat worden
- Publication bias verkleinen: preregistratie wordt bij journal ingediend en geaccepteerd en
vervolgens wordt ook het onderzoek gepubliceerd, ongeacht resultaten.
Replicatiecrisis: Slechts helft van onderzoeken kregen effecten in dezelfde richting naar boven.
Onderzoekers zijn zich veel bewuster geworden van belang preregistratie en full disclosur.
Full disclosure: volledige openheid moet worden gegeven over het onderzoeksproces. Tegenwoordig
kan, door digitaal, de data en metadata mee gepubliceerd worden.
3
, 1.2 Operationalisaties
- Beschrijven wat variabelen zijn en welke functies ze kunnen hebben
Een variabele wordt gedefinieerd als iets dat varieert, of zou kunnen variëren.
- Beschrijven wat constructen zijn
Naam en definitie van een variabele in een theorie, welke moeilijk te observeren zijn.
Dit zijn psychologische variabelen waarbij de definitie is afgeleid vanuit theorie en waarbij die
definitie specificeert wat wel en wat niet tot de variabele behoort. Psychologie constructen zijn lastig
te onderzoeken, want:
- Meeste mensen zijn niet bekend met exacte definities van constructen (bvb, leergierig,
extravert)
- Mensen hebben beperkte mogelijkheden tot introspectie (naar binnen kijken)
- Is niet direct observeerbaar
-
- Beschrijven wat het verschil is tussen variabelen en constructen
Het meten van een variabel is makkelijker (leeftijd, hoeveelheid cacaobonen per dag) dan
constructen (leergierig, extravert, geen eenduidige definitie. Intelligentie in IQ is een uitzondering.
- Beschrijven wat operationalisaties zijn
Operationalisatie: meetbaar maken. Operationalisaties: vormen de vertaling van de definitie van het
theoretische construct naar een meetinstrument of manipulatie. Wordt gebruikt om
(psychologische) constructen te meten.
Volgorde: construct – operationalisatie – onderzoekseenheid
1. Construct: Naam en definitie van een variabele in een theorie
2. Operationalisatie: vertaling van die definitie naar een meetinstrument of manipulatie
3. Onderzoekseenheid: bvb een deelnemer aan een onderzoek, waar de operationalisatie op
wordt toegepast
- Beschrijven wat meetinstrumenten zijn
De bedoeling van een meetinstrument is om op consistente wijze een variabele (zoals de mate van
extraversie of neiging tot nadenken) te kwantificeren, oftewel te representeren in een datareeks van
getallen. Het is hierbij uitdrukkelijk niet de bedoeling dat er iets wordt beïnvloed. Meetinstrument
wordt gebruikt om gegevens te verzamelen.
Meetwaarden: de waarden die behaald kunnen worden bij een operationalisatie. Als je meet: ‘mate
waarin geld van belang wordt geacht’ op 7 puntenschaal, dan zijn meetwaarden 1 t/m 7.
- Beschrijven wat manipulaties zijn
Net zoals meetinstrumenten ontwikkeld zijn om een specifiek construct te meten, zijn manipulaties
ontwikkeld om een specifiek construct (of soms een combinatie van constructen) te beïnvloeden.
Voorbeelden en functie manipulaties:
- Deelnemers vertellen dat ze een beloning krijgen als ze goed presteren
o Verwachting over positieve uitkomst van gedrag
- Deelnemers naar een verdrietig filmpje laten kijken
o Gemoedstoestand
- Deelnemers blootstellen aan een rolmodel dat laat zien hoe je kunt omgaan met sociale druk
Met betrekking tot alcoholconsumptie
o Sociale weerbaarheid
- Deelnemers een alinea laten schrijven over hun best mogelijke zelf
o Optimisme
4
