ARMS OVERZICHT
INHOUDSOPGAVE
Opfrislessen Grasple .................................................................................................................... 4
Correlatie ........................................................................................................................................ 4
Meetniveaus .................................................................................................................................... 4
Lineaire regressie: de basis............................................................................................................... 4
Validiteit .......................................................................................................................................... 5
ANOVA ............................................................................................................................................ 6
Frequentistisch vs Bayesiaans ...................................................................................................... 8
Algemene verschillen ....................................................................................................................... 8
Betrouwbaarheidsintervallen ............................................................................................................ 9
Confidence interval ....................................................................................................................... 9
Credible interval .......................................................................................................................... 10
Multiple linear regression (MLR) ................................................................................................... 11
Aannames ......................................................................................................................................11
Interpretatie ....................................................................................................................................14
Frequentistisch ........................................................................................................................... 14
Bayesiaans ................................................................................................................................. 15
Hiërarchische MLR ..........................................................................................................................16
Zelf dummyvariabelen maken ..........................................................................................................18
Interpretatie MLR met dummyvariabelen ...................................................................................... 19
FAIR data en analyses .................................................................................................................. 21
Findable .........................................................................................................................................21
Accessible ......................................................................................................................................21
Interoperable ..................................................................................................................................22
Reusable ........................................................................................................................................22
Factorial ANOVA .......................................................................................................................... 23
Algemeen over ANOVA ....................................................................................................................23
Aannames ......................................................................................................................................24
Meer over factorial ANOVA ..............................................................................................................25
Visueel beoordelen van hoofd- en interactie-effecten .......................................................................27
1
, Interpretatie ....................................................................................................................................28
Frequentistisch ........................................................................................................................... 28
Bayesiaans ................................................................................................................................. 30
Meervoudig testen en error rates ......................................................................................................31
Follow-up tests en planned comparisons (frequentistisch)................................................................32
Follow-up test voor hoofdeffecten: pairwise comparisons............................................................. 32
Follow-up test voor interactie-effecten: Simple Main Effects ......................................................... 33
Planned comparisons/contrast testing ......................................................................................... 36
Informatieve hypotheses (Bayesiaans) .............................................................................................37
Preregistratie en Registered Reports ............................................................................................ 40
Questionable Research Practices ....................................................................................................40
Preregistratie ..................................................................................................................................40
Registered Reports ..........................................................................................................................41
ANCOVA ..................................................................................................................................... 43
Gemiddelden en gecorrigeerde gemiddelden ...................................................................................43
Interpretatie ....................................................................................................................................45
Frequentistisch ........................................................................................................................... 45
Bayesiaans ................................................................................................................................. 48
ANCOVA als regressie .....................................................................................................................50
Bewijs voor de nulhypothese kwantificeren ......................................................................................51
Waarom belangrijk?..................................................................................................................... 53
Equivalence testing (SESOI) .............................................................................................................54
Repeated-measures ANOVA ........................................................................................................ 58
Within factors, between factors en labeling ......................................................................................58
Sphericity-aanname ........................................................................................................................60
RM ANOVA met één factor: interpretatie ...........................................................................................61
Frequentistisch ........................................................................................................................... 61
Bayesiaans ................................................................................................................................. 62
RM ANOVA met twee within factors: interpretatie ..............................................................................63
Mixed design ANOVA .......................................................................................................................64
Frequentistisch ........................................................................................................................... 64
Bayesiaans ................................................................................................................................. 65
Overfitting .......................................................................................................................................66
Aannames: schendingen en oplossingen ...................................................................................... 68
Afwezigheid van outliers ..................................................................................................................68
Afwezigheid van multicollinearity .....................................................................................................68
Homoscedasticity ...........................................................................................................................69
2
, Linearity .........................................................................................................................................69
Normally distributed residuals .........................................................................................................70
Bootstrapping .................................................................................................................................70
Mediation analyse ....................................................................................................................... 72
Moderation vs mediation .................................................................................................................72
Moderation ................................................................................................................................. 72
Mediation.................................................................................................................................... 72
Bootstrapping bij mediation .............................................................................................................74
Interpretatie van mediation analyse .................................................................................................75
Multiple mediator model .............................................................................................................. 77
Wanneer gebruik je welk statistische model? ............................................................................... 78
Recap: voor- en nadelen van het Bayesiaanse kader ..................................................................... 80
3
,OPFRISLESSEN GRASPLE
CORRELATIE
Soms is het lastig om de sterkte van een relatie met enkel het blote oog te zien. Daarom heeft Pearson
een gestandaardiseerde methode ontworpen: de correlatiecoëfficiënt ofwel Pearson’s r. 1 of -1 betekent
een sterke correlatie, 0 betekent geen lineaire relatie. Het wordt berekend voor twee variabelen, omdat de
sterkte van de lineaire relatie tussen twee variabelen bekeken wordt.
Een sterke positieve correlatie betekent dat de ene variabele toeneemt als de andere ook toeneemt. Een
sterke negatieve correlatie betekent dat wanneer de ene variabele toeneemt, de andere afneemt.
Omdat correlatie gestandaardiseerd is, kan je verschillende sterktes van relaties vergelijken.
Let op dat een correlatie van 0 niet per definitie betekent dat er helemaal geen relatie is tussen de twee
variabelen. De relatie kan namelijk ook niet-lineair zijn (bijv. een parabool), alleen wordt dat niet opgepikt
met Pearson’s r. Pearson’s r meet dus enkel de sterkte van een lineaire relatie. Maak daarom grafieken en
bekijk je data. En correlation ≠ causation, je kan er dus geen oorzaak-gevolg relaties mee beschrijven,
enkel samenhang.
Als je wil weten of er een relatie is tussen variabelen is de eerste stap om een spreidingsdiagram te maken
zodat je de data kan bekijken. Als je correlaties wil kunnen vergelijken, is Pearson’s r handig. Correlatie
vertelt je alleen iets over dat een verandering in de ene variabele samengaat met een verandering in de
andere variabele. Het vertelt je niks over oorzaak of gevolg, want daar is een experiment voor nodig, want
daarmee kunnen alternatieve verklaringen worden uitgesloten.
MEETNIVEAUS
Nominale data kan je categoriseren door labels toe te kennen, is niet getalsmatig en er is verder geen
rangorde. Ordinale data kan je categoriseren en rangschikken, maar je kan niks zeggen over de intervallen
tussen de categorieën; denk aan brons, zilver en goud waarbij dat niks zegt over het verschil in bijv.
finishtijd tussen de mensen. Bij data op interval niveau kan je categoriseren en rangschikken en zijn er
gelijke intervallen tussen de categorieën. Verder is er geen betekenisvol of absoluut nulpunt. Dat wil
zeggen: 0 graden is bijv. niet ‘geen temperatuur’. Bij ratio niveau kan je data categoriseren, rangschikken,
zijn er gelijke intervallen en is er wél een betekenisvol of absoluut nulpunt. Interval en ratio hebben
getalsmatige/kwantitatieve data.
LINEAIRE REGRESSIE: DE BASIS
Lineaire regressie wordt gebruikt om voorspellingen te doen over lineaire relaties. Bij lineaire regressie
wordt een hoop data samengevat door er een rechte lijn doorheen te trekken. Het minimaal benodigde
meetniveau is interval, want er is kwantitatieve data nodig. Als uit een spreidingsdiagram blijkt dat er geen
lineaire relatie is, is een lineaire regressie niet de juiste keuze.
Om de voorspelde waarde te berekenen, heb je een regressievergelijking nodig. Daarvoor moet eerst de
helling van de lijn worden bepaald, oftewel hoeveel Y toeneemt als X met 1 toeneemt (of hoeveel Y
afneemt als X met 1 toeneemt). Helling kan je bijv. interpreteren als: wanneer iemand 1 jaar ouder wordt,
4
,neemt de bloeddruk gemiddeld met y toe. Naast informatie over de helling, hebben we ook het snijpunt
(intercept) nodig, wat de plek is waar de regressielijn de Y-as snijdt. Vaak wordt er ook naar verwezen als
de constant of b0 . Samen leidt dat tot de formule ŷ = 𝑏0 + 𝑏1𝑥 oftewel voorspelde Y-waarde = snijpunt +
helling x X-waarde. Het dakje op de Y geeft aan dat het niet een geobserveerde, maar voorspelde Y-
waarde is.
Er zijn situaties waarin het snijpunt van een regressievergelijking betekenisvol en informatief is. Kijk bijv.
naar de relatie tussen uren die je besteed hebt aan studeren en je tentamencijfer. Het snijpunt is het
voorspelde cijfer voor iemand die 0 uur gestudeerd heeft. Maar bij bijv. een relatie tussen lengte en
gewicht vertelt het snijpunt je het voorspelde gewicht van iemand die 0 cm lang is. Zoals je je wel kan
voorstellen, is de interpretatie van dat snijpunt vrij zinloos.
Lineaire regressie komt erop neer dat je een rechte lijn trekt door een hoop datapunten. Eén van de
manieren die gebruikt wordt om de best passende lijn te verkrijgen, is de least squares methode. Het
verschil tussen de geobserveerde en voorspelde Y-waarde is het verschil tussen het datapunt en de
regressielijn oftewel y – ŷ. De afstand tussen de ware Y-waarde en de voorspelde Y-waarde is de error of
het residu. Deze error is voor elk punt in een spreidingsdiagram weer net iets anders. Er wordt gezocht
naar de lijn die leidt tot de kleinst mogelijke som van squared errors. De error wordt gekwadrateerd
voordat ze bij elkaar worden opgeteld, zodat er geen negatieve getallen zijn. Deze methode is de least
squares methode.
VALIDITEIT
Constructvaliditeit is de mate waarin meetinstrumenten succesvol zijn in het meten van de
concepten/constructen en dus passen bij de conceptuele definitie. In experimenteel onderzoek gaat het
ook over de mate waarin de beoogde manipulatie is gelukt. Het gaat dus over de overeenkomst tussen de
operationalisering (door middel van het meetinstrument) en het theoretische concept (zoals beschreven
in de conceptuele definitie). Vragen die je kan stellen, zijn:
• Welke theoretische concepten worden gemeten of gemanipuleerd in het onderzoek (conceptuele
definitie)?
• Welke meetinstrumenten worden gebruikt om het theoretische concept te meten
(operationalisering)?
• Is er een betrouwbaarheidsanalyse uitgevoerd en zo ja, wat waren de uitkomsten ervan?
• Is er een factoranalyse uitgevoerd en zo ja, wat waren de uitkomsten ervan?
Daarnaast kan je kijken naar inhoudsvaliditeit, indruksvaliditeit, convergente validiteit, divergente
validiteit en criteriumvaliditeit. Voor het beoordelen van constructvaliditeit vind je de informatie in een
onderzoekspaper vaak in de introductie met informatie over conceptuele definities; methoden,
specifieker materialen en procedure met informatie over hoe auteurs de constructen hebben gemeten en
gemanipuleerd; discussie met informatie over hoe auteurs hun onderzoek en de implicaties hebben
geïnterpreteerd en hoe ze rekening hebben gehouden met bepaalde beperkingen van het onderzoek.
Zaken als sociaal gewenst antwoorden kunnen de constructvaliditeit negatief beïnvloeden.
Interne validiteit is de mate waarin de onderzoeksmethode alternatieve verklaringen voor een effect kan
uitsluiten. Het gaat dus over de mogelijkheid om te bepalen of er een causale relatie is. De vragen die je
kan stellen om te controleren of er aan de voorwaarden van causaliteit is voldaan, zijn:
• Is er een relatie tussen twee of meer variabelen?
5
, • Komt de oorzaak vooraf aan het gevolg (in tijd)?
• Kunnen we andere mogelijke verklaringen voor de gevonden relatie uitsluiten?
Experimenteel onderzoek is het beste als je een hoge interne validiteit wil. De onderdelen materialen en
participanten zijn in een onderzoekspaper het minst relevant als je op zoek bent naar informatie over
interne validiteit.
Externe validiteit is de mate waarin onderzoeksresultaten gegeneraliseerd kunnen worden naar andere
groepen, tijden en situaties. Het gaat over de mogelijkheid om iets te zeggen over situaties buiten het
onderzoek, oftewel in het echte leven. Ook hier kan je een aantal vragen stellen:
• Welke populatie wordt er onderzocht?
• Welke steekproefmethode is er gebruikt?
• Hoe representatief is de steekproef voor de populatie?
• Wat kunnen we zeggen over situaties in het echte leven op basis van de onderzoeksresultaten?
Het onderdeel participanten zou je in een onderzoekspaper de meeste informatie opleveren als het gaat
om hoe de steekproef genomen is en de eigenschappen van die steekproef. Een grote steekproef
betekent niet meteen dat de externe validiteit hoog is, want een grote steekproef is niet per se
representatief. De representativiteit is afhankelijk van de steekproefmethode, niet het formaat van de
steekproef. Een random steekproefmethode is beter als je resultaten wil kunnen generaliseren. Interne en
externe validiteit zijn twee losse dingen: als de één laag is, kan de ander alsnog hoog zijn en andersom.
Statistische validiteit is de mate waarin de resultaten van een statistische analyse accuraat en goed
onderbouwd zijn. Het gaat over de accuratesse en correctheid van de statistische analyses. Hiervoor kan
je de volgende vragen stellen:
• Is de analysetechniek die gebruikt is geschikt voor het beantwoorden van de onderzoeksvraag?
• Is er voldaan aan de aannames die horen bij de analyse?
• Zijn de resultaten van de analyse correct gerapporteerd en geïnterpreteerd?
In een onderzoekspaper vind je informatie in methoden, onderdeel analyse over welke analyses er zijn
gebruikt en of de aannames gecontroleerd zijn (dit kan ook bij resultaten staan); in resultaten vind je
informatie over welke p-waarden, Bayes factors, effectgroottes en betrouwbaarheidsintervallen
gerapporteerd zijn en hoe die zijn geïnterpreteerd; in discussie vind je wederom informatie over hoe de
auteurs hun eigen onderzoek en implicaties hebben geïnterpreteerd en hoe ze zijn omgegaan met
bepaalde beperkingen van het onderzoek (discussie is relevant voor alle vier soorten validiteit).
Keuzes die gemaakt worden in een studie kunnen positief uitpakken voor de ene soort validiteit, maar
tegelijkertijd negatief zijn voor een andere soort. Dit is met name het geval bij interne en externe validiteit.
Wanneer een experiment (hoge interne validiteit) in een lab of met computersimulatie wordt uitgevoerd,
kunnen we weinig zeggen over situaties buiten de studie (lage externe validiteit) op basis van de
onderzoeksresultaten. Om de kwaliteit van een wetenschappelijk artikel te beoordelen, kijken we naar de
vier soorten validiteit samen.
ANOVA
Een Analysis of Variance (ANOVA) is een test om twee of meer gemiddelden met elkaar te vergelijken.
Voor het vergelijken van twee gemiddelden kan je ook een t-test gebruiken. Er zijn verschillende soorten t-
tests: voor één sample, voor twee paired samples en voor twee onafhankelijke samples. De t-test voor
6
,twee onafhankelijke samples (daarbij aangenomen dat de populatievarianties voor de uitkomstvariabele
in de vergeleken groepen gelijk is) staat gelijk aan een ANOVA wanneer die bij 2 groepen gebruikt wordt.
Waar ANOVA verder gaat dan t-test, is het feit dat er met ANOVA ook 3 of meer groepen vergeleken
kunnen worden.
Verschillen in de gemiddelde scores van steekproeven betekenen niet automatisch dat het verschil valide
is voor de hele populatie. Als je een steekproef uit een populatie neemt, zal er altijd variatie in
steekproeven optreden. Dat betekent dat het resultaat in de volgende steekproef vanuit dezelfde
populatie enigszins anders zal zijn. Deze verschillen zijn steekproefvariabiliteit of steekproeffout
(sampling error). Daarom moet er gekeken worden naar verschillen tussen groepen, en of die verschillen
zodanig groot zijn dat ze niet door variatie in steekproef veroorzaakt kunnen zijn. Als er een groot verschil
is tussen de totale variantie en de variantie binnen groepen, is er een echt verschil tussen de
groepsgemiddelden. Er zijn twee soorten varianties, waarbij ik even als voorbeeld neem dat je leerlingen
van school A en van school B hebt en wil weten hoe goed ze zijn in rekenen:
• Within group variance bekijkt hoeveel de leerlingen van elkaar verschillen binnen hun eigen
school. Misschien zijn de leerlingen van school A ongeveer even goed, en hetzelfde geldt
binnen school B. Dan is de variantie binnen de groepen klein, want er is weinig spreiding
binnen elke groep. Het kijkt dus naar de verschillen tussen individuen binnen een groep.
• Between group variance bekijkt hoe verschillend de gemiddelden van de twee scholen van
elkaar zijn. Als het gemiddelde van school A veel hoger ligt dan school B, dan is de variantie
tussen groepen groot. Het kijkt dus naar verschillen tussen de groepen als geheel.
De kernvraag is: is de between group variantie groot in vergelijking met de within group variantie? Dat is
!"#$%&$$'
wat de F-statistiek ons vertelt. De F-test wordt berekend door 𝐹 = !"&(%)('
. MS staat voor Mean Squares
en verwijst naar hoe de varianties berekend worden. Als de variantie tussen groepen aanzienlijk groter is
dan de variantie binnen groepen, eindig je met een vrij hoog getal voor F. Een hoge F-waarde toont aan dat
er een echt verschil is tussen de gemiddelden van de verschillende groepen. Een F van 1 betekent dat de
between en within varianties exact gelijk zijn. Je kan wel een F van kleiner dan 1 krijgen, maar deze zal
nooit samengaan met een p-waarde van <.05.
In een ANOVA testen we een nulhypothese en een alternatieve hypothese. De alternatieve hypothese
stelt dat bijv. niet alle 3 de gemiddelden gelijk zijn, met andere woorden: minstens twee gemiddelden
verschillen van elkaar. Bij een ANOVA wordt gecheckt of er een verschil is tussen verschillende
groepsgemiddelden. Je zal niet kunnen zien welke van de groepen een hoger gemiddelde heeft, maar
alleen of minstens twee van de gemiddelden significant van elkaar afwijken.
Door de verschillen tussen meerdere gemiddelden in één keer te testen, kan je error rate inflation
voorkomen. Als je namelijk met t-tests telkens twee groepen zou vergelijken (A vs B, A vs C en B vs C), heb
je elke keer 5% kans op het maken van een Type 1-fout (uitgaande van de standaard a = 0.05) en die kans
stapelt zich als het ware op bij de losse analyses. Omdat ANOVA dat in één keer doet, gebeurt dit
fenomeen niet.
Between group variantie is een synoniem voor verklaarde variantie (explained variance). De variantie
tussen de groepsgemiddelden is namelijk de variantie die wordt verklaard door groepslidmaatschap.
Within group variantie is een synoniem voor onverklaarde variantie (residual variance). De variantie van
de scores binnen de groepen is namelijk variantie die niet wordt verklaard door bij welke groep je hoort en
wordt dus gezien als onverklaarde variantie.
7
,FREQUENTISTISCH VS BAYESIAANS
ALGEMENE VERSCHILLEN
Het frequentistische kader test hoe goed de data passen bij H0 (NHST). Hierbij horen p-waardes,
confidence intervals, effectgroottes en poweranalyse.
Het Bayesiaanse kader kijkt naar de kans op de hypothese, gegeven de data, waarbij prior informatie
wordt meegenomen. Hierbij horen Bayes factors (BFs), priors, posteriors en credible intervals.
Bij empirisch onderzoek wordt verzamelde data gebruikt om van te leren. Informatie in de data wordt
vastgelegd in een likelihood function. Vaak ziet dat eruit als een normaalverdeling, met op de X-as de
parameter waarin je geïnteresseerd bent (bijv. gemiddelden) en op de Y-as de kans dat je die data
observeert, voor elke waarde (de likelihood).
De frequentistische benadering gaat ervan uit dat alle relevante informatie zich binnen de likelihood
function bevindt. De Bayesiaanse benadering voegt er iets aan toe, namelijk het feit dat je misschien al
vooraf (prior) informatie hebt over de gemiddelden. Het centrale idee daarbij is dat bestaande kennis
wordt geüpdatet met informatie uit de data, en dat vormt samen de posterior distribution. Het voordeel
is dat je voortbouwt op bestaande kennis en onderzoeken en niet telkens vanaf nul begint. Een nadeel is
dat de resultaten afhangen van je keuze voor de prior. Een nadeel van frequentistisch is daarentegen dat
de resultaten en conclusies ook afhangen van dingen die niet zijn waargenomen en van het sampling
plan, waardoor dezelfde data tot andere resultaten kunnen leiden. De p-waarde verandert als je een
andere strategie gebruikt.
Prior, likelihood en posterior in makkelijkere termen:
Misschien heb je vooraf al een idee, bijv. dat de meeste leerlingen rond de 6 scoren. Dat is je prior; wat
je al gelooft of verwacht voordat je naar de cijfers kijkt. Dan verzamel je echte cijfers van leerlingen.
Die data geven informatie over wat het gemiddelde lijkt te zijn en hoe vaak elke gemiddelde score
voorkomt. Dat noemen we de likelihood; de informatie die rechtstreeks uit de data komt. De
Bayesiaanse aanpak combineert wat je al dacht te weten (prior) en wat je nu uit de data leert
(likelihood, in de vorm van BFs). Het resultaat is de posterior: een nieuw, verbeterd beeld van wat het
gemiddelde waarschijnlijk is ofwel een compromis tussen je eerdere verwachting en de nieuwe
gegevens. Dat is ook de essentie van Bayes’ Theorem: wat we dachten voordat we de data zagen,
combineren we met wat de data zeggen, om te berekenen wat we nu denken.
De Posterior Model Probability (PMP) is de (Bayesiaanse) kans op de hypothese na het observeren van
de data. De PMPs tellen altijd samen op tot 1. Dit zijn relatieve kansen, aangezien Bayesiaans testen
comparatief is: hypotheses worden tegenover elkaar getest, niet los van elkaar. Daarom geeft een BF
altijd weer hoe veel meer steun er is voor de ene hypothese vergeleken met de andere hypothese. Als een
hypothese een heel hoge BF heeft, betekent dat niet meteen dat het ook een heel goede hypothese is. Er
kan een betere bestaan die echter niet wordt getoetst, aangezien alleen de geformuleerde hypotheses
getoetst worden.
• Bayesiaans kijkt naar de kans dat de hypothese wordt gesteund door de data.
o Kans op hypothese, gegeven de data.
o Gezien de data die ik heb, hoe waarschijnlijk is het dat mijn hypothese waar is?
8
, o Gezien het bewijs wat ik nu zie, hoe waarschijnlijk is het dat de verdachte schuldig is?
• Frequentistisch kijkt naar de p-waarde, en daarmee naar de kans dat je dezelfde of meer extreme
data vindt gegeven dat de nulhypothese waar is.
o Kans op de data, gegeven de nulhypothese.
o Als de nulhypothese waar is, hoe waarschijnlijk is het dat ik zulke (of extremere) data zou
zien?
o Als de verdachte onschuldig is, hoe waarschijnlijk is het dan dat ik dit bewijs zou zien?
De p-waarde in frequentistische statistiek is de kans om dezelfde of nog extremere data te vinden, als de
nulhypothese waar is, of in formulevorm 𝑃(𝑑𝑎𝑡𝑎 | 𝐻* ) (lees: de kans op de data, gegeven H0). Met andere
woorden: we gaan uit van de nulhypothese en vragen ons af hoe waarschijnlijk onze data dan zouden zijn.
Maar dit vertelt ons niet hoe waarschijnlijk het is dat de nulhypothese zelf waar is; je weet alleen hoe
waarschijnlijk de data zijn, niet hoe waarschijnlijk de hypothese is. We weten dus niks over 𝑃(𝐻* | 𝑑𝑎𝑡𝑎).
De Bayesiaanse benadering draait dat om. Daar wordt berekend hoe waarschijnlijk een hypothese is,
gegeven de data die we hebben waargenomen. In formulevorm is dat 𝑃2𝐻+ 3 𝑑𝑎𝑡𝑎). Bayesiaans kijkt vanuit
de data naar de hypothese en kan daardoor iets zeggen over hoe geloofwaardig elke hypothese is.
BETROUWBAARHEIDSINTERVALLEN
• Point estimate: schatting van een enkele waarde van een parameter.
• Interval estimate: range van waarden waar de parameter in zou moeten zitten.
Achtergrond: een parameter is een waarde die de hele populatie beschrijft, bijv. het populatiegemiddelde
μ. Simpel gezegd zijn het dus gewoon de dingen als gemiddelde, SD etc. in de populatie.
Intervalschattingen leveren een maat van onzekerheid. Ze geven meer informatie dan een puntschatting,
omdat het een range van mogelijke waarden is. Het kan worden gebruikt voor schattingen en toetsen.
Frequentistische statistiek maakt gebruik van een confidence interval, terwijl Bayesiaanse statistiek
gebruikmaakt van credible interval.
CONFIDENCE INTERVAL
Om een confidence interval rondom een puntschatting te maken, hebben we de puntschatting (bijv. het
steekproefgemiddelde, 𝑥̅ ), de SD van de puntschatting (𝑠) en de steekproefgrootte (𝑛) nodig. Stel, 100
studenten houden hun social media gebruik een week lang bij. De gemiddelde tijd per dag was 147
minuten met een SD van 93.
𝐶𝐼 = 𝑥̅ ± 𝑧,-(% × 𝑆𝐸
.
𝑆𝐸 =
√'
𝑧,-(% hangt af van het ‘level of confidence’. Voor een 95% CI is het bijv. 1.96.
9
, Met het voorbeeld kunnen we het 95% CI gaan uitrekenen.
• 𝑥̅ = 147
• 𝑠 = 93
• 𝑛 = 100
01
95% 𝐶𝐼 = 147 ± 1.96 × = 147 ± 18.23
√2**
Het 95% CI wordt dan [128.77 , 165.23].
Op het tentamen zal niet gevraagd worden om een CI te berekenen. Wel moet je weten wat er bijv.
gebeurt als de SE toeneemt of afneemt en de juiste interpretatie. Hiervoor is het handig om bekend
te zijn met hoe de formule werkt.
De breedte van een CI hangt af van de SE. De SE wordt weer beïnvloed door de steekproefgrootte en SD:
• Door een grotere steekproef krijg je preciezere schattingen, dus wordt het CI smaller.
• Een grotere SD betekent dat er meer variatie in scores is, waardoor de schatting onzekerder
wordt en de CI breder wordt.
Confidence intervallen kunnen ook worden gebruikt voor hypothesetoetsing. Wanneer het 95% CI het
getal 0 niet bevat (dus het interval niet een bestaat uit een negatief én een positief getal), is het effect
statistisch significant als 𝛼 = .05 (5%). Een 95% CI van [-0.271 , 0.005] zou niet significant zijn, maar als
beide waarden positief of beide waarden negatief zijn, dan is het wel significant, want dan valt 0 er niet in.
De werkelijke (populatie) parameter is vast, maar onbekend. De data zijn willekeurig, want ze zijn random
steekproeven uit de populatie en variëren dus willekeurig rond die vaste, echte parameter. Probability
(kans) verwijst naar de procedure waarmee het CI wordt berekend: 95% van alle 95% CI’s bevat de echte
waarde. Als je één CI hebt berekend, mag je er geen kans aan vastknopen; je mag niet zeggen dat er een
95% kans is dat de ware parameter binnen het interval ligt. Een kans toekennen aan één enkel interval is
in strijd met het frequentistische kansbegrip.
• Correcte interpretatie: als we deze studie oneindig vaak herhalen, zal 95% van de berekende 95%
confidence intervallen de ware parameter bevatten. Een 50% CI betekent dat 50% van alle 50%
CI’s de ware populatieparameter bevat.
• Verkeerde interpretatie: er is een 95% kans dat de ware parameter in dit interval ligt.
CREDIBLE INTERVAL
Vanuit het Bayesiaanse perspectief zijn parameters toevallige variabelen met probability distributies
(kansverdelingen), terwijl de data vaststaan. Dat betekent dat we niet de populatie als ware parameter
zien, maar dat we denken in termen van de waarschijnlijkheid dat de parameter een bepaalde waarde
heeft. In tegenstelling tot de frequentistische benadering, worden de data gezien als vast en wordt de
parameter gezien als willekeurig. Ze zeggen dus niet: “Er is één vaste, maar onbekende waarde.”
Als we Bayesiaanse statistiek gebruiken en een credible interval berekenen, mag je wél spreken van de
kans dat we de ware parameter te pakken hebben. Er wordt bij een 95% credible interval gesproken over
dat er een 95% kans is dat de ware parameter binnen het interval ligt, gegeven de geobserveerde data en
de prior. Ze leunen dus op de data en de prior.
10
INHOUDSOPGAVE
Opfrislessen Grasple .................................................................................................................... 4
Correlatie ........................................................................................................................................ 4
Meetniveaus .................................................................................................................................... 4
Lineaire regressie: de basis............................................................................................................... 4
Validiteit .......................................................................................................................................... 5
ANOVA ............................................................................................................................................ 6
Frequentistisch vs Bayesiaans ...................................................................................................... 8
Algemene verschillen ....................................................................................................................... 8
Betrouwbaarheidsintervallen ............................................................................................................ 9
Confidence interval ....................................................................................................................... 9
Credible interval .......................................................................................................................... 10
Multiple linear regression (MLR) ................................................................................................... 11
Aannames ......................................................................................................................................11
Interpretatie ....................................................................................................................................14
Frequentistisch ........................................................................................................................... 14
Bayesiaans ................................................................................................................................. 15
Hiërarchische MLR ..........................................................................................................................16
Zelf dummyvariabelen maken ..........................................................................................................18
Interpretatie MLR met dummyvariabelen ...................................................................................... 19
FAIR data en analyses .................................................................................................................. 21
Findable .........................................................................................................................................21
Accessible ......................................................................................................................................21
Interoperable ..................................................................................................................................22
Reusable ........................................................................................................................................22
Factorial ANOVA .......................................................................................................................... 23
Algemeen over ANOVA ....................................................................................................................23
Aannames ......................................................................................................................................24
Meer over factorial ANOVA ..............................................................................................................25
Visueel beoordelen van hoofd- en interactie-effecten .......................................................................27
1
, Interpretatie ....................................................................................................................................28
Frequentistisch ........................................................................................................................... 28
Bayesiaans ................................................................................................................................. 30
Meervoudig testen en error rates ......................................................................................................31
Follow-up tests en planned comparisons (frequentistisch)................................................................32
Follow-up test voor hoofdeffecten: pairwise comparisons............................................................. 32
Follow-up test voor interactie-effecten: Simple Main Effects ......................................................... 33
Planned comparisons/contrast testing ......................................................................................... 36
Informatieve hypotheses (Bayesiaans) .............................................................................................37
Preregistratie en Registered Reports ............................................................................................ 40
Questionable Research Practices ....................................................................................................40
Preregistratie ..................................................................................................................................40
Registered Reports ..........................................................................................................................41
ANCOVA ..................................................................................................................................... 43
Gemiddelden en gecorrigeerde gemiddelden ...................................................................................43
Interpretatie ....................................................................................................................................45
Frequentistisch ........................................................................................................................... 45
Bayesiaans ................................................................................................................................. 48
ANCOVA als regressie .....................................................................................................................50
Bewijs voor de nulhypothese kwantificeren ......................................................................................51
Waarom belangrijk?..................................................................................................................... 53
Equivalence testing (SESOI) .............................................................................................................54
Repeated-measures ANOVA ........................................................................................................ 58
Within factors, between factors en labeling ......................................................................................58
Sphericity-aanname ........................................................................................................................60
RM ANOVA met één factor: interpretatie ...........................................................................................61
Frequentistisch ........................................................................................................................... 61
Bayesiaans ................................................................................................................................. 62
RM ANOVA met twee within factors: interpretatie ..............................................................................63
Mixed design ANOVA .......................................................................................................................64
Frequentistisch ........................................................................................................................... 64
Bayesiaans ................................................................................................................................. 65
Overfitting .......................................................................................................................................66
Aannames: schendingen en oplossingen ...................................................................................... 68
Afwezigheid van outliers ..................................................................................................................68
Afwezigheid van multicollinearity .....................................................................................................68
Homoscedasticity ...........................................................................................................................69
2
, Linearity .........................................................................................................................................69
Normally distributed residuals .........................................................................................................70
Bootstrapping .................................................................................................................................70
Mediation analyse ....................................................................................................................... 72
Moderation vs mediation .................................................................................................................72
Moderation ................................................................................................................................. 72
Mediation.................................................................................................................................... 72
Bootstrapping bij mediation .............................................................................................................74
Interpretatie van mediation analyse .................................................................................................75
Multiple mediator model .............................................................................................................. 77
Wanneer gebruik je welk statistische model? ............................................................................... 78
Recap: voor- en nadelen van het Bayesiaanse kader ..................................................................... 80
3
,OPFRISLESSEN GRASPLE
CORRELATIE
Soms is het lastig om de sterkte van een relatie met enkel het blote oog te zien. Daarom heeft Pearson
een gestandaardiseerde methode ontworpen: de correlatiecoëfficiënt ofwel Pearson’s r. 1 of -1 betekent
een sterke correlatie, 0 betekent geen lineaire relatie. Het wordt berekend voor twee variabelen, omdat de
sterkte van de lineaire relatie tussen twee variabelen bekeken wordt.
Een sterke positieve correlatie betekent dat de ene variabele toeneemt als de andere ook toeneemt. Een
sterke negatieve correlatie betekent dat wanneer de ene variabele toeneemt, de andere afneemt.
Omdat correlatie gestandaardiseerd is, kan je verschillende sterktes van relaties vergelijken.
Let op dat een correlatie van 0 niet per definitie betekent dat er helemaal geen relatie is tussen de twee
variabelen. De relatie kan namelijk ook niet-lineair zijn (bijv. een parabool), alleen wordt dat niet opgepikt
met Pearson’s r. Pearson’s r meet dus enkel de sterkte van een lineaire relatie. Maak daarom grafieken en
bekijk je data. En correlation ≠ causation, je kan er dus geen oorzaak-gevolg relaties mee beschrijven,
enkel samenhang.
Als je wil weten of er een relatie is tussen variabelen is de eerste stap om een spreidingsdiagram te maken
zodat je de data kan bekijken. Als je correlaties wil kunnen vergelijken, is Pearson’s r handig. Correlatie
vertelt je alleen iets over dat een verandering in de ene variabele samengaat met een verandering in de
andere variabele. Het vertelt je niks over oorzaak of gevolg, want daar is een experiment voor nodig, want
daarmee kunnen alternatieve verklaringen worden uitgesloten.
MEETNIVEAUS
Nominale data kan je categoriseren door labels toe te kennen, is niet getalsmatig en er is verder geen
rangorde. Ordinale data kan je categoriseren en rangschikken, maar je kan niks zeggen over de intervallen
tussen de categorieën; denk aan brons, zilver en goud waarbij dat niks zegt over het verschil in bijv.
finishtijd tussen de mensen. Bij data op interval niveau kan je categoriseren en rangschikken en zijn er
gelijke intervallen tussen de categorieën. Verder is er geen betekenisvol of absoluut nulpunt. Dat wil
zeggen: 0 graden is bijv. niet ‘geen temperatuur’. Bij ratio niveau kan je data categoriseren, rangschikken,
zijn er gelijke intervallen en is er wél een betekenisvol of absoluut nulpunt. Interval en ratio hebben
getalsmatige/kwantitatieve data.
LINEAIRE REGRESSIE: DE BASIS
Lineaire regressie wordt gebruikt om voorspellingen te doen over lineaire relaties. Bij lineaire regressie
wordt een hoop data samengevat door er een rechte lijn doorheen te trekken. Het minimaal benodigde
meetniveau is interval, want er is kwantitatieve data nodig. Als uit een spreidingsdiagram blijkt dat er geen
lineaire relatie is, is een lineaire regressie niet de juiste keuze.
Om de voorspelde waarde te berekenen, heb je een regressievergelijking nodig. Daarvoor moet eerst de
helling van de lijn worden bepaald, oftewel hoeveel Y toeneemt als X met 1 toeneemt (of hoeveel Y
afneemt als X met 1 toeneemt). Helling kan je bijv. interpreteren als: wanneer iemand 1 jaar ouder wordt,
4
,neemt de bloeddruk gemiddeld met y toe. Naast informatie over de helling, hebben we ook het snijpunt
(intercept) nodig, wat de plek is waar de regressielijn de Y-as snijdt. Vaak wordt er ook naar verwezen als
de constant of b0 . Samen leidt dat tot de formule ŷ = 𝑏0 + 𝑏1𝑥 oftewel voorspelde Y-waarde = snijpunt +
helling x X-waarde. Het dakje op de Y geeft aan dat het niet een geobserveerde, maar voorspelde Y-
waarde is.
Er zijn situaties waarin het snijpunt van een regressievergelijking betekenisvol en informatief is. Kijk bijv.
naar de relatie tussen uren die je besteed hebt aan studeren en je tentamencijfer. Het snijpunt is het
voorspelde cijfer voor iemand die 0 uur gestudeerd heeft. Maar bij bijv. een relatie tussen lengte en
gewicht vertelt het snijpunt je het voorspelde gewicht van iemand die 0 cm lang is. Zoals je je wel kan
voorstellen, is de interpretatie van dat snijpunt vrij zinloos.
Lineaire regressie komt erop neer dat je een rechte lijn trekt door een hoop datapunten. Eén van de
manieren die gebruikt wordt om de best passende lijn te verkrijgen, is de least squares methode. Het
verschil tussen de geobserveerde en voorspelde Y-waarde is het verschil tussen het datapunt en de
regressielijn oftewel y – ŷ. De afstand tussen de ware Y-waarde en de voorspelde Y-waarde is de error of
het residu. Deze error is voor elk punt in een spreidingsdiagram weer net iets anders. Er wordt gezocht
naar de lijn die leidt tot de kleinst mogelijke som van squared errors. De error wordt gekwadrateerd
voordat ze bij elkaar worden opgeteld, zodat er geen negatieve getallen zijn. Deze methode is de least
squares methode.
VALIDITEIT
Constructvaliditeit is de mate waarin meetinstrumenten succesvol zijn in het meten van de
concepten/constructen en dus passen bij de conceptuele definitie. In experimenteel onderzoek gaat het
ook over de mate waarin de beoogde manipulatie is gelukt. Het gaat dus over de overeenkomst tussen de
operationalisering (door middel van het meetinstrument) en het theoretische concept (zoals beschreven
in de conceptuele definitie). Vragen die je kan stellen, zijn:
• Welke theoretische concepten worden gemeten of gemanipuleerd in het onderzoek (conceptuele
definitie)?
• Welke meetinstrumenten worden gebruikt om het theoretische concept te meten
(operationalisering)?
• Is er een betrouwbaarheidsanalyse uitgevoerd en zo ja, wat waren de uitkomsten ervan?
• Is er een factoranalyse uitgevoerd en zo ja, wat waren de uitkomsten ervan?
Daarnaast kan je kijken naar inhoudsvaliditeit, indruksvaliditeit, convergente validiteit, divergente
validiteit en criteriumvaliditeit. Voor het beoordelen van constructvaliditeit vind je de informatie in een
onderzoekspaper vaak in de introductie met informatie over conceptuele definities; methoden,
specifieker materialen en procedure met informatie over hoe auteurs de constructen hebben gemeten en
gemanipuleerd; discussie met informatie over hoe auteurs hun onderzoek en de implicaties hebben
geïnterpreteerd en hoe ze rekening hebben gehouden met bepaalde beperkingen van het onderzoek.
Zaken als sociaal gewenst antwoorden kunnen de constructvaliditeit negatief beïnvloeden.
Interne validiteit is de mate waarin de onderzoeksmethode alternatieve verklaringen voor een effect kan
uitsluiten. Het gaat dus over de mogelijkheid om te bepalen of er een causale relatie is. De vragen die je
kan stellen om te controleren of er aan de voorwaarden van causaliteit is voldaan, zijn:
• Is er een relatie tussen twee of meer variabelen?
5
, • Komt de oorzaak vooraf aan het gevolg (in tijd)?
• Kunnen we andere mogelijke verklaringen voor de gevonden relatie uitsluiten?
Experimenteel onderzoek is het beste als je een hoge interne validiteit wil. De onderdelen materialen en
participanten zijn in een onderzoekspaper het minst relevant als je op zoek bent naar informatie over
interne validiteit.
Externe validiteit is de mate waarin onderzoeksresultaten gegeneraliseerd kunnen worden naar andere
groepen, tijden en situaties. Het gaat over de mogelijkheid om iets te zeggen over situaties buiten het
onderzoek, oftewel in het echte leven. Ook hier kan je een aantal vragen stellen:
• Welke populatie wordt er onderzocht?
• Welke steekproefmethode is er gebruikt?
• Hoe representatief is de steekproef voor de populatie?
• Wat kunnen we zeggen over situaties in het echte leven op basis van de onderzoeksresultaten?
Het onderdeel participanten zou je in een onderzoekspaper de meeste informatie opleveren als het gaat
om hoe de steekproef genomen is en de eigenschappen van die steekproef. Een grote steekproef
betekent niet meteen dat de externe validiteit hoog is, want een grote steekproef is niet per se
representatief. De representativiteit is afhankelijk van de steekproefmethode, niet het formaat van de
steekproef. Een random steekproefmethode is beter als je resultaten wil kunnen generaliseren. Interne en
externe validiteit zijn twee losse dingen: als de één laag is, kan de ander alsnog hoog zijn en andersom.
Statistische validiteit is de mate waarin de resultaten van een statistische analyse accuraat en goed
onderbouwd zijn. Het gaat over de accuratesse en correctheid van de statistische analyses. Hiervoor kan
je de volgende vragen stellen:
• Is de analysetechniek die gebruikt is geschikt voor het beantwoorden van de onderzoeksvraag?
• Is er voldaan aan de aannames die horen bij de analyse?
• Zijn de resultaten van de analyse correct gerapporteerd en geïnterpreteerd?
In een onderzoekspaper vind je informatie in methoden, onderdeel analyse over welke analyses er zijn
gebruikt en of de aannames gecontroleerd zijn (dit kan ook bij resultaten staan); in resultaten vind je
informatie over welke p-waarden, Bayes factors, effectgroottes en betrouwbaarheidsintervallen
gerapporteerd zijn en hoe die zijn geïnterpreteerd; in discussie vind je wederom informatie over hoe de
auteurs hun eigen onderzoek en implicaties hebben geïnterpreteerd en hoe ze zijn omgegaan met
bepaalde beperkingen van het onderzoek (discussie is relevant voor alle vier soorten validiteit).
Keuzes die gemaakt worden in een studie kunnen positief uitpakken voor de ene soort validiteit, maar
tegelijkertijd negatief zijn voor een andere soort. Dit is met name het geval bij interne en externe validiteit.
Wanneer een experiment (hoge interne validiteit) in een lab of met computersimulatie wordt uitgevoerd,
kunnen we weinig zeggen over situaties buiten de studie (lage externe validiteit) op basis van de
onderzoeksresultaten. Om de kwaliteit van een wetenschappelijk artikel te beoordelen, kijken we naar de
vier soorten validiteit samen.
ANOVA
Een Analysis of Variance (ANOVA) is een test om twee of meer gemiddelden met elkaar te vergelijken.
Voor het vergelijken van twee gemiddelden kan je ook een t-test gebruiken. Er zijn verschillende soorten t-
tests: voor één sample, voor twee paired samples en voor twee onafhankelijke samples. De t-test voor
6
,twee onafhankelijke samples (daarbij aangenomen dat de populatievarianties voor de uitkomstvariabele
in de vergeleken groepen gelijk is) staat gelijk aan een ANOVA wanneer die bij 2 groepen gebruikt wordt.
Waar ANOVA verder gaat dan t-test, is het feit dat er met ANOVA ook 3 of meer groepen vergeleken
kunnen worden.
Verschillen in de gemiddelde scores van steekproeven betekenen niet automatisch dat het verschil valide
is voor de hele populatie. Als je een steekproef uit een populatie neemt, zal er altijd variatie in
steekproeven optreden. Dat betekent dat het resultaat in de volgende steekproef vanuit dezelfde
populatie enigszins anders zal zijn. Deze verschillen zijn steekproefvariabiliteit of steekproeffout
(sampling error). Daarom moet er gekeken worden naar verschillen tussen groepen, en of die verschillen
zodanig groot zijn dat ze niet door variatie in steekproef veroorzaakt kunnen zijn. Als er een groot verschil
is tussen de totale variantie en de variantie binnen groepen, is er een echt verschil tussen de
groepsgemiddelden. Er zijn twee soorten varianties, waarbij ik even als voorbeeld neem dat je leerlingen
van school A en van school B hebt en wil weten hoe goed ze zijn in rekenen:
• Within group variance bekijkt hoeveel de leerlingen van elkaar verschillen binnen hun eigen
school. Misschien zijn de leerlingen van school A ongeveer even goed, en hetzelfde geldt
binnen school B. Dan is de variantie binnen de groepen klein, want er is weinig spreiding
binnen elke groep. Het kijkt dus naar de verschillen tussen individuen binnen een groep.
• Between group variance bekijkt hoe verschillend de gemiddelden van de twee scholen van
elkaar zijn. Als het gemiddelde van school A veel hoger ligt dan school B, dan is de variantie
tussen groepen groot. Het kijkt dus naar verschillen tussen de groepen als geheel.
De kernvraag is: is de between group variantie groot in vergelijking met de within group variantie? Dat is
!"#$%&$$'
wat de F-statistiek ons vertelt. De F-test wordt berekend door 𝐹 = !"&(%)('
. MS staat voor Mean Squares
en verwijst naar hoe de varianties berekend worden. Als de variantie tussen groepen aanzienlijk groter is
dan de variantie binnen groepen, eindig je met een vrij hoog getal voor F. Een hoge F-waarde toont aan dat
er een echt verschil is tussen de gemiddelden van de verschillende groepen. Een F van 1 betekent dat de
between en within varianties exact gelijk zijn. Je kan wel een F van kleiner dan 1 krijgen, maar deze zal
nooit samengaan met een p-waarde van <.05.
In een ANOVA testen we een nulhypothese en een alternatieve hypothese. De alternatieve hypothese
stelt dat bijv. niet alle 3 de gemiddelden gelijk zijn, met andere woorden: minstens twee gemiddelden
verschillen van elkaar. Bij een ANOVA wordt gecheckt of er een verschil is tussen verschillende
groepsgemiddelden. Je zal niet kunnen zien welke van de groepen een hoger gemiddelde heeft, maar
alleen of minstens twee van de gemiddelden significant van elkaar afwijken.
Door de verschillen tussen meerdere gemiddelden in één keer te testen, kan je error rate inflation
voorkomen. Als je namelijk met t-tests telkens twee groepen zou vergelijken (A vs B, A vs C en B vs C), heb
je elke keer 5% kans op het maken van een Type 1-fout (uitgaande van de standaard a = 0.05) en die kans
stapelt zich als het ware op bij de losse analyses. Omdat ANOVA dat in één keer doet, gebeurt dit
fenomeen niet.
Between group variantie is een synoniem voor verklaarde variantie (explained variance). De variantie
tussen de groepsgemiddelden is namelijk de variantie die wordt verklaard door groepslidmaatschap.
Within group variantie is een synoniem voor onverklaarde variantie (residual variance). De variantie van
de scores binnen de groepen is namelijk variantie die niet wordt verklaard door bij welke groep je hoort en
wordt dus gezien als onverklaarde variantie.
7
,FREQUENTISTISCH VS BAYESIAANS
ALGEMENE VERSCHILLEN
Het frequentistische kader test hoe goed de data passen bij H0 (NHST). Hierbij horen p-waardes,
confidence intervals, effectgroottes en poweranalyse.
Het Bayesiaanse kader kijkt naar de kans op de hypothese, gegeven de data, waarbij prior informatie
wordt meegenomen. Hierbij horen Bayes factors (BFs), priors, posteriors en credible intervals.
Bij empirisch onderzoek wordt verzamelde data gebruikt om van te leren. Informatie in de data wordt
vastgelegd in een likelihood function. Vaak ziet dat eruit als een normaalverdeling, met op de X-as de
parameter waarin je geïnteresseerd bent (bijv. gemiddelden) en op de Y-as de kans dat je die data
observeert, voor elke waarde (de likelihood).
De frequentistische benadering gaat ervan uit dat alle relevante informatie zich binnen de likelihood
function bevindt. De Bayesiaanse benadering voegt er iets aan toe, namelijk het feit dat je misschien al
vooraf (prior) informatie hebt over de gemiddelden. Het centrale idee daarbij is dat bestaande kennis
wordt geüpdatet met informatie uit de data, en dat vormt samen de posterior distribution. Het voordeel
is dat je voortbouwt op bestaande kennis en onderzoeken en niet telkens vanaf nul begint. Een nadeel is
dat de resultaten afhangen van je keuze voor de prior. Een nadeel van frequentistisch is daarentegen dat
de resultaten en conclusies ook afhangen van dingen die niet zijn waargenomen en van het sampling
plan, waardoor dezelfde data tot andere resultaten kunnen leiden. De p-waarde verandert als je een
andere strategie gebruikt.
Prior, likelihood en posterior in makkelijkere termen:
Misschien heb je vooraf al een idee, bijv. dat de meeste leerlingen rond de 6 scoren. Dat is je prior; wat
je al gelooft of verwacht voordat je naar de cijfers kijkt. Dan verzamel je echte cijfers van leerlingen.
Die data geven informatie over wat het gemiddelde lijkt te zijn en hoe vaak elke gemiddelde score
voorkomt. Dat noemen we de likelihood; de informatie die rechtstreeks uit de data komt. De
Bayesiaanse aanpak combineert wat je al dacht te weten (prior) en wat je nu uit de data leert
(likelihood, in de vorm van BFs). Het resultaat is de posterior: een nieuw, verbeterd beeld van wat het
gemiddelde waarschijnlijk is ofwel een compromis tussen je eerdere verwachting en de nieuwe
gegevens. Dat is ook de essentie van Bayes’ Theorem: wat we dachten voordat we de data zagen,
combineren we met wat de data zeggen, om te berekenen wat we nu denken.
De Posterior Model Probability (PMP) is de (Bayesiaanse) kans op de hypothese na het observeren van
de data. De PMPs tellen altijd samen op tot 1. Dit zijn relatieve kansen, aangezien Bayesiaans testen
comparatief is: hypotheses worden tegenover elkaar getest, niet los van elkaar. Daarom geeft een BF
altijd weer hoe veel meer steun er is voor de ene hypothese vergeleken met de andere hypothese. Als een
hypothese een heel hoge BF heeft, betekent dat niet meteen dat het ook een heel goede hypothese is. Er
kan een betere bestaan die echter niet wordt getoetst, aangezien alleen de geformuleerde hypotheses
getoetst worden.
• Bayesiaans kijkt naar de kans dat de hypothese wordt gesteund door de data.
o Kans op hypothese, gegeven de data.
o Gezien de data die ik heb, hoe waarschijnlijk is het dat mijn hypothese waar is?
8
, o Gezien het bewijs wat ik nu zie, hoe waarschijnlijk is het dat de verdachte schuldig is?
• Frequentistisch kijkt naar de p-waarde, en daarmee naar de kans dat je dezelfde of meer extreme
data vindt gegeven dat de nulhypothese waar is.
o Kans op de data, gegeven de nulhypothese.
o Als de nulhypothese waar is, hoe waarschijnlijk is het dat ik zulke (of extremere) data zou
zien?
o Als de verdachte onschuldig is, hoe waarschijnlijk is het dan dat ik dit bewijs zou zien?
De p-waarde in frequentistische statistiek is de kans om dezelfde of nog extremere data te vinden, als de
nulhypothese waar is, of in formulevorm 𝑃(𝑑𝑎𝑡𝑎 | 𝐻* ) (lees: de kans op de data, gegeven H0). Met andere
woorden: we gaan uit van de nulhypothese en vragen ons af hoe waarschijnlijk onze data dan zouden zijn.
Maar dit vertelt ons niet hoe waarschijnlijk het is dat de nulhypothese zelf waar is; je weet alleen hoe
waarschijnlijk de data zijn, niet hoe waarschijnlijk de hypothese is. We weten dus niks over 𝑃(𝐻* | 𝑑𝑎𝑡𝑎).
De Bayesiaanse benadering draait dat om. Daar wordt berekend hoe waarschijnlijk een hypothese is,
gegeven de data die we hebben waargenomen. In formulevorm is dat 𝑃2𝐻+ 3 𝑑𝑎𝑡𝑎). Bayesiaans kijkt vanuit
de data naar de hypothese en kan daardoor iets zeggen over hoe geloofwaardig elke hypothese is.
BETROUWBAARHEIDSINTERVALLEN
• Point estimate: schatting van een enkele waarde van een parameter.
• Interval estimate: range van waarden waar de parameter in zou moeten zitten.
Achtergrond: een parameter is een waarde die de hele populatie beschrijft, bijv. het populatiegemiddelde
μ. Simpel gezegd zijn het dus gewoon de dingen als gemiddelde, SD etc. in de populatie.
Intervalschattingen leveren een maat van onzekerheid. Ze geven meer informatie dan een puntschatting,
omdat het een range van mogelijke waarden is. Het kan worden gebruikt voor schattingen en toetsen.
Frequentistische statistiek maakt gebruik van een confidence interval, terwijl Bayesiaanse statistiek
gebruikmaakt van credible interval.
CONFIDENCE INTERVAL
Om een confidence interval rondom een puntschatting te maken, hebben we de puntschatting (bijv. het
steekproefgemiddelde, 𝑥̅ ), de SD van de puntschatting (𝑠) en de steekproefgrootte (𝑛) nodig. Stel, 100
studenten houden hun social media gebruik een week lang bij. De gemiddelde tijd per dag was 147
minuten met een SD van 93.
𝐶𝐼 = 𝑥̅ ± 𝑧,-(% × 𝑆𝐸
.
𝑆𝐸 =
√'
𝑧,-(% hangt af van het ‘level of confidence’. Voor een 95% CI is het bijv. 1.96.
9
, Met het voorbeeld kunnen we het 95% CI gaan uitrekenen.
• 𝑥̅ = 147
• 𝑠 = 93
• 𝑛 = 100
01
95% 𝐶𝐼 = 147 ± 1.96 × = 147 ± 18.23
√2**
Het 95% CI wordt dan [128.77 , 165.23].
Op het tentamen zal niet gevraagd worden om een CI te berekenen. Wel moet je weten wat er bijv.
gebeurt als de SE toeneemt of afneemt en de juiste interpretatie. Hiervoor is het handig om bekend
te zijn met hoe de formule werkt.
De breedte van een CI hangt af van de SE. De SE wordt weer beïnvloed door de steekproefgrootte en SD:
• Door een grotere steekproef krijg je preciezere schattingen, dus wordt het CI smaller.
• Een grotere SD betekent dat er meer variatie in scores is, waardoor de schatting onzekerder
wordt en de CI breder wordt.
Confidence intervallen kunnen ook worden gebruikt voor hypothesetoetsing. Wanneer het 95% CI het
getal 0 niet bevat (dus het interval niet een bestaat uit een negatief én een positief getal), is het effect
statistisch significant als 𝛼 = .05 (5%). Een 95% CI van [-0.271 , 0.005] zou niet significant zijn, maar als
beide waarden positief of beide waarden negatief zijn, dan is het wel significant, want dan valt 0 er niet in.
De werkelijke (populatie) parameter is vast, maar onbekend. De data zijn willekeurig, want ze zijn random
steekproeven uit de populatie en variëren dus willekeurig rond die vaste, echte parameter. Probability
(kans) verwijst naar de procedure waarmee het CI wordt berekend: 95% van alle 95% CI’s bevat de echte
waarde. Als je één CI hebt berekend, mag je er geen kans aan vastknopen; je mag niet zeggen dat er een
95% kans is dat de ware parameter binnen het interval ligt. Een kans toekennen aan één enkel interval is
in strijd met het frequentistische kansbegrip.
• Correcte interpretatie: als we deze studie oneindig vaak herhalen, zal 95% van de berekende 95%
confidence intervallen de ware parameter bevatten. Een 50% CI betekent dat 50% van alle 50%
CI’s de ware populatieparameter bevat.
• Verkeerde interpretatie: er is een 95% kans dat de ware parameter in dit interval ligt.
CREDIBLE INTERVAL
Vanuit het Bayesiaanse perspectief zijn parameters toevallige variabelen met probability distributies
(kansverdelingen), terwijl de data vaststaan. Dat betekent dat we niet de populatie als ware parameter
zien, maar dat we denken in termen van de waarschijnlijkheid dat de parameter een bepaalde waarde
heeft. In tegenstelling tot de frequentistische benadering, worden de data gezien als vast en wordt de
parameter gezien als willekeurig. Ze zeggen dus niet: “Er is één vaste, maar onbekende waarde.”
Als we Bayesiaanse statistiek gebruiken en een credible interval berekenen, mag je wél spreken van de
kans dat we de ware parameter te pakken hebben. Er wordt bij een 95% credible interval gesproken over
dat er een 95% kans is dat de ware parameter binnen het interval ligt, gegeven de geobserveerde data en
de prior. Ze leunen dus op de data en de prior.
10
