STATISTIEK SAMENVATTING
Simmons (2011) False-positive psychology
False-positieve error: onterechte verwerping van de nulhypothese (Type I fout). Drie gevolgen:
1. Fout-positieven zijn hardnekkig als ze eenmaal in de literatuur verschijnen.
2. Fout-positieve verspillen middelen:
- Ze inspireren tot investeringen in doelloze onderzoeksprogramma’s.
- Ze kunnen leiden tot ondoelmatige beleidsveranderingen.
3. Het veld dat bekend staat om het publiceren van valse positieven verliest zijn
geloofwaardigheid.
Researcher degrees of freedom
Researcher degrees of freedom: de flexibiliteit van onderzoekers in verschillende aspecten van
dataverzameling, data-analyse en het rapporteren van data. > Te veel researcher degrees of freedom
leidt tot vals-positieve bevindingen.
> Twee verklaringen:
1. Onduidelijkheid over hoe beslissingen het beste kunnen worden genomen.
2. De wens van de onderzoeker om een statistisch significant resultaat te vinden.
- Vier researcher degrees of freedom die vals-positieve bevindingen vergroten. Flexibiliteit in:
1. Afhankelijke variabelen kiezen.
2. Steekproefomvang kiezen.
3. Co-variabelen gebruiken (= onafhankelijke variabele).
4. Subsets van experimentele condities rapporteren.
- Andere researcher degrees of freedom: subsets van participanten en condities verwijderen
en bepalen of verzamelde data onderdeel van de pilot- of daadwerkelijke studie is).
- Multiple testing: veel variabelen opnemen in een voorspellende studie en in de hoofdanalyse
alleen de significante correlaties rapporteren.
- Probleem: de kans om ten minste één significante correlatie te vinden, is groter dan 5%. Als
je bijv. 5 significantietests uitvoert, is de kans op een Type I fout; 1 – (0,95 x 5) = 0.23. Het
totale risico is dan dus 23% in plaats van 5%.
- Flexibiliteit in steekproefomvang: stapsgewijze opname van respondenten, waarbij je steeds meer
respondenten toevoegt, de nulhypothese test en stopt als de nulhypothese kan worden afgewezen.
- Interim data analysis: het tussentijds testen met extra respondenten.
Oplossing
Zes eisen voor auteurs:
1. Auteurs moeten de regel bepalen voor het beëindigen van dataverzameling voordat de
dataverzameling begint en deze regel in het artikel vermelden (bijv. ‘max 100 observaties’).
2. Auteurs moeten minstens 20 waarnemingen per cel verzamelen of anders rechtvaardiging
geven voor de kosten van de dataverzameling.
- Steekproeven kleiner dan 20 hebben niet genoeg power om effecten te detecteren.
3. Auteurs moeten alle variabelen vermelden die in een onderzoek zijn verzameld.
, 4. Auteurs moeten alle experimentele omstandigheden rapporteren, inclusief mislukte
manipulaties of manipulaties die niet overeenkomen met hun hypothese.
5. Als observaties worden weggelaten, moeten auteurs ook rapporteren wat de resultaten
zijn als die observaties wel worden meegenomen.
6. Als een analyse een co-variabele bevat, moeten auteurs de statistische resultaten
rapporteren van de analyse zonder de co-variabele.
Kritiek op de oplossing:
1. Het gaat niet ver genoeg.
- Sommige researcher degrees of freedom blijven bestaan.
- Auteurs ervaren belemmeringen om de degrees of freedom bekend te maken.
- Weerlegging: onderzoekers hebben de behoefte om hun methodologie nauwkeurig
openbaar te maken als reviewers de oplossingen afdwingen. > Positieve cyclus van
transparantie en verantwoording.
2. Het gaat te ver.
- De richtlijnen kunnen explorerend onderzoek belemmeren.
- Weerlegging: explorerend onderzoek mag gedaan worden, zolang het
gerapporteerd wordt.
Field H2: The SPINE of statistics
Fit van het model: mate waarin een statistische model de geobserveerde gegevens zo goed mogelijk
vertegenwoordigt.
1. Good fit: hiermee kun je accurate voorspellingen doen over de echte wereld.
2. Moderate fit: niet compleet betrouwbaar, onnauwkeurige voorspelling.
3. Poor fit: voorspellingen zijn volledig onnauwkeurig.
Populaties en steekproeven
We verzamelen data van een deel van de populatie: sample. Hieruit trekken we conclusies voor de
hele populatie.
Wetenschappers beschrijven data vaak met lineaire modellen. > Twee problemen:
1. Veel modellen zijn niet degenen die het beste passen (omdat er geen non-lineaire
modellen zijn geprobeerd).
2. Veel datasets zijn niet gepubliceerd omdat het lineaire model niet paste.
> Als een plot een niet-lineair model lijkt te suggereren, pas dan geen lineair model toe.
Statistical models
- Statistische modellen bestaan uit variabelen en parameters.
- Variabelen: gemeten constructies die variëren over mensen/dingen in de steekproef.
- Parameters: worden geschat op basis van de data (i.p.v. gemeten). Voorbeelden:
- Mean, median (schatten het centrum van de distributie).
- Correlatie, regressiecoëfficiënt (schatten de relatie tussen twee variabelen).
Statistisch model met een parameter (b) en een voorspellende variabele (X):
,De mate van ‘fit’ bepalen voor een model: sum of squares
- Error = deviatie = residual: het verschil tussen de geobserveerde waarde en de voorspelde waarde.
> Probleem: niet mogelijk om dit bij elkaar op te tellen, omdat sommige positief zijn en
sommige negatief. > Kwadtrateren.
- Sum of squares (SS): de som van deze gekwadrateerde errors. > Hangt af van de hoeveelheid
verzamelde gegevens: hoe meer datapunten, hoe hoger de SS.
- Variantie (mean squared error): schatting van de gemiddelde spreiding van een set gegevens. Het
is de sum of squares gedeeld door het aantal waarden waarop de sum of squares is gebaseerd min 1.
- Grote variantie = poor fit.
Standard error
- Steekproefvariatie: de mate van variatie tussen steekproeven uit dezelfde populatie.
- Steekproefverdeling (sampling distribution): alle steekproeven samen.
- Central limit theorem: wanneer steekproeven groot zijn (> 30), zal de steekproefverdeling de vorm
van een normale verdeling aannemen.
- Standaardafwijking (standaarddeviatie): schatting van de gemiddelde spreiding van een reeks
gegevens gemeten in dezelfde meeteenheden als de oorspronkelijke gegevens. Het is de wortel van
de variantie.
- Standaard error (SE): de standaardafwijking van de steekproevenverdeling. > Vertelt hoeveel
spreiding er is tussen steekproeven uit dezelfde populatie. Formule:
s is de standaarddeviatie.
- Grote SE: veel variabiliteit tussen de gemiddelden van verschillende steekproeven. > Niet
representatief voor het populatiegemiddelde.
- Kleine SE: het steekproefgemiddelde weerspiegelt nauwkeurig het populatiegemiddelde.
Parameters
De mean is de parameter/score met de minste error in totaal. Het is de beste fit.
Betrouwbaarheidsintervallen
Betrouwbaarheidsintervallen: grenzen waarbinnen we denken dat de populatiewaarde zal vallen.
- In plaats te richten op een enkele waarde uit de steekproef (point estimate) kan gebruik
gemaakt worden van een interval estimate: de steekproefwaarde wordt gebruikt als
middelpunt, waarbij een onder- en bovengrens worden ingesteld.
- Bij een 95%- CI voor een gemiddelde: 100 steekproeven > voor elke steekproef het
gemiddelde en een BI berekend > bij 95 van deze steekproeven bevat het BI de waarde van
het gemiddelde in de populatie.
Bij een 95%-BI hoort een z-score van 1.96:
, - Smal betrouwbaarheidsinterval: het steekproefgemiddelde ligt zeer dichtbij het ware
(populatie)gemiddelde.
- Breed betrouwbaarheidsinterval: het steekproefgemiddelde verschilt sterk van het werkelijke
gemiddelde > het is een slechte weergave van de populatie.
Andere betrouwbaarheidsintervallen berekenen
Om andere CI’s te berekenen (bijv. 90% of 99%), moeten we de bijbehorende waarde van z
opzoeken. In het algemeen worden CI’s berekend als:
Hierbij zoek je de z-waarde op in de tabel van de normale verdeling:
- 99%-CI > z = (1-0.99)/2 = 0.005 > z = 2.58.
- 90%-CI > z = (1-0.90)/2 = 0.05 > z = 1.64.
Betrouwbaarheidsintervallen berekenen bij kleine steekproeven
Bij een CI van een kleine steekproef (<30), wordt een t-waarde gebruikt in plaats van een z-waarde.
Visuele weergave van betrouwbaarheidsintervallen
Het CI wordt meestal weergegeven met behulp van een error bar.
Als CI’s niet overlappen, zijn er twee mogelijkheden:
1. Beide CI’s bevatten het populatiegemiddelde, maar komen uit verschillende populaties.
2. Beide steekproeven komen uit dezelfde populatie, maar één (of beide) bevat niet het
populatiegemiddelde. > Komt slechts bij 5% voor.
Null hypothesis significance testing (NHST)
Null-hypothesis significance testing (NHST): systeem om te vertellen of Ha waar is.
- Nulhypothese (H0): er is geen effect.
- Alternatieve hypothese (Ha): er is een effect.
Test statistics
Test statistics: een statistiek waarvan we weten hoe vaak verschillende waarden voorkomen. > De
geobserveerde waarde wordt meestal gebruikt om hypothesen te testen.
- Systematische variantie: variatie die kan worden verklaard door het model.
- Niet-systematische variantie: variatie die niet kan worden verklaard door het model.
- Signal-to-noise ratio: we vergelijken hoe goed het model is met hoe slecht het is (de error):
Simmons (2011) False-positive psychology
False-positieve error: onterechte verwerping van de nulhypothese (Type I fout). Drie gevolgen:
1. Fout-positieven zijn hardnekkig als ze eenmaal in de literatuur verschijnen.
2. Fout-positieve verspillen middelen:
- Ze inspireren tot investeringen in doelloze onderzoeksprogramma’s.
- Ze kunnen leiden tot ondoelmatige beleidsveranderingen.
3. Het veld dat bekend staat om het publiceren van valse positieven verliest zijn
geloofwaardigheid.
Researcher degrees of freedom
Researcher degrees of freedom: de flexibiliteit van onderzoekers in verschillende aspecten van
dataverzameling, data-analyse en het rapporteren van data. > Te veel researcher degrees of freedom
leidt tot vals-positieve bevindingen.
> Twee verklaringen:
1. Onduidelijkheid over hoe beslissingen het beste kunnen worden genomen.
2. De wens van de onderzoeker om een statistisch significant resultaat te vinden.
- Vier researcher degrees of freedom die vals-positieve bevindingen vergroten. Flexibiliteit in:
1. Afhankelijke variabelen kiezen.
2. Steekproefomvang kiezen.
3. Co-variabelen gebruiken (= onafhankelijke variabele).
4. Subsets van experimentele condities rapporteren.
- Andere researcher degrees of freedom: subsets van participanten en condities verwijderen
en bepalen of verzamelde data onderdeel van de pilot- of daadwerkelijke studie is).
- Multiple testing: veel variabelen opnemen in een voorspellende studie en in de hoofdanalyse
alleen de significante correlaties rapporteren.
- Probleem: de kans om ten minste één significante correlatie te vinden, is groter dan 5%. Als
je bijv. 5 significantietests uitvoert, is de kans op een Type I fout; 1 – (0,95 x 5) = 0.23. Het
totale risico is dan dus 23% in plaats van 5%.
- Flexibiliteit in steekproefomvang: stapsgewijze opname van respondenten, waarbij je steeds meer
respondenten toevoegt, de nulhypothese test en stopt als de nulhypothese kan worden afgewezen.
- Interim data analysis: het tussentijds testen met extra respondenten.
Oplossing
Zes eisen voor auteurs:
1. Auteurs moeten de regel bepalen voor het beëindigen van dataverzameling voordat de
dataverzameling begint en deze regel in het artikel vermelden (bijv. ‘max 100 observaties’).
2. Auteurs moeten minstens 20 waarnemingen per cel verzamelen of anders rechtvaardiging
geven voor de kosten van de dataverzameling.
- Steekproeven kleiner dan 20 hebben niet genoeg power om effecten te detecteren.
3. Auteurs moeten alle variabelen vermelden die in een onderzoek zijn verzameld.
, 4. Auteurs moeten alle experimentele omstandigheden rapporteren, inclusief mislukte
manipulaties of manipulaties die niet overeenkomen met hun hypothese.
5. Als observaties worden weggelaten, moeten auteurs ook rapporteren wat de resultaten
zijn als die observaties wel worden meegenomen.
6. Als een analyse een co-variabele bevat, moeten auteurs de statistische resultaten
rapporteren van de analyse zonder de co-variabele.
Kritiek op de oplossing:
1. Het gaat niet ver genoeg.
- Sommige researcher degrees of freedom blijven bestaan.
- Auteurs ervaren belemmeringen om de degrees of freedom bekend te maken.
- Weerlegging: onderzoekers hebben de behoefte om hun methodologie nauwkeurig
openbaar te maken als reviewers de oplossingen afdwingen. > Positieve cyclus van
transparantie en verantwoording.
2. Het gaat te ver.
- De richtlijnen kunnen explorerend onderzoek belemmeren.
- Weerlegging: explorerend onderzoek mag gedaan worden, zolang het
gerapporteerd wordt.
Field H2: The SPINE of statistics
Fit van het model: mate waarin een statistische model de geobserveerde gegevens zo goed mogelijk
vertegenwoordigt.
1. Good fit: hiermee kun je accurate voorspellingen doen over de echte wereld.
2. Moderate fit: niet compleet betrouwbaar, onnauwkeurige voorspelling.
3. Poor fit: voorspellingen zijn volledig onnauwkeurig.
Populaties en steekproeven
We verzamelen data van een deel van de populatie: sample. Hieruit trekken we conclusies voor de
hele populatie.
Wetenschappers beschrijven data vaak met lineaire modellen. > Twee problemen:
1. Veel modellen zijn niet degenen die het beste passen (omdat er geen non-lineaire
modellen zijn geprobeerd).
2. Veel datasets zijn niet gepubliceerd omdat het lineaire model niet paste.
> Als een plot een niet-lineair model lijkt te suggereren, pas dan geen lineair model toe.
Statistical models
- Statistische modellen bestaan uit variabelen en parameters.
- Variabelen: gemeten constructies die variëren over mensen/dingen in de steekproef.
- Parameters: worden geschat op basis van de data (i.p.v. gemeten). Voorbeelden:
- Mean, median (schatten het centrum van de distributie).
- Correlatie, regressiecoëfficiënt (schatten de relatie tussen twee variabelen).
Statistisch model met een parameter (b) en een voorspellende variabele (X):
,De mate van ‘fit’ bepalen voor een model: sum of squares
- Error = deviatie = residual: het verschil tussen de geobserveerde waarde en de voorspelde waarde.
> Probleem: niet mogelijk om dit bij elkaar op te tellen, omdat sommige positief zijn en
sommige negatief. > Kwadtrateren.
- Sum of squares (SS): de som van deze gekwadrateerde errors. > Hangt af van de hoeveelheid
verzamelde gegevens: hoe meer datapunten, hoe hoger de SS.
- Variantie (mean squared error): schatting van de gemiddelde spreiding van een set gegevens. Het
is de sum of squares gedeeld door het aantal waarden waarop de sum of squares is gebaseerd min 1.
- Grote variantie = poor fit.
Standard error
- Steekproefvariatie: de mate van variatie tussen steekproeven uit dezelfde populatie.
- Steekproefverdeling (sampling distribution): alle steekproeven samen.
- Central limit theorem: wanneer steekproeven groot zijn (> 30), zal de steekproefverdeling de vorm
van een normale verdeling aannemen.
- Standaardafwijking (standaarddeviatie): schatting van de gemiddelde spreiding van een reeks
gegevens gemeten in dezelfde meeteenheden als de oorspronkelijke gegevens. Het is de wortel van
de variantie.
- Standaard error (SE): de standaardafwijking van de steekproevenverdeling. > Vertelt hoeveel
spreiding er is tussen steekproeven uit dezelfde populatie. Formule:
s is de standaarddeviatie.
- Grote SE: veel variabiliteit tussen de gemiddelden van verschillende steekproeven. > Niet
representatief voor het populatiegemiddelde.
- Kleine SE: het steekproefgemiddelde weerspiegelt nauwkeurig het populatiegemiddelde.
Parameters
De mean is de parameter/score met de minste error in totaal. Het is de beste fit.
Betrouwbaarheidsintervallen
Betrouwbaarheidsintervallen: grenzen waarbinnen we denken dat de populatiewaarde zal vallen.
- In plaats te richten op een enkele waarde uit de steekproef (point estimate) kan gebruik
gemaakt worden van een interval estimate: de steekproefwaarde wordt gebruikt als
middelpunt, waarbij een onder- en bovengrens worden ingesteld.
- Bij een 95%- CI voor een gemiddelde: 100 steekproeven > voor elke steekproef het
gemiddelde en een BI berekend > bij 95 van deze steekproeven bevat het BI de waarde van
het gemiddelde in de populatie.
Bij een 95%-BI hoort een z-score van 1.96:
, - Smal betrouwbaarheidsinterval: het steekproefgemiddelde ligt zeer dichtbij het ware
(populatie)gemiddelde.
- Breed betrouwbaarheidsinterval: het steekproefgemiddelde verschilt sterk van het werkelijke
gemiddelde > het is een slechte weergave van de populatie.
Andere betrouwbaarheidsintervallen berekenen
Om andere CI’s te berekenen (bijv. 90% of 99%), moeten we de bijbehorende waarde van z
opzoeken. In het algemeen worden CI’s berekend als:
Hierbij zoek je de z-waarde op in de tabel van de normale verdeling:
- 99%-CI > z = (1-0.99)/2 = 0.005 > z = 2.58.
- 90%-CI > z = (1-0.90)/2 = 0.05 > z = 1.64.
Betrouwbaarheidsintervallen berekenen bij kleine steekproeven
Bij een CI van een kleine steekproef (<30), wordt een t-waarde gebruikt in plaats van een z-waarde.
Visuele weergave van betrouwbaarheidsintervallen
Het CI wordt meestal weergegeven met behulp van een error bar.
Als CI’s niet overlappen, zijn er twee mogelijkheden:
1. Beide CI’s bevatten het populatiegemiddelde, maar komen uit verschillende populaties.
2. Beide steekproeven komen uit dezelfde populatie, maar één (of beide) bevat niet het
populatiegemiddelde. > Komt slechts bij 5% voor.
Null hypothesis significance testing (NHST)
Null-hypothesis significance testing (NHST): systeem om te vertellen of Ha waar is.
- Nulhypothese (H0): er is geen effect.
- Alternatieve hypothese (Ha): er is een effect.
Test statistics
Test statistics: een statistiek waarvan we weten hoe vaak verschillende waarden voorkomen. > De
geobserveerde waarde wordt meestal gebruikt om hypothesen te testen.
- Systematische variantie: variatie die kan worden verklaard door het model.
- Niet-systematische variantie: variatie die niet kan worden verklaard door het model.
- Signal-to-noise ratio: we vergelijken hoe goed het model is met hoe slecht het is (de error):
