SAMENVATTING TOETSENDE STATISTIEK
H1: Asking and answering research questions
Confidence interval (CI):
- Meestal 95% = heel soms 90 of 99
- Het volledige interval
- Het percentage van een resultaat (point estimate) inclusief de margin of error
- Interval waarin de true/echte waarde hoogstwaarschijnlijk ligt
- Interval estimate = een interval die de meeste plausibele waardes bevat voor de populatiewaarde
- Limits = de twee eindpunten van het volledige interval
- Hoe korter = hoe dichterbij we bij de point estimate zitten
De werking van onderzoek:
1. Stel een onderzoeksvraag
2. Ontwerp een onderzoek om data te verzamelen die een antwoord op de vraag kunnen geven
3. Voer het onderzoek uit en verzamel de data
4. Pas statistische analyse toe om de data te beschrijven en een basis te creëren voor het trekken van conclusies
5. Trek conclusies over wat de data ons vertelt, kijkende naar een antwoord op de onderzoeksvraag
6. Interpreteer de resultaten, bediscussieer het onderzoek kritisch en maak een verslag op
Onderzoek gebaseerd op statistiek = een kleine steekproef van mensen vertelt ons iets over een hele populatie, soms zelfs over
de hele wereld! Altijd onzekerheid, maar ook die onzekerheid kan bepaalt worden
Doelpopulatie operationele populatie steekproef
Resultaten van een steekproef = iets inschatten over een populatie
Point estimate = de beste individuele/single waarde die data ons kan geven bij het maken van een schatting van de populatie
Margin of error (MoE):
- De helft van de confidence interval, ligt er middenin
- Waarschijnlijk de grootste afwijking die zou kunnen plaatsvinden
- Meting van de precisie van de schatting die is gemaakt = measure of precision
o Kleine margin of error kleine confidence interval precieze schatting
- Percentages die dicht bij de confidence interval liggen, zijn meer plausibel om de echte waarde te zijn
o Plausibility en likelihood is hier hoger
Estimation = het hele proces rondom het bepalen van interval estimates
Estimation terms = de onderzoeksvragen die we stellen om een confidence interval te bepalen
Kwantitatieve vragen = ‘Hoe groot is de ondersteuning voor deze claim?’
Sampling variability:
- Variabiliteit in de resultaten die wordt veroorzaakt door het gebruik van verschillende steekproeven
- Dit kan becijferd worden (hoeveelheid bepalen) door het confidence interval te berekenen
- Onzekerheid = door oncomplete of biased reporting, of andere oorzaken
o Een resultaat kan geselecteerd worden uit een verzameling resultaten
Open science:
1. Vermijd misleidende selectie van waar een verslag van gedaan wordt
2. Breng verslag uit in volledig detail
3. Moedig replicatie aan = open onderzoek zorgt ervoor dat dit mogelijk is
o Replicability crisis = de ontdekking dat een groot aantal bevindingen uit onderzoeken niet gerepliceerd kan
worden er komen andere resultaten uit
o Replicatie = een herhaling van de originele studie gelijk aan de originele studie, maar met een nieuwe
steekproef
o Veel bevindingen zijn dus incorrect
Slogans van open science:
- Hebben we het volledige verhaal?
- Zoek naar replicatie
Meta-analyse:
- Als we resultaten hebben van 2 of meer vergelijkbare studies
- Er wordt een overall confidence interval gegeven = korter dan die van individuele studies
o Onzekerheid wordt teruggedreven doordat er nu een grotere steekproef in totaal is
- Forest plot = puntschatting en intervalschatting van meerdere individuele studies worden in één figuur weergegeven
o De totaalscore wordt diamantvormig weergegeven
1
, SAMENVATTING TOETSENDE STATISTIEK
Meta-analytisch denken = kijken naar een studie als een bijdrage voor een combinatie van vergelijkbare studies
Stappenplan voor het maken van een schatting:
1. Bedenk een onderzoeksvraag = how much/in welke mate
2. Bepaal de meting die het meest geschikt is voor het beantwoorden van de onderzoeksvraag
3. Ontwerp een onderzoek die deze meting gebruikt en die goede punt- en intervalschattingen geeft
4. Bekijk de data, bereken de punt-en intervalschatting en maak een figuur na het doen van het onderzoek
5. Interpreteer deze bevindingen op kritische wijze
6. Rapporteer het onderzoek = zorg dat er geen selectieve rapportage is van enkele resultaten en geef volledige details
7. Pas meta-analytisch denken toe = zoek vergelijkbare onderzoeken en doe een meta-analyse als het mogelijk is
Verschillende soorten onderzoek:
- Poll = participanten geven aan of ze het wel of niet eens zijn met een stelling
- Twee losse groepen participanten = tussenpersonen design twee groepen met elkaar vergelijken
- Een enkele groep participanten die twee keer worden gemeten = test-hertest
- Correlatie tussen twee variabelen = twee variabelen met elkaar vergelijken
Rapporteren van je werk:
1. Vertel het hele verhaal = geen selectie maken van resultaten
2. Geef voldoende details = laat al je data zien
3. Laat de data zien = geef grafieken als mogelijk is
4. Interpreteer de puntschatting en betrouwbaarheidsinterval = baseer je conclusies hierop
Aantekeningen filmpjes week 1:
Research questions:
- How much
- What is
- How effective
- To what extent
- What’s the support
Figuur van het betrouwbaarheidsinterval en de margin of errors = laat de likelihood/plausibiliteit van een bepaalde waarde zien
De steekproef resultaten van de populatie zijn goed ingeschat:
- De vraag gaat over de populatie
- Het onderzoek gebruikte een steekproef uit de populatie
- De steekproef is representatief voor de populatie en gekozen op een unbiased (onpartijdige) manier
- Dan is er statistical inference = een statistische conclusie
- Puntschatting = een precies getal
- Intervalschatting = confidence interval van 95%
Replicatie:
- Close = lijkt zoveel mogelijk op het originele onderzoek
- More distant = meer verschil tussen de onderzoeken
o Vraag op een iets andere manier gesteld
o Andere populatie
- Replicaties vergroten het vertrouwen van een resultaat
- Na replicatie = meta-analyse gebruiken om de resultaten te vergelijken
The new statistics:
- Schatting = een label om onderzoeksvragen te kunnen beantwoorden
- Meta-analyse = bewijs van meerdere onderzoeken combineren
- Technieken zijn niet nieuw = maar door ze wereldwijd te gebruiken, worden ze wel nieuw voor veel onderzoekers
H2: Research fundamentals: Don’t fool yourself
Don’t fool yourself:
1. Hou jezelf niet voor de gek, jij bent de makkelijkste persoon om voor de gek te houden
2. Laat je niet foppen door statistische inferentie = dit steunt namelijk op een statistisch model
o Als random sampling niet bereikbaar is wees kritisch voordat je een conclusie trekt over een populatie
3. Laat je niet foppen door een tekort aan random toewijzing
o Alleen experimenteel onderzoek kan een causale conclusie rechtvaardigen
4. Laat je niet foppen door het meetinstrument = de meting is niet hetzelfde als het onderliggende construct
o Bepaal hoe goed de meting het construct operationaliseert
o Bepaald de betrouwbaarheid en validiteit
2
, SAMENVATTING TOETSENDE STATISTIEK
5. Laat je niet foppen door het vertalen van een meting naar een lager level
o Zo’n vertaling verliest informatie en moet proberen voorkomen te worden
o Probeer te kiezen voor een interval/ratio niveau
6. Laat je niet foppen door preciezen nummers die laten denken dat ze een betekenis hebben
o Kijk bij intervalschalen of de intervallen wel gelijk zijn
7. Laat je niet foppen door het tekort aan replicatie
o We hebben vaak replicaties nodig voordat we zekerheid hebben in een onderzoeksresultaat
8. Laat je niet foppen door de incomplete rapportering van een onderzoek
o Volledig gedetailleerde rapportering is noodzakelijk, om te voorkomen dat je misleid wordt
9. Laat je niet foppen door het zien van een gezicht in de wolken/cherry picked data
o Onderscheidt geplande en exploratieve data
10. Laat je niet foppen door een tekort aan preregistraties
o Zonder preregistratie kunnen delen van het onderzoek of de analyse ontbreken
Referentie naar het doen van onderzoek = er zijn veel (werk)velden waarin onderzoek belangrijk is geworden je bent er vaak
bij betrokken
Steekproef om een inferentie/conclusie over een populatie te maken
Statistische inferentie:
- Een steekproef gebruiken om een conclusie over een populatie te trekken
- Set van technieken om een conclusie te trekken over de populatie waar de steekproef uit kwam
- Schatting is hierbij de favoriete benadering
Mean (gemiddelde) = een andere naam voor average (gemiddelde)
Sample (steekproef):
- Sample statistics/mean (M)
- Een set van mensen die geselecteerd zijn uit een populatie
Populatie:
- Populatie parameters/mean (mu)
- Een grote set van mensen waarover we graag conclusies willen trekken
Data-analyse:
1. Berekenen van de beschrijvende statistiek:
a. Zoals het steekproefgemiddelde om de data samen te vatten
b. Vertelt ons iets over een set van data
2. Berekenen van de inferentiële statistiek:
a. Vertellen ons iets over de populatie bijvoorbeeld het confidence interval (CI)
b. Wordt berekend uit de steekproefdata
Random sampling:
- Voor een representatie van de populatie
- Elke deelnemers van de populatie heeft een gelijke kans om gekozen te worden
- Alle deelnemers worden onafhankelijk gekozen = los van elkaar
o De keuze van één deelnemers heeft geen invloed op de keus van een ander
- Lastig:
o Aangezien je vaak niet toegang hebt tot een complete lijst van deelnemers
o Mensen stoppen tussendoor wellicht met het onderzoek = dropout
Convenience sample:
- Als je niet aan de eisen van de random sampling voldoet
- Bestaat uit alle deelnemers die beschikbaar waren om mee te werken aan het onderzoek
- De bereikbare steekproef uit een populatie
Confidence interval is gebaseerd op random sampling:
1. Bij convenience sampling is het de bedoeling dat je dus zo dicht mogelijk bij random sampling in de buurt komt
2. Bereken het confidence interval en bepaal vervolgens of het redelijk is om conclusies over de populatie te trekken
3. Niet meteen inferentiële statistiek gebruiken om een conclusie te trekken
Statistical model:
- Nodig bij de berekening van inferentiële statistiek
- Een set van assumpties = random sampling is hier een van
Onafhankelijke variabele = de waarden zijn gekozen of gemanipuleerd door de onderzoeker
Levels (niveaus) = de verschillende waarden die de onafhankelijke variabele aanneemt ook wel condities/treatments
genoemd
3
H1: Asking and answering research questions
Confidence interval (CI):
- Meestal 95% = heel soms 90 of 99
- Het volledige interval
- Het percentage van een resultaat (point estimate) inclusief de margin of error
- Interval waarin de true/echte waarde hoogstwaarschijnlijk ligt
- Interval estimate = een interval die de meeste plausibele waardes bevat voor de populatiewaarde
- Limits = de twee eindpunten van het volledige interval
- Hoe korter = hoe dichterbij we bij de point estimate zitten
De werking van onderzoek:
1. Stel een onderzoeksvraag
2. Ontwerp een onderzoek om data te verzamelen die een antwoord op de vraag kunnen geven
3. Voer het onderzoek uit en verzamel de data
4. Pas statistische analyse toe om de data te beschrijven en een basis te creëren voor het trekken van conclusies
5. Trek conclusies over wat de data ons vertelt, kijkende naar een antwoord op de onderzoeksvraag
6. Interpreteer de resultaten, bediscussieer het onderzoek kritisch en maak een verslag op
Onderzoek gebaseerd op statistiek = een kleine steekproef van mensen vertelt ons iets over een hele populatie, soms zelfs over
de hele wereld! Altijd onzekerheid, maar ook die onzekerheid kan bepaalt worden
Doelpopulatie operationele populatie steekproef
Resultaten van een steekproef = iets inschatten over een populatie
Point estimate = de beste individuele/single waarde die data ons kan geven bij het maken van een schatting van de populatie
Margin of error (MoE):
- De helft van de confidence interval, ligt er middenin
- Waarschijnlijk de grootste afwijking die zou kunnen plaatsvinden
- Meting van de precisie van de schatting die is gemaakt = measure of precision
o Kleine margin of error kleine confidence interval precieze schatting
- Percentages die dicht bij de confidence interval liggen, zijn meer plausibel om de echte waarde te zijn
o Plausibility en likelihood is hier hoger
Estimation = het hele proces rondom het bepalen van interval estimates
Estimation terms = de onderzoeksvragen die we stellen om een confidence interval te bepalen
Kwantitatieve vragen = ‘Hoe groot is de ondersteuning voor deze claim?’
Sampling variability:
- Variabiliteit in de resultaten die wordt veroorzaakt door het gebruik van verschillende steekproeven
- Dit kan becijferd worden (hoeveelheid bepalen) door het confidence interval te berekenen
- Onzekerheid = door oncomplete of biased reporting, of andere oorzaken
o Een resultaat kan geselecteerd worden uit een verzameling resultaten
Open science:
1. Vermijd misleidende selectie van waar een verslag van gedaan wordt
2. Breng verslag uit in volledig detail
3. Moedig replicatie aan = open onderzoek zorgt ervoor dat dit mogelijk is
o Replicability crisis = de ontdekking dat een groot aantal bevindingen uit onderzoeken niet gerepliceerd kan
worden er komen andere resultaten uit
o Replicatie = een herhaling van de originele studie gelijk aan de originele studie, maar met een nieuwe
steekproef
o Veel bevindingen zijn dus incorrect
Slogans van open science:
- Hebben we het volledige verhaal?
- Zoek naar replicatie
Meta-analyse:
- Als we resultaten hebben van 2 of meer vergelijkbare studies
- Er wordt een overall confidence interval gegeven = korter dan die van individuele studies
o Onzekerheid wordt teruggedreven doordat er nu een grotere steekproef in totaal is
- Forest plot = puntschatting en intervalschatting van meerdere individuele studies worden in één figuur weergegeven
o De totaalscore wordt diamantvormig weergegeven
1
, SAMENVATTING TOETSENDE STATISTIEK
Meta-analytisch denken = kijken naar een studie als een bijdrage voor een combinatie van vergelijkbare studies
Stappenplan voor het maken van een schatting:
1. Bedenk een onderzoeksvraag = how much/in welke mate
2. Bepaal de meting die het meest geschikt is voor het beantwoorden van de onderzoeksvraag
3. Ontwerp een onderzoek die deze meting gebruikt en die goede punt- en intervalschattingen geeft
4. Bekijk de data, bereken de punt-en intervalschatting en maak een figuur na het doen van het onderzoek
5. Interpreteer deze bevindingen op kritische wijze
6. Rapporteer het onderzoek = zorg dat er geen selectieve rapportage is van enkele resultaten en geef volledige details
7. Pas meta-analytisch denken toe = zoek vergelijkbare onderzoeken en doe een meta-analyse als het mogelijk is
Verschillende soorten onderzoek:
- Poll = participanten geven aan of ze het wel of niet eens zijn met een stelling
- Twee losse groepen participanten = tussenpersonen design twee groepen met elkaar vergelijken
- Een enkele groep participanten die twee keer worden gemeten = test-hertest
- Correlatie tussen twee variabelen = twee variabelen met elkaar vergelijken
Rapporteren van je werk:
1. Vertel het hele verhaal = geen selectie maken van resultaten
2. Geef voldoende details = laat al je data zien
3. Laat de data zien = geef grafieken als mogelijk is
4. Interpreteer de puntschatting en betrouwbaarheidsinterval = baseer je conclusies hierop
Aantekeningen filmpjes week 1:
Research questions:
- How much
- What is
- How effective
- To what extent
- What’s the support
Figuur van het betrouwbaarheidsinterval en de margin of errors = laat de likelihood/plausibiliteit van een bepaalde waarde zien
De steekproef resultaten van de populatie zijn goed ingeschat:
- De vraag gaat over de populatie
- Het onderzoek gebruikte een steekproef uit de populatie
- De steekproef is representatief voor de populatie en gekozen op een unbiased (onpartijdige) manier
- Dan is er statistical inference = een statistische conclusie
- Puntschatting = een precies getal
- Intervalschatting = confidence interval van 95%
Replicatie:
- Close = lijkt zoveel mogelijk op het originele onderzoek
- More distant = meer verschil tussen de onderzoeken
o Vraag op een iets andere manier gesteld
o Andere populatie
- Replicaties vergroten het vertrouwen van een resultaat
- Na replicatie = meta-analyse gebruiken om de resultaten te vergelijken
The new statistics:
- Schatting = een label om onderzoeksvragen te kunnen beantwoorden
- Meta-analyse = bewijs van meerdere onderzoeken combineren
- Technieken zijn niet nieuw = maar door ze wereldwijd te gebruiken, worden ze wel nieuw voor veel onderzoekers
H2: Research fundamentals: Don’t fool yourself
Don’t fool yourself:
1. Hou jezelf niet voor de gek, jij bent de makkelijkste persoon om voor de gek te houden
2. Laat je niet foppen door statistische inferentie = dit steunt namelijk op een statistisch model
o Als random sampling niet bereikbaar is wees kritisch voordat je een conclusie trekt over een populatie
3. Laat je niet foppen door een tekort aan random toewijzing
o Alleen experimenteel onderzoek kan een causale conclusie rechtvaardigen
4. Laat je niet foppen door het meetinstrument = de meting is niet hetzelfde als het onderliggende construct
o Bepaal hoe goed de meting het construct operationaliseert
o Bepaald de betrouwbaarheid en validiteit
2
, SAMENVATTING TOETSENDE STATISTIEK
5. Laat je niet foppen door het vertalen van een meting naar een lager level
o Zo’n vertaling verliest informatie en moet proberen voorkomen te worden
o Probeer te kiezen voor een interval/ratio niveau
6. Laat je niet foppen door preciezen nummers die laten denken dat ze een betekenis hebben
o Kijk bij intervalschalen of de intervallen wel gelijk zijn
7. Laat je niet foppen door het tekort aan replicatie
o We hebben vaak replicaties nodig voordat we zekerheid hebben in een onderzoeksresultaat
8. Laat je niet foppen door de incomplete rapportering van een onderzoek
o Volledig gedetailleerde rapportering is noodzakelijk, om te voorkomen dat je misleid wordt
9. Laat je niet foppen door het zien van een gezicht in de wolken/cherry picked data
o Onderscheidt geplande en exploratieve data
10. Laat je niet foppen door een tekort aan preregistraties
o Zonder preregistratie kunnen delen van het onderzoek of de analyse ontbreken
Referentie naar het doen van onderzoek = er zijn veel (werk)velden waarin onderzoek belangrijk is geworden je bent er vaak
bij betrokken
Steekproef om een inferentie/conclusie over een populatie te maken
Statistische inferentie:
- Een steekproef gebruiken om een conclusie over een populatie te trekken
- Set van technieken om een conclusie te trekken over de populatie waar de steekproef uit kwam
- Schatting is hierbij de favoriete benadering
Mean (gemiddelde) = een andere naam voor average (gemiddelde)
Sample (steekproef):
- Sample statistics/mean (M)
- Een set van mensen die geselecteerd zijn uit een populatie
Populatie:
- Populatie parameters/mean (mu)
- Een grote set van mensen waarover we graag conclusies willen trekken
Data-analyse:
1. Berekenen van de beschrijvende statistiek:
a. Zoals het steekproefgemiddelde om de data samen te vatten
b. Vertelt ons iets over een set van data
2. Berekenen van de inferentiële statistiek:
a. Vertellen ons iets over de populatie bijvoorbeeld het confidence interval (CI)
b. Wordt berekend uit de steekproefdata
Random sampling:
- Voor een representatie van de populatie
- Elke deelnemers van de populatie heeft een gelijke kans om gekozen te worden
- Alle deelnemers worden onafhankelijk gekozen = los van elkaar
o De keuze van één deelnemers heeft geen invloed op de keus van een ander
- Lastig:
o Aangezien je vaak niet toegang hebt tot een complete lijst van deelnemers
o Mensen stoppen tussendoor wellicht met het onderzoek = dropout
Convenience sample:
- Als je niet aan de eisen van de random sampling voldoet
- Bestaat uit alle deelnemers die beschikbaar waren om mee te werken aan het onderzoek
- De bereikbare steekproef uit een populatie
Confidence interval is gebaseerd op random sampling:
1. Bij convenience sampling is het de bedoeling dat je dus zo dicht mogelijk bij random sampling in de buurt komt
2. Bereken het confidence interval en bepaal vervolgens of het redelijk is om conclusies over de populatie te trekken
3. Niet meteen inferentiële statistiek gebruiken om een conclusie te trekken
Statistical model:
- Nodig bij de berekening van inferentiële statistiek
- Een set van assumpties = random sampling is hier een van
Onafhankelijke variabele = de waarden zijn gekozen of gemanipuleerd door de onderzoeker
Levels (niveaus) = de verschillende waarden die de onafhankelijke variabele aanneemt ook wel condities/treatments
genoemd
3
