Samenvatting Data Exploration
Week 1
NHST & ANOVA
Hypothese: verwachting van de uitkomst
- Nulhypothese (H0): veronderstelt dat er geen effect is
- Alternatieve hypothese (H1): veronderstelt dat er wel een effect is
NHST: Null Hypothesis Significance Testing. Statistische methode om iets te testen “tegenover” de
hypothese dat er geen effect is.
Risico’s NHST:
- All or nothing thinking: “0.051 is niet significant”
- Researchers degrees of freedom: aanpassen van steekproefgrootte, manier van omgaan met
outliers, weglaten van variabelen om een gunstig resultaat te krijgen
- P-hacking: Je onderzoek zo opstellen dat je gunstige uitkomsten krijgt
- HARKing: opstellen van hypotheses NADAT je het onderzoek hebt uitgevoerd
Misvattingen over hypotheses:
- Significant betekent dat het effect belangrijk is
- Niet significant betekent dat H0 waar is
- Significant betekent dat H0 niet waar is
- Een significantie van 0.05 is de “heilige” grens
Typen statistische toetsen:
- T-test, ANOVA: testen van verschillen in gemiddelden tussen groepen
- Correlatie, regressie analyse, SEM: testen van relaties tussen variabelen
- Chi-kwadraat: testen van verschillen in frequentieverdelingen tussen categorieën
ANOVA: lineair model (net als regressie-analyse) op basis van een vergelijking van 2 of meer
groepsgemiddelden.
F-statistic is centraal hierin: geeft aan of je model beter is dan een model zonder predictoren.
H0 bij ANOVA: groepsgemiddelden wijken NIET significant van elkaar af.
Je kunt dus een aantal groepsgemiddelden testen je weet niet welke groepsgemiddelden
significant van elkaar verschillen Post hoc tests: Geen hypothese maar verkent welke
groepsgemiddelden significant verschillen.
Met Gabriel Post hoc test zie je welke groepen significant van elkaar verschillen in een ANOVA.
Planned contrast: Wel vooraf hypothese.
Kan zijn dat er wel significant verschil is tussen 2 of meer groepen, maar dat de effect size (r) klein is,
en daardoor toch geen relevant resultaat is.
, Effect size:
- r=.10: klein effect
- r=.30: gemiddeld effect
- r=.50 en daarboven: groot effect
Rapportage ANOVA:
- Gemiddelde scores: groep x scoort het hoogst op …. (M=22.96), gevolgd door ….
- Significante verschillen: er zijn significante verschillen tussen de scores op … tussen de 3
groepen, F(degrees of freedom tussen groepen, degrees of freedom binnen groepen) = 4.64,
p=0.010.
- Post hoc resultaten: de post-hoc test laat zien dat alleen groep 1 en groep 3 van elkaar
verschillen. Het verschil tussen groep 1 en 3 (mean difference = -2.601) is significant, p=0.001.
De mean difference van -2.601 betekent dat groep 1 een lagere gemiddelde score op … heeft
dan groep 3. De overige groepen verschillen niet significant van elkaar.
Daarna in advies ook mogelijk effect size meenemen.
Week 2
Validiteit en betrouwbaarheid:
Validiteit: meet je wat je wil meten?
Veel vormen van. Bijv. content validiteit: meet je instrument wat je wil meten? Factoranalyse.
Betrouwbaarheid: meet je consistente resultaten?
Cronbach’s alpha: indicatie van betrouwbaarheid. Veel kritiek op. Gebruikt bij reliability analysis.
Vaak 0.7 als ondergrens van betrouwbaar gebruikt.
Bij het gebruik van meetinstrumenten: zijn ze betrouwbaar en valide?
Manifeste variabelen: variabelen die direct gemeten kunnen worden (leeftijd). Oftewel items.
Latente variabelen: variabelen die niet direct gemeten kunnen worden (medewerkerstevredenheid)
Je wil latente variabelen valide en betrouwbaar meten aan de hand van manifeste variabelen.
Factoranalyse: onderzoeken of het aantal dimensies in een dataset gereduceerd kunnen worden.
Dus: of variabelen gezamenlijk een bovenliggend construct meten, waardoor die variabelen
samengevoegd kunnen worden tot dat construct. Je meet de correlatie tussen variabelen om te
kijken welke samen een construct (factor) meten.
Dus: of je manifeste variabelen kunt samenvoegen om één bovenliggend latent construct te meten.
Dus: onderzoeken of indicatoren voor werktevredenheid inderdaad kunnen worden samengevoegd
om construct werktevredenheid te meten.
Je onderzoekt de constructvaliditeit/contentvaliditeit.
2 vormen van factoranalyse:
- Exploratieve factoranalyse (EFA)/PCA: verkennen samenhang tussen indicatoren
- Confirmatieve Factoranalyse (CFA): testen of samenhangende variabelen daadwerkelijk de
factoren vormen die je verwacht/wil
Vaak begin je met EFA/PCA, daarna een CFA op nieuwe sample.
Week 1
NHST & ANOVA
Hypothese: verwachting van de uitkomst
- Nulhypothese (H0): veronderstelt dat er geen effect is
- Alternatieve hypothese (H1): veronderstelt dat er wel een effect is
NHST: Null Hypothesis Significance Testing. Statistische methode om iets te testen “tegenover” de
hypothese dat er geen effect is.
Risico’s NHST:
- All or nothing thinking: “0.051 is niet significant”
- Researchers degrees of freedom: aanpassen van steekproefgrootte, manier van omgaan met
outliers, weglaten van variabelen om een gunstig resultaat te krijgen
- P-hacking: Je onderzoek zo opstellen dat je gunstige uitkomsten krijgt
- HARKing: opstellen van hypotheses NADAT je het onderzoek hebt uitgevoerd
Misvattingen over hypotheses:
- Significant betekent dat het effect belangrijk is
- Niet significant betekent dat H0 waar is
- Significant betekent dat H0 niet waar is
- Een significantie van 0.05 is de “heilige” grens
Typen statistische toetsen:
- T-test, ANOVA: testen van verschillen in gemiddelden tussen groepen
- Correlatie, regressie analyse, SEM: testen van relaties tussen variabelen
- Chi-kwadraat: testen van verschillen in frequentieverdelingen tussen categorieën
ANOVA: lineair model (net als regressie-analyse) op basis van een vergelijking van 2 of meer
groepsgemiddelden.
F-statistic is centraal hierin: geeft aan of je model beter is dan een model zonder predictoren.
H0 bij ANOVA: groepsgemiddelden wijken NIET significant van elkaar af.
Je kunt dus een aantal groepsgemiddelden testen je weet niet welke groepsgemiddelden
significant van elkaar verschillen Post hoc tests: Geen hypothese maar verkent welke
groepsgemiddelden significant verschillen.
Met Gabriel Post hoc test zie je welke groepen significant van elkaar verschillen in een ANOVA.
Planned contrast: Wel vooraf hypothese.
Kan zijn dat er wel significant verschil is tussen 2 of meer groepen, maar dat de effect size (r) klein is,
en daardoor toch geen relevant resultaat is.
, Effect size:
- r=.10: klein effect
- r=.30: gemiddeld effect
- r=.50 en daarboven: groot effect
Rapportage ANOVA:
- Gemiddelde scores: groep x scoort het hoogst op …. (M=22.96), gevolgd door ….
- Significante verschillen: er zijn significante verschillen tussen de scores op … tussen de 3
groepen, F(degrees of freedom tussen groepen, degrees of freedom binnen groepen) = 4.64,
p=0.010.
- Post hoc resultaten: de post-hoc test laat zien dat alleen groep 1 en groep 3 van elkaar
verschillen. Het verschil tussen groep 1 en 3 (mean difference = -2.601) is significant, p=0.001.
De mean difference van -2.601 betekent dat groep 1 een lagere gemiddelde score op … heeft
dan groep 3. De overige groepen verschillen niet significant van elkaar.
Daarna in advies ook mogelijk effect size meenemen.
Week 2
Validiteit en betrouwbaarheid:
Validiteit: meet je wat je wil meten?
Veel vormen van. Bijv. content validiteit: meet je instrument wat je wil meten? Factoranalyse.
Betrouwbaarheid: meet je consistente resultaten?
Cronbach’s alpha: indicatie van betrouwbaarheid. Veel kritiek op. Gebruikt bij reliability analysis.
Vaak 0.7 als ondergrens van betrouwbaar gebruikt.
Bij het gebruik van meetinstrumenten: zijn ze betrouwbaar en valide?
Manifeste variabelen: variabelen die direct gemeten kunnen worden (leeftijd). Oftewel items.
Latente variabelen: variabelen die niet direct gemeten kunnen worden (medewerkerstevredenheid)
Je wil latente variabelen valide en betrouwbaar meten aan de hand van manifeste variabelen.
Factoranalyse: onderzoeken of het aantal dimensies in een dataset gereduceerd kunnen worden.
Dus: of variabelen gezamenlijk een bovenliggend construct meten, waardoor die variabelen
samengevoegd kunnen worden tot dat construct. Je meet de correlatie tussen variabelen om te
kijken welke samen een construct (factor) meten.
Dus: of je manifeste variabelen kunt samenvoegen om één bovenliggend latent construct te meten.
Dus: onderzoeken of indicatoren voor werktevredenheid inderdaad kunnen worden samengevoegd
om construct werktevredenheid te meten.
Je onderzoekt de constructvaliditeit/contentvaliditeit.
2 vormen van factoranalyse:
- Exploratieve factoranalyse (EFA)/PCA: verkennen samenhang tussen indicatoren
- Confirmatieve Factoranalyse (CFA): testen of samenhangende variabelen daadwerkelijk de
factoren vormen die je verwacht/wil
Vaak begin je met EFA/PCA, daarna een CFA op nieuwe sample.
