Samenvatting VOS kwantitatieve deel
Meetniveau variabelen
NOIR:
N: Nominaal
O: Ordinaal
I: Interval
R: Ratio
Algemeen
Nulhypothese verwerpen
Als p-waarde kleiner is dan de alfa, dan verwerpen we de nulhypothese. Als p-waarde groter is dan alfa, dan verwerpen we
de nulhypothese niet.
Fouten
Fouten die kunnen voorkomen
- Nulhypothese verwerpen, terwijl we dat niet zouden moeten doen: Type I fout;
- Nulhypothese niet verwerpen, terwijl we dat eigenlijk hadden moeten doen: Type II fout;
Werkelijkheid: verschil Werkelijkheid: geen verschil
Conclusie NHST: H0 Juiste beslissing: Power Type I fout
verwerpen
Conclusie NHST: H0 niet Type II fout Juiste beslissing
verwerpen
Wanneer welke toets?
Als we twee groepen van een factor met elkaar vergelijken dan voeren we vaak gewoon een t-toets uit. Wanneer
we meer dan twee groepen van een factor willen vergelijken dan gebruiken we een ANOVA en als we meer
factoren willen vergelijken dan gebruiken we een meerweg ANOVA.
Validiteit
Validiteit van de onderzoeken
- Begripsvaliditeit: meten we inhoudelijk wat we willen meten?
- Externe validiteit: niet aselecte steekproef leidt tot lagere externe validiteit, op basis van aselecte steekproef
kunnen we makkelijker generaliseren naar de populatie, in experimenteel onderzoek is dit niet altijd
problematisch, in experimenteel onderzoek gaat het meer over de randomisatie: gaan we mensen random
verdelen over de experimentele en controlegroep en is er minder aandacht voor of dat wel gebeurd op basis van
aselecte steekproef. Er wordt dus best vaak gebruik gemaakt van selecte steekproef, maar dan kan je dus
waarschijnlijk moeilijker generaliseren.
- Statische validiteit: alles wat je doet om een mooier resultaat te krijgen is van invloed op de statistische validiteit.
Als we het toespitsen op dat wat we vandaag besproken hebben
o Assumpties: als er een voorwaarde geschonden is en je zegt daar niets over, dan is dat niet goed
o Effectgrootte en BI noemen: als je alleen rapporteert dat er sprake is van een significant verschil en geen
effectgrootte of betrouwbaarheidsinterval dan is dat ook een probleem met de statische validiteit.
- Interne validiteit: Kunnen we een goed antwoord vinden op onze (causale) onderzoeksvraag?
Bedreigingen van de interne validiteit
o Maturation threat: natuurlijke ontwikkeling: Stel we vinden een effect van een experiment, betekent dat dan
dat mijn experiment gewerkt heeft? Dit kan, maar (zeker als het gaat om studenten/kinderen) kan er ook
sprake zijn van een natuurlijke ontwikkeling. Eerst een toets, daarna nog een toets bijvoorbeeld.
o History threat: externe gebeurtenis beïnvloedt scores op de afhankelijke variabele: we meten iets in januari
en in juni, we zien verschil tussen die twee, betekent dit dat het experiment gewerkt heeft? Er kan ook iets
, extern gebeurd zijn, bijvoorbeeld iets in het nieuws geweest (racisme is slecht) en daardoor zijn mensen
anders gaan denken over racisme ipv door het onderzoek.
o Regression to the mean: groepen die al extreme scoren, kunnen niet nog extremer scoren: wanneer we in
een experiment een groep gebruiken die al extreem scoort, bijvoorbeeld mensen die heeel depressief zijn of
heeeel slecht in rekenen, dan kan je al wel verwachten dat ze groeien qua score en dat de score iets lager is.
Dit hoeft niet perse met een behandeling te maken hebben, maar omdat het al zo extreem is, kan het niet
nog extremer. Dat hoeft niet perse te maken te hebben met je experiment.
o Observer bias: onderzoeker ‘wil graag’ dat experiment werkt: je wil graag dat je experiment werkt, het kan
handig zijn om dit uit te schakelen.
o Demand characteristics: de participanten ‘willen graag’ dat het experiment werkt: willen een goede indruk
maken, willen onderzoeker helpen.
o Placebo effect: de participanten ‘denken’ dat er echt iets gebeurt/verandert: er gebeurt niets maar
participanten denken wel dat er iets gebeurt.
o Selectie effect: Groepen verschillen voor het experiment al
Multipele regressie
1. Voorbeeld onderzoeksvraag
Kunnen we iemands waarde op een kenmerk voorspellen met kennis over andere kenmerken? Dit gaat dus enigszins
over verklaren, maar ook om te kijken of we de X-en kunnen gebruiken om een nieuwe Y te voorspellen.
Voorbeeld: Kan agressiviteit van adolescenten (schaalscore gemeten met de CBCL) voorspeld worden aan de hand van de mate waarin zij gewelddadige tv-
programma’s kijken (gemeten in kwartieren per week) én de mate waarin zij gewelddadige games spelen (ook gemeten in kwartieren per week)?
Waarschuwing: Doe op basis van statistische samenhang geen uitspraken over causaliteit. (Dus we hebben het niet over
experimenteel onderzoek, waarmee we vervolgens kunnen zeggen dat X en effect heeft op Y waarbij X ook de oorzaak van
Y is!!) Het gaat dus alleen over samenhang bij multipele regressie, niet over causaliteit.
2. Meetniveau variabelen
Meetniveau afhankelijke variabele Y (1 afhankelijke variabele)
• Kenmerk gemeten op minimaal interval meetniveau.
Meetniveau onafhankelijke variabelen X (meerdere onafhankelijke variabelen)
Interval/ratio of dichotoom
Categoriale variabelen kunnen opgenomen worden als dummies
3. Pad diagram
4. Nul- en alternatieve hypothese
LET OP: twee soorten hypothesetoetsen, namelijk R2 en Beta.
Toetsen R2 (alle predictoren bij elkaar)
Onderzoeksvraag: Kunnen we met dit regressiemodel een significant deel van de variantie van Y verklaren? Als Ha het
meest waarschijnlijk is, dan kunnen we met dit regressiemodel een significant deel van de variantie van Y verklaren.
H0: 2 = 0
Ha: 2 > 0 Als we alternatieve hypothese het meest waarschijnlijk vinden dan kunnen we de regressietoets wel
uitvoeren want dan kan hij zinvol zijn. De alternatieve hypothese is bij deze hypothesetoets altijd groter dan 0
want het is een macht en die wordt altijd positief.
Toetsen Beta (per predictor)
, Onderzoeksvraag: Is de richtingscoëfficiënt (PER PREDICTOR) significant anders dan 0? Als Ha het meest waarschijnlijk is
dan is de richtingscoëfficiënt significant anders dan 0.
H01: b1 = 0 Ha1: b1 ≠ 0 of Ha1: b1 > 0 of Ha1: b1 < 0
H02: b2 = 0 Ha2: b2 ≠ 0 of Ha2: b2 > 0 of Ha2: b2 < 0
H03: b3 = 0 Ha3: b3 ≠ 0 of Ha3: b3 > 0 of Ha3: b3 < 0
Komen we erachter dat we de nulhypothese niet kunnen verwerpen, dan moeten we op zoek naar een andere predictor.
Let op: deze hypothesetoets doorloop je dus zo vaak als dat je predictoren hebt.
5. Toetsingsgrootheid
Toetsen R2 (alle predictoren bij elkaar)
F = toetsingsgrootheid = maat die is omgerekend naar een standaardmaat om te gebruiken in de steekproevenverdeling.
R^2 wordt omgerekend naar F en dan is F de toetsingsgrootheid op basis waarvan de P-waarde wordt berekend.
Sig. = p-waarde
Maat voor effectgrootte is R2
R2 = .01 klein
R2 = .09 medium
R2 = .25 groot
Toetsen Beta (per predictor)
t – waarde = toetsingsgootheid
Sig. = p-waarde
6. Assumpties
Aselecte steekproef
De variabelen meten een begrip op interval/ratio meetniveau (uitzondering: dummy’s)
Onafhankelijke waarnemingen/ groepen zijn onafhankelijk
Er is een lineaire relatie tussen de variabelen
Er zijn geen uitschieters (die teveel invloed hebben) Het is mogelijk om met een spreidingsdiagram of boxplot
op het oog te bekijken of er uitschieters in de data aanwezig zijn.
Scores moeten gelijke spreiding hebben (dit wordt ook wel homoscedasticiteit genoemd)
De punten moeten allemaal op de puntenwolk liggen om
homoscedasticiteit niet te schenden.
H0: spreiding in de groepen is gelijk
H1: spreiding in de groepen is niet gelijk
We vinden p = .573 groter dan de alfa van 0.05, we verwerpen de H0
niet We hebben voldaan aan de voorwaarde van gelijke spreiding
Wanneer je niet voldaan hebt: robuustheid als alle groepen ongeveer even groot zijn een schending van deze
voorwaarde is niet erg als alle groepen ongeveer gelijk zijn, dat heet dan robuustheid.
Scores moeten in normaal verdeeld zijn
Meetniveau variabelen
NOIR:
N: Nominaal
O: Ordinaal
I: Interval
R: Ratio
Algemeen
Nulhypothese verwerpen
Als p-waarde kleiner is dan de alfa, dan verwerpen we de nulhypothese. Als p-waarde groter is dan alfa, dan verwerpen we
de nulhypothese niet.
Fouten
Fouten die kunnen voorkomen
- Nulhypothese verwerpen, terwijl we dat niet zouden moeten doen: Type I fout;
- Nulhypothese niet verwerpen, terwijl we dat eigenlijk hadden moeten doen: Type II fout;
Werkelijkheid: verschil Werkelijkheid: geen verschil
Conclusie NHST: H0 Juiste beslissing: Power Type I fout
verwerpen
Conclusie NHST: H0 niet Type II fout Juiste beslissing
verwerpen
Wanneer welke toets?
Als we twee groepen van een factor met elkaar vergelijken dan voeren we vaak gewoon een t-toets uit. Wanneer
we meer dan twee groepen van een factor willen vergelijken dan gebruiken we een ANOVA en als we meer
factoren willen vergelijken dan gebruiken we een meerweg ANOVA.
Validiteit
Validiteit van de onderzoeken
- Begripsvaliditeit: meten we inhoudelijk wat we willen meten?
- Externe validiteit: niet aselecte steekproef leidt tot lagere externe validiteit, op basis van aselecte steekproef
kunnen we makkelijker generaliseren naar de populatie, in experimenteel onderzoek is dit niet altijd
problematisch, in experimenteel onderzoek gaat het meer over de randomisatie: gaan we mensen random
verdelen over de experimentele en controlegroep en is er minder aandacht voor of dat wel gebeurd op basis van
aselecte steekproef. Er wordt dus best vaak gebruik gemaakt van selecte steekproef, maar dan kan je dus
waarschijnlijk moeilijker generaliseren.
- Statische validiteit: alles wat je doet om een mooier resultaat te krijgen is van invloed op de statistische validiteit.
Als we het toespitsen op dat wat we vandaag besproken hebben
o Assumpties: als er een voorwaarde geschonden is en je zegt daar niets over, dan is dat niet goed
o Effectgrootte en BI noemen: als je alleen rapporteert dat er sprake is van een significant verschil en geen
effectgrootte of betrouwbaarheidsinterval dan is dat ook een probleem met de statische validiteit.
- Interne validiteit: Kunnen we een goed antwoord vinden op onze (causale) onderzoeksvraag?
Bedreigingen van de interne validiteit
o Maturation threat: natuurlijke ontwikkeling: Stel we vinden een effect van een experiment, betekent dat dan
dat mijn experiment gewerkt heeft? Dit kan, maar (zeker als het gaat om studenten/kinderen) kan er ook
sprake zijn van een natuurlijke ontwikkeling. Eerst een toets, daarna nog een toets bijvoorbeeld.
o History threat: externe gebeurtenis beïnvloedt scores op de afhankelijke variabele: we meten iets in januari
en in juni, we zien verschil tussen die twee, betekent dit dat het experiment gewerkt heeft? Er kan ook iets
, extern gebeurd zijn, bijvoorbeeld iets in het nieuws geweest (racisme is slecht) en daardoor zijn mensen
anders gaan denken over racisme ipv door het onderzoek.
o Regression to the mean: groepen die al extreme scoren, kunnen niet nog extremer scoren: wanneer we in
een experiment een groep gebruiken die al extreem scoort, bijvoorbeeld mensen die heeel depressief zijn of
heeeel slecht in rekenen, dan kan je al wel verwachten dat ze groeien qua score en dat de score iets lager is.
Dit hoeft niet perse met een behandeling te maken hebben, maar omdat het al zo extreem is, kan het niet
nog extremer. Dat hoeft niet perse te maken te hebben met je experiment.
o Observer bias: onderzoeker ‘wil graag’ dat experiment werkt: je wil graag dat je experiment werkt, het kan
handig zijn om dit uit te schakelen.
o Demand characteristics: de participanten ‘willen graag’ dat het experiment werkt: willen een goede indruk
maken, willen onderzoeker helpen.
o Placebo effect: de participanten ‘denken’ dat er echt iets gebeurt/verandert: er gebeurt niets maar
participanten denken wel dat er iets gebeurt.
o Selectie effect: Groepen verschillen voor het experiment al
Multipele regressie
1. Voorbeeld onderzoeksvraag
Kunnen we iemands waarde op een kenmerk voorspellen met kennis over andere kenmerken? Dit gaat dus enigszins
over verklaren, maar ook om te kijken of we de X-en kunnen gebruiken om een nieuwe Y te voorspellen.
Voorbeeld: Kan agressiviteit van adolescenten (schaalscore gemeten met de CBCL) voorspeld worden aan de hand van de mate waarin zij gewelddadige tv-
programma’s kijken (gemeten in kwartieren per week) én de mate waarin zij gewelddadige games spelen (ook gemeten in kwartieren per week)?
Waarschuwing: Doe op basis van statistische samenhang geen uitspraken over causaliteit. (Dus we hebben het niet over
experimenteel onderzoek, waarmee we vervolgens kunnen zeggen dat X en effect heeft op Y waarbij X ook de oorzaak van
Y is!!) Het gaat dus alleen over samenhang bij multipele regressie, niet over causaliteit.
2. Meetniveau variabelen
Meetniveau afhankelijke variabele Y (1 afhankelijke variabele)
• Kenmerk gemeten op minimaal interval meetniveau.
Meetniveau onafhankelijke variabelen X (meerdere onafhankelijke variabelen)
Interval/ratio of dichotoom
Categoriale variabelen kunnen opgenomen worden als dummies
3. Pad diagram
4. Nul- en alternatieve hypothese
LET OP: twee soorten hypothesetoetsen, namelijk R2 en Beta.
Toetsen R2 (alle predictoren bij elkaar)
Onderzoeksvraag: Kunnen we met dit regressiemodel een significant deel van de variantie van Y verklaren? Als Ha het
meest waarschijnlijk is, dan kunnen we met dit regressiemodel een significant deel van de variantie van Y verklaren.
H0: 2 = 0
Ha: 2 > 0 Als we alternatieve hypothese het meest waarschijnlijk vinden dan kunnen we de regressietoets wel
uitvoeren want dan kan hij zinvol zijn. De alternatieve hypothese is bij deze hypothesetoets altijd groter dan 0
want het is een macht en die wordt altijd positief.
Toetsen Beta (per predictor)
, Onderzoeksvraag: Is de richtingscoëfficiënt (PER PREDICTOR) significant anders dan 0? Als Ha het meest waarschijnlijk is
dan is de richtingscoëfficiënt significant anders dan 0.
H01: b1 = 0 Ha1: b1 ≠ 0 of Ha1: b1 > 0 of Ha1: b1 < 0
H02: b2 = 0 Ha2: b2 ≠ 0 of Ha2: b2 > 0 of Ha2: b2 < 0
H03: b3 = 0 Ha3: b3 ≠ 0 of Ha3: b3 > 0 of Ha3: b3 < 0
Komen we erachter dat we de nulhypothese niet kunnen verwerpen, dan moeten we op zoek naar een andere predictor.
Let op: deze hypothesetoets doorloop je dus zo vaak als dat je predictoren hebt.
5. Toetsingsgrootheid
Toetsen R2 (alle predictoren bij elkaar)
F = toetsingsgrootheid = maat die is omgerekend naar een standaardmaat om te gebruiken in de steekproevenverdeling.
R^2 wordt omgerekend naar F en dan is F de toetsingsgrootheid op basis waarvan de P-waarde wordt berekend.
Sig. = p-waarde
Maat voor effectgrootte is R2
R2 = .01 klein
R2 = .09 medium
R2 = .25 groot
Toetsen Beta (per predictor)
t – waarde = toetsingsgootheid
Sig. = p-waarde
6. Assumpties
Aselecte steekproef
De variabelen meten een begrip op interval/ratio meetniveau (uitzondering: dummy’s)
Onafhankelijke waarnemingen/ groepen zijn onafhankelijk
Er is een lineaire relatie tussen de variabelen
Er zijn geen uitschieters (die teveel invloed hebben) Het is mogelijk om met een spreidingsdiagram of boxplot
op het oog te bekijken of er uitschieters in de data aanwezig zijn.
Scores moeten gelijke spreiding hebben (dit wordt ook wel homoscedasticiteit genoemd)
De punten moeten allemaal op de puntenwolk liggen om
homoscedasticiteit niet te schenden.
H0: spreiding in de groepen is gelijk
H1: spreiding in de groepen is niet gelijk
We vinden p = .573 groter dan de alfa van 0.05, we verwerpen de H0
niet We hebben voldaan aan de voorwaarde van gelijke spreiding
Wanneer je niet voldaan hebt: robuustheid als alle groepen ongeveer even groot zijn een schending van deze
voorwaarde is niet erg als alle groepen ongeveer gelijk zijn, dat heet dan robuustheid.
Scores moeten in normaal verdeeld zijn
