,Inhoud
Kwantitatief WEEK 1 Gegevensverzameling....................................................................................................... 3
Hoorcollege .................................................................................................................................................. 3
Representativiteit ..................................................................................................................................... 3
Data cleaning ........................................................................................................................................... 4
Casuscollege ................................................................................................................................................. 7
Representativiteit ..................................................................................................................................... 7
Missing data analyse ................................................................................................................................ 8
Kwantitatief WEEK 2 Factoranalyse ................................................................................................................... 9
Hoorcollege .................................................................................................................................................. 9
Werkcollege ............................................................................................................................................... 11
Casuscollege ............................................................................................................................................... 14
Kwantitatief WEEK 3 ANOVA ........................................................................................................................... 16
Hoorcollege ................................................................................................................................................ 16
Casuscollege ............................................................................................................................................... 18
Kwantitatief WEEK 4 ANCOVA & MANOVA ...................................................................................................... 24
Hoorcollege ................................................................................................................................................ 24
ANCOVA ................................................................................................................................................. 24
MANOVA................................................................................................................................................ 27
Casuscollege ............................................................................................................................................... 33
ANOVA ................................................................................................................................................... 33
MANOVA................................................................................................................................................ 33
Kwantitatief WEEK 5 Meervoudige regressieanalyse – Assumpties en dummies DEEL 1 ................................... 34
Hoorcollege ................................................................................................................................................ 34
Assumpties............................................................................................................................................. 34
Dummy .................................................................................................................................................. 37
Casuscollege ............................................................................................................................................... 39
Assumpties............................................................................................................................................. 39
Dummy .................................................................................................................................................. 40
Kwantitatief WEEK 6 Meervoudige regressieanalyse – Moderatie en mediatie DEEL 2 ..................................... 41
Hoorcollege ................................................................................................................................................ 41
Moderatie .............................................................................................................................................. 42
Mediatie................................................................................................................................................. 46
Casuscollege ............................................................................................................................................... 49
Over het tentamen ......................................................................................................................................... 50
,Kwantitatief WEEK 1 Gegevensverzameling
Tentamen: Je hebt elke week een opdracht, op je tentamen mag je je boek gebruiken en er is een
check of je de opdrachten hebt gemaakt en kan werken met SPSS. Verschil met statistiek is dat ook
gecheckt wordt of je echt kan werken met SPSS.
Let op het toulmin model: Conclusie, Gegevens, Rechtvaardiging.
Er wordt in deze cursus van uit gegaan dat je de basis weet: validiteit, betrouwbaarheid, afwijzen van
hypothese als de alfa groter is dan .05 etc.
Hoorcollege
Bruikbaarheid = De mate waarin de onderzoeksresultaten aansluiten bij het probleem van de
opdrachtgever en kunnen bijdragen aan een oplossing van een praktijkprobleem.
Empirische cyclus
Onderzoekstrategieën:
- Beschrijvend
- Toetsend
Dataverzameling: Vragenlijsten, observaties en inhoudsanalyse.
Data: Primair en secundair. Secundair is data dat verzameld is voor een ander doel dan wat jij
onderzoekt.
Secundaire data
Voordelen: Goedkoop, makkelijk beschikbaar etc.
Nadelen: Andere schalen, gedateerd, dat dingen nog hetzelfde betekenen.
Je moet weten de soorten vragen: open/gesloten, single/multirespons, dichotoom, likert.
Tips voor je vragenlijst: Gebruik gewone woorden, eenduidig, geen voorveronderstellingen,
generalisaties en positieve of negatieve stellingen. “wel” “niet”.
Steekproefbegrippen: Populatie, operationele populatie, steekproefkader, steekproef, gerealiseerde
steekproef.
Representativiteit
Wat is representativiteit en waarom belangrijk?
Een steekproef is representatief op het moment dat dezelfde kenmerken worden vertoond als de
populatie waar de steekproef uit getrokken is. Meer concreet houdt representativiteit in dat de
,verdeling van de onderzochte variabelen in de steekproef hetzelfde is als in de populatie.
Representativiteit is van groot belang voor de generaliseerbaarheid van de onderzoeksresultaten. Als
bepaalde groepen in de steekproef onder- of oververtegenwoordigd zijn in de steekproef, dan mogen
de onderzoeksresultaten niet zonder meer van toepassing worden verklaard op de populatie. De
representativiteit van de steekproef heeft dus consequenties voor de externe validiteit van het
onderzoek.
Als je op toevalsbasis een steekproef trekt, dan mag je uitgaan van representativiteit, maar als je niet
op toevalsbasis(random) een steekproef trekt dan mag je dat niet veronderstellen.
Nominaal en ordinaal - Toets op representativiteit met CHI square:
FO is de geobserveerde frequentie, FE is de verwachte frequentie (op basis van uniform, overal
gelijke getallen).
Basisgedachte: Als de FO en de FE ver uit elkaar liggen, is er een verschil tussen de populatie en de
steekproef.
Wijkt de verdeling van de steekproef af van de populatie?
H0 = Verdeling in de steekproef = verdeling in de populatie. Alfa is > .30, niet-significante afwijking.
H1 = Verdeling in de steekproef ≠ verdeling in de populatie. Alfa is < .30, significante afwijking.
Hoe te noteren? (χ2(1, N = 775) = 3.58, p = .059) -> Hier verwerp je dus H0 en neem je H1 aan.
Waarom? Omdat .059 < .30 en DUS is H0 waar en spreken we over een significante afwijking.
We toetsen hier niet met de reguliere alfa, maar met een alfa van .30
Waarom? Zie type 1 en 2 fout. (!)
H0 in het echt is juist H0 is niet juist in het echt
Statistisch is H0 juist TYPE 2 fout BETA
Hoe hoger de gekozen alfa, hoe
lager de bèta.
Statistisch is H1 juist TYPE 1 fout ALFA
De kans dat H0 foutief wordt
verworpen, wordt kleiner
wanneer de gestelde alfa zo
klein mogelijk is.
In het hoorcollege is aangegeven dat het bij een toets op representativiteit gebruikelijk is om uit te
gaan van een hogere alfa dan bij andere toetsen. Doorgaans wil je de kans op een type I fout zoveel
mogelijk beperken en kies je voor een lage waarde voor alfa (over het algemeen 5%). Bij een toets op
representativiteit is het meer van belang de kans op een type II fout klein te houden. Deze kans,
aangeduid als bèta, wordt kleiner naarmate een grotere alfa gekozen wordt. Hier wordt dezelfde alfa
gekozen als in het voorbeeld dat in het hoorcollege besproken is, namelijk 30%. Sommige
onderzoekers stellen het zelfs op 85%, dit komt omdat je wil voorkomen dat je een TYPE2 fout
maakt. Een type 2 fout is: H0 is in het ECHT niet juist, MAAR statistisch wel.
Data cleaning
Nadat er vragenlijsten afgenomen zijn bij de respondenten moet de onderzoeker de verkregen data
overzetten in SPSS. Tijdens het overzetten van de gegevens kunnen er allerlei fouten optreden.
Wanneer de data in SPSS staan, moet de onderzoeker zich er dan ook van vergewissen of de data in
orde zijn. Hij zal de data moeten bekijken en eventuele fouten of slordigheden moeten corrigeren.
Allereerst kijkt de onderzoeker of alle gegevens in de datamatrix kloppen. Dat doet hij door middel
van vier stappen:
1. Codes – Heb je missend ook echt als “missend” in je data staan?
, 2. Missings declareren – Mensen hebben niet ingevuld
3. Routings – Bijvoorbeeld als je vraag 2 met nee beantwoordt ga naar vraag 7
4. Response set – Mensen hebben op de automatische piloot antwoorden ingevuld
Daarna voer je de missing value analyse uit.
Om de data nader te bekijken, kun je een aantal stappen doen. Je kunt frequentietabellen draaien
van je variabelen en kijken of je fouten of slordigheden ziet. Je kunt ook kruistabellen draaien en
kijken of je daar opmerkelijke zaken ziet. Een andere manier is te kijken naar je metadata (data over
je data) in het tabblad Variable View. Hier kun je de metadata aanpassen bij geconstateerde fouten
en slordigheden. Kortom, data cleaning wordt gebruikt om de verkregen data op te schonen, te
controleren en goed weer te geven in een statistisch programma, waarna begonnen kan worden aan
statistische procedures.
Missing value analyse
Met missing value analyse gaat de onderzoeker kijken of de ontbrekende scores op variabelen
samenhangen. Het is van belang om te onderzoeken welke processen hebben geleid tot missing
data, zodat de juiste stappen kunnen worden ondernomen om met missing data om te gaan. We
onderscheiden missing data random (MAR) en completely at random (MCAR).
MAR betekent dat de ontbrekende scores op een variabele afhankelijk zijn van ontbrekende
waarden op een andere variabele: er is sprake van selectiviteit. Bijvoorbeeld dat het voorkomen van
ontbrekende scores op de variabele inkomen afhankelijk is van het geslacht van de respondent
(mannen blijken minder geneigd dan vrouwen om hun inkomen op te geven). Meer algemeen: MAR
betekent dat er onderliggende patronen aanwezig zijn tussen missing data en andere variabelen.
MCAR houdt in dat de ontbrekende scores willekeurig zijn verdeeld over alle respondenten en
variabelen in de steekproef.
Probleem met missing data:
1. Minder power: Lager aantal respondenten (lagere power -> Kans om een effect te vinden)
2. Validiteit: Ook dat er een bepaald type respondenten niet reageert op een bepaalde vraag.
(Lagere validiteit). Selectieve groep.
Wat doe je bij response set?
Wanneer je response set meent te hebben waargenomen, moet je eerst beoordelen of het gevonden
patroon inhoudelijk toch mogelijk is (door de vragen en gegeven antwoorden naast elkaar te leggen).
Is er inderdaad sprake van response set dan moet je de omvang ervan bepalen. Is het aantal
respondenten met response set laag dan zou je ze bijvoorbeeld kunnen verwijderen of de scores van
hen op die betreffende variabelen missing maken.
Stappen missing data
In het college zijn vier stappen besproken.
Stap 1: Negeerbaar of niet negeerbare missing data?
Er zijn drie voorbeelden van negeerbare missing data in het college behandeld, namelijk: non-
response/steekproef; routings en censored data/ontwerp.
Naast negeerbare missing data heeft de onderzoeker ook vaak te maken met data die niet te
negeren zijn. Daarvan zijn twee categorieën: te verklaren missing processen en onverklaarbaar
missing processen. Met de niet negeerbare missing data zal de onderzoeker aan de slag moeten.
Stap 2: Omvang van de missing data vaststellen.
Hoeveel respondenten blijven erover voor de analyse van je data? Hier dien je te kijken naar het
percentage van variabelen met missing data voor elke respondent en naar het aantal respondenten
,met missing data voor elke variabele. Missing data lager dan 10% is te verwaarlozen mits deze
volledig random zijn.
Je moet overigens wel uitkijken of respondenten dan wel variabelen verwijderd kunnen worden
wanneer deze buitensporig hoge missings hebben. Dan kan ook andere oorzaken hebben,
bijvoorbeeld een verkeerde routing in de vragenlijst.
Stap 3: Nagaan of de missing data random zijn.
Nadat de onderzoeker heeft vastgesteld dat de omvang van missing data groot is moet er gekeken
worden of de missing data MCAR of MAR zijn.
De vorm bepaalt straks welke substitutiemethodes (vervangmethodes) je kunt gebruiken. Met
andere woorden welke methoden je mag gebruiken om de missing data te vervangen door een
gekozen score.
De volgende tests in SPSS moeten gedaan worden om MCAR dan wel MAR vast te stellen:
MAR: Hierbij ga je voor elke variabele die je wilt onderzoeken verdelen in twee groepen. Een groep
met alle respondenten die een geldige score hebben en een groep met respondenten met een
missing op die variabele. SPSS draait een tabel uit met in de rijen de variabelen met de twee groepen
en in de kolommen de variabelen met in de cellen een aantal gegevens. Voor elke combinatie van
variabelen wordt een t-toets uitgevoerd. Hair et al. (2010) geven aan dat wanneer een ttoets
significant is dit een teken kan zijn voor MAR (let op: metrische data). De onderzoeker moet in de
tabel zoeken naar consistente patronen om aan te kunnen geven dat de data MAR zijn. Voor niet
metrische data kunnen kruistabellen worden bestudeerd om te zoeken naar patronen in missing
data.
MCAR: de tweede manier is om een algehele χ2-toets uit te voeren om te kijken of het MCAR is.
Wanneer deze toets niet significant is, dan hebben we te maken met MCAR. Om een uitspraak te
kunnen doen of de missing data MAR dan wel MCAR zijn, gebruik je alle informatie die je voorhanden
hebt.
MAR of MCAR in SPSS
In steekproeven die groter zijn dan 400 is een percentage boven de 5% statistisch significant. Bij
kleine steekproeven verschillen boven de 10% statistisch significant.
Als het wel significant is: Wat is er aan de hand?
Metrische variabelen
Hier doe je de t-test voor 2 onafhankelijke groepen.
Je vergelijkt met cases die alle scores hebben. Je kijkt of er sprake is van een significant verschil.
De H0 = Missing patronen wijken niet af van verwachte patronen van MCAR
De H1 = Missing patronen wijken af van verwachte patronen voor MCAR
Chi kwadraat verdeling.
Indien alfa is lager dan .05 dan -> H0 afwijzen.
Het antwoord wordt gebaseerd op de volgende drie informatiebronnen:
1. Is het aantal missing groter dan 10%?
2. Is er een systematisch patroon te herkennen in de tabel?
3. Is de toets voor MCAR significant of niet?
Stap 4: Substitutiemethode kiezen en uitvoeren
MAR: Modelling Based Approaches (komt niet in de cursus aan de orde).
MCAR: Missing data vervangen en missing data niet vervangen.
,Vervangen van data – Substitutie
In het college worden twee verschillende substitutiemethoden besproken:
1. Het vervangen van missings door het totale steekproefgemiddelde op een variabele;
2. Het vervangen van missings door het gemiddelde binnen verschillende subgroepen.
Uitvoering van de substitutie
A. Je behoud de originele variabele
B. Het vervangen van missings door het steekproefgemiddelde is met de onderstaande procedure
makkelijk te realiseren: Ga naar Transform > Replace Missing Values. Plaats de variabele onder New
Variable(s). Dit is de methode series mean.
C. Om missings te vervangen binnen bepaalde subgroepen in de steekproef, kunnen we gebruik
maken van de procedure Split file. Selecteer binnen de procedure > Compare groups en geef de twee
variabelen op als ‘grouping variables’. Herhaal de Replace Missing Values procedure maar verander
de variabelenaam, zodat het resultaat van de eerste transformatie niet wordt overschreven. Vergeet
niet Split file niet ongedaan te maken als je hierna nog andere analyses wilt doen.
Vervolgens kan je het orgineel en daarna B & C vergelijken. Je kijkt met name naar de verschillen in
gemiddelde en standaarddeviatie. Weinig verschil duid op MCAR, veel verschil op MAR.
MAR:
- Daar ga je subgroepen onderscheiden en meenemen in de analyse
MCAR:
- Listwise deletion
- Pairwise deletion: Dit zorgt ervoor dat je alleen verwijdert de data die je nodig hebt, dus
bijvoorbeeld als je een analyse doet tussen bloemen en lampen en eentje scoort niet op
lampen, dan verwijderder je die voor de analyse even.
- Mean substitution: Je geeft het een gemiddelde waarde. (Dit kan je ook voor subgroepen
doen).
- Regression techniques: Op basis van de informatie die je wel tot beschikking hebt doe je een
‘predication’ over wat voor score het ongeveer zal zijn.
Casuscollege
Representativiteit
Je kunt beschrijvend toetsen en toetsend toetsen. Als je beschrijvend toetst dan kijk je puur naar de
cijfers en vergelijk je. Als je dit toetsend doet kijk je naar de waarde van de alfa.
Nominaal en ordinaal
Om een uitspraak te kunnen doen over de representativiteit moeten we de verdelingen van
variabelen in de steekproef vergelijken met de populatieverdelingen. Dat betekent dus dat we
moeten beschikken over populatiegegevens. Een beschrijvende en vrij basale manier om een
verdeling in steekproef te bestuderen, is het analyseren van een frequentietabel. Of een verdeling
van een nominale of ordinale variabele (bv. geslacht of urbanisatiegraad) overeenkomt met de
populatieverdeling is te toetsen met behulp van een univariate χ2-toets. Deze procedure is te
benaderen via Analyze > Nonparametric Tests > Legacy Dialogs > Chi-Square. Hier kijk je naar de
alfa. Is de alfa < .30 dan is het gevonden verschil significant en dus mag je de H0 verwerpen, wat
betekent dat de steekproef niet gelijk is aan de populatie.
Interval en ratio
Voor variabelen van interval en ratio meetniveau wordt een frequentietabel snel onoverzichtelijk.
Dan kan ook worden gekozen voor grafische weergavemethoden als het histogram of een stamen-
blad diagram. De verdelingen van de variabelen in de steekproef zijn dan ‘op het oog’ te vergelijken
, met de populatieverdelingen. In SPSS is het één en ander op te vragen via Analyze > Frequencies. Als
we met meer zekerheid uitspraken willen doen over de representativiteit van een steekproef, dan
moeten we specifiek toetsen op representativiteit. Voor variabelen van interval of ratio niveau (bv.
leeftijd of gewicht) kan gebruik worden gemaakt van een z- of t-toets (Analyze > Compare Means >
One Sample T-Test). Hier kijk je ook naar de alfa.
Missing data analyse
Procedure
Ga naar Analyze > Missing Value Analysis. Zet alle waarden variabelen onder Categorical Variables.
Geef onder Patterns aan dat je Tabulated Cases wilt opvragen en vink Sort variables by missing
value pattern uit > Continue. Selecteer via Descriptives de onderste twee opties, t-tests en
crosstabulations. Vraag ook de Probabilities op en stel het percentage onderin het venster in op 1%
> Continue. Vink tenslotte onder Estimation de optie EM aan en voer de procedure uit door op OK te
klikken.
Hypothese
H0 = Missing patronen wijken niet af van verwachte patronen (En dus is het MCAR)
H1 = Missing patronen wijken af van de verwachte patronen (En dus is het MAR)
Little’s MCAR test
Notatie: χ2(888) = 915.16, p = .26 en dus niet significant. Als deze test wel significant is (<.05) dan
heb je mogelijk een probleem. Betekent dat de mensen die een missing hebben bij het ene anders
antwoorden dan de mensen die dat niet doen. In dat geval heb je een verschil in gemiddelde.
MCAR en minder dan 10% missings
Als er niet veel missing data is en deze MCAR zijn, dan zijn werken met complete data en vervangen
van missings door het gemiddelde (‘mean substitution’) geschikte ‘imputation methods’.
Kwantitatief WEEK 1 Gegevensverzameling....................................................................................................... 3
Hoorcollege .................................................................................................................................................. 3
Representativiteit ..................................................................................................................................... 3
Data cleaning ........................................................................................................................................... 4
Casuscollege ................................................................................................................................................. 7
Representativiteit ..................................................................................................................................... 7
Missing data analyse ................................................................................................................................ 8
Kwantitatief WEEK 2 Factoranalyse ................................................................................................................... 9
Hoorcollege .................................................................................................................................................. 9
Werkcollege ............................................................................................................................................... 11
Casuscollege ............................................................................................................................................... 14
Kwantitatief WEEK 3 ANOVA ........................................................................................................................... 16
Hoorcollege ................................................................................................................................................ 16
Casuscollege ............................................................................................................................................... 18
Kwantitatief WEEK 4 ANCOVA & MANOVA ...................................................................................................... 24
Hoorcollege ................................................................................................................................................ 24
ANCOVA ................................................................................................................................................. 24
MANOVA................................................................................................................................................ 27
Casuscollege ............................................................................................................................................... 33
ANOVA ................................................................................................................................................... 33
MANOVA................................................................................................................................................ 33
Kwantitatief WEEK 5 Meervoudige regressieanalyse – Assumpties en dummies DEEL 1 ................................... 34
Hoorcollege ................................................................................................................................................ 34
Assumpties............................................................................................................................................. 34
Dummy .................................................................................................................................................. 37
Casuscollege ............................................................................................................................................... 39
Assumpties............................................................................................................................................. 39
Dummy .................................................................................................................................................. 40
Kwantitatief WEEK 6 Meervoudige regressieanalyse – Moderatie en mediatie DEEL 2 ..................................... 41
Hoorcollege ................................................................................................................................................ 41
Moderatie .............................................................................................................................................. 42
Mediatie................................................................................................................................................. 46
Casuscollege ............................................................................................................................................... 49
Over het tentamen ......................................................................................................................................... 50
,Kwantitatief WEEK 1 Gegevensverzameling
Tentamen: Je hebt elke week een opdracht, op je tentamen mag je je boek gebruiken en er is een
check of je de opdrachten hebt gemaakt en kan werken met SPSS. Verschil met statistiek is dat ook
gecheckt wordt of je echt kan werken met SPSS.
Let op het toulmin model: Conclusie, Gegevens, Rechtvaardiging.
Er wordt in deze cursus van uit gegaan dat je de basis weet: validiteit, betrouwbaarheid, afwijzen van
hypothese als de alfa groter is dan .05 etc.
Hoorcollege
Bruikbaarheid = De mate waarin de onderzoeksresultaten aansluiten bij het probleem van de
opdrachtgever en kunnen bijdragen aan een oplossing van een praktijkprobleem.
Empirische cyclus
Onderzoekstrategieën:
- Beschrijvend
- Toetsend
Dataverzameling: Vragenlijsten, observaties en inhoudsanalyse.
Data: Primair en secundair. Secundair is data dat verzameld is voor een ander doel dan wat jij
onderzoekt.
Secundaire data
Voordelen: Goedkoop, makkelijk beschikbaar etc.
Nadelen: Andere schalen, gedateerd, dat dingen nog hetzelfde betekenen.
Je moet weten de soorten vragen: open/gesloten, single/multirespons, dichotoom, likert.
Tips voor je vragenlijst: Gebruik gewone woorden, eenduidig, geen voorveronderstellingen,
generalisaties en positieve of negatieve stellingen. “wel” “niet”.
Steekproefbegrippen: Populatie, operationele populatie, steekproefkader, steekproef, gerealiseerde
steekproef.
Representativiteit
Wat is representativiteit en waarom belangrijk?
Een steekproef is representatief op het moment dat dezelfde kenmerken worden vertoond als de
populatie waar de steekproef uit getrokken is. Meer concreet houdt representativiteit in dat de
,verdeling van de onderzochte variabelen in de steekproef hetzelfde is als in de populatie.
Representativiteit is van groot belang voor de generaliseerbaarheid van de onderzoeksresultaten. Als
bepaalde groepen in de steekproef onder- of oververtegenwoordigd zijn in de steekproef, dan mogen
de onderzoeksresultaten niet zonder meer van toepassing worden verklaard op de populatie. De
representativiteit van de steekproef heeft dus consequenties voor de externe validiteit van het
onderzoek.
Als je op toevalsbasis een steekproef trekt, dan mag je uitgaan van representativiteit, maar als je niet
op toevalsbasis(random) een steekproef trekt dan mag je dat niet veronderstellen.
Nominaal en ordinaal - Toets op representativiteit met CHI square:
FO is de geobserveerde frequentie, FE is de verwachte frequentie (op basis van uniform, overal
gelijke getallen).
Basisgedachte: Als de FO en de FE ver uit elkaar liggen, is er een verschil tussen de populatie en de
steekproef.
Wijkt de verdeling van de steekproef af van de populatie?
H0 = Verdeling in de steekproef = verdeling in de populatie. Alfa is > .30, niet-significante afwijking.
H1 = Verdeling in de steekproef ≠ verdeling in de populatie. Alfa is < .30, significante afwijking.
Hoe te noteren? (χ2(1, N = 775) = 3.58, p = .059) -> Hier verwerp je dus H0 en neem je H1 aan.
Waarom? Omdat .059 < .30 en DUS is H0 waar en spreken we over een significante afwijking.
We toetsen hier niet met de reguliere alfa, maar met een alfa van .30
Waarom? Zie type 1 en 2 fout. (!)
H0 in het echt is juist H0 is niet juist in het echt
Statistisch is H0 juist TYPE 2 fout BETA
Hoe hoger de gekozen alfa, hoe
lager de bèta.
Statistisch is H1 juist TYPE 1 fout ALFA
De kans dat H0 foutief wordt
verworpen, wordt kleiner
wanneer de gestelde alfa zo
klein mogelijk is.
In het hoorcollege is aangegeven dat het bij een toets op representativiteit gebruikelijk is om uit te
gaan van een hogere alfa dan bij andere toetsen. Doorgaans wil je de kans op een type I fout zoveel
mogelijk beperken en kies je voor een lage waarde voor alfa (over het algemeen 5%). Bij een toets op
representativiteit is het meer van belang de kans op een type II fout klein te houden. Deze kans,
aangeduid als bèta, wordt kleiner naarmate een grotere alfa gekozen wordt. Hier wordt dezelfde alfa
gekozen als in het voorbeeld dat in het hoorcollege besproken is, namelijk 30%. Sommige
onderzoekers stellen het zelfs op 85%, dit komt omdat je wil voorkomen dat je een TYPE2 fout
maakt. Een type 2 fout is: H0 is in het ECHT niet juist, MAAR statistisch wel.
Data cleaning
Nadat er vragenlijsten afgenomen zijn bij de respondenten moet de onderzoeker de verkregen data
overzetten in SPSS. Tijdens het overzetten van de gegevens kunnen er allerlei fouten optreden.
Wanneer de data in SPSS staan, moet de onderzoeker zich er dan ook van vergewissen of de data in
orde zijn. Hij zal de data moeten bekijken en eventuele fouten of slordigheden moeten corrigeren.
Allereerst kijkt de onderzoeker of alle gegevens in de datamatrix kloppen. Dat doet hij door middel
van vier stappen:
1. Codes – Heb je missend ook echt als “missend” in je data staan?
, 2. Missings declareren – Mensen hebben niet ingevuld
3. Routings – Bijvoorbeeld als je vraag 2 met nee beantwoordt ga naar vraag 7
4. Response set – Mensen hebben op de automatische piloot antwoorden ingevuld
Daarna voer je de missing value analyse uit.
Om de data nader te bekijken, kun je een aantal stappen doen. Je kunt frequentietabellen draaien
van je variabelen en kijken of je fouten of slordigheden ziet. Je kunt ook kruistabellen draaien en
kijken of je daar opmerkelijke zaken ziet. Een andere manier is te kijken naar je metadata (data over
je data) in het tabblad Variable View. Hier kun je de metadata aanpassen bij geconstateerde fouten
en slordigheden. Kortom, data cleaning wordt gebruikt om de verkregen data op te schonen, te
controleren en goed weer te geven in een statistisch programma, waarna begonnen kan worden aan
statistische procedures.
Missing value analyse
Met missing value analyse gaat de onderzoeker kijken of de ontbrekende scores op variabelen
samenhangen. Het is van belang om te onderzoeken welke processen hebben geleid tot missing
data, zodat de juiste stappen kunnen worden ondernomen om met missing data om te gaan. We
onderscheiden missing data random (MAR) en completely at random (MCAR).
MAR betekent dat de ontbrekende scores op een variabele afhankelijk zijn van ontbrekende
waarden op een andere variabele: er is sprake van selectiviteit. Bijvoorbeeld dat het voorkomen van
ontbrekende scores op de variabele inkomen afhankelijk is van het geslacht van de respondent
(mannen blijken minder geneigd dan vrouwen om hun inkomen op te geven). Meer algemeen: MAR
betekent dat er onderliggende patronen aanwezig zijn tussen missing data en andere variabelen.
MCAR houdt in dat de ontbrekende scores willekeurig zijn verdeeld over alle respondenten en
variabelen in de steekproef.
Probleem met missing data:
1. Minder power: Lager aantal respondenten (lagere power -> Kans om een effect te vinden)
2. Validiteit: Ook dat er een bepaald type respondenten niet reageert op een bepaalde vraag.
(Lagere validiteit). Selectieve groep.
Wat doe je bij response set?
Wanneer je response set meent te hebben waargenomen, moet je eerst beoordelen of het gevonden
patroon inhoudelijk toch mogelijk is (door de vragen en gegeven antwoorden naast elkaar te leggen).
Is er inderdaad sprake van response set dan moet je de omvang ervan bepalen. Is het aantal
respondenten met response set laag dan zou je ze bijvoorbeeld kunnen verwijderen of de scores van
hen op die betreffende variabelen missing maken.
Stappen missing data
In het college zijn vier stappen besproken.
Stap 1: Negeerbaar of niet negeerbare missing data?
Er zijn drie voorbeelden van negeerbare missing data in het college behandeld, namelijk: non-
response/steekproef; routings en censored data/ontwerp.
Naast negeerbare missing data heeft de onderzoeker ook vaak te maken met data die niet te
negeren zijn. Daarvan zijn twee categorieën: te verklaren missing processen en onverklaarbaar
missing processen. Met de niet negeerbare missing data zal de onderzoeker aan de slag moeten.
Stap 2: Omvang van de missing data vaststellen.
Hoeveel respondenten blijven erover voor de analyse van je data? Hier dien je te kijken naar het
percentage van variabelen met missing data voor elke respondent en naar het aantal respondenten
,met missing data voor elke variabele. Missing data lager dan 10% is te verwaarlozen mits deze
volledig random zijn.
Je moet overigens wel uitkijken of respondenten dan wel variabelen verwijderd kunnen worden
wanneer deze buitensporig hoge missings hebben. Dan kan ook andere oorzaken hebben,
bijvoorbeeld een verkeerde routing in de vragenlijst.
Stap 3: Nagaan of de missing data random zijn.
Nadat de onderzoeker heeft vastgesteld dat de omvang van missing data groot is moet er gekeken
worden of de missing data MCAR of MAR zijn.
De vorm bepaalt straks welke substitutiemethodes (vervangmethodes) je kunt gebruiken. Met
andere woorden welke methoden je mag gebruiken om de missing data te vervangen door een
gekozen score.
De volgende tests in SPSS moeten gedaan worden om MCAR dan wel MAR vast te stellen:
MAR: Hierbij ga je voor elke variabele die je wilt onderzoeken verdelen in twee groepen. Een groep
met alle respondenten die een geldige score hebben en een groep met respondenten met een
missing op die variabele. SPSS draait een tabel uit met in de rijen de variabelen met de twee groepen
en in de kolommen de variabelen met in de cellen een aantal gegevens. Voor elke combinatie van
variabelen wordt een t-toets uitgevoerd. Hair et al. (2010) geven aan dat wanneer een ttoets
significant is dit een teken kan zijn voor MAR (let op: metrische data). De onderzoeker moet in de
tabel zoeken naar consistente patronen om aan te kunnen geven dat de data MAR zijn. Voor niet
metrische data kunnen kruistabellen worden bestudeerd om te zoeken naar patronen in missing
data.
MCAR: de tweede manier is om een algehele χ2-toets uit te voeren om te kijken of het MCAR is.
Wanneer deze toets niet significant is, dan hebben we te maken met MCAR. Om een uitspraak te
kunnen doen of de missing data MAR dan wel MCAR zijn, gebruik je alle informatie die je voorhanden
hebt.
MAR of MCAR in SPSS
In steekproeven die groter zijn dan 400 is een percentage boven de 5% statistisch significant. Bij
kleine steekproeven verschillen boven de 10% statistisch significant.
Als het wel significant is: Wat is er aan de hand?
Metrische variabelen
Hier doe je de t-test voor 2 onafhankelijke groepen.
Je vergelijkt met cases die alle scores hebben. Je kijkt of er sprake is van een significant verschil.
De H0 = Missing patronen wijken niet af van verwachte patronen van MCAR
De H1 = Missing patronen wijken af van verwachte patronen voor MCAR
Chi kwadraat verdeling.
Indien alfa is lager dan .05 dan -> H0 afwijzen.
Het antwoord wordt gebaseerd op de volgende drie informatiebronnen:
1. Is het aantal missing groter dan 10%?
2. Is er een systematisch patroon te herkennen in de tabel?
3. Is de toets voor MCAR significant of niet?
Stap 4: Substitutiemethode kiezen en uitvoeren
MAR: Modelling Based Approaches (komt niet in de cursus aan de orde).
MCAR: Missing data vervangen en missing data niet vervangen.
,Vervangen van data – Substitutie
In het college worden twee verschillende substitutiemethoden besproken:
1. Het vervangen van missings door het totale steekproefgemiddelde op een variabele;
2. Het vervangen van missings door het gemiddelde binnen verschillende subgroepen.
Uitvoering van de substitutie
A. Je behoud de originele variabele
B. Het vervangen van missings door het steekproefgemiddelde is met de onderstaande procedure
makkelijk te realiseren: Ga naar Transform > Replace Missing Values. Plaats de variabele onder New
Variable(s). Dit is de methode series mean.
C. Om missings te vervangen binnen bepaalde subgroepen in de steekproef, kunnen we gebruik
maken van de procedure Split file. Selecteer binnen de procedure > Compare groups en geef de twee
variabelen op als ‘grouping variables’. Herhaal de Replace Missing Values procedure maar verander
de variabelenaam, zodat het resultaat van de eerste transformatie niet wordt overschreven. Vergeet
niet Split file niet ongedaan te maken als je hierna nog andere analyses wilt doen.
Vervolgens kan je het orgineel en daarna B & C vergelijken. Je kijkt met name naar de verschillen in
gemiddelde en standaarddeviatie. Weinig verschil duid op MCAR, veel verschil op MAR.
MAR:
- Daar ga je subgroepen onderscheiden en meenemen in de analyse
MCAR:
- Listwise deletion
- Pairwise deletion: Dit zorgt ervoor dat je alleen verwijdert de data die je nodig hebt, dus
bijvoorbeeld als je een analyse doet tussen bloemen en lampen en eentje scoort niet op
lampen, dan verwijderder je die voor de analyse even.
- Mean substitution: Je geeft het een gemiddelde waarde. (Dit kan je ook voor subgroepen
doen).
- Regression techniques: Op basis van de informatie die je wel tot beschikking hebt doe je een
‘predication’ over wat voor score het ongeveer zal zijn.
Casuscollege
Representativiteit
Je kunt beschrijvend toetsen en toetsend toetsen. Als je beschrijvend toetst dan kijk je puur naar de
cijfers en vergelijk je. Als je dit toetsend doet kijk je naar de waarde van de alfa.
Nominaal en ordinaal
Om een uitspraak te kunnen doen over de representativiteit moeten we de verdelingen van
variabelen in de steekproef vergelijken met de populatieverdelingen. Dat betekent dus dat we
moeten beschikken over populatiegegevens. Een beschrijvende en vrij basale manier om een
verdeling in steekproef te bestuderen, is het analyseren van een frequentietabel. Of een verdeling
van een nominale of ordinale variabele (bv. geslacht of urbanisatiegraad) overeenkomt met de
populatieverdeling is te toetsen met behulp van een univariate χ2-toets. Deze procedure is te
benaderen via Analyze > Nonparametric Tests > Legacy Dialogs > Chi-Square. Hier kijk je naar de
alfa. Is de alfa < .30 dan is het gevonden verschil significant en dus mag je de H0 verwerpen, wat
betekent dat de steekproef niet gelijk is aan de populatie.
Interval en ratio
Voor variabelen van interval en ratio meetniveau wordt een frequentietabel snel onoverzichtelijk.
Dan kan ook worden gekozen voor grafische weergavemethoden als het histogram of een stamen-
blad diagram. De verdelingen van de variabelen in de steekproef zijn dan ‘op het oog’ te vergelijken
, met de populatieverdelingen. In SPSS is het één en ander op te vragen via Analyze > Frequencies. Als
we met meer zekerheid uitspraken willen doen over de representativiteit van een steekproef, dan
moeten we specifiek toetsen op representativiteit. Voor variabelen van interval of ratio niveau (bv.
leeftijd of gewicht) kan gebruik worden gemaakt van een z- of t-toets (Analyze > Compare Means >
One Sample T-Test). Hier kijk je ook naar de alfa.
Missing data analyse
Procedure
Ga naar Analyze > Missing Value Analysis. Zet alle waarden variabelen onder Categorical Variables.
Geef onder Patterns aan dat je Tabulated Cases wilt opvragen en vink Sort variables by missing
value pattern uit > Continue. Selecteer via Descriptives de onderste twee opties, t-tests en
crosstabulations. Vraag ook de Probabilities op en stel het percentage onderin het venster in op 1%
> Continue. Vink tenslotte onder Estimation de optie EM aan en voer de procedure uit door op OK te
klikken.
Hypothese
H0 = Missing patronen wijken niet af van verwachte patronen (En dus is het MCAR)
H1 = Missing patronen wijken af van de verwachte patronen (En dus is het MAR)
Little’s MCAR test
Notatie: χ2(888) = 915.16, p = .26 en dus niet significant. Als deze test wel significant is (<.05) dan
heb je mogelijk een probleem. Betekent dat de mensen die een missing hebben bij het ene anders
antwoorden dan de mensen die dat niet doen. In dat geval heb je een verschil in gemiddelde.
MCAR en minder dan 10% missings
Als er niet veel missing data is en deze MCAR zijn, dan zijn werken met complete data en vervangen
van missings door het gemiddelde (‘mean substitution’) geschikte ‘imputation methods’.
