Research methods in communication science
Important topics per week:
Week 1:
- Multiple and single regressions
- B’s and Beta
- Regressions
- Sum of squares
- R2
- Joint significance
- Nested models
- Unrestricted models
- Restricted models
Week 2:
- Nominal and ordinal variables
- Dummy variables
- The 6 different assumptions (multicollinearity, homoscedasticity, heteroscedasticity,
uncorrelated residuals, no influential observations, normality of residuals)
Week 3:
- Mediation
- Spurious correlation
- Types of effects (indirect, direct, total effect)
- Methods to test mediation
o Baron and Kenny
o Sobel test
o Bootstrap
Week 4:
- Regression without and with interaction
- Meaningful zero category
- Simple slope analysis
- Significante testing
- Moderation plots
- Conditional effects
- Johnson-Neyman region
Week 5:
- Anova
- Sfericity
- Mauchly’s test
- Greenhouse Geisser
- Huynh-Feldt
- Levene’s test
- Repeated measures Anova
, - One-way anova
- Dependent samples
- Paired t-test
- Assumptions of anova
- Bonferroni
- Planned contrasts
- Helmert contrast
- Post-hoc predictions
- Mixed design anova
Week 6:
- Manova
- Matrices
- Cross product
- Eigenvector and eigenvalues
- Manova’s tests
- Box’s test
- HE plots
- Discriminant analysis
- Variates
- Pearsons correlation
Lecture 1: introduction and linear regression
B en beta
è Zijn niet hetzelfde.
Beta: de helling van de regressielijn. Dus de verandering in Y voor een eenheidswijziging in X
(onafhankelijke). Is de gestandaardiseerde b-coëfficiënt. Je kan de sterkte van de effecten
van verschillende X-en met elkaar vergelijken. De Beta is onafhankelijk van de
meeteenheden en daarom hiervoor geschikt.
è 1 standaarddeviatie toename in X leidt tot Beta keer een standaarddeviatie toename
in Y.
è B coëfficiënten worden gestandaardiseerd door ze te delen door de
standaarddeviatie van de desbetreffende onafhankelijke variabele. Het resultaat is
dan een gestandaardiseerde B coëfficiënt.
B: gebruikt om de p-waarde aan te duiden in de context van hypothesetesten.
Total sum of squares (TSS): hoeveel de geobserveerde warden afwijken van het gemiddelde,
gekwadrateerd en bij elkaar opgeteld. Meet de totale variabiliteit in de gegevens door te
kijken hoe ver elke individuele waarde afligt van het gemiddelde, dit te kwadrateren en deze
kwadraten voor alle observaties op te tellen.
Regression model/ Explained sum of squares (MSS): hoeveel de voorspelde warden
afwijken van het gemiddelde, gekwadrateerd en bij elkaar opgeteld. TSS - RSS
,Residual (error) sum of squres (RSS): hoeveel de geobserveerde warden afwijken van de
voorspelde waarden, gekwadrateerd en bij elkaar opgeteld.
R2 = (TSS – RSS) / TSS
R2 = MSS / TSS
Lecture 2: multipele regressive
R2 bepalen:
- R2 = RSS/ TSS. Valt in een range van 0 tot 1. Als het hier dus buiten valt, klopt het
niet.
- Hogere waardes stellen dat X goed Y kan verklaren. Legt meer van de afhankelijke
variabele uit.
- Een algemene manier van regressie kwaliteit.
Joint significance: als we willen weten of onze onafhankelijke variabelen Y verklaren.
è Nested models en F testen.
Nested models: een regressie model met een subset van de X van een andere regressie.
Dus, het grotere model omvat alle variabelen en parameters van het kleinere model, samen
met extra variabelen en parameters. Nested models worden vaak gebruikt om te vergelijken
hoe goed verschillende modellen de gegevens passen en om te beoordelen of de toevoeging
van extra variabelen significant bijdraagt aan de modelverklaring.
R kwadraat geeft de mate van verklaring of de passendheid van een regressiemodel weer. Is
een getal tussen 0 en 1 en wordt meestal uitgedrukt in een percentage.
è Gaat omhoog als je afhankelijke variabelen toevoegt. Dit betekent echter niet dat we
het model beter voorspellen. Vandaar hebben we aangepast R kwadraat:
Aangepast R kwadraat: houdt rekening met het aantal voorspellers of onafhankelijke
variabelen in het model. Het past R2 aan om een nauwkeuriger beeld te geven van de
pasvorm van het model.
è Is vaak kleiner dan R2.
è Deze kan wel 0 zijn (R2 niet)
è Kan kleiner worden als een andere voorspeller wordt toegevoegd
Lecture 3: regressie met categorische voorspellers
Nominale variabelen: gender, etniciteit
Om ordinale en nominale variabelen in een regressie te gebruiken, creëren we dummy
variabelen.
è Hoeveel dummy variabelen er zijn: k – 1
Met dummies is het gebruik van gestandaardiseerde coëfficiënten, nutteloos, want beta’s
kunnen niet worden geïnterpreteerd als een verschil van gemiddelden.
è We vermijden dus het gebruik van beta’s
, Je kan ook groepen maken van continue variabele, bijvoorbeeld “age groups” creëren.
Multipele regressie en dummy’s
Regressie met categorische variabelen
- Zeg we hebben een variabele met k response categorieën.
o We creëren dan k – 1 dummy’s
o De categorie die we niet toevoegen is de referentie groep.
o De B van elke dummy is geïnterpreteerd als het verschil, in gemiddeldes,
tussen deze categorie en de referentie.
Overeenkomsten met een Anova
- Een one-way anova is precies hetzelfde als een regressie met dummy’s
- De regressie “inkomen = B0 + B1Z1 + B2Z2” is precies hetzelfde als een one-way
Anova met simpele contrasten
- Een regressie is net iets makkelijker te begrijpen
Om te bepalen of we meer variabelen toevoegen in de regressie, kijken we of de R2 groter
wordt. Zo ja, dan heeft het zin.
“If age increases by 1 st dev, the wage increases by 0.1 st. deviations (because the Beta =
0.1).”
Lecture 4: regressie assumpties
Primaire en secundaire assumpties:
1. Linear relationship (primary)
2. Normality of residuals (secondary)
3. No influential observations (secondary)
4. Homoscedasticity (secondary)
5. Uncorrelated residuals (primary)
6. No multicollinearity (secondary)
Wat gebeurt er als we deze assumpties overschrijden:
- Primair: we brengen de betekenis van de parameters in gevaar
- Secundair: iets minder precieze geschatte waardes, we kunnen de resultaten niet
generaliseren.
Important topics per week:
Week 1:
- Multiple and single regressions
- B’s and Beta
- Regressions
- Sum of squares
- R2
- Joint significance
- Nested models
- Unrestricted models
- Restricted models
Week 2:
- Nominal and ordinal variables
- Dummy variables
- The 6 different assumptions (multicollinearity, homoscedasticity, heteroscedasticity,
uncorrelated residuals, no influential observations, normality of residuals)
Week 3:
- Mediation
- Spurious correlation
- Types of effects (indirect, direct, total effect)
- Methods to test mediation
o Baron and Kenny
o Sobel test
o Bootstrap
Week 4:
- Regression without and with interaction
- Meaningful zero category
- Simple slope analysis
- Significante testing
- Moderation plots
- Conditional effects
- Johnson-Neyman region
Week 5:
- Anova
- Sfericity
- Mauchly’s test
- Greenhouse Geisser
- Huynh-Feldt
- Levene’s test
- Repeated measures Anova
, - One-way anova
- Dependent samples
- Paired t-test
- Assumptions of anova
- Bonferroni
- Planned contrasts
- Helmert contrast
- Post-hoc predictions
- Mixed design anova
Week 6:
- Manova
- Matrices
- Cross product
- Eigenvector and eigenvalues
- Manova’s tests
- Box’s test
- HE plots
- Discriminant analysis
- Variates
- Pearsons correlation
Lecture 1: introduction and linear regression
B en beta
è Zijn niet hetzelfde.
Beta: de helling van de regressielijn. Dus de verandering in Y voor een eenheidswijziging in X
(onafhankelijke). Is de gestandaardiseerde b-coëfficiënt. Je kan de sterkte van de effecten
van verschillende X-en met elkaar vergelijken. De Beta is onafhankelijk van de
meeteenheden en daarom hiervoor geschikt.
è 1 standaarddeviatie toename in X leidt tot Beta keer een standaarddeviatie toename
in Y.
è B coëfficiënten worden gestandaardiseerd door ze te delen door de
standaarddeviatie van de desbetreffende onafhankelijke variabele. Het resultaat is
dan een gestandaardiseerde B coëfficiënt.
B: gebruikt om de p-waarde aan te duiden in de context van hypothesetesten.
Total sum of squares (TSS): hoeveel de geobserveerde warden afwijken van het gemiddelde,
gekwadrateerd en bij elkaar opgeteld. Meet de totale variabiliteit in de gegevens door te
kijken hoe ver elke individuele waarde afligt van het gemiddelde, dit te kwadrateren en deze
kwadraten voor alle observaties op te tellen.
Regression model/ Explained sum of squares (MSS): hoeveel de voorspelde warden
afwijken van het gemiddelde, gekwadrateerd en bij elkaar opgeteld. TSS - RSS
,Residual (error) sum of squres (RSS): hoeveel de geobserveerde warden afwijken van de
voorspelde waarden, gekwadrateerd en bij elkaar opgeteld.
R2 = (TSS – RSS) / TSS
R2 = MSS / TSS
Lecture 2: multipele regressive
R2 bepalen:
- R2 = RSS/ TSS. Valt in een range van 0 tot 1. Als het hier dus buiten valt, klopt het
niet.
- Hogere waardes stellen dat X goed Y kan verklaren. Legt meer van de afhankelijke
variabele uit.
- Een algemene manier van regressie kwaliteit.
Joint significance: als we willen weten of onze onafhankelijke variabelen Y verklaren.
è Nested models en F testen.
Nested models: een regressie model met een subset van de X van een andere regressie.
Dus, het grotere model omvat alle variabelen en parameters van het kleinere model, samen
met extra variabelen en parameters. Nested models worden vaak gebruikt om te vergelijken
hoe goed verschillende modellen de gegevens passen en om te beoordelen of de toevoeging
van extra variabelen significant bijdraagt aan de modelverklaring.
R kwadraat geeft de mate van verklaring of de passendheid van een regressiemodel weer. Is
een getal tussen 0 en 1 en wordt meestal uitgedrukt in een percentage.
è Gaat omhoog als je afhankelijke variabelen toevoegt. Dit betekent echter niet dat we
het model beter voorspellen. Vandaar hebben we aangepast R kwadraat:
Aangepast R kwadraat: houdt rekening met het aantal voorspellers of onafhankelijke
variabelen in het model. Het past R2 aan om een nauwkeuriger beeld te geven van de
pasvorm van het model.
è Is vaak kleiner dan R2.
è Deze kan wel 0 zijn (R2 niet)
è Kan kleiner worden als een andere voorspeller wordt toegevoegd
Lecture 3: regressie met categorische voorspellers
Nominale variabelen: gender, etniciteit
Om ordinale en nominale variabelen in een regressie te gebruiken, creëren we dummy
variabelen.
è Hoeveel dummy variabelen er zijn: k – 1
Met dummies is het gebruik van gestandaardiseerde coëfficiënten, nutteloos, want beta’s
kunnen niet worden geïnterpreteerd als een verschil van gemiddelden.
è We vermijden dus het gebruik van beta’s
, Je kan ook groepen maken van continue variabele, bijvoorbeeld “age groups” creëren.
Multipele regressie en dummy’s
Regressie met categorische variabelen
- Zeg we hebben een variabele met k response categorieën.
o We creëren dan k – 1 dummy’s
o De categorie die we niet toevoegen is de referentie groep.
o De B van elke dummy is geïnterpreteerd als het verschil, in gemiddeldes,
tussen deze categorie en de referentie.
Overeenkomsten met een Anova
- Een one-way anova is precies hetzelfde als een regressie met dummy’s
- De regressie “inkomen = B0 + B1Z1 + B2Z2” is precies hetzelfde als een one-way
Anova met simpele contrasten
- Een regressie is net iets makkelijker te begrijpen
Om te bepalen of we meer variabelen toevoegen in de regressie, kijken we of de R2 groter
wordt. Zo ja, dan heeft het zin.
“If age increases by 1 st dev, the wage increases by 0.1 st. deviations (because the Beta =
0.1).”
Lecture 4: regressie assumpties
Primaire en secundaire assumpties:
1. Linear relationship (primary)
2. Normality of residuals (secondary)
3. No influential observations (secondary)
4. Homoscedasticity (secondary)
5. Uncorrelated residuals (primary)
6. No multicollinearity (secondary)
Wat gebeurt er als we deze assumpties overschrijden:
- Primair: we brengen de betekenis van de parameters in gevaar
- Secundair: iets minder precieze geschatte waardes, we kunnen de resultaten niet
generaliseren.
