ALL 15 CHAPTERS COVERED
SOLUTIONS MANUAL
,CONTENTS
CHAPTER 1 INTRODUCTION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Examples of Time Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 A Model-Building Strategy . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3 Time Series Plots in History . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 An Overview of the Book . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
CHAPTER 2 FUNDAMENTAL CONCEPTS . . . . . . . . . . . . . . . . . . 11
2.1 Time Series and Stochastic Processes . . . . . . . . . . . . . . . . 11
2.2 Means, Variances, and Covariances . . . . . . . . . . . . . . . . . . 11
2.3 Stationarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Appendix A: Expectation, Variance, Covariance, and Correlation . 24
CHAPTER 3 TRENDS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.1 Deterministic Versus Stochastic Trends . . . . . . . . . . . . . . . . 27
3.2 Estimation of a Constant Mean . . . . . . . . . . . . . . . . . . . . . . 28
3.3 Regression Methods. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.4 Reliability and Efficiency of Regression Estimates. . . . . . . . 36
3.5 Interpreting Regression Output . . . . . . . . . . . . . . . . . . . . . . 40
3.6 Residual Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
CHAPTER 4 MODELS FOR STATIONARY TIME SERIES . . . . . 55
4.1 General Linear Processes . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.2 Moving Average Processes . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.3 Autoregressive Processes . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.4 The Mixed Autoregressive Moving Average Model. . . . . . . . 77
4.5 Invertibility. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
Appendix B: The Stationarity Region for an AR(2) Process . . . . . 84
Appendix C: The Autocorrelation Function for ARMA(p,q). . . . . . . 85
ix
,x Contents
CHAPTER 5 MODELS FOR NONSTATIONARY TIME SERIES .87
5.1 Stationarity Through Differencing . . . . . . . . . . . . . . . . . . . . .88
5.2 ARIMA Models. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .92
5.3 Constant Terms in ARIMA Models. . . . . . . . . . . . . . . . . . . . .97
5.4 Other Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .98
5.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .102
Exercises. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .103
Appendix D: The Backshift Operator. . . . . . . . . . . . . . . . . . . . . . .106
CHAPTER 6 MODEL SPECIFICATION . . . . . . . . . . . . . . . . . . . . .109
6.1 Properties of the Sample Autocorrelation Function . . . . . . .109
6.2 The Partial and Extended Autocorrelation Functions . . . . .112
6.3 Specification of Some Simulated Time Series. . . . . . . . . . .117
6.4 Nonstationarity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .125
6.5 Other Specification Methods . . . . . . . . . . . . . . . . . . . . . . . .130
6.6 Specification of Some Actual Time Series. . . . . . . . . . . . . .133
6.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .141
Exercises. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .141
CHAPTER 7 PARAMETER ESTIMATION . . . . . . . . . . . . . . . . . . .149
7.1 The Method of Moments . . . . . . . . . . . . . . . . . . . . . . . . . . .149
7.2 Least Squares Estimation . . . . . . . . . . . . . . . . . . . . . . . . . .154
7.3 Maximum Likelihood and Unconditional Least Squares . . .158
7.4 Properties of the Estimates . . . . . . . . . . . . . . . . . . . . . . . . .160
7.5 Illustrations of Parameter Estimation . . . . . . . . . . . . . . . . . .163
7.6 Bootstrapping ARIMA Models . . . . . . . . . . . . . . . . . . . . . . .167
7.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .170
Exercises. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .170
CHAPTER 8 MODEL DIAGNOSTICS . . . . . . . . . . . . . . . . . . . . . .175
8.1 Residual Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .175
8.2 Overfitting and Parameter Redundancy. . . . . . . . . . . . . . . .185
8.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .188
Exercises. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .188
, Contents xi
CHAPTER 9 FORECASTING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
9.1 Minimum Mean Square Error Forecasting . . . . . . . . . . . . . 191
9.2 Deterministic Trends . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
9.3 ARIMA Forecasting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
9.4 Prediction Limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
9.5 Forecasting Illustrations . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
9.6 Updating ARIMA Forecasts . . . . . . . . . . . . . . . . . . . . . . . . 207
9.7 Forecast Weights and Exponentially Weighted
Moving Averages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
9.8 Forecasting Transformed Series. . . . . . . . . . . . . . . . . . . . . 209
9.9 Summary of Forecasting with Certain ARIMA Models . . . . 211
9.10 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
Appendix E: Conditional Expectation. . . . . . . . . . . . . . . . . . . . . . 218
Appendix F: Minimum Mean Square Error Prediction . . . . . . . . . 218
Appendix G: The Truncated Linear Process . . . . . . . . . . . . . . . . 221
Appendix H: State Space Models . . . . . . . . . . . . . . . . . . . . . . . . 222
CHAPTER 10 SEASONAL MODELS . . . . . . . . . . . . . . . . . . . . . . 227
10.1 Seasonal ARIMA Models . . . . . . . . . . . . . . . . . . . . . . . . . . 228
10.2 Multiplicative Seasonal ARMA Models . . . . . . . . . . . . . . . . 230
10.3 Nonstationary Seasonal ARIMA Models . . . . . . . . . . . . . . 233
10.4 Model Specification, Fitting, and Checking. . . . . . . . . . . . . 234
10.5 Forecasting Seasonal Models . . . . . . . . . . . . . . . . . . . . . . 241
10.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
CHAPTER 11 TIME SERIES REGRESSION MODELS . . . . . . 249
11.1 Intervention Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
11.2 Outliers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
11.3 Spurious Correlation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
11.4 Prewhitening and Stochastic Regression . . . . . . . . . . . . . . 265
11.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
SOLUTIONS MANUAL
,CONTENTS
CHAPTER 1 INTRODUCTION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Examples of Time Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 A Model-Building Strategy . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3 Time Series Plots in History . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 An Overview of the Book . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
CHAPTER 2 FUNDAMENTAL CONCEPTS . . . . . . . . . . . . . . . . . . 11
2.1 Time Series and Stochastic Processes . . . . . . . . . . . . . . . . 11
2.2 Means, Variances, and Covariances . . . . . . . . . . . . . . . . . . 11
2.3 Stationarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Appendix A: Expectation, Variance, Covariance, and Correlation . 24
CHAPTER 3 TRENDS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.1 Deterministic Versus Stochastic Trends . . . . . . . . . . . . . . . . 27
3.2 Estimation of a Constant Mean . . . . . . . . . . . . . . . . . . . . . . 28
3.3 Regression Methods. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.4 Reliability and Efficiency of Regression Estimates. . . . . . . . 36
3.5 Interpreting Regression Output . . . . . . . . . . . . . . . . . . . . . . 40
3.6 Residual Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
CHAPTER 4 MODELS FOR STATIONARY TIME SERIES . . . . . 55
4.1 General Linear Processes . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.2 Moving Average Processes . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.3 Autoregressive Processes . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.4 The Mixed Autoregressive Moving Average Model. . . . . . . . 77
4.5 Invertibility. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
Appendix B: The Stationarity Region for an AR(2) Process . . . . . 84
Appendix C: The Autocorrelation Function for ARMA(p,q). . . . . . . 85
ix
,x Contents
CHAPTER 5 MODELS FOR NONSTATIONARY TIME SERIES .87
5.1 Stationarity Through Differencing . . . . . . . . . . . . . . . . . . . . .88
5.2 ARIMA Models. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .92
5.3 Constant Terms in ARIMA Models. . . . . . . . . . . . . . . . . . . . .97
5.4 Other Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .98
5.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .102
Exercises. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .103
Appendix D: The Backshift Operator. . . . . . . . . . . . . . . . . . . . . . .106
CHAPTER 6 MODEL SPECIFICATION . . . . . . . . . . . . . . . . . . . . .109
6.1 Properties of the Sample Autocorrelation Function . . . . . . .109
6.2 The Partial and Extended Autocorrelation Functions . . . . .112
6.3 Specification of Some Simulated Time Series. . . . . . . . . . .117
6.4 Nonstationarity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .125
6.5 Other Specification Methods . . . . . . . . . . . . . . . . . . . . . . . .130
6.6 Specification of Some Actual Time Series. . . . . . . . . . . . . .133
6.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .141
Exercises. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .141
CHAPTER 7 PARAMETER ESTIMATION . . . . . . . . . . . . . . . . . . .149
7.1 The Method of Moments . . . . . . . . . . . . . . . . . . . . . . . . . . .149
7.2 Least Squares Estimation . . . . . . . . . . . . . . . . . . . . . . . . . .154
7.3 Maximum Likelihood and Unconditional Least Squares . . .158
7.4 Properties of the Estimates . . . . . . . . . . . . . . . . . . . . . . . . .160
7.5 Illustrations of Parameter Estimation . . . . . . . . . . . . . . . . . .163
7.6 Bootstrapping ARIMA Models . . . . . . . . . . . . . . . . . . . . . . .167
7.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .170
Exercises. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .170
CHAPTER 8 MODEL DIAGNOSTICS . . . . . . . . . . . . . . . . . . . . . .175
8.1 Residual Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .175
8.2 Overfitting and Parameter Redundancy. . . . . . . . . . . . . . . .185
8.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .188
Exercises. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .188
, Contents xi
CHAPTER 9 FORECASTING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
9.1 Minimum Mean Square Error Forecasting . . . . . . . . . . . . . 191
9.2 Deterministic Trends . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
9.3 ARIMA Forecasting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
9.4 Prediction Limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
9.5 Forecasting Illustrations . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
9.6 Updating ARIMA Forecasts . . . . . . . . . . . . . . . . . . . . . . . . 207
9.7 Forecast Weights and Exponentially Weighted
Moving Averages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
9.8 Forecasting Transformed Series. . . . . . . . . . . . . . . . . . . . . 209
9.9 Summary of Forecasting with Certain ARIMA Models . . . . 211
9.10 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
Appendix E: Conditional Expectation. . . . . . . . . . . . . . . . . . . . . . 218
Appendix F: Minimum Mean Square Error Prediction . . . . . . . . . 218
Appendix G: The Truncated Linear Process . . . . . . . . . . . . . . . . 221
Appendix H: State Space Models . . . . . . . . . . . . . . . . . . . . . . . . 222
CHAPTER 10 SEASONAL MODELS . . . . . . . . . . . . . . . . . . . . . . 227
10.1 Seasonal ARIMA Models . . . . . . . . . . . . . . . . . . . . . . . . . . 228
10.2 Multiplicative Seasonal ARMA Models . . . . . . . . . . . . . . . . 230
10.3 Nonstationary Seasonal ARIMA Models . . . . . . . . . . . . . . 233
10.4 Model Specification, Fitting, and Checking. . . . . . . . . . . . . 234
10.5 Forecasting Seasonal Models . . . . . . . . . . . . . . . . . . . . . . 241
10.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
CHAPTER 11 TIME SERIES REGRESSION MODELS . . . . . . 249
11.1 Intervention Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
11.2 Outliers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
11.3 Spurious Correlation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
11.4 Prewhitening and Stochastic Regression . . . . . . . . . . . . . . 265
11.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
