Introduction to Probability
and Statistics Using R
G. Jay Kerns
First Edition
,ii
IPSUR: Introduction to Probability and Statistics Using R
Copyright © 2010 G. Jay Kerns
ISBN: 978-0-557-24979-4
Permission is granted to copy, distribute and/or modify this document under the terms of the
GNU Free Documentation License, Version 1.3 or any later version published by the Free
Software Foundation; with no Invariant Sections, no Front-Cover Texts, and no Back-Cover
Texts. A copy of the license is included in the section entitled “GNU Free Documentation
License”.
Date: July 28, 2010
,Contents
Preface vii
List of Figures xiii
List of Tables xv
1 An Introduction to Probability and Statistics 1
1.1 Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2 An Introduction to R 5
2.1 Downloading and Installing R . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 Communicating with R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.3 Basic R Operations and Concepts . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.4 Getting Help . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.5 External Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.6 Other Tips . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3 Data Description 19
3.1 Types of Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.2 Features of Data Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.3 Descriptive Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.4 Exploratory Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.5 Multivariate Data and Data Frames . . . . . . . . . . . . . . . . . . . . . . . . 45
3.6 Comparing Populations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4 Probability 65
4.1 Sample Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.2 Events . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.3 Model Assignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.4 Properties of Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.5 Counting Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.6 Conditional Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.7 Independent Events . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.8 Bayes’ Rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
4.9 Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
iii
, iv CONTENTS
5 Discrete Distributions 107
5.1 Discrete Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
5.2 The Discrete Uniform Distribution . . . . . . . . . . . . . . . . . . . . . . . . 110
5.3 The Binomial Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.4 Expectation and Moment Generating Functions . . . . . . . . . . . . . . . . . 116
5.5 The Empirical Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
5.6 Other Discrete Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
5.7 Functions of Discrete Random Variables . . . . . . . . . . . . . . . . . . . . . 130
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6 Continuous Distributions 137
6.1 Continuous Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 137
6.2 The Continuous Uniform Distribution . . . . . . . . . . . . . . . . . . . . . . 142
6.3 The Normal Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
6.4 Functions of Continuous Random Variables . . . . . . . . . . . . . . . . . . . 146
6.5 Other Continuous Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . 150
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
7 Multivariate Distributions 157
7.1 Joint and Marginal Probability Distributions . . . . . . . . . . . . . . . . . . . 157
7.2 Joint and Marginal Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . 163
7.3 Conditional Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.4 Independent Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 167
7.5 Exchangeable Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . 170
7.6 The Bivariate Normal Distribution . . . . . . . . . . . . . . . . . . . . . . . . 170
7.7 Bivariate Transformations of Random Variables . . . . . . . . . . . . . . . . . 172
7.8 Remarks for the Multivariate Case . . . . . . . . . . . . . . . . . . . . . . . . 175
7.9 The Multinomial Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
8 Sampling Distributions 181
8.1 Simple Random Samples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
8.2 Sampling from a Normal Distribution . . . . . . . . . . . . . . . . . . . . . . 182
8.3 The Central Limit Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
8.4 Sampling Distributions of Two-Sample Statistics . . . . . . . . . . . . . . . . 187
8.5 Simulated Sampling Distributions . . . . . . . . . . . . . . . . . . . . . . . . 189
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
9 Estimation 193
9.1 Point Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
9.2 Confidence Intervals for Means . . . . . . . . . . . . . . . . . . . . . . . . . . 202
9.3 Confidence Intervals for Differences of Means . . . . . . . . . . . . . . . . . . 208
9.4 Confidence Intervals for Proportions . . . . . . . . . . . . . . . . . . . . . . . 210
9.5 Confidence Intervals for Variances . . . . . . . . . . . . . . . . . . . . . . . . 212
9.6 Fitting Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
9.7 Sample Size and Margin of Error . . . . . . . . . . . . . . . . . . . . . . . . . 212
9.8 Other Topics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
and Statistics Using R
G. Jay Kerns
First Edition
,ii
IPSUR: Introduction to Probability and Statistics Using R
Copyright © 2010 G. Jay Kerns
ISBN: 978-0-557-24979-4
Permission is granted to copy, distribute and/or modify this document under the terms of the
GNU Free Documentation License, Version 1.3 or any later version published by the Free
Software Foundation; with no Invariant Sections, no Front-Cover Texts, and no Back-Cover
Texts. A copy of the license is included in the section entitled “GNU Free Documentation
License”.
Date: July 28, 2010
,Contents
Preface vii
List of Figures xiii
List of Tables xv
1 An Introduction to Probability and Statistics 1
1.1 Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2 An Introduction to R 5
2.1 Downloading and Installing R . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 Communicating with R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.3 Basic R Operations and Concepts . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.4 Getting Help . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.5 External Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.6 Other Tips . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3 Data Description 19
3.1 Types of Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.2 Features of Data Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.3 Descriptive Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.4 Exploratory Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.5 Multivariate Data and Data Frames . . . . . . . . . . . . . . . . . . . . . . . . 45
3.6 Comparing Populations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4 Probability 65
4.1 Sample Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.2 Events . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.3 Model Assignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.4 Properties of Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.5 Counting Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.6 Conditional Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.7 Independent Events . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.8 Bayes’ Rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
4.9 Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
iii
, iv CONTENTS
5 Discrete Distributions 107
5.1 Discrete Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
5.2 The Discrete Uniform Distribution . . . . . . . . . . . . . . . . . . . . . . . . 110
5.3 The Binomial Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.4 Expectation and Moment Generating Functions . . . . . . . . . . . . . . . . . 116
5.5 The Empirical Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
5.6 Other Discrete Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
5.7 Functions of Discrete Random Variables . . . . . . . . . . . . . . . . . . . . . 130
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6 Continuous Distributions 137
6.1 Continuous Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 137
6.2 The Continuous Uniform Distribution . . . . . . . . . . . . . . . . . . . . . . 142
6.3 The Normal Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
6.4 Functions of Continuous Random Variables . . . . . . . . . . . . . . . . . . . 146
6.5 Other Continuous Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . 150
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
7 Multivariate Distributions 157
7.1 Joint and Marginal Probability Distributions . . . . . . . . . . . . . . . . . . . 157
7.2 Joint and Marginal Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . 163
7.3 Conditional Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.4 Independent Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 167
7.5 Exchangeable Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . 170
7.6 The Bivariate Normal Distribution . . . . . . . . . . . . . . . . . . . . . . . . 170
7.7 Bivariate Transformations of Random Variables . . . . . . . . . . . . . . . . . 172
7.8 Remarks for the Multivariate Case . . . . . . . . . . . . . . . . . . . . . . . . 175
7.9 The Multinomial Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
8 Sampling Distributions 181
8.1 Simple Random Samples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
8.2 Sampling from a Normal Distribution . . . . . . . . . . . . . . . . . . . . . . 182
8.3 The Central Limit Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
8.4 Sampling Distributions of Two-Sample Statistics . . . . . . . . . . . . . . . . 187
8.5 Simulated Sampling Distributions . . . . . . . . . . . . . . . . . . . . . . . . 189
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
9 Estimation 193
9.1 Point Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
9.2 Confidence Intervals for Means . . . . . . . . . . . . . . . . . . . . . . . . . . 202
9.3 Confidence Intervals for Differences of Means . . . . . . . . . . . . . . . . . . 208
9.4 Confidence Intervals for Proportions . . . . . . . . . . . . . . . . . . . . . . . 210
9.5 Confidence Intervals for Variances . . . . . . . . . . . . . . . . . . . . . . . . 212
9.6 Fitting Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
9.7 Sample Size and Margin of Error . . . . . . . . . . . . . . . . . . . . . . . . . 212
9.8 Other Topics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
Chapter Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
