ALL CHAPTERS COVERED
,Contents
Preface iii
1 Linear Equations and Matrices 1
1.1 Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4 Algebraic Properties of Matrix Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5 Special Types of Matrices and Partitioned Matrices . . . . . . . . . . . . . . . . . . . . . . . . 9
1.6 Matrix Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.7 Computer Graphics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.8 Correlation Coefficient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
Supplementary Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Chapter Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2 Solving Linear Systems 27
2.1 Echelon Form of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2 Solving Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3 Elementary Matrices; Finding A−1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.4 Equivalent Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.5 LU -Factorization (Optional) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Supplementary Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Chapter Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3 Determinants 37
3.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2 Properties of Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.3 Cofactor Expansion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.4 Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.5 Other Applications of Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Supplementary Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Chapter Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4 Real Vector Spaces 45
4.1 Vectors in the Plane and in 3-Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.2 Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.3 Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.4 Span . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.5 Span and Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.6 Basis and Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.7 Homogeneous Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.8 Coordinates and Isomorphisms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.9 Rank of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
,ii CONTENTS
Supplementary Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
Chapter Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5 Inner Product Spaces 71
5.1 Standard Inner Product on R2 and R3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.2 Cross Product in R3 (Optional) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.3 Inner Product Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.4 Gram-Schmidt Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
5.5 Orthogonal Complements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.6 Least Squares (Optional) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
Supplementary Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
Chapter Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
6 Linear Transformations and Matrices 93
6.1 Definition and Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.2 Kernel and Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
6.3 Matrix of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
6.4 Vector Space of Matrices and Vector Space of Linear Transformations (Optional) . . . . . . . 99
6.5 Similarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
6.6 Introduction to Homogeneous Coordinates (Optional) . . . . . . . . . . . . . . . . . . . . . . 103
Supplementary Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
Chapter Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
7 Eigenvalues and Eigenvectors 109
7.1 Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
7.2 Diagonalization and Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
7.3 Diagonalization of Symmetric Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
Supplementary Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
Chapter Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
8 Applications of Eigenvalues and Eigenvectors (Optional) 129
8.1 Stable Age Distribution in a Population; Markov Processes . . . . . . . . . . . . . . . . . . . 129
8.2 Spectral Decomposition and Singular Value Decomposition . . . . . . . . . . . . . . . . . . . 130
8.3 Dominant Eigenvalue and Principal Component Analysis . . . . . . . . . . . . . . . . . . . . 130
8.4 Differential Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
8.5 Dynamical Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
8.6 Real Quadratic Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
8.7 Conic Sections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
8.8 Quadric Surfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
10 MATLAB Exercises 137
Appendix B Complex Numbers 163
B.1 Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
B.2 Complex Numbers in Linear Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
, Chapter 1
Linear Equations and Matrices
Section 1.1, p. 8
2. x = 1, y = 2, z = −2.
4. No solution.
6. x = 13 + 10t, y = −8 − 8t, t any real number.
8. Inconsistent; no solution.
10. x = 2, y = −1.
12. No solution.
14. x = −1, y = 2, z = −2.
16. (a) For example: s = 0, t = 0 is one answer.
(b) For example: s = 3, t = 4 is one answer.
(c) s = 2t .
18. Yes. The trivial solution is always a solution to a homogeneous system.
20. x = 1, y = 1, z = 4.
22. r = −3.
24. If x1 = s1 , x2 = s2 , . . . , xn = sn satisfy each equation of (2) in the original order, then those
same numbers satisfy each equation of (2) when the equations are listed with one of the original ones
interchanged, and conversely.
25. If x1 = s1 , x2 = s2 , . . . , xn = sn is a solution to (2), then the pth and qth equations are satisfied.
That is,
ap1 s1 + · · · + apn sn = bp
aq1 s1 + · · · + aqn sn = bq .
Thus, for any real number r,
(ap1 + raq1 )s1 + · · · + (apn + raqn )sn = bp + rbq .
Then if the qth equation in (2) is replaced by the preceding equation, the values x1 = s1 , x2 = s2 , . . . ,
xn = sn are a solution to the new linear system since they satisfy each of the equations.
,Contents
Preface iii
1 Linear Equations and Matrices 1
1.1 Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4 Algebraic Properties of Matrix Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5 Special Types of Matrices and Partitioned Matrices . . . . . . . . . . . . . . . . . . . . . . . . 9
1.6 Matrix Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.7 Computer Graphics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.8 Correlation Coefficient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
Supplementary Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Chapter Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2 Solving Linear Systems 27
2.1 Echelon Form of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2 Solving Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3 Elementary Matrices; Finding A−1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.4 Equivalent Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.5 LU -Factorization (Optional) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Supplementary Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Chapter Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3 Determinants 37
3.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2 Properties of Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.3 Cofactor Expansion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.4 Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.5 Other Applications of Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Supplementary Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Chapter Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4 Real Vector Spaces 45
4.1 Vectors in the Plane and in 3-Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.2 Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.3 Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.4 Span . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.5 Span and Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.6 Basis and Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.7 Homogeneous Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.8 Coordinates and Isomorphisms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.9 Rank of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
,ii CONTENTS
Supplementary Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
Chapter Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5 Inner Product Spaces 71
5.1 Standard Inner Product on R2 and R3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.2 Cross Product in R3 (Optional) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.3 Inner Product Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.4 Gram-Schmidt Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
5.5 Orthogonal Complements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.6 Least Squares (Optional) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
Supplementary Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
Chapter Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
6 Linear Transformations and Matrices 93
6.1 Definition and Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.2 Kernel and Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
6.3 Matrix of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
6.4 Vector Space of Matrices and Vector Space of Linear Transformations (Optional) . . . . . . . 99
6.5 Similarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
6.6 Introduction to Homogeneous Coordinates (Optional) . . . . . . . . . . . . . . . . . . . . . . 103
Supplementary Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
Chapter Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
7 Eigenvalues and Eigenvectors 109
7.1 Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
7.2 Diagonalization and Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
7.3 Diagonalization of Symmetric Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
Supplementary Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
Chapter Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
8 Applications of Eigenvalues and Eigenvectors (Optional) 129
8.1 Stable Age Distribution in a Population; Markov Processes . . . . . . . . . . . . . . . . . . . 129
8.2 Spectral Decomposition and Singular Value Decomposition . . . . . . . . . . . . . . . . . . . 130
8.3 Dominant Eigenvalue and Principal Component Analysis . . . . . . . . . . . . . . . . . . . . 130
8.4 Differential Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
8.5 Dynamical Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
8.6 Real Quadratic Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
8.7 Conic Sections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
8.8 Quadric Surfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
10 MATLAB Exercises 137
Appendix B Complex Numbers 163
B.1 Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
B.2 Complex Numbers in Linear Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
, Chapter 1
Linear Equations and Matrices
Section 1.1, p. 8
2. x = 1, y = 2, z = −2.
4. No solution.
6. x = 13 + 10t, y = −8 − 8t, t any real number.
8. Inconsistent; no solution.
10. x = 2, y = −1.
12. No solution.
14. x = −1, y = 2, z = −2.
16. (a) For example: s = 0, t = 0 is one answer.
(b) For example: s = 3, t = 4 is one answer.
(c) s = 2t .
18. Yes. The trivial solution is always a solution to a homogeneous system.
20. x = 1, y = 1, z = 4.
22. r = −3.
24. If x1 = s1 , x2 = s2 , . . . , xn = sn satisfy each equation of (2) in the original order, then those
same numbers satisfy each equation of (2) when the equations are listed with one of the original ones
interchanged, and conversely.
25. If x1 = s1 , x2 = s2 , . . . , xn = sn is a solution to (2), then the pth and qth equations are satisfied.
That is,
ap1 s1 + · · · + apn sn = bp
aq1 s1 + · · · + aqn sn = bq .
Thus, for any real number r,
(ap1 + raq1 )s1 + · · · + (apn + raqn )sn = bp + rbq .
Then if the qth equation in (2) is replaced by the preceding equation, the values x1 = s1 , x2 = s2 , . . . ,
xn = sn are a solution to the new linear system since they satisfy each of the equations.
