,SOLUTIONS MANUAL FOR
Finite Dimensional
Linear Algebra
by
Mark S. Gockenbach
Michigan Technological University
,Contents
Errata for the first printing 1
2 Fields and vector spaces 5
2.1 Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 Vector spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.4 Linear combinations and spanning sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.5 Linear independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.6 Basis and dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.7 Properties of bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.8 Polynomial interpolation and the Lagrange basis . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.9 Continuous piecewise polynomial functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3 Linear operators 47
3.1 Linear operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.2 More properties of linear operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.3 Isomorphic vector spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.4 Linear operator equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.5 Existence and uniqueness of solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.6 The fundamental theorem; inverse operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.7 Gaussian elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
3.8 Newton’s method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
3.9 Linear ordinary differential equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
3.10 Graph theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
3.11 Coding theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.12 Linear programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4 Determinants and eigenvalues 91
4.1 The determinant function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.2 Further properties of the determinant function . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.3 Practical computation of det(A) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
4.5 Eigenvalues and the characteristic polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.6 Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.7 Eigenvalues of linear operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
4.8 Systems of linear ODEs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.9 Integer programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5 The Jordan canonical form 117
5.1 Invariant subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.2 Generalized eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.3 Nilpotent operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
5.4 The Jordan canonical form of a matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
i
, ii CONTENTS
5.5 The matrix exponential . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
5.6 Graphs and eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
6 Orthogonality and best approximation 149
6.1 Norms and inner products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
6.2 The adjoint of a linear operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
6.3 Orthogonal vectors and bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
6.4 The projection theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
6.5 The Gram-Schmidt process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
6.6 Orthogonal complements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
6.7 Complex inner product spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
6.8 More on polynomial approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
6.9 The energy inner product and Galerkin’s method . . . . . . . . . . . . . . . . . . . . . . . . . . 187
6.10 Gaussian quadrature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
6.11 The Helmholtz decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
7 The spectral theory of symmetric matrices 193
7.1 The spectral theorem for symmetric matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
7.2 The spectral theorem for normal matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
7.3 Optimization and the Hessian matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
7.4 Lagrange multipliers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
7.5 Spectral methods for differential equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
8 The singular value decomposition 209
8.1 Introduction to the SVD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
8.2 The SVD for general matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
8.3 Solving least-squares problems using the SVD . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
8.4 The SVD and linear inverse problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
8.5 The Smith normal form of a matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
9 Matrix factorizations and numerical linear algebra 223
9.1 The LU factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
9.2 Partial pivoting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
9.3 The Cholesky factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
9.4 Matrix norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
9.5 The sensitivity of linear systems to errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
9.6 Numerical stability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
9.7 The sensitivity of the least-squares problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
9.8 The QR factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
9.9 Eigenvalues and simultaneous iteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
9.10 The QR algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
10 Analysis in vector spaces 247
10.1 Analysis in Rn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
10.2 Infinite-dimensional vector spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
10.3 Functional analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
10.4 Weak convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
Finite Dimensional
Linear Algebra
by
Mark S. Gockenbach
Michigan Technological University
,Contents
Errata for the first printing 1
2 Fields and vector spaces 5
2.1 Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 Vector spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.4 Linear combinations and spanning sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.5 Linear independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.6 Basis and dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.7 Properties of bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.8 Polynomial interpolation and the Lagrange basis . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.9 Continuous piecewise polynomial functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3 Linear operators 47
3.1 Linear operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.2 More properties of linear operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.3 Isomorphic vector spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.4 Linear operator equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.5 Existence and uniqueness of solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.6 The fundamental theorem; inverse operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.7 Gaussian elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
3.8 Newton’s method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
3.9 Linear ordinary differential equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
3.10 Graph theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
3.11 Coding theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.12 Linear programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4 Determinants and eigenvalues 91
4.1 The determinant function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.2 Further properties of the determinant function . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.3 Practical computation of det(A) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
4.5 Eigenvalues and the characteristic polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.6 Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.7 Eigenvalues of linear operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
4.8 Systems of linear ODEs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.9 Integer programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5 The Jordan canonical form 117
5.1 Invariant subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.2 Generalized eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.3 Nilpotent operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
5.4 The Jordan canonical form of a matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
i
, ii CONTENTS
5.5 The matrix exponential . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
5.6 Graphs and eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
6 Orthogonality and best approximation 149
6.1 Norms and inner products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
6.2 The adjoint of a linear operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
6.3 Orthogonal vectors and bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
6.4 The projection theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
6.5 The Gram-Schmidt process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
6.6 Orthogonal complements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
6.7 Complex inner product spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
6.8 More on polynomial approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
6.9 The energy inner product and Galerkin’s method . . . . . . . . . . . . . . . . . . . . . . . . . . 187
6.10 Gaussian quadrature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
6.11 The Helmholtz decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
7 The spectral theory of symmetric matrices 193
7.1 The spectral theorem for symmetric matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
7.2 The spectral theorem for normal matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
7.3 Optimization and the Hessian matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
7.4 Lagrange multipliers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
7.5 Spectral methods for differential equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
8 The singular value decomposition 209
8.1 Introduction to the SVD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
8.2 The SVD for general matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
8.3 Solving least-squares problems using the SVD . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
8.4 The SVD and linear inverse problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
8.5 The Smith normal form of a matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
9 Matrix factorizations and numerical linear algebra 223
9.1 The LU factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
9.2 Partial pivoting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
9.3 The Cholesky factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
9.4 Matrix norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
9.5 The sensitivity of linear systems to errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
9.6 Numerical stability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
9.7 The sensitivity of the least-squares problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
9.8 The QR factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
9.9 Eigenvalues and simultaneous iteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
9.10 The QR algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
10 Analysis in vector spaces 247
10.1 Analysis in Rn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
10.2 Infinite-dimensional vector spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
10.3 Functional analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
10.4 Weak convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
