ALL 13 CHAPTERS COVERED
SOLUTIONS MANUAL
, Contents
1 Vector Spaces 1
1.1 Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 The Space Fn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Introduction to Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4 Subspaces of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5 Span and Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.6 Bases and Finite Dimensional Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.7 Bases of Infinite Dimensional Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.8 Coordinate Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2 Linear Transformations 17
2.1 Introduction to Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2 Range and Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3 Correspondence and Isomorphism Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4 Matrix of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.5 The Algebra of L(V, W ) and Mmn (F) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.6 Invertible Transformations and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3 Polynomials 29
3.1 The Algebra of Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 Roots of Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4 Theory of a Single Linear Operator 33
4.1 Invariant Subspaces of an Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.2 Cyclic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.3 Maximal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.4 Indecomposable Linear Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.5 Invariant Factors and Elementary Divisors of a Linear Operator . . . . . . . . . . . . . . . . . . . . . 38
4.6 Canonical Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.7 Linear Operators on Real and Complex Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . 42
K23692_SM_Cover.indd 5 02/06/
, iv CONTENTS
5 Inner Product Spaces 45
5.1 Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.2 The Geometry of Inner Product Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.3 Orthonormal Sets and the Gram-Schmidt Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.4 Orthogonal Complements and Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.5 Dual Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.6 Adjoints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.7 Normed Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
6 Linear Operators on Inner Product Spaces 59
6.1 Self-Adjoint Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
6.2 Spectral Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.3 Normal Operators on Real Inner Product Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
6.4 Unitary and Orthogonal Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
6.5 Positive Operators, Polar Decomposition and Singular Value Decomposition . . . . . . . . . . . . . . 67
7 Trace and Determinant of a Linear Operator 71
7.1 Trace of a Linear Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
7.2 Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
7.3 Uniqueness of the Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
8 Bilinear Maps and Forms 81
8.1 Basic Properties of Bilinear Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
8.2 Symplectic Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
8.3 Quadratic Forms and Orthogonal Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
8.4 Orthogonal Space, Characteristic Two . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
8.5 Real Quadratic Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
9 Sesquilinear Forms and Unitary Spaces 93
9.1 Basic Properties of Sesquilinear Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
9.2 Unitary Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
10 Tensor Products 97
10.1 Introduction to Tensor Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
10.2 Properties of Tensor Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
10.3 The Tensor Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
10.4 The Symmetric Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
10.5 Exterior Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
10.6 Clifford Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
K23692_SM_Cover.indd 6 02/06/
, CONTENTS v
11 Linear Groups and Groups of Isometries 109
11.1 Linear Groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
11.2 Symplectic Groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
11.3 Orthogonal Groups, Characteristic Not Two . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
11.4 Unitary Groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
12 Additional Topics 117
12.1 Operator and Matrix Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
12.2 Moore-Penrose Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
12.3 Nonnegative Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
12.4 Location of Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
12.5 Functions of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
13 Applications of Linear Algebra 125
13.1 Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
13.2 Error Correcting Codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
13.3 Ranking Web Pages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
K23692_SM_Cover.indd 7 02/06/
SOLUTIONS MANUAL
, Contents
1 Vector Spaces 1
1.1 Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 The Space Fn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Introduction to Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4 Subspaces of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5 Span and Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.6 Bases and Finite Dimensional Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.7 Bases of Infinite Dimensional Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.8 Coordinate Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2 Linear Transformations 17
2.1 Introduction to Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2 Range and Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3 Correspondence and Isomorphism Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4 Matrix of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.5 The Algebra of L(V, W ) and Mmn (F) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.6 Invertible Transformations and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3 Polynomials 29
3.1 The Algebra of Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 Roots of Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4 Theory of a Single Linear Operator 33
4.1 Invariant Subspaces of an Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.2 Cyclic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.3 Maximal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.4 Indecomposable Linear Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.5 Invariant Factors and Elementary Divisors of a Linear Operator . . . . . . . . . . . . . . . . . . . . . 38
4.6 Canonical Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.7 Linear Operators on Real and Complex Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . 42
K23692_SM_Cover.indd 5 02/06/
, iv CONTENTS
5 Inner Product Spaces 45
5.1 Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.2 The Geometry of Inner Product Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.3 Orthonormal Sets and the Gram-Schmidt Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.4 Orthogonal Complements and Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.5 Dual Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.6 Adjoints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.7 Normed Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
6 Linear Operators on Inner Product Spaces 59
6.1 Self-Adjoint Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
6.2 Spectral Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.3 Normal Operators on Real Inner Product Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
6.4 Unitary and Orthogonal Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
6.5 Positive Operators, Polar Decomposition and Singular Value Decomposition . . . . . . . . . . . . . . 67
7 Trace and Determinant of a Linear Operator 71
7.1 Trace of a Linear Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
7.2 Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
7.3 Uniqueness of the Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
8 Bilinear Maps and Forms 81
8.1 Basic Properties of Bilinear Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
8.2 Symplectic Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
8.3 Quadratic Forms and Orthogonal Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
8.4 Orthogonal Space, Characteristic Two . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
8.5 Real Quadratic Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
9 Sesquilinear Forms and Unitary Spaces 93
9.1 Basic Properties of Sesquilinear Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
9.2 Unitary Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
10 Tensor Products 97
10.1 Introduction to Tensor Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
10.2 Properties of Tensor Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
10.3 The Tensor Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
10.4 The Symmetric Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
10.5 Exterior Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
10.6 Clifford Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
K23692_SM_Cover.indd 6 02/06/
, CONTENTS v
11 Linear Groups and Groups of Isometries 109
11.1 Linear Groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
11.2 Symplectic Groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
11.3 Orthogonal Groups, Characteristic Not Two . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
11.4 Unitary Groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
12 Additional Topics 117
12.1 Operator and Matrix Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
12.2 Moore-Penrose Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
12.3 Nonnegative Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
12.4 Location of Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
12.5 Functions of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
13 Applications of Linear Algebra 125
13.1 Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
13.2 Error Correcting Codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
13.3 Ranking Web Pages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
K23692_SM_Cover.indd 7 02/06/
