Gilbert_Strang_Linear_Algebra_and_Its_Applicatio_23

,Linear Algebra and Its Applications

Fourth Edition


Gilbert Strang



x
y z

Ax
b
y
Ay
b b
0
z Az
0
0

,Contents



Preface iv

1 Matrices and Gaussian Elimination 1
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 The Geometry of Linear Equations . . . . . . . . . . . . . . . . . . . . 4
1.3 An Example of Gaussian Elimination . . . . . . . . . . . . . . . . . . 13
1.4 Matrix Notation and Matrix Multiplication . . . . . . . . . . . . . . . . 21
1.5 Triangular Factors and Row Exchanges . . . . . . . . . . . . . . . . . 36
1.6 Inverses and Transposes . . . . . . . . . . . . . . . . . . . . . . . . . . 50
1.7 Special Matrices and Applications . . . . . . . . . . . . . . . . . . . . 66
Review Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

2 Vector Spaces 77
2.1 Vector Spaces and Subspaces . . . . . . . . . . . . . . . . . . . . . . . 77
2.2 Solving Ax = 0 and Ax = b . . . . . . . . . . . . . . . . . . . . . . . . 86
2.3 Linear Independence, Basis, and Dimension . . . . . . . . . . . . . . . 103
2.4 The Four Fundamental Subspaces . . . . . . . . . . . . . . . . . . . . 115
2.5 Graphs and Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
2.6 Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . 140
Review Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154

3 Orthogonality 159
3.1 Orthogonal Vectors and Subspaces . . . . . . . . . . . . . . . . . . . . 159
3.2 Cosines and Projections onto Lines . . . . . . . . . . . . . . . . . . . . 171
3.3 Projections and Least Squares . . . . . . . . . . . . . . . . . . . . . . 180
3.4 Orthogonal Bases and Gram-Schmidt . . . . . . . . . . . . . . . . . . 195
3.5 The Fast Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . . 211
Review Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
i

, ii CONTENTS

4 Determinants 225
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
4.2 Properties of the Determinant . . . . . . . . . . . . . . . . . . . . . . . 227
4.3 Formulas for the Determinant . . . . . . . . . . . . . . . . . . . . . . . 236
4.4 Applications of Determinants . . . . . . . . . . . . . . . . . . . . . . . 247
Review Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258

5 Eigenvalues and Eigenvectors 260
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
5.2 Diagonalization of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . 273
5.3 Difference Equations and Powers Ak . . . . . . . . . . . . . . . . . . . 283
5.4 Differential Equations and eAt . . . . . . . . . . . . . . . . . . . . . . 296
5.5 Complex Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
5.6 Similarity Transformations . . . . . . . . . . . . . . . . . . . . . . . . 325
Review Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341

6 Positive Definite Matrices 345
6.1 Minima, Maxima, and Saddle Points . . . . . . . . . . . . . . . . . . . 345
6.2 Tests for Positive Definiteness . . . . . . . . . . . . . . . . . . . . . . 352
6.3 Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . 367
6.4 Minimum Principles . . . . . . . . . . . . . . . . . . . . . . . . . . . 376
6.5 The Finite Element Method . . . . . . . . . . . . . . . . . . . . . . . . 384

7 Computations with Matrices 390
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390
7.2 Matrix Norm and Condition Number . . . . . . . . . . . . . . . . . . . 391
7.3 Computation of Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . 399
7.4 Iterative Methods for Ax = b . . . . . . . . . . . . . . . . . . . . . . . 407

8 Linear Programming and Game Theory 417
8.1 Linear Inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417
8.2 The Simplex Method . . . . . . . . . . . . . . . . . . . . . . . . . . . 422
8.3 The Dual Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434
8.4 Network Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
8.5 Game Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 451

A Intersection, Sum, and Product of Spaces 459
A.1 The Intersection of Two Vector Spaces . . . . . . . . . . . . . . . . . . 459
A.2 The Sum of Two Vector Spaces . . . . . . . . . . . . . . . . . . . . . . 460
A.3 The Cartesian Product of Two Vector Spaces . . . . . . . . . . . . . . . 461
A.4 The Tensor Product of Two Vector Spaces . . . . . . . . . . . . . . . . 461
A.5 The Kronecker Product A ⊗ B of Two Matrices . . . . . . . . . . . . . 462