Samenvatting
Lineaire Algebra en
Beelverwerking
11 juni 2015
Inhoudsopgave
1 Linear Equations in Linear Algebra 2
1.1 Systems of linear equations . . . . . . . . . . . . . . . . . . . . 2
1.2 Row reduction and echelon forms . . . . . . . . . . . . . . . . 5
1.3 Vector equations . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 The matrix equation Ax = b . . . . . . . . . . . . . . . . . . . 11
1.5 Solution sets of linear systems . . . . . . . . . . . . . . . . . . 12
1.6 Applications of Linear systems . . . . . . . . . . . . . . . . . . 14
1.7 Linear Independence . . . . . . . . . . . . . . . . . . . . . . . 15
1.8 Introduction to linear transformations . . . . . . . . . . . . . . 17
1.9 The matrix of a linear transformation . . . . . . . . . . . . . . 18
2 Matrix Algebra 19
2.1 Matrix operations . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 The inverse of a matrix . . . . . . . . . . . . . . . . . . . . . . 21
2.5 Matrix Factorizations . . . . . . . . . . . . . . . . . . . . . . . 23
2.7 Applications to computer graphics . . . . . . . . . . . . . . . . 25
3 Determinants 28
3.1 Introduction to determinants . . . . . . . . . . . . . . . . . . . 28
3.2 Properties of determinants . . . . . . . . . . . . . . . . . . . . 30
3.3 Cramer’s rule, volume and linear transformations . . . . . . . 31
4 Vector Spaces 34
4.1 Vector spaces and subspaces . . . . . . . . . . . . . . . . . . . 34
4.2 Null spaces, column spaces, and linear transformations . . . . 36
4.3 Linearly Independent sets; Bases . . . . . . . . . . . . . . . . 40
4.4 Coordinate Systems . . . . . . . . . . . . . . . . . . . . . . . . 43
4.5 The dimension of a vector space . . . . . . . . . . . . . . . . . 45
4.6 Rank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
Pagina 1 van ??
, Samenvatting
Lineaire Algebra en Beelverwerking
5 Eigenvalues and Eigenvectors 50
5.1 Eigenvectors and Eigenvalues . . . . . . . . . . . . . . . . . . 50
5.2 The Characteristic Equation . . . . . . . . . . . . . . . . . . . 51
5.3 Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . 53
6 Orthogonality and Least Squares 55
6.1 Inner Product, Length and Orthogonality . . . . . . . . . . . . 55
6.2 Orthogonal Sets . . . . . . . . . . . . . . . . . . . . . . . . . . 58
6.3 Orthogonal projections . . . . . . . . . . . . . . . . . . . . . . 61
6.4 The Gram-Schmidt Process . . . . . . . . . . . . . . . . . . . 63
6.5 Least-Squares Problems . . . . . . . . . . . . . . . . . . . . . 65
6.6 Applications to Linear Models . . . . . . . . . . . . . . . . . . 67
1 Linear Equations in Linear Algebra
1.1 Systems of linear equations
Linear equations: Een vergelijking die geschreven kan worden als a1 xx +
a2 x2 + ... + an xn = b met a en b een reeële getallen: x1 + 2x2 + x3 = 4
A system of linear equations: Een collectie van één of meer lineaire
vergelijkingen in x1 ...xn : {x1 = x2 en x1 + x2 = 0}
Solution of a linear system: Een lijst (s1 ...sn ) van reeële getallen waarbij
elke vergelijking geldig blijft na het substutueren van x voor s:
A = {x1 + x2 = 1 en x1 − x2 = 0} en de oplossing: x1 = 12 en x2 = 12
Solution set: De set van alle mogelijke oplossingen voor een lineair systeem.
Equivalent: Twee lineaire systemen(in dezelfde x1 , ..., xn ) zijn equivalent/-
gelijk als ze dezelfde solution set hebben: B = {x1 +x2 = 1 en 2x1 +2x2 = 4}
B is dus niet equivalent aan A.
Drawing pictures:
Gegeven een lineaire vergelijking in twee variabelen, kun je de solution set
tekenen. Als we b = x1 − x2 = 0 en a = x1 + x2 = 1 in een grafiek zetten,
dan vinden we de solution set waar de lijnen elkaar kruisen:
Pagina 2 van ??
, Samenvatting
1.1 Systems of linear equations Lineaire Algebra en Beelverwerking
1 y
x
−1 1
−1
In het bovenstaande geval heeft het lineaire systeem één oplossing, maar er
zijn nog meer mogelijkheden. Een lineair systeem kan:
1. Geen oplossingen
2. Exact één oplossing, of
3. Oneindig veel oplossingen hebben.
Inconsistent: Als een lineair systeem geen oplossingen heeft, geval 1.
Consistent: Als een lineair systeem 1 of meer oplossingen heeft, geval 2 en 3.
Coefficient matrices: Gegeven een lineair systeem, kunnen we de coef-
ficienten in een matrix schrijven. Voor het lineaire systeem
{x1 + x2 + x3 = 7 en 9x1 + 8x3 = 6} is
1 1 1
de coefficient matrix:
9 0 8
1 1 1 7
de augmented coefficient matix:
9 0 8 6
Nu willen we voor een lineair systeem de solution set kunnen bepalen en
kijken of ie equivalent is aan een ander lineair systeem. Door elementary row
operations op de matrix van een lineair systeem uit te voeren kunnen we de
solution set een stuk gemakkelijker vinden. Er zijn in totaal drie elementary
row operations. Geen van de operations veranderen de solution set. De ope-
rations zijn:
Pagina 3 van ??
, Samenvatting
1.1 Systems of linear equations Lineaire Algebra en Beelverwerking
Lineair systeem Augmented coefficient matrix
Wissel 2 vergelijkingen. Wissel 2 rijen.
Vermenigvuldig een vergelijking Vermenigvuldig een rij met een nonzero
met een nonzero reeël getal. reeël getal.
Vervang een vergelijking door de som Vervang een rij door de som zichzelf en
zichzelf en een vemenigvuldiging van een vemenigvuldiging van een andere
een andere vergelijking. rij.
ERO’s zijn bovendien ook ”omkeerbaar”, zo kun je rijen terug wisselen of
vermenigvuldigen met het omgekeerde.
We kunnen nu we door middel van deze ERO’s de variabelen in vergelij-
kingen vrij maken en gemakkelijker een lineair systeem oplossen.
Voorbeeld:
We willen de solution set vinden
voor: {x1 − 3x2 = 0 en x1 + x2 = 4}
1 −3 0
De bijbehorende ACM is:
1 1 4
Nu voeren we de volgende ERO’s uit op deze matrix:
1
ERO 3: rij 2 - rij 1 → ERO 2: rij 2 x 4
→ ERO 3: rij 1 + 3 x rij 2
1 −3 0 1 −3 0 1 0 3
0 4 4 0 1 1 0 1 1
Als we deze matrix nu weer omschrijven naar een lineair systeem, dan zien
we direct dat we de solution set gevonden hebben:
x1 = 3
x2 = 1
Tevens kunnen we aan de hand van ERO’s bekijken of twee lineaire sys-
temen equivalent zijn.
Row equivalent: Twee matrixen zijn row equivalent als de één in de ander
getransformeerd kan worden door middel van ERO’s.
THEOREM: Twee lineaire systemen S1 en S2 zijn enkel en alleen equi-
valent als hun augmented coefficient matrixen row equivalent zijn.
Pagina 4 van ??
, Samenvatting
1.2 Row reduction and echelon forms Lineaire Algebra en Beelverwerking
1.2 Row reduction and echelon forms
Leading entry: De leading entry is de meest linker nonzero entry in een
nonzero rij in een matrix.
Echelon form: Een matrix is in echelon form (of row echelon form) als:
1. Elke nonzero rij boven een zero rij staat.
2. Elke leading entry van een rij in de kolom rechts van de leading entry
van de rij erboven staat.
3. Alle entries in een kolom onder de leading entry nul zijn.
Reduced echelon form: Een matrix in echelon form is in reduced echelon
form (of reduced row echelon form) als:
4. De leading entry in elke nonzero rij 1 is.
5. Elke leading 1 de enige nonzero entrie in die kolom is.
echolon form reduced echolon form
1 2 0 4 5
nee nee
1 0 1 2 3
2 1 0 1 1
ja nee
0 0 1 0 0
1 0 1 0 1
ja ja
0 1 0 1 0
1 2 0 4 5
0 0 0 0 0 nee nee
0 0 1 2 3
1 0 3
ja ja
0 1 1
Pivot positions: Een pivot positie is een locatie in een matrix A, die cor-
respondeert met een leading 1 in de reduced echelon form van A.
Pivot column: Eeen pivot kolom is een kolom die een pivot position bevat.
THEOREM: Elke matrix is row-equivalent aan een unieke matrix in re-
duced echelon form.
Pagina 5 van ??
, Samenvatting
1.2 Row reduction and echelon forms Lineaire Algebra en Beelverwerking
The row reduction algorithm:
0 3 −6 6 4 −5
M = 3 −7 8 −5 8 9
3 −9 12 −9 6 15
Stap 1: Begin met de meest linker nonzero kolom. Dit is de pivot ko-
lom en de pivot position staat bovenaan.
Stap 2: Selecteer een nonzero entrie in de pivot kolom als pivot. Indien
nodig wissel rijen om deze pivot in de pivot position te krijgen. We hebben
hier rij 1 en rij 3 omgewisseld, zodat de pivot 3 in de pivot positie komt te
staan.
3 −9 12 −9 6 15
3 −7 8 −5 8 9
0 3 −6 6 4 −5
Stap 3: Gebruik ERO’s om nullen te creëren onder de pivot. We heb-
ben hier rij 1 van rij 2 afgetrokken.
3 −9 12 −9 6 15
0 2 −4 4 2 −6
0 3 −6 6 4 −5
Stap 4: Verberg de rij met de pivot position en alle bovenliggende rijen
en voer alle stoppen opnieuw uit op de overgebleven matrix. We hebben hier
3
2
x rij 2 van rij 3 afgetrokken.
3 −9 12 −9 6 15
0 2 −4 4 2 −6
0 0 0 0 1 4
De matrix M is nu in echelon form. Om M in reduced echelon form te
krijgen moeten we nog een stap uitvoeren.
Pagina 6 van ??
Lineaire Algebra en
Beelverwerking
11 juni 2015
Inhoudsopgave
1 Linear Equations in Linear Algebra 2
1.1 Systems of linear equations . . . . . . . . . . . . . . . . . . . . 2
1.2 Row reduction and echelon forms . . . . . . . . . . . . . . . . 5
1.3 Vector equations . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 The matrix equation Ax = b . . . . . . . . . . . . . . . . . . . 11
1.5 Solution sets of linear systems . . . . . . . . . . . . . . . . . . 12
1.6 Applications of Linear systems . . . . . . . . . . . . . . . . . . 14
1.7 Linear Independence . . . . . . . . . . . . . . . . . . . . . . . 15
1.8 Introduction to linear transformations . . . . . . . . . . . . . . 17
1.9 The matrix of a linear transformation . . . . . . . . . . . . . . 18
2 Matrix Algebra 19
2.1 Matrix operations . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 The inverse of a matrix . . . . . . . . . . . . . . . . . . . . . . 21
2.5 Matrix Factorizations . . . . . . . . . . . . . . . . . . . . . . . 23
2.7 Applications to computer graphics . . . . . . . . . . . . . . . . 25
3 Determinants 28
3.1 Introduction to determinants . . . . . . . . . . . . . . . . . . . 28
3.2 Properties of determinants . . . . . . . . . . . . . . . . . . . . 30
3.3 Cramer’s rule, volume and linear transformations . . . . . . . 31
4 Vector Spaces 34
4.1 Vector spaces and subspaces . . . . . . . . . . . . . . . . . . . 34
4.2 Null spaces, column spaces, and linear transformations . . . . 36
4.3 Linearly Independent sets; Bases . . . . . . . . . . . . . . . . 40
4.4 Coordinate Systems . . . . . . . . . . . . . . . . . . . . . . . . 43
4.5 The dimension of a vector space . . . . . . . . . . . . . . . . . 45
4.6 Rank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
Pagina 1 van ??
, Samenvatting
Lineaire Algebra en Beelverwerking
5 Eigenvalues and Eigenvectors 50
5.1 Eigenvectors and Eigenvalues . . . . . . . . . . . . . . . . . . 50
5.2 The Characteristic Equation . . . . . . . . . . . . . . . . . . . 51
5.3 Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . 53
6 Orthogonality and Least Squares 55
6.1 Inner Product, Length and Orthogonality . . . . . . . . . . . . 55
6.2 Orthogonal Sets . . . . . . . . . . . . . . . . . . . . . . . . . . 58
6.3 Orthogonal projections . . . . . . . . . . . . . . . . . . . . . . 61
6.4 The Gram-Schmidt Process . . . . . . . . . . . . . . . . . . . 63
6.5 Least-Squares Problems . . . . . . . . . . . . . . . . . . . . . 65
6.6 Applications to Linear Models . . . . . . . . . . . . . . . . . . 67
1 Linear Equations in Linear Algebra
1.1 Systems of linear equations
Linear equations: Een vergelijking die geschreven kan worden als a1 xx +
a2 x2 + ... + an xn = b met a en b een reeële getallen: x1 + 2x2 + x3 = 4
A system of linear equations: Een collectie van één of meer lineaire
vergelijkingen in x1 ...xn : {x1 = x2 en x1 + x2 = 0}
Solution of a linear system: Een lijst (s1 ...sn ) van reeële getallen waarbij
elke vergelijking geldig blijft na het substutueren van x voor s:
A = {x1 + x2 = 1 en x1 − x2 = 0} en de oplossing: x1 = 12 en x2 = 12
Solution set: De set van alle mogelijke oplossingen voor een lineair systeem.
Equivalent: Twee lineaire systemen(in dezelfde x1 , ..., xn ) zijn equivalent/-
gelijk als ze dezelfde solution set hebben: B = {x1 +x2 = 1 en 2x1 +2x2 = 4}
B is dus niet equivalent aan A.
Drawing pictures:
Gegeven een lineaire vergelijking in twee variabelen, kun je de solution set
tekenen. Als we b = x1 − x2 = 0 en a = x1 + x2 = 1 in een grafiek zetten,
dan vinden we de solution set waar de lijnen elkaar kruisen:
Pagina 2 van ??
, Samenvatting
1.1 Systems of linear equations Lineaire Algebra en Beelverwerking
1 y
x
−1 1
−1
In het bovenstaande geval heeft het lineaire systeem één oplossing, maar er
zijn nog meer mogelijkheden. Een lineair systeem kan:
1. Geen oplossingen
2. Exact één oplossing, of
3. Oneindig veel oplossingen hebben.
Inconsistent: Als een lineair systeem geen oplossingen heeft, geval 1.
Consistent: Als een lineair systeem 1 of meer oplossingen heeft, geval 2 en 3.
Coefficient matrices: Gegeven een lineair systeem, kunnen we de coef-
ficienten in een matrix schrijven. Voor het lineaire systeem
{x1 + x2 + x3 = 7 en 9x1 + 8x3 = 6} is
1 1 1
de coefficient matrix:
9 0 8
1 1 1 7
de augmented coefficient matix:
9 0 8 6
Nu willen we voor een lineair systeem de solution set kunnen bepalen en
kijken of ie equivalent is aan een ander lineair systeem. Door elementary row
operations op de matrix van een lineair systeem uit te voeren kunnen we de
solution set een stuk gemakkelijker vinden. Er zijn in totaal drie elementary
row operations. Geen van de operations veranderen de solution set. De ope-
rations zijn:
Pagina 3 van ??
, Samenvatting
1.1 Systems of linear equations Lineaire Algebra en Beelverwerking
Lineair systeem Augmented coefficient matrix
Wissel 2 vergelijkingen. Wissel 2 rijen.
Vermenigvuldig een vergelijking Vermenigvuldig een rij met een nonzero
met een nonzero reeël getal. reeël getal.
Vervang een vergelijking door de som Vervang een rij door de som zichzelf en
zichzelf en een vemenigvuldiging van een vemenigvuldiging van een andere
een andere vergelijking. rij.
ERO’s zijn bovendien ook ”omkeerbaar”, zo kun je rijen terug wisselen of
vermenigvuldigen met het omgekeerde.
We kunnen nu we door middel van deze ERO’s de variabelen in vergelij-
kingen vrij maken en gemakkelijker een lineair systeem oplossen.
Voorbeeld:
We willen de solution set vinden
voor: {x1 − 3x2 = 0 en x1 + x2 = 4}
1 −3 0
De bijbehorende ACM is:
1 1 4
Nu voeren we de volgende ERO’s uit op deze matrix:
1
ERO 3: rij 2 - rij 1 → ERO 2: rij 2 x 4
→ ERO 3: rij 1 + 3 x rij 2
1 −3 0 1 −3 0 1 0 3
0 4 4 0 1 1 0 1 1
Als we deze matrix nu weer omschrijven naar een lineair systeem, dan zien
we direct dat we de solution set gevonden hebben:
x1 = 3
x2 = 1
Tevens kunnen we aan de hand van ERO’s bekijken of twee lineaire sys-
temen equivalent zijn.
Row equivalent: Twee matrixen zijn row equivalent als de één in de ander
getransformeerd kan worden door middel van ERO’s.
THEOREM: Twee lineaire systemen S1 en S2 zijn enkel en alleen equi-
valent als hun augmented coefficient matrixen row equivalent zijn.
Pagina 4 van ??
, Samenvatting
1.2 Row reduction and echelon forms Lineaire Algebra en Beelverwerking
1.2 Row reduction and echelon forms
Leading entry: De leading entry is de meest linker nonzero entry in een
nonzero rij in een matrix.
Echelon form: Een matrix is in echelon form (of row echelon form) als:
1. Elke nonzero rij boven een zero rij staat.
2. Elke leading entry van een rij in de kolom rechts van de leading entry
van de rij erboven staat.
3. Alle entries in een kolom onder de leading entry nul zijn.
Reduced echelon form: Een matrix in echelon form is in reduced echelon
form (of reduced row echelon form) als:
4. De leading entry in elke nonzero rij 1 is.
5. Elke leading 1 de enige nonzero entrie in die kolom is.
echolon form reduced echolon form
1 2 0 4 5
nee nee
1 0 1 2 3
2 1 0 1 1
ja nee
0 0 1 0 0
1 0 1 0 1
ja ja
0 1 0 1 0
1 2 0 4 5
0 0 0 0 0 nee nee
0 0 1 2 3
1 0 3
ja ja
0 1 1
Pivot positions: Een pivot positie is een locatie in een matrix A, die cor-
respondeert met een leading 1 in de reduced echelon form van A.
Pivot column: Eeen pivot kolom is een kolom die een pivot position bevat.
THEOREM: Elke matrix is row-equivalent aan een unieke matrix in re-
duced echelon form.
Pagina 5 van ??
, Samenvatting
1.2 Row reduction and echelon forms Lineaire Algebra en Beelverwerking
The row reduction algorithm:
0 3 −6 6 4 −5
M = 3 −7 8 −5 8 9
3 −9 12 −9 6 15
Stap 1: Begin met de meest linker nonzero kolom. Dit is de pivot ko-
lom en de pivot position staat bovenaan.
Stap 2: Selecteer een nonzero entrie in de pivot kolom als pivot. Indien
nodig wissel rijen om deze pivot in de pivot position te krijgen. We hebben
hier rij 1 en rij 3 omgewisseld, zodat de pivot 3 in de pivot positie komt te
staan.
3 −9 12 −9 6 15
3 −7 8 −5 8 9
0 3 −6 6 4 −5
Stap 3: Gebruik ERO’s om nullen te creëren onder de pivot. We heb-
ben hier rij 1 van rij 2 afgetrokken.
3 −9 12 −9 6 15
0 2 −4 4 2 −6
0 3 −6 6 4 −5
Stap 4: Verberg de rij met de pivot position en alle bovenliggende rijen
en voer alle stoppen opnieuw uit op de overgebleven matrix. We hebben hier
3
2
x rij 2 van rij 3 afgetrokken.
3 −9 12 −9 6 15
0 2 −4 4 2 −6
0 0 0 0 1 4
De matrix M is nu in echelon form. Om M in reduced echelon form te
krijgen moeten we nog een stap uitvoeren.
Pagina 6 van ??
