Einführung in die Mathematik für Informatiker

Einführung in die Mathematik für Informatiker
Lineare Algebra
Prof. Dr. Ulrike Baumann
www.math.tu-dresden.de/∼baumann
22.1.2018
Ulrike Baumann
Lineare Algebra
14. Vorlesung
Konstruktion von Orthogonalbasen:
Gram-Schmidt-Verfahren
Bestapproximation
Ulrike Baumann
Lineare Algebra
Satz über die Orthogonalzerlegung
Es sei U ein Untervektorraum des Rn . Dann ist jeder Vektor
v ∈ Rn in der Form
v = vb + w
darstellbar, wobei vb ∈ U und w ∈ U ⊥ gilt.
Ist {u1 , u2 , . . . , uk } eine Orthogonalbasis von U, dann gilt:
vb = projU v =
v • u1
v • u2
v • uk
u1 +
u2 · · · +
uk
u1 • u1
u2 • u2
uk • uk
und
w = v − vb.
Ulrike Baumann
Lineare Algebra
Vereinfachung für Orthonormalbasen
Ist {u1 , u2 , . . . , uk } eine Orthonormalbasis für einen
Untervektorraum von Rn , dann ist
(v • u1 )u1 + (v • u2 )u2 + · · · + (v • uk )uk
die Projektion von v auf diesen Untervektorraum.
Ist U := {u1 , u2 , . . . , uk } eine Orthonormalbasis, dann ist
UU T v
die Projektion von v auf den von {u1 , u2 , . . . , uk } erzeugten
Untervektorraum von Rn für alle v ∈ Rn .
Ulrike Baumann
Lineare Algebra
Gram-Schmidt-Verfahren
Es sei U ein Untervektorraum des Rn und {u1 , u2 , . . . , uk } eine
Basis von U. Es sei:
b1 := u1
b2 := u2 −
u2 •b1
b1 •b1
b1
b3 := u3 −
..
.
u3 •b1
b1 •b1
b1 −
u3 •b2
b2 •b2
b2
:= uk −
uk •b1
b1 •b1
b1 −
uk •b2
b2 •b2
b2 − · · · −
bk
uk •bk−1
bk−1 •bk−1
Dann ist {b1 , b2 , . . . , bk } eine Orthogonalbasis und
{ ||bb11 || , ||bb22 || , . . . , ||bbkk || } eine Orthonormalbasis von U.
Ulrike Baumann
Lineare Algebra
bk−1
Satz über die Bestapproximation
Es sei U ein Untervektorraum des Rn , v ∈ Rn
und vb die Orthogonalprojektion von v auf U.
Dann gilt
||v − vb|| < ||v − u||
für alle u ∈ U \ {b
v }.
vb ist also derjenige Vektor aus U, der zu v kleinstmöglichen
Abstand hat.
vb wird Bestapproximation von v durch ein Element von U
genannt.
Ulrike Baumann
Lineare Algebra
Bestapproximation (1)
Gegeben: A ∈ Rm×n und b ∈ Rm
Finde ein xb, so dass
||b − Ab
x ||
kleinstmöglich ist.
Es gilt
||b − Ab
x || ≤ ||b − Ax||
für alle x ∈ Rn .
Ulrike Baumann
Lineare Algebra
Bestapproximation (2)
Gegeben ist ein lineares Gleichungssystem Ax = b
Gesucht wird ein Vektor xb, für den ||b − Ab
x || kleinstmöglich
ist.
Zur Lösung berechnet man zunächst bb := projCol(A) b.
(Projektion von b in den Spaltenraum Col(A) der Matrix A)
Die Lösungen des linearen Gleichungssystems
Ab
x = bb
sind genau die Lösungen des Ausgangsproblems und genau die
Lösungen der Normalgleichung
AT Ab
x = AT b.
Ulrike Baumann
Lineare Algebra