Abbildungen zwischen Vektorräumen mit Skalarprodukt.

ABBILDUNGEN ZWISCHEN VEKTORRÄUMEN MIT
SKALARPRODUKT
G.FELDER, LINEARE ALGEBRA II, FS 2013
27.03.2013
Inhaltsverzeichnis
1. Selbstadjungierte Abbildungen
1.1. Adjungierte Abbildungen
1.2. Spektralsatz für selbstadjungierte Abbildungen
1.3. Min-Max-Prinzip
Übungen
2. Normale Selbstabbildungen
2.1. Spektralsatz für normale Selbstabbildungen
2.2. Spektralsatz für unitäre Abbildungen
2.3. Normalform für reelle normale Selbstabbildungen
2.4. Orthogonale und schiefsymmetrische Matrizen
Übungen
3. Positiv definite Selbstabbildungen
3.1. Positiv (semi)definite Selbsabbildungen und Matrizen
3.2. Positiv definite Abbildungen und Skalarprodukte
3.3. Cholesky-Zerlegung
Übungen
4. Singulärwertzerlegung
4.1. Singulärwerte und Singulärvektoren
4.2. Geometrische Interpretation
4.3. Kleinste Quadrate
Übungen
1
1
3
6
8
8
8
10
11
13
14
14
14
16
16
17
18
18
21
21
22
1. Selbstadjungierte Abbildungen
1.1. Adjungierte Abbildungen. Seien V, W euklidische oder unitäre
Vektorräume mit Skalarprodukten h , iV , h , iW . Sei f ∈ Hom(V, W )
eine lineare Abbildung V → W . Eine Abbildung f ∗ : W → V heisst zu
f adjungiert falls
hf (v), wiW = hv, f ∗ (w)iV , für alle v ∈ V und alle w ∈ W .
1
2
G.FELDER, LINEARE ALGEBRA II, FS 2013
Bemerkung 1.1. Wegen der Symmetrie/Hermitesche Eigenschaft von
Skalarprodukten ist diese Bedingung zu hw, f (v)iW = hf ∗ (w), viV äquivalent.
Lemma 1.2. Sei V endlichdimensional. Dann existiert zu jeder linearen Abblidung f : V → W genau eine adjungierte Abbildung f ∗ : W →
V.
Beweis. Eindeutigkeit: Wenn g1 , g2 beide adjungiert zu f sind, dann
folgt aus der Additivität des Skalarprodukts, dass hv, g1 (w)−g2 (w)iV =
0, für alle v ∈ V, w ∈ W . Also g1 (w) − g2 (w) = 0 für alle w ∈ W , so
dass g1 = g2 .
Existenz: Sei (u1 , . . . , un ) eine Orthonormalbasis von V . Es genügt,
eine Abbildung f ∗ zu produzieren, die
hui , f ∗ (w)iV = hf (ui ), wiW
für alle w ∈ W und i = 1, . . . , n erfüllt. Es ist leicht zu verifizieren,
dass
n
X
f ∗ (w) =
hf (ui ), wiW ui
i=1
diese Bedingung erfüllt.
Bemerkung 1.3. Die Eindeutigkeit gilt auch im unendlichdimensionalen Fall, mit demselben Beweis, nicht aber die allgemeine Existenz, S.
Übung.
Die adjungierte Matrix einer m × n Matrix A mit komplexen Einträgen aij ist die n × m Matrix A∗ = (bij mit bij = aji . Für reelle
Matrizen ist die adjungierte Matrix von A die transponierte Matrix
A∗ = AT . Zur einheitlichen Behandlung des reellen und komplexen
Fall nennen wir sie ebenfalls adjungiert.
Lemma 1.4. Seien V, W endlichdimensional mit Orthonormalbasen
BV , BW . Die Matrix von f ∗ bezüglich der Basen BW , BV ist die zur
Matrix von f bezüglich BV , BW adjungierte Matrix.
Beweis. Sei BV = (u1 , . . . , un ), BW = (ũ1 , . . . , ũm ). Die Matrix A =
(aij ) von f ist durch
f (uj ) =
m
X
i=1
aij ũi
ABBILDUNGEN ZWISCHEN VEKTORRÄUMEN MIT SKALARPRODUKT
3
definiert. Da BW orthonormal ist, gilt also aij = hf (uj ), ũi iW . Anderseits sind die Einträge bij der Matrix B von f ∗
bij = hf ∗ (ũj ), ui iV
= hui , f ∗ (ũj )iV
= hf (ui ), ũj iW
= āji
Nimmt man V = Kn , W = Km mit Standardbasen, so folgt die Übereinstimmung der zwei Bedeutungen von “adjungiert” bei Matrizen.
Korollar 1.5. Sei A ∈ M (m, n; K) eine m × n Matrix mit Einträgen
in K = R oder C. Dann ist y 7→ A∗ y die zu x 7→ Ax adjungierte
Abbildung bezüglich der Standardskalarprodukten auf Kn , Km .
Folgende Eigenschaften für Abbildungen f, g zwischen endlichdimensionalen euklidischen oder unitären Vektorräumen gelten (Übung):
(i) (f ∗ )∗ = f , f ∈ Hom(V, W )
(ii) (λf + µg)∗ = λ̄f ∗ + µ̄g ∗ , f, g ∈ Hom(V, W ), λ, µ ∈ K.
(iii) (f ◦ g)∗ = g ∗ ◦ f ∗ , f ∈ Hom(V, W ), g ∈ Hom(U, V ).
(iv) det(f ∗ ) = det(f ), f ∈ End(V ).
1.2. Spektralsatz für selbstadjungierte Abbildungen. Sei V ein
endlichdimensionaler reeller oder komplexer Vektorraum mit Skalarprodukt h , i.
Definition 1.6. f ∈ End(V ) heisst selbstadjungiert falls f = f ∗
f ist also genau dann selbstadjungiert wenn die Matrix A = (aij )
von f bezüglich einer beliebigen Orthonormalbasis von V Hermitesch
(K = C) bzw. symmetrisch (K = R) ist:
aij = aji
Lemma 1.7. Alle Eigenwerte einer selbstadjungierten Abbildung eines
unitären Vektorraums sind reell.
Beweis. Für jeden Eigenvektor v zum Eigenwert λ gilt:
λhv, vi = hλv, vi = hf (v), vi = hv, f (v)i = hv, λvi = λ̄hv, vi.
Die Behauptung folgt da v 6= 0 also hv, vi =
6 0.
Lemma 1.8. Eigenvektoren einer selbstadjungierten Abbildung zu verschiedenen Eigenwerten stehen aufeinander senkrecht.
4
G.FELDER, LINEARE ALGEBRA II, FS 2013
Beweis. Seien v, w Eigenvektoren zu Eigenwerten λ 6= µ. Also gilt
f (v) = λv, f (w) = µw. Es folgt
λhv, wi = hf (v), wi
= hv, f (w)i
= hv, µwi
= µhv, wi,
wobei wir im letzen Schritt Lemma 1.7 verwendet haben. Es folgt, dass
(λ − µ)hv, wi = 0
und, da λ 6= µ, hv, wi = 0.
Satz 1.9. (Spektralsatz) Sei f ∈ End(V ) selbstadjungiert, dim V < ∞.
Dann ist f diagonalisierbar mit einer Orthonormalbasis von Eigenvektoren.
Beweis. Induktion in n = dim V . Für n = 0 ist nichts zu beweisen: Die
leere Familie () ist eine Orthonormalbasis von {0}.
Für den Induktionsschritt benötigen wir das
Lemma 1.10. Jede selbstadjungierte Selbstabbildung eines endlichdimensionalen euklidischen oder unitären Vektorraums positiver Dimension hat einen Eigenvektor.
Beweis. Wir müssen zeigen dass das charakteristische Polynom eine
Nullstelle in K hat. Wenn K = C folgt das aus dem Fundamentalsatz
der Algebra. Wenn K = R bemerken wir dass das charakteristische
Polynom von f ist das charakteristische Polynom χA (t) = det(tIn − A)
der symmetrischen Matrix A von f bezüglich einer Orthonormalbasis.
Wenn wir A als komplexe Hermitesche Matrix auffassen, dann ist jede
komplexe Nullstelle von χA (t) Eigenwert der selbstadjungierten Abbildung z 7→ Az auf Cn . Nach Lemma 1.7 sind also diese Eigenwerte
reell.
Wir nehmen also an, der Satz sei für alle unitären und euklidischen
Vektorräumen der Dimension ≤ n−1 bewiesen. Sei f ∈ End(V ) selbstadjungiert, mit dim V = n. Nach Lemma 1.10 hat f einen Eigenwert
λ, der nach Lemma 1.7 reell ist. Seien v ein Eigenvektor zu λ und
U = span v der von v erzeugte Unterraum. Dann hat der orthogonale
Komplement U ⊥ = {w ∈ V | hw, vi = 0} Dimension n − 1. Zudem ist
f (U ⊥ ) ⊂ U ⊥ , denn, für alle w ∈ U ⊥ ,
hf (w), vi = hw, f (v)i = λhw, vi = 0.
ABBILDUNGEN ZWISCHEN VEKTORRÄUMEN MIT SKALARPRODUKT
5
Also ist die Einschränkung f |U ⊥ von f auf U ⊥ eine Selbstabbildung von
U ⊥ , die bezüglich der Einschränkung des Skalarprodukts selbstadjungiert ist. Nach Induktionsannahme hat also U ⊥ eine Orthonormalbasis
(u1 , . . . , un−1 ) von Eigenvektoren von f . Da v auf diesen Vektoren senkrecht steht, ist
1
(u1 , . . . , un−1 ,
v)
kvk
eine Orthonormalbasis von Eigenvektoren. Der Induktionsschritt ist
somit vollendet.
Bemerkung 1.11. Der Name des Satzes leitet sich vom Spektrum her,
der Menge der Eigenwerte einer linearen Selbsabbildung.
Beispiel 1.
A=
0 i
−i 0
∈ M (2, 2; C).
A = A∗ also ist x 7→ Ax selbstadjungiert auf C2 mit dem Standardskalarprodukt. Das charakteristische Polynom ist
χA (t) = t2 − 1,
mit Nullstellen λ1,2 = ±1. Die Eigenräume sind
i
1 −i
,
=C
E1 (A) = Ker
1
i 1
−i
−1 −i
.
=C
E−1 (A) = Ker
1
i −1
√
Die Eigenvektoren 1i , −i
sind orthogonal und haben Norm 2. Also
1
bilden
1
1
i
−i
√
√
,
,
1
2 1
2
eine aus Eigenvektoren von A bestehende Orthonormalbasis.
Korollar 1.12. Sei A eine Hermitesche n × n Matrix. Dann gibt es
eine unitäre n × n Matrix U , so dass
A = U DU ∗
wobei D eine reelle Diagonalmatrix ist.
Beweis. Ist allgemein A eine diagonalisierbare Matrix und U die Matrix
deren Spalten eine Basis aus Eigenvektoren bilden, so gilt A = U DU −1 ,
wobei D die Diagonalmatrix mit den Eigenwerten in der Diagonale. In
unserem Fall wählen wir eine Orthonormalbasis von Eigenvektoren so
dass U unitär ist, also U −1 = U ∗ .
6
G.FELDER, LINEARE ALGEBRA II, FS 2013
1.3. Min-Max-Prinzip. Der Rayleigh-Quotient einer selbstadjungierten Abbildung f ∈ End(V ) ist die Funktion V r {0} → R
rf : v 7→
hf (v), vi
hv, vi
Da f selbstadjungiert ist, ist der Zähler reell:
hf (v), vi = hv, f (v)i = hf (v), vi.
Also ist rf (v) ∈ R. Ausserdem gilt rf (λv) = rf (v) für alle λ ∈ K.
Satz 1.13. Sei λ1 der grösste Eigenwert einer selbstadjungierten Abbildung f ∈ End(V ) eines n-dimensionalen Vektorraums V . Dann gilt1
λ1 = maxv∈V r{0}
hf (v), vi
= maxkvk=1 hf (v), vi.
hv, vi
Das Maximum wird für die Eigenvektoren zum Eigenwert v angenommen.
Beweis. Sei (u1 , . . . , un ) eine Orthonormalbasis
P von Eigenvektoren von
f zu den Eigenwerten
λ
,
.
.
.
,
λ
und
v
=
xi ui mit xi ∈ K. Dann ist
1
n
Pn
2
hf (v), vi = i=1 λi |xi | und, da λi ≤ λ1 ,
P
P
2
λi |xi |2
i
i λ1 |xi |
P
rf (v) = P
≤
= λ1
2
2
i |xi |
i |xi |
also ist rf (v) ≤ λ1 für alle v 6= 0 also auch für alle v mit Norm 1. Für
Eigenvektoren v zum Eigenwert λ1 gilt:
rf (v) =
hλ1 v, vi
= λ1
hv, vi
also ist das Maximum genau für diese Eigenvektoren angenommen.
Darunter haben wir auch solche mit Norm 1 so dass auch die zweite
Variante, mit dem Maximum über die Vektoren der Norm 1, gilt. Verwendet man diesen Satz für −f , so erhält man für den kleinsten
Eigenwert λn von f :
λn = minv∈V r{0}
hf (v), vi
= minkvk=1 hf (v), vi.
hv, vi
von V = Kn mit Standardskalarprodukt hx, yi =
PDer Spezialfall
∗
i xi ȳi = y x gibt die Version von Satz 1.13 für Matrizen.
1max
E
F (v) ist das Maximum der Menge {F (v) | v hat die Eigenschaft E}
ABBILDUNGEN ZWISCHEN VEKTORRÄUMEN MIT SKALARPRODUKT
7
Satz 1.14. Sei A = A∗ ∈ M (n, n; K), K = C oder R. Dann gilt für
den grössten Eigenwert λ1 :
x∗ Ax
λ1 = max ∗ = max x∗ Ax
x6=0 x x
kxk=1
Das Maximum wird für Eigenvektoren zum Eigenwert λ1 angenommen.
Dieser Satz hat folgende Verallgemeinerung, die eine ähnliche Charakterisierung der restlichen Eigenwerte gibt.
Satz 1.15. (Courant-Min-Max-Prinzip) Sei fQ∈ End(V ) selbstadjungiert mit charakteristischem Polynom χg (t) = ni=1 (t − λi ) und Eigenwerten λ1 ≥ · · · ≥ λn . Dann gilt
hf (v), vi
λj =
min
max
.
W ⊂V,dim W =n−j+1 v∈W r{0} hv, vi
Beweis. Zuerst zeigen wir, dass das Maximum in der Klammer für jeden
W angenommen wird. Wählt man eine Orthonormalbasis B von V so
dass die ersten n − j + 1 Basisvektoren eine Basis von W bilden (eine
solche Basis existiert nach Gram–Schmidt), so ist die Matrix A von
f bezüglich B selbstadjungiert und der Rayleighquotient für v ∈ W
ist der Rayleighquotient der selbstadjungierten Untermatrix (ars ), 1 ≤
r, s ≤ n − j + 1. Also wird nach Satz 1.13 das Maximum angenommen.
Um eine obere Schranke für λj zu erhalten, zeigen wir dass jeder
W ⊂ V der Dimension n − j + 1 einen Vektor der Form
v0 =
j
X
xi ui 6= 0,
x1 , . . . , xj ∈ K,
i=1
enthält, wobei (u1 , . . . , uj , . . . , un ) eine Orthonormalbasis von Eigenvektoren zu den Eigenwerten λ1 ≥ · · · ≥ λn ist. Ein solcher Vektor
liegt in W ∩ Vj mit Vj = span(u1 , . . . , uj ). Da dim(W ) = n − j + 1 und
dim(V ) = j ist W ∩ Vj die Lösungsmenge eines homogenen Systems
von
(j − 1) + (n − j) = n − 1
linearen Gleichungen. Da n − 1 < n hat das System eine nichttriviale
Lösung v0 . Für jeden W der geforderten Dimension haben wir also die
Ungleichung
Pj
λi |xi |2
hf (v), vi
hf (v0 ), v0 i
(1)
maxv∈W r{0}
≥
= Pi=1
≥ λj ,
j
2
hv, vi
hv0 , v0 i
i=1 |xi |
wobei im letzten Schritt verwendet wurde, dass λi ≥ λj für i = 1, . . . j.
Also ist das Infimum der linken Seite von (1) über alle (n − j + 1)dimensionalen W ⊂ V grösser oder gleich λj . Anderseits, für W =
8
G.FELDER, LINEARE ALGEBRA II, FS 2013
W0 = span(uj , . . . , un ) gilt:
Pn
2
hf (v), vi
i=j λi |xi |
P
max
= max
= λj ,
n
2
x6=0
v∈W0 r{0} hv, vi
i=j |xi |
also wird das Minimum für W = W0 angenommen und ist gleich λj . Übungen.
(1) Sei V der Vektorraum aller Folgen (xi )i∈Z>0 reeller Zahlen mit
endlich vielen nicht verschwindenden
Gliedern xi .
P
(a) Zeigen Sie, dass hx, yi = ∞
x
y
i=1 i i ein Skalarprodukt definiert.
(b) Sei W = R mit dem Standardskalarprodukt.P
Dann gibt es
∞
zur Additionsabbildung f : V → W , x 7→
i=1 xi keine
adjungierte Abbildung.
(2) Verifizieren Sie die Eigenschaften (i)–(iv) von adjungierten Abbildungen.
(3) Sei


500 1 1 1
 1 1 1 1 

A=
 1 1 1 0 .
1 1 0 0
Ohne das charakteristische Polynom auszurechnen, zeigen Sie:
(a) Der grösste Eigenwert λ1 von A erfüllt
500 ≤ λ1 ≤ 512.
(b) Der zweitgrösste Eigenwert λ2 ist ≤ 6. (Verwenden Sie
das Courant min-max-Prinzip und betrachten Sie die Einschränkung des Rayleigh-Quotients auf dem Unterraum
{0} × R3 ).
(c) A hat einen negativen Eigenwert (Betrachten Sie den Vektor v = (0, 1, 0, −1)T ).
2. Normale Selbstabbildungen
2.1. Spektralsatz für normale Selbstabbildungen. Sei V ein endlichdimensionaler unitärer Vektorraum.
Definition 2.1. f ∈ End(V ) heisst normal wenn f ◦ f ∗ = f ∗ ◦ f . Eine
Matrix A ∈ M (n, n; C) heisst normal wenn AA∗ = A∗ A.
Es ist klar, dass selbstadjungierte Abbildungen normal sind. Diagonalmatrizen sind normal.
ABBILDUNGEN ZWISCHEN VEKTORRÄUMEN MIT SKALARPRODUKT
9
Lemma 2.2. f ∈ End(V ) ist genau dann normal, wenn es selbstadjungierte Abbildungen f1 , f2 ∈ End(V ) gibt, so dass
f = f1 + if2 ,
f1 ◦ f2 = f2 ◦ f1 .
Beweis. Sind f1 , f2 selbstadjungiert mit f1 ◦ f2 = f2 ◦ f1 und setzt man
f = f1 + if2 so gilt f ∗ = f1∗ − if2∗ = f1 − if2 und
f1 ◦ f = f1 ◦ f1 + if1 ◦ f2 = f1 ◦ f1 + if1 ◦ f2 = f ◦ f1 .
Analog gilt f2 ◦ f = f ◦ f2 und also f ∗ ◦ f = f ∗ ◦ f . Umgekehrt: Ist f
eine normale Abbildung, so sind
1
1
f1 = (f + f ∗ ), f2 = (f − f ∗ )
2
2i
selbstadjungiert, und f = f1 + if2 . Aus f ◦ f ∗ = f ∗ ◦ f folgt, dass
f1 ◦ f2 = f2 ◦ f1 .
Lemma 2.3. Gilt f1 ◦ f2 = f2 ◦ f1 für zwei Selbsabbildungen eines Vektorraums V , so gilt f1 (Eλ (f2 )) ⊂ Eλ (f2 )) für jeden Eigenraum Eλ (f2 )
von f2 .
Beweis. Wenn v ∈ Eλ (f2 ) also wenn f2 (v) = λv, dann
f2 (f1 (v)) = f1 (f2 (v)) = f1 (λv) = λf1 (v),
also f1 (v) ∈ Eλ (f2 ).
Satz 2.4. (Spektralsatz für normale Selbstabbildungen)
Sei V ein endlichdimensionaler unitärer Vektorraum. Eine Selbstabbildung f ∈ End(V ) ist genau dann normal wenn V eine Orthonormalbasis von Eigenvektoren von f besitzt.
Beweis. Sei f normal und f1 , f2 wie im Lemma 2.2. Nach dem Spektralsatz für die selbstadjungierte Abbildung f2 ist V = Eλ1 (f2 ) ⊕ · · · ⊕
Eλr (f2 ), mit reellen Eigenwerten λj , und Eigenräume zu verschiedenen
Eigenwerten stehen senkrecht aufeinander. Nach Lemma 2.3 definiert
für jeden Eigenvektor λi die Einschränkung von f1 eine selbstadjungierte Selbstabbildung von Eλi (f2 ). Also, wieder nach dem Spektralsatz,
hat Eλi (f2 ) eine Orthonormalbasis von Eigenvektoren von f1 . Nimmt
man alle so erhaltene Basisvektoren, erhält man eine Orthonormalbasis
(u1 , . . . , un ) von V , die aus Eigenvektoren für beide f1 , f2 sind:
f1 (uj ) = aj uj ,
f2 (uj ) = bj uj ,
aj , bj ∈ R,
j = 1, . . . , n.
Es folgt: f (uj ) = (aj + ibj )uj für alle j. Also besteht die Basis aus
Eigenvektoren von f .
10
G.FELDER, LINEARE ALGEBRA II, FS 2013
Es habe umgekehrt f eine Orthonormalbasis von Eigenvektoren.
Dann sind die Darstellungsmatrizen D, D∗ von f und f ∗ bezüglich
dieser Basis Diagonalmatrizen




λ1
λ̄1
..
..
,
.
D=
D∗ = 
.
.
λn
λ̄n
Es folgt: DD∗ = D∗ D also f ◦ f ∗ = f ∗ ◦ f .
Ist V = Cn mit Standardskalarprodukt, so erhält man die Version
des Satzes für normale Matrizen:
Korollar 2.5. Ist A ∈ M (n, n; C) eine normale Matrix so gibt es eine
unitäre Matrix U und komplexe Zahlen λ1 , . . . , λn , so dass


λ1
..
 U ∗.
A=U
.
λn
Die λi sind die Eigenwerte und U hat als Spalten eine Orthonormalbasis von zugehörigen Eigenvektoren.
2.2. Spektralsatz für unitäre Abbildungen. Die unitären Abbildungen sind ein wichtiger Spezialfall von normalen Matrizen: f ∈
End(V ) heisst unitär wenn hf (v), f (w)i = hv, wi für alle v, w ∈ V
also wenn f ∗ ◦ f = id. Unitäre Abbildungen sind invertierbar da sie
injektiv sind: Ist f (v) = 0 so ist 0 = hf (v), f (v)i = hv, vi also v = 0.
Also gilt auch f ◦ f ∗ = id, insbesondere f ◦ f ∗ = f ∗ ◦ f und die Matrix
einer unitären Abbildung bezüglich einer beliebigen Orthonormalbasis
ist unitär.
Aus Satz 2.4 folgt:
Korollar 2.6. (Spektralsatz für unitäre Abbildungen) Unitäre Abbildungen sind diagonalisierbar mit einer orthohormierten Basis von Eigenvektoren. Die Eigenwerte haben Betrag 1.
Nur die letzte Aussage ist noch zu beweisen: Sei v ein Eigenvektor
zum Eigenwert λ ∈ C. Dann ist
hv, vi = hf (v), f (v)i = hλv, λvi = λλ̄hv, vi = |λ|2 hv, vi.
Da v 6= 0, folgt |λ|2 = 1. Die Version für unitäre Matrizen ist:
ABBILDUNGEN ZWISCHEN VEKTORRÄUMEN MIT SKALARPRODUKT 11
Korollar 2.7. Zu jeder unitären n × n Matrix U gibt es eine unitäre
Matrix V und reelle Zahlen θ1 , . . . , θn , so dass
 iθ1

e
...
V ∗
U =V 
eiθn
Die Matrix V hat als Spalten eine Orthonormalbasis von Eigenvektoren zu den Eigenwerten eiθ1 , . . . , eiθn .
2.3. Normalform für reelle normale Selbstabbildungen. Sei V
ein endlichdimensionaler reeller Vektorraum mit Skalarprodukt h , i
(ein euklidischer Vektorraum). Im reellen Fall ist f genau dann diagonalisierbar mit einer Orthonormalbasis von Eigenvektoren wenn f
selbsadjungiert ist. Hat nämlich V eine Orthonormalbasis von Eigenvektoren von f , so ist die Darstellungsmatrix D von f bezüglich dieser
Basis diagonal; also gilt D = D∗ und f ist selbstadjungiert.
Reelle normalen Abbildungen, zu denen die orthogonalen Abbildungen gehören, sind im Allgemeinen nicht diagonalisierbar, aber ihre Darstellungsmatrix kann bezüglich einer geeigneten Orthonormalbasis in
eine einfache Form gebracht werden.
Satz 2.8. Sei V ein eindlichdimensionaler euklidischer Vektorraum,
f ∈ End(V ) sei normal, d.h. f ∗ ◦ f = f ◦ f ∗ . Dann gibt es eine Orthonormalbasis B von V und reelle Zahlen a1 , b1 , . . . , ar , br , c1 , . . . , cs
mit 2r + s = n, so dass die Darstellungsmatrix von f bezüglich B die
Kästchenform


a1 −b1
 b1

a1



..

.




ar −br




b
a


r
r


c1




.
..


cs
hat. Dabei sind a1 ±ib1 , . . . , ar ±ibr , c1 , . . . , cs die komplexen Nullstellen
des charakteristischen Polynoms von f .
Beweis. Durch die Wahl einer Orthonormalbasis können wir annehmen
dass V = Rn mit Standard-Skalarprodukt und f durch eine eine reelle
normale Matrix A gegeben ist:
AAT = AT A
12
G.FELDER, LINEARE ALGEBRA II, FS 2013
Komplexe Nullstellen von Polynomen mit reellen Koeffizienten sind
entweder reell oder kommen in Paaren komplex konjugierter Zahlen
vor. Nach dem Fundamentalsatz der Algebra hat also das charakteristische Polynom von A eine Faktorzerlegung
r
s
r
s
Y
Y
Y
Y
2
2
χA (t) =
(t − λj )(t − λ̄j ) (t − cj ) =
((t − aj ) + bj ) (t − cj )
j=1
j=1
j=1
j=1
mit cj ∈ R, λj = aj + ibj , bj 6= 0 und 2r + s = n. Betrachten man A
als komplexe normale Matrix so ist A über C diagonalisierbar mit aufeinander senkrecht stehenden Eigenräumen Eλj , Eλ̄j , Ecj . Die komplexe
Konjugation C : z 7→ z̄ = (z̄1 , . . . , z̄n )T auf Cn bildet Eλj nach Eλ̄j ab,
denn aus Az = λz folgt Az̄ = λ̄z̄ für eine reelle Matrix A. Zudem ist
C eine (R-lineare) bijektive Abbildung, mit inverser Abbildung C, die
hC(z), C(w)i =
n
X
z̄j wj = hz, wi
j=1
erfüllt. Also bildet C eine beliebige Orthonormalbasis von Eλj auf eine
Orthonormalbasis Eλ̄j ab. Um eine Orthonormalbasis von Eigenvektoren zu konstruieren, genügt es also Orthonormalbasen von Eλj und Ecj
zu wählen. Die Basis von Eλ̄j erhält man dann durch komplexe Konjugation aus der Basis von Eλj . Es folgt dass A, als komplexe Matrix
aufgefasst, eine Orthonormalbasis von Eigenvektoren der Form
(2)
(u1 , ū1 , . . . , ur , ūr , v1 , . . . , vs )
zu den (nicht notwendigerweise paarweise verschiedenen) Eigenwerten λ1 , λ̄1 , . . . , λr , λ̄r , c1 , . . . , cs besitzt. Die Eigenvektoren vj ∈ Ecj =
Ker(cj In − A) können reell gewählt werden, die uj sind aber in Cn .
Aus dieser Basis können wir leicht eine reelle Orthonormalbasis produzieren, indem wir Real- und Imaginärteil
1
Re uj = (uj + ūj ),
2
Im uj =
1
(uj − ūj )
2i
der komplexen Eigenvektoren uj = Re uj + iIm uj nach passender Umnormierung bilden. Es ist leicht aus der Orthonormalität von (2) zu
folgern, dass
√
√
√
√
( 2 Re u1 , 2 Im u1 , . . . 2 Re ur , 2 Im ur , v1 , . . . , vs )
eine Orthonormalbasis von Rn ist. Die Matrix von A bezüglich dieser Basis erhält man durch Vergleich von Real- und Imaginärteil der
ABBILDUNGEN ZWISCHEN VEKTORRÄUMEN MIT SKALARPRODUKT 13
Eigenwertgleichung
A (Re uj + iIm uj ) = (aj + ibj )(Re uj + iIm uj ),
A Re uj = aj Re uj − bj Im uj ,
A Im uj = bj Re uj + aj Im uj ,
Avj = cj vj .
Aus diesen Gleichungen werden die Spalten der Darstellungsmatrix
bezüglich B abgelesen.
2.4. Orthogonale und schiefsymmetrische Matrizen. Orthogonalen Abbildungen f = (f ∗ )−1 und anti-selbstadjungierten Abbildungen f = −f ∗ eines Euklidischen Vektorraums sind Spezialfälle von normalen Selbstabbildungen. Wir formulieren die Resultate in der Version
für Matrizen.
Korollar 2.9. Sei O eine orthogonale n × n reelle Matrix: O−1 = OT .
Dann gibt es eine orthogonale Matrix V und reelle Zahlen θ1 , . . . , θr ,
so dass


cos θ1 − sin θ1

 sin θ1
cos θ1




...




cos θr − sin θr
 T

O=V 
V ,
sin θr
cos θr




c1




.
..


cs
wobei cj ∈ {1, −1} für j = 1, . . . , s.
Dies ist eine ummittelbare Folgerung von Satz 2.8 und der Bemerkung, dass A, als komplexe Matrix aufgefasst, unitär ist und deshalb
Eigenwerte mit Betrag 1 hat. Die reelle Nullstellen des charakteristischen Polynoms sind also cj = ±1 und die komplexen Nullstellen haben
die Form λj , λ̄j mit
λj = eiθj = cos θj + i sin θj .
Eine reelle n × n Matrix A heisstschiefsymmetrisch (oder anti-selbstadjungiert) falls AT = −A.
Korollar 2.10. Sei A eine schiefsymmetrische n × n reelle Matrix.
Dann gibt es eine orthogonale Matrix V und reelle Zahlen b1 , . . . , br , so
14
G.FELDER, LINEARE ALGEBRA II, FS 2013
dass


0 −b1
 b1
0


...


0 −br

A=V 
br
0


0


..

.





 T
V .





0
In diesem Fall ist iA eine selbstadjungierte komplexe Matrix, die
also reelle Eigenwerte hat. Also sind die Nullstelle des charakteristischen polynom entweder 0 oder Paare von komplex konjugierter rein
imaginärer Zahlen ±ib1 , . . . , ±ibr .
Übungen.
(1) Zeigen Sie: Ist A eine normale n × n Matrix, so auch a0 In +
a1 A · · · + ak Ak für alle a0 . . . , ak ∈ C. Welches sind ihre Eigenwerte und Eigenvektoren?
(2) Zeigen Sie: Die n × n Matrix A = (aij ) mit
(
1 j ≡ i + 1 mod n
aij =
0, sonst,
ist orthogonal. Bestimmen Sie θ1 , . . . , θr ∈ R, c1 , . . . , cs ∈ {±1}
für die Normalform von A.
(3) Jede orthogonale Matrix mit Determinante −1 hat einen Eigenvektor zum Eigenwert −1.
(4) Ist n ungerade, so gibt es zu jeder n × n orthogonalen Matrix
A mit Determinante 1 einen Vektor v 6= 0 mit Av = v.
3. Positiv definite Selbstabbildungen
Sei V ein endlichdimensionaler euklidischer oder unitärer Vektorraum.
3.1. Positiv (semi)definite Selbsabbildungen und Matrizen.
Definition 3.1. Eine selbsadjungierte Abbildung f ∈ End(V ) heisst
positiv semidefinit falls hf (v), vi ≥ 0 für alle v ∈ V . Sie heisst positiv
definit falls hf (v), vi > 0 für alle v ∈ V r {0}.
Eine symmetrische oder Hermitesche n × n Matrix A heisst positiv
(semi)definit falls die selbstadjungierte Abbildung x 7→ Ax, auf Cn
bzw. Rn , mit dem Standarskalarprodukt, positiv (semi)definit ist.
ABBILDUNGEN ZWISCHEN VEKTORRÄUMEN MIT SKALARPRODUKT 15
Eine selbstadjungierte Abbildung f heisst negativ (semi)definit falls
−f positiv (semi)definit. Sie heisst (semi)definit falls sie positiv (semi)definit oder negativ (semi)definit ist.
Bemerkung 3.2. Wie wir bei der Diskussion des Rayleigh-Quotiens gesehen haben, ist hf (v), vi reell für jede selbstadjungierte Abbildung
f ∈ End(V ).
Bemerkung 3.3. Da das Standardskalarprodukt auf Cn oder Rn als
hx, yi = y ∗ x geschrieben werden kann, ist eine Matrix genau dann
positiv semidefinit bzw. positiv definit wenn
x∗ Ax ≥ 0 bzw. x∗ Ax > 0,
für alle x 6= 0 (x∗ = xT im reellen Fall).
Bemerkung 3.4. Reelle positiv semidefinite Matrizen beschreiben das
lokale Verhalten von glatten Funktionen in der Umgebung einer Minimalstelle: Ist ϕ : U → R eine zweimal stetig differenzierbare Funktion
in einer Umgebung U ⊂ Rn eines Punktes x0 so dass ϕ(x) ≥ ϕ(x0 ) für
alle x ∈ U , so gilt (Siehe z.B. K. Königsberger, Analysis II, Springer
2004, Abschn. 2.4)
1
ϕ(x) = ϕ(x0 ) + (x − x0 )T A(x − x0 ) + o(|x − x0 |2 )
2
wobei die Matrix
A=
∂ 2ϕ
(x0 )
∂xi ∂xj
der zweiten Ableitungen positiv semidefinit ist.
Lemma 3.5. Eine selbstadjungierte Abbildung f ∈ End(V ) ist genau
dann positiv definit, wenn alle Eigenwerte von f positiv sind. Sie ist
genau dann positiv semidefinit, wenn kein Eigenwert von f negativ ist.
Beweis. Nach Satz 1.13 für −f folgt für den minimalen Eigenwert
λmin = minv∈V r{0}
hf (v), vi
hv, vi
Also ist f genau dann positiv semidefinit wenn λmin ≥ 0. Wenn λmin > 0
dann ist hf (v), vi ≥ λmin hv, vi > 0 für alle v 6= 0 also ist f positiv
definit. Wenn λmin = 0, dann ist f positiv semidefinit aber nicht definit,
denn hf (v), vi = 0 für die Eigenvektoren v zum Eigenwert 0.
16
G.FELDER, LINEARE ALGEBRA II, FS 2013
3.2. Positiv definite Abbildungen und Skalarprodukte.
Satz 3.6. Sei f ∈ End(V ). Dann ist h : V × V → K,
h(v, w) = hf (v), wi
genau dann ein Skalarprodukt auf V wenn f eine selbstadjungierte positiv definite Abbildung ist. Zu jedem Skalarprodukt h auf V gibt es
eine eindeutige positiv definite selbstadjungierte Abbildung f , so dass
h(v, w) = hf (v), wi, für alle v, w ∈ V .
Beweis. Sei f positiv definit. Wir verifizieren die Axiome eines Skalarprodukts für h: (i) Aus der Linearität von f und von h , i im
ersten Argument folgt: h(λv + w, ui = hf (λv + w), ui = hλf (v) +
f (w), ui = λh(v, u)+h(w, u). (ii) Aus der Symmetrie/Hermiteschen Eigenschaft von h , i und der Selbstadjungiertheit von f folgt: h(v, w) =
hf (v), wi = hw, f (v)i = hf (w), vi = h(w, v). (iii) h(v, v) > 0 für alle
v 6= 0, da f positiv definit ist. Umgekehrt: Definiert h(v, w) = hf (v), wi
ein Skalarprodukt, so folgt aus (ii) dass f selbstadjungiert ist und aus
(iii) dass sie positiv definit ist.
Um die zweite Aussage zu beweisen, bemerken wir dass ein Skalarprodukt h eindeutig durch seine Gram-Matrix A = (aij ) mit aij = h(ui , uj )
bezüglich einer beliebigen Basis B = (u1 , . . . , un ) bestimmt ist. Nimmt
man eine für h , i Orthonormalbasis, so erfüllt die durch die Matrix
AT definierte Abbildung
f (uj ) =
n
X
aji ui
i=1
die geforderte Bedingung hf (v), wi = h(v, w) für Basis Vektoren v =
uj , w = uk und also, wegen der Linearität, für alle v, w.
Es folgt die Formulierung für Matrizen:
Korollar 3.7. Jede positiv definite Hermitesche/symmetrische n × n
Matrix A definiert via
h(x, y) = y ∗ Ax
ein Skalarprodukt auf Kn . Jedes Skalarprodukt auf Kn ist eindeutig von
dieser Form.
3.3. Cholesky-Zerlegung.
Satz 3.8. (Cholesky-Zerlegung) Sei A = A∗ positiv definit. Dann gibt
es eine invertierbare obere Dreiecksmatrix C, so dass
A = C ∗ C.
ABBILDUNGEN ZWISCHEN VEKTORRÄUMEN MIT SKALARPRODUKT 17
Beweis. Das Gram–Schmidt-Verfahren ergibt aus der Standardbasis
(e1 , . . . , en ) eine bezüglich des Skalarprodukts h(x, y) = y ∗ Ax Orthonormalbasis (u1 , . . . , un ). Die für den Beweis wesentliche Tatsache ist,
dass (u1 , . . . , uj ) und (e1 , . . . , ej ) für jedes j denselben Unterraum erzeugen. Also gibt es eine invertierbare obere Dreiecksmarix C = (cij )
(des Basiswechsels), so dass
ej =
n
X
ckj uk , mit ckj = 0, für k > j.
k=1
Dann ist u∗j Auk = h(uk , uj ) = δjk , also
ajk =
e∗j Aek
=
n
X
c̄ij clk u∗i Aul
i,l=1
=
n
X
c̄ij cik .
i=1
Die rechte Seite ist der (j, k)-Eintrag von C ∗ C.
Bemerkung 3.9. Das Gram–Schmidt-Verfahren liefert eine Matrix C
mit positiven Einträgen in der Diagonale. Wir sehen in den Übung
dass mit dieser zusätzlichen Bedingung C eindeutig bestimmt ist.
Bemerkung 3.10. Die Cholesky-Zerlegung wird für die numerische Lösung von Gleichungssystemen mit positiv definiter Koeffizientenmatrix
angewendet. Man verwendet dabei, wie bei der LU-Zerlegung, dass
Dreiecksmatrizen schnell durch Rückwärts- und Vorwärtssubstitution
invertiert werden können. Hat man die Cholesky-Zerlegung von A =
C ∗ C, dann lässt sich das System
Ax = b
in zwei Schritten lösen: y = (C ∗ )−1 b, x = C −1 y.
Übungen.
(1) Eine Hermitesche 2 × 2 Matrix ist genau dann positiv definit,
wenn ihre Determinante und ihre Spur positiv sind.
(2) Positiv definite Abbildungen sind invertierbar mit positiv definiter inverser Abbildung.
(3) Linearkombinationen von positiv definiten Selbstabbildungen
von V mit positiven Koeffizienten sind positiv definit (positiv
definite Selbstabbildungen bilden einen ,,Kegel”).
(4) Zeigen Sie: Ist eine n × n Matrix A positiv semidefinit, so auch
BAB ∗ für jede n×n Matrix B. Für welche Matrizen B gilt diese
Aussage, wenn man ,,semidefinit” durch ,,definit” ersetzt?
(5) Sei A eine positiv definite komplexe Matrix. Zeigen Sie:
18
G.FELDER, LINEARE ALGEBRA II, FS 2013
(a) Ist A = C1∗ C1 = C2∗ C2 für obere Dreiecksmatrizen C1 , C2 ,
so gibt es eine unitäre Diagonalmatrix D so dass C1 =
DC2 .
(b) Es gibt genau eine obere Dreiecksmatrix C = (cij ), so dass
A = C ∗ C und cii > 0 für alle i = 1, . . . , n.
(6) Bestimmen Sie die Cholesky-Zerlegung einer
posi allgemeinen
α β
tiv definiten 2 × 2 Hermiteschen Matrix
.
β̄ γ
(7) (Polarzerlegung für normale Matrizen) Zu jeder normale Matrix
A ∈ M (n, n; C) gibt es eine selbstadjungierte positive Matrix
R und eine unitäre Matrix U so dass A = RU = U R. Ist A
invertierbar, so sind R und U eindeutig bestimmt.
4. Singulärwertzerlegung
Seien V, W endlichdimensionale Vektorräume über K = C oder R
mit Skalarlprodukt h , iV , bzw. h , iW .
4.1. Singulärwerte und Singulärvektoren.
Lemma 4.1. Sei f ∈ Hom(V, W ). Dann sind f ∗ ◦ f ∈ End(V ) und
f ∗ ◦ f ∈ End(W ) selbstadjungiert und positiv semidefinit.
Beweis. Da (f ∗ ◦ f )∗ = f ∗ ◦ f ∗∗ = f ∗ ◦ f , ist f ∗ ◦ f selbstadjungiert. Für
alle v ∈ V gilt, wegen der Positivitätseigenschaft des Skalarprodukts,
hf ∗ ◦ f (v), viV = hf (v), f (v)iW ≥ 0.
Die entsprechenden Aussagen für f ◦ f ∗ folgen durch Vertauschen der
Rollen von V mit W und f mit f ∗ .
Nach dem Spektralsatz sind also f ∗ ◦ f und f ◦ f ∗ diagonalisierbar
mit reellen Eigenvektoren und Orthonormalbasen von Eigenvektoren.
Definition 4.2.
√ Die Singulärwerte von f ∈ Hom(V, W ) sind die Quadratwurzeln λi der positiven Eigenwerte von f ∗ ◦ f ∈ End(V ). Die
Singulärwerte einer
√ m × n reellen oder komplexen Matrix A sind die
Quadratwurzeln λi der positiven Eigenwerte von A∗ A.
Beispiel 2. Sei A = diag(λ1 , . . . , λr , 0, . . . , 0) eine Diagonalmatrix von
Rang r mit komplexen Einträgen λj 6= 0 und 0. Dann ist A∗ A =
diag(λ1 λ̄1 , . . . , λr λ̄r , 0, . . . , 0) und die Singulärwerte sind |λ1 |, . . . , |λr |.
Satz 4.3. Sei f ∈ Hom(V, W ). Dann gibt es Orthonormalbasen B =
(u1 , . . . , un ) von V und B 0 = (v1 , . . . , vm ) von W und eindeutige positive
ABBILDUNGEN ZWISCHEN VEKTORRÄUMEN MIT SKALARPRODUKT 19
Zahlen σ1 ≥ · · · ≥ σr > 0, so dass
(
σj vj , j = 1, . . . , r,
(3)
f (uj ) =
0,
j > r,
und
(
σj uj , j = 1, . . . , r,
f (vj ) =
0,
j > r.
∗
(4)
Die Zahlen σj sind die Singulärwerte von f . Die Basis B besteht aus
Eigenvektoren von f ∗ ◦ f zu den Eigenwerten σ12 , . . . , σr2 , 0, . . . , 0. Die
Basis B 0 besteht aus Eigenvektoren von f ◦ f ∗ zu den Eigenwerten
σ12 , . . . , σr2 , 0, . . . , 0.
Beweis. (a) Wir beweisen zuerst die Eindeutigkeit der σj und die letzten Aussagen über B, B 0 . Hat man Basen B, B 0 die (3) und (4) erfüllen,
so ist es klar dass f ∗ (f (uj )) = σj2 uj oder 0 und f (f ∗ (vj )) = σj2 vj oder
0. Also sind die Zahlen σj also die nach ihrer Grösse geordneten Quadratwurzeln der positiven Eigenwerten von f ∗ ◦ f eindeutig bestimmt.
(b) Existenz der Basen. Nach dem Spektralsatz für selbstadjiungierte Abbildungen hat V eine Orthonormalbasis B = (u1 , . . . , un ) von
Eigenvektoren von f ∗ ◦ f . Wir ordnen die Eigenvektoren so dass die
zugehörigen Eigenwerte λ1 ≥ · · · ≥ λr > 0 und λr+1 = · · · = λn = 0.
Die Singulärwerte sind also
p
p
σ1 = λ1 , . . . , σr = λr .
Dann gilt
hf (uj ), f (uk )i = hf ∗ ◦ f (uj ), uk i = λj huj , uk i = λj δjk .
Also bilden vj := σj−1 f (uj ) eine Orthonormalbasis von f (V ) ⊂ W . Wir
ergänzen sie zu einer Orthonormalbasis (v1 , . . . , vm ) von W . Nach Konstruktion, f (uj ) = σj vj für j = 1, . . . , r und, für j > r, hf (uj ), f (uj )i =
hf ∗ ◦ f (uj ), uj i = 0 also f (uj ) = 0. Dies zeigt (3). Wir verifizieren jetzt
(4). Für j = 1, . . . , r,
f ∗ (vj ) =
λj
1 ∗
f (f (uj )) = uj = σj uj .
σj
σj
Für j > r und alle k, hf ∗ (vj ), uk i = hvj , f (uk )i = 0, denn entweder
k ≤ r und f (uk ) = σk vk ⊥ vj oder k > r und f (uk ) = 0. Also ist f ∗ (vj )
für j > r orthogonal zu allen uk also = 0.
Pr
Bemerkung 4.4. Gleichung (3) kann als f (v) =
i=1 hv, ui iσi vi geschrieben werden
20
G.FELDER, LINEARE ALGEBRA II, FS 2013
Die Vektoren uj , vj heissen rechte bzw. linke Singulärvektoren. Sie
sind Eigenvektoren von f ∗ ◦ f bzw. f ◦ f ∗ zum Eigenwert σj2 oder, für
j > r, 0.
Bemerkung 4.5. Die Zahl r, die im Satz vorkommt, ist der Rang von
f.
Wie üblich formulieren wir den Satz auch in der Sprache der Matrizen. Eine (nicht notwendigerweise quadratische) Matrix D = (dij )
heisst Diagonalmatrix falls dij = 0 für alle i 6= j. Die Einträge djj
heissen Diagonaleinträge von D.
Satz 4.6. (Singulärwertzerlegung) Sei A ∈ M (m, n; K) mit K = C oder
R. Dann gibt es eine unitäre n×n Matrix U , eine unitäre m×m Matrix
V und eine Diagonalmatrix D mit Diagonaleinträgen σ1 ≥ · · · ≥ σr >
0, . . . , 0, so dass
A = V DU ∗
Die Matrizen V , U können im reellen Fall orthogonal gewählt werden.
Die Spalten von U sind eine Orthonormalbasis von rechten Singulärvektoren von A und die Spalten von V sind eine Orthonormalbasis von
linken Singulärvektoren von A
Beweis. Seien (uj ), (vj ) die Basen von Satz 4.3 für die Abbildung x 7→
Ax und seien U, V die unitären/orthogonalen Matrizen mit Spalten uj ,
bzw. vj . Dann können wir (3) in der Form
AU = V D
schreiben, wobei D die Diagonalmatrix mit Einträgen djj = σj für j ≤ r
und djj = 0 für j > r. Da U unitär ist, gilt dann auch A = V DU ∗ . Bemerkung 4.7. Die Bemerkung
4.4 zeigt, dass wir die SingulärwertP
zerlegung auch als A = ri=1 σi vi u∗i schreiben können.
Beispiel 3. Wir bestimmen die Singulärwertzerlegung von


0 1
A= 1 1 
1 0
Wir haben
A∗ A =
0 1 1
1 1 0


0 1
2
1
 1 1 =
.
1 2
1 0
ABBILDUNGEN ZWISCHEN VEKTORRÄUMEN MIT SKALARPRODUKT 21
Diese Matrix hat Eigenwerte λ1 = 3, λ1 = 1 mit Orthonormalbasis von
Eigenvektoren
1
1
1
1
u1 = √
,
u2 = √
.
2 1
2 −1
√
Sie sind rechte Singulärvektoren zu den Singulärwerten σ1 = 3, σ2 =
1. Die zugehörigen linken Singulärvektoren sind v1 = σ1−1 Au1 , v2 =
σ2−1 Au2 , die wir wie im Beweis des Satzes zu einer Orthonormalbasis
(v1 , v2 , v3 ) von R3 ergänzen:
 




1
−1
1
1
1
1
v1 = √  2  ,
v2 = √  0  ,
v3 = √  −1  .
6
2
3
1
1
1
Wir haben also die Singulärwertzerlegung A = V DU ∗ mit

 √
 √1 √

−1
√1
1
1
3
0
6
2
3
√
√
−1 
2
2
, D =  0 1 .
U=
, V =  √26 0 √
1
3
√
√1
−
1
1
1
2
2
√
√
√
0 0
6
2
3
4.2. Geometrische Interpretation. Die Singulärwertzerlegung gibt
eine Beschreibung des Bilds der Einheitssphäre S = {v ∈ V | kvk =
1}. Wir nehmen an, dass f : V 7→ W injektiv ist. Der allgemeine Fall
wird in den Übungen betrachtet. Wir benützen die Basen B, B 0 um
Koordinaten
in V P
und W einzuführen: S besteht
Pm aus den Punkten
Pn
2
v = i=1 xi ui mit |xi | = 1. Dann ist f (v) = i=1 yi vi mit yi = σi xi
für i = 1, . . . , r und yi = 0 für i > r. Da f injektiv ist, ist der Rang
r = n = dim V . Also ist das Bild von S durch die Gleichung
y12
yn2
+
·
·
·
+
=1
σ12
σn2
im Unterraum f (V ) = span(v1 , . . . , vn ) beschrieben: Es ist also ein
Ellipsoid mit Halbachsen σ1 , . . . , σr .
4.3. Kleinste Quadrate. Ein Vektor x0 ∈ Kn ist genau dann eine
Lösung eines lösbaren Gleichungssystems Ax = b wenn kAx − bk2 für
x = x0 minimal ist unter allen x ∈ Kn . Solche Minima zu finden
ist selbst für nichtlösbare Systeme sinnvoll. Das Problem, Minima von
kAx − bk2 bei gegebenen m × n Matrix A und Vektor b ∈ Km zu bestimmen, heisst lineares Problem von kleinsten Quadraten (linear least
square problem). Solche Probleme treten in der Theorie der polynomialen Regression auf.
Wir lösen das Problem zuerst für m × n Diagonalmatrizen D mit
Diagonaleinträgen σ1 , . . . , σr , 0, . . . , 0, wobei σi > 0 für i = 1, . . . , r: In
22
G.FELDER, LINEARE ALGEBRA II, FS 2013
diesem Fall ist
kDx − bk2 =
r
X
|σj xj − bj |2 +
j=1
n
X
|bj |2 .
j=r+1
Es ist klar dass diese Funktion minimal für
x = (σj−1 b1 , . . . , σr−1 br , 0, . . . , 0)T
wird (die Minimalstelle ist nicht eindeutig: wir können die Nullen durch
beliebige Zahlen ersetzen, d.h. ein beliebiges Element des Kerns von D
addieren). Diese Lösung kann als
x = D+ b
wobei D+ (die “Pseudoinverse” von D) die n × m Diagonalmatrix mit
Diagonaleinträgen σ1−1 , . . . , σr−1 , 0, . . . , 0 bezeichnet.
Die Singulärwertzerlegung erlaubt uns den allgemeinen auf diesen
zurückzuführen:
Satz 4.8. Sei K = C oder R, A ∈ M (m, n; K), b ∈ K m . Sei A = V DU ∗
eine Singulärzerlegung von A. Dann wird die Funktion
x 7→ kAx − bk2
für x0 = A+ b minimal, wobei A+ = U ∗ D+ V .
Beweis. Die Funktion
x 7→ kAx − bk2 = kV ∗ DU x − bk2 = kV ∗ (DU x − V b)k2 = kDU x − V bk2
wird minimal für U x = D+ V b also für x = U ∗ D+ V b
Übungen.
(1)
(2)
(3)
(4)
(5)
√
2 √1
Berechnen Sie die Singulärwertzerlegung von
.
0
2
Sei v ∈ V r {0}. Welches sind die Singulärwerte und Singulärvektoren der Abbildung K 7→ V , die 1 nach v ∈ V abbildet?
Was ist das Bild f (S) der Einheitssphäre wenn f nicht injektiv
ist?
Eine positive reelle Zahl σ ist genau dann ein Singulärwert von
f ∈ Hom(V, W ), wenn es Vektoren v ∈ V r {0}, w ∈ W r {0}
gibt, so dass f (v) = σw, f ∗ (w) = σv.
Eine n × m Matrix A+ heisst pseudoinverse Matrix einer m × n
Matrix A wenn (a) die Funktion ϕb : Kn → R x 7→ kx − Abk2
minimal für x = A+ b ist: ϕb (A+ b) ≤ ϕb (x) für alle x ∈ Kn . (b)
A+ b ⊥ Ker(A) für alle b ∈ Rm . Zeigen Sie:
(a) Jede Matrix hat eine eindeutige pseudoinverse Matrix.
ABBILDUNGEN ZWISCHEN VEKTORRÄUMEN MIT SKALARPRODUKT 23
(b) Sie wird durch die Formel in Satz 4.8 gegeben.
(c) Die Pseudoinverse einer invertierbaren Matrix ist die inverse Matrix