5.2 Die Singul¨arwertzerlegung

207
Numerik
5.2
Die Singulärwertzerlegung
Satz 5.2. Sei A 2 Rm⇥n eine Matrix vom Rang r.
Dann gibt es orthogonale Matrizen U 2 Rm⇥m und V 2 Rn⇥n sowie eine
Diagonalmatrix“
”
"
#
⌃r O
⌃=
2 Rm⇥n mit ⌃r = diag( 1 , 2 , . . . , r ) 2 Rr⇥r
O O
und
1
2
···
r
> 0, so dass A die Zerlegung
A = U ⌃V >
(SVD)
besitzt.
Die Darstellung (SVD) heißt Singulärwertzerlegung von A. Die positiven
Zahlen i nennt man die Singulärwerte von A.
Schreibt man U = [u1 , u2 , . . . , um ] und V = [v1 , v2 , . . . , vn ], so heißen
ui 2 Rm bzw. vi 2 Rn zugehörige linke bzw. rechte Singulärvektoren.
5.2 Die Singulärwertzerlegung
TU Chemnitz, Sommersemester 2013
208
Numerik
Bemerkungen.
Pr
(1) A = U ⌃V > = i=1 i ui vi> = [u1 , u2 , . . . , ur ] ⌃r [v1 , v2 , . . . , vr ]>
(Darstellung von A als Summe von r Rang-1-Matrizen).
(2) Es gelten:
Avi =
>
A ui =
(3)
(
(
i ui
0
(i = r + 1, r + 2, . . . , n)
i vi
0
(i = 1, 2, . . . , r),
(i = 1, 2, . . . , r),
(i = r + 1, r + 2, . . . , m)
und
.
{u1 , . . . , ur }
ist eine ON-Basis von
R(A).
{ur+1 , . . . , um }
ist eine ON-Basis von
N (A> ) = R(A)? .
{v1 , . . . , vr }
ist eine ON-Basis von
R(A> ) = N (A)? .
{vr+1 , . . . , vn }
ist eine ON-Basis von
N (A).
5.2 Die Singulärwertzerlegung
TU Chemnitz, Sommersemester 2013
209
Numerik
(4) A> A = V ⌃> ⌃V > = V
h
⌃2r
O
O O
i
V > , AA> = U ⌃⌃> U > = U
h
⌃2r
O
O O
>
i
U >.
sind die von Null verschiedenen Eigenwerte von A A bzw.
AA . Insbesondere sind die Singulärwerte 1 , . . . , r durch A eindeutig
festgelegt.
2
1, . . . ,
>
2
r
Die rechten Singulärvektoren v1 , . . . , vn bilden eine ON-Basis des Rn
aus Eigenvektoren von A> A:
(
2
(i = 1, 2, . . . , r),
i vi
>
A Avi =
.
0
(i = r + 1, r + 2, . . . , n)
Die linken Singulärvektoren u1 , . . . , um bilden eine ON-Basis des Rm
aus Eigenvektoren von AA> :
(
2
(i = 1, 2, . . . , r),
i ui
>
AA ui =
.
0
(i = r + 1, r + 2, . . . , m)
5.2 Die Singulärwertzerlegung
TU Chemnitz, Sommersemester 2013
210
Numerik
(5) Ist A = A> 2 Rn⇥n mit von Null verschiedenen Eigenwerten 1 , . . . ,
| 1 | · · · | r | > 0, dann sind i = | i | die Singulärwerte von A.
r,
(6) Das Bild der (n-dimensionalen) Einheitskugel unter A ist ein Ellipsoid
(im Rm ) mit Mittelpunkt 0 und Halbachsen i ui ( i := 0 für i > r).
(7) Für A 2 Rm⇥n gilt kAk2 = 1 . Ist A 2 Rn⇥n invertierbar, gilt außerdem
kA 1 k2 = n 1 und cond2 (A) = 1 / n .
(8) Besitzt A 2 Rm⇥n die SVD A = U ⌃V > , dann besitzt
"
#
>
O A
H=
2 R(m+n)⇥(m+n)
A O
die von Null verschiedenen
"
#Eigenwerte ±
ten) Eigenvektoren
p1
2
vi
±ui
i
mit zugehörigen (normier-
.
(9) Analoge Aussagen gelten für komplexe Matrizen A = U ⌃V H (U, V
unitär). (In (5) ist ‘symmetrisch’ durch ‘normal’ zu ersetzen.)
5.2 Die Singulärwertzerlegung
TU Chemnitz, Sommersemester 2013
211
Numerik
Geometrische Interpretation der SVD. Besitzt A 2 Rm⇥n die SVD
"
#
⌃r O
A=U
V>
O O
mit ⌃r = diag( 1 , 2 , . . . , r ), U = [u1 , u2 , . . . , um ] und V = [v1 , v2 , . . . , vn ],
so kann man die Abbildungseigenschaften von A (und A> ) leicht beschreiben (vgl. Bemerkung (2) ).
Beispiel:
2
1
6
61
4
1
0
3
2
0.22
7 6
6
17
5 = 40.52
2
0.82
0.89
0.25
0.39
0.41
32
76
6
0.827
54 0
0.41
0
(Werte auf 2 Dezimalstellen gerundet).
5.2 Die Singulärwertzerlegung
2.68
0
3
"
7 0.58
0.927
5 0.81
0
0.81
0.58
#>
TU Chemnitz, Sommersemester 2013
212
Numerik
1
u1
1
v1
u3
0
2
x3
v2
x
u2
0
−1
1
1
0
0
x2
−1
−1
x1
−1
−1
Av1 = 2.68u1 ,
A> u1 = 2.68v1 ,
Av2 = 0.92u2 ,
A> u2 = 0.92v2 ,
0
x1
1
A> u3 = 0.
5.2 Die Singulärwertzerlegung
TU Chemnitz, Sommersemester 2013
213
Numerik
m⇥n
>
Satz
5.3.
Es
sei
A
2
R
eine
Matrix
vom
Rang
r
mit
SVD
A
=
U
⌃V
=
⇥⌃ O⇤ >
U Or O V . Dann löst
"
#
1
⌃r
O
x⇤ = V
U >b
O
O
die lineare Ausgleichsaufgabe (LS). Darüberhinaus ist x⇤ die eindeutig
bestimmte Lösung von (LS) mit minimaler Euklid-Norm.
Satz 5.4 (Schmidt, 1907; Eckart & Young, 1936; Mirsky, 1960). Für eine
Matrix A 2 Rm⇥n vom Rang r mit SVD A = U ⌃V > besitzt die Approximationsaufgabe
min{kA
Bk2 : B 2 Rm⇥n und rank(B)  k}
für k < r die Lösung
Ak :=
k
X
i=1
5.2 Die Singulärwertzerlegung
>
i u i vi
mit
kA
Ak k2 =
k+1 .
TU Chemnitz, Sommersemester 2013
214
Numerik
Anwendung der SVD in der Datenkompression:
Die folgende Grafik zeigt (links oben) das magische Quadrat aus Albrecht
Dürers Melancholie I (1514). Die Bildinformation ist in einer Pixelmatrix
X der Dimension 359 ⇥ 371 gespeichert, deren Einträge – ganze Zahlen
zwischen 1 und 64 – verschiedene Graustufen repräsentieren. Wir approximieren X durch Matrizen niedrigen Rangs k (vgl. Satz 5.4):
load detail.mat;
[U,S,V]=svd(X);
X_k=U(:,1:k)*S(1:k,1:k)*V(:,1:k)’;
image(X_k), colormap(’gray’), axis(’image’), axis(’off’)
Zur Speicherung von Xk sind k(m + n) = 730k Zahlen (statt mn = 133189
für X) erforderlich.
5.2 Die Singulärwertzerlegung
TU Chemnitz, Sommersemester 2013
215
Numerik
5.2 Die Singulärwertzerlegung
Original
k=10
k=20
k=40
TU Chemnitz, Sommersemester 2013
216
Numerik
k
Relativer Fehler
k+1 / 1
Kompressionsrate
10
0.0666
0.055
20
0.0528
0.110
40
0.0382
0.219
5.2 Die Singulärwertzerlegung
TU Chemnitz, Sommersemester 2013