Singulärwertzerlegung

Singulärwertzerlegung
Stefan Schober
30. Juni 2015
1
Einleitung
Die Singulärwertzerlegung (SWZ) ist ein Orthogonalisierungsverfahren für
nicht quadratische Matrizen. Dieses Verfahren kann verwendet werden um
den Rang einer Matrix zu bestimmen und lineare Ausgleichsprobleme zu
lösen. Dabei hat die SWZ den Vorteil, dass sie im Gegensatz zu anderen Methoden numerisch zuverlässig ist, wenn die Matrix sehr schlecht konditioniert
ist.
2
Singulärwertzerlegung
Definition 2.1. Seien A ∈ Rn×m und U ∈ Rn×n , V ∈ Rm×m orthogonal.
Die Zerlegung U T AV = Σ heißt die Singulärwertzerlegung von A.
Satz 2.2. Es sei A ∈ Rn×m .
Dann existieren orthogonale Matrizen V ∈ Rm×m und U ∈ Rn×n , so dass
U T AV = Σ = diag(σ1 , ..., σp ) ∈ Rn×m , p = min(m, n)
wobei
σ1 ≥ ... ≥ σp ≥ 0.
Je nachdem, ob m ≥ n oder ob m ≤ n ist, erhält Σ die Gestalt




σ1
0
σ1
0


...




.
..
oder




0
 0
σm 
0
σn
0
1
(1)
Man nennt die σi die Singulärwerte von A. (für i = 1, . . . , min(m, n) )
Die Singulärwerte σi , i = 1, . . . , min(m, n) sind die Wurzeln
der Eigenwerte von AAT bzw. AT A.
Die Spalten der Matrizen U , V nennt man die Links- bzw.
Rechtssingulärvektoren (ui bzw. vi ) von A. Die ui sind bestimmt durch:
1
Avi , σi 6= 0.
ui = √
2 σ
i
(2)
Bemerkung 2.3. Aus (1) ist ersichtlich, dass Avi = σi ui , AT ui = σi vi .
Daraus ergibt sich AT Avi = σi 2 vi , AAT ui = σi 2 ui , für i = 1, . . . , min(m, n) .
Beweis zu 2.2 : Es sei σ = kAk2 .
Wegen kAk2 = maxkxk2 =1 kAxk2 existiert ein x ∈ Rn mit
Ax = σy , kxk2 = kyk2 = 1.
Wir ergänzen y und x zu Ortonormalbasen des Rn und Rm :
U = [y, ỹ] , V = [x, x̃].
Damit ergibt sich T
σ
ω
A1 ≡ U T AV =
0 B
mit einem Vektor ω ∈ Rn−1 und einer Matrix B ∈ Rn×m .
Es folgt kA1 k2 = kAk2 = σ.
Andererseits gilt
kA1 (σ, ω T )T k22 = k(σ 2 +kωk22 , Bω)T k22 ≥ (σ 2 +kωk22 )2 = (σ 2 +kωk22 ) k(σ, ω)T k22
und somit ω ≡ 0.
Für die Matrix B geht man analog vor.
Bemerkung 2.4. Die Anzahl der von 0 verschieden Singulärwerte ist gleich
dem Rang r von A.
2
Mit Hilfe der Singulärwertzerlegung Iässt sich das Ausgleichsproblem lösen:
Satz 2.5. Es sei A = U ΣV T die SWZ der Matrix A ∈ Rn×m und
es sei min(n, m) ≥ r = Rang(A)
mit Singulärwerten σ1 ≥ ... ≥ σp ≥ 0, p = min{m, n}.
Dann ist
x∗ =
Xr
i=1
ui T b
vi
σi
(3)
die eindeutig bestimmte Lösung der Normalengleichung AT Ax = AT b mit
minimaler euklidischer Norm.
Beweis zu 2.5 : Für jedes x ∈ Rn gilt die Identität kAx − bk22 =
kAV V T x − bk22 = kU T AV V T x − U T bk22 = kΣV T x − U T bk22 .
Setzt man z = V T x, liefert dies P
P
T 2
kAx − bk22 = kΣz − U T bk22 = ri=1 (σi zi − ui T b)2 + m
i=r+1 (ui b) .
Ein Minimum erfüllt also σi zi = ui T b , i = 1, . . . , r.
Unter allen x = V z mit dieser Eigenschaft hat dasjenige mit
xi = 0, i = r + 1, . . . , m, die minimale euklidische Norm.
Bemerkung 2.6.
Definiere A+ = V Σ+ U T mit Σ+ = diag(σ1−1 , . . . , σr−1 , 0, . . . , 0) ∈ Rm×n .
Dann ist A+ b = x∗ die Lösung des allgemeinen linearen Ausgleichsproblems.
A+ = V Σ+ U T heißt Pseudoinverse (Penrose-Inverse) von A.
Rang(A) = n ⇒ A+ = (AT A)−1
Rang(A) = n = m ⇒ A+ = A−1
3
3
Beispiel
Beispiel3.1. Gesucht ist die Singulärwertzerlegung der Matrix
1 0

A = 2 1, sodass A = U ΣV T gilt.
0 1
Da m = 2 < n = 3 ist, gilt: B = AT A.


1 0
1 2 0 
5 2

2 1 =
B=
.
0 1 1
2 2
0 1
Die Matrix V:
Charakteristisches Polynom: p(λ) = λ2 − 7λ + 6= (λ − 6)(λ− 1)
2
1
mit EW λ1 = 6 , λ2 = 1 und EV ~v1 =
und ~v2 =
, somit
1
−2
2 1
2 1
1
1
V = √
bzw.
VT = √
.
2
2
5 1 −2
5 1 −2
Die Matrix Σ:
Σ enthält auf
der Diagonalen
die Wurzeln der Eigenwerte von B:
√

2
6 0
Σ =  0 1
0 0
Die Matrix U: (Siehe (2))
 
 
2
1
1  
1 
1
√
√
5
0 .
A~
v
=
und
~
u
=
~u1 = √
2
2
2
1
2
6
30
5
1
−2
 
−2
1 
1
~u1 und ~u2 zu ON-Basis des R3 ergänzen: ~u3 = √
2
6
−1



U =

A=
1
√
2
5

·
2
√
2
30
5
√
2
30
1
√
2
30
2
√
2
30
5
√
2
30
1
√
2
30
1
√
2
5
0
−2
√
2
5
1
√
2
5
0
−2
√
2
5
−2
√
2
6
1 
√
2 
6
−1
√
2
6
 √
2
−2
√
2
6
1 
√
2 
6
−1
√
2
6

6 0 2 1


· 0 1 ·
.
1 −2
0 0
4
Literatur
[1] https://www.igpm.rwth-aachen.de/Download/DahmenReusken/Folien/Kapitel4.pdf
, (09.06.2014)
[2] http://resources.mpi-inf.mpg.de/departments/d1/teaching/ss10/MFI2/kap47.pdf
, (10.06.2014)
[3] http://numerik.uni-hd.de/
(10.06.2014)
lehre/notes/num0/numerik0.pdf
5
,