II OPERATORNORM UND KONDITIONSZAHL S. BARTELS, 30.10.2013 II.A. Vektornormen. Um die Begriffe der Konditionierung und Stabilität präzisieren zu können, müssen Abstände zwischen Punkten im Rn beziehungsweise Längen von Vektoren gemessen werden können. Definition II.1. Eine Norm auf Rn ist eine Abbildung k · k : Rn → R mit den folgenden Eigenschaften: (i) kxk = 0 =⇒ x = 0 für alle x ∈ Rn (Definitheit); (ii) kx + yk ≤ kxk + kyk für alle x, y ∈ Rn (Dreiecksungleichung); (iii) kλxk = |λ|kxk für alle λ ∈ R und x ∈ Rn (Homogenität). ⊥ Beispiel II.2. Die `p -Normen sind für 1 ≤ p ≤ ∞ und x = [x1 , ..., xn ] Rn definiert durch 1/p Pn p , p < ∞, |x | j j=1 kxkp = max p = ∞. j=1,...,n |xj |, ∈ ⊥ Die Norm k · k2 heißt euklidische Norm und erfüllt kxk22 = x · x = x x. Bemerkungen II.3. (i) Die `p -Normen sind äquivalent in dem Sinne, dass für alle 1 ≤ p, q ≤ ∞ eine Konstante Cpq > 0 existiert, so dass für alle x ∈ Rn gilt −1 Cpq kxkp ≤ kxkq ≤ Cpq kxkp . Die Konstante Cpq ist abhängig von p, q und n. (ii) Die `p -Normen unterscheiden sich durch ihre Niveaumengen Np (1) = {x ∈ Rn : kxkp = 1}. p=1 p=2 p=∞ II.B. Matrixnormen. Wir identifizieren im Folgenden stets Matrizen A ∈ Rm×n mit linearen Abbildungen A : Rn → Rm , wobei dabei die jeweiligen kanonischen Basen gewählt seien. Eine lineare Abbildung wird auch als linearer Operator bezeichnet. Definition II.4. Für Normen k · kRm und k · kRn auf Rm beziehungsweise Rn ist die induzierte Operatornorm für alle A ∈ Rm×n definiert durch kAkop = sup x∈Rn ,kxkRn =1 kAxkRm . Die Operatornorm misst, wie stark Niveaumengen verformt werden. 1 S. BARTELS, 30.10.2013 2 Beispiel II.5. Durch eine symmetrische Matrix A ∈ R2×2 wird die kreisförmige Niveaumenge N2 (1) auf eine Ellipse abgebildet, die im Kreis mit Radius kAk2 enthalten ist. Die Operatornorm definiert eine Norm mit folgenden Eigenschaften. Lemma II.6. Zu fixierten Normen k·k auf Rn beziehungsweise Rm sei k·kop die induzierte Operatornorm auf Rm×n . Dann gilt: (i) k · kop definiert eine Norm auf Rm×n ; (ii) kAkop = sup kAxk = inf {C > 0 : ∀x ∈ Rn kAxk ≤ Ckxk}; x∈Rn ,kxk=1 (iii) für A 6= 0 und x ∈ Rn mit kxk ≤ 1 und kAxk = kAkop folgt kxk = 1; (iv) das Infimum und das Supremum in (ii) werden angenommen. Beweis. Übung. Bemerkung II.7. Aus (ii) folgt kAxk ≤ kAkop kxk für alle x ∈ Rn . Für einige `p -Normen lassen sich die induzierten Operatornormen explizit angeben. Die Einträge einer Matrix A ∈ Rm×n seien mit aij , 1 ≤ i ≤ m, 1 ≤ j ≤ n, bezeichnet. Beispiel II.8. (i) Die `1 -Norm auf Rm und Rn induziert die Spaltensummennorm m X kAk1 = max |aij |. j=1,...,n (ii) Die `∞ -Norm auf Rm und Rn i=1 induziert die Zeilensummennorm kAk∞ = max i=1,...,m n X |aij |. j=1 (iii) Die `2 -Norm auf Rm und Rn induziert die Spektralnorm q 1/2 . kAk2 = %(A A) = max{|λ| : λ ist Eigenwert von A A} ⊥ ⊥ ⊥ ⊥ Die Zahl %(A A) heißt Spektralradius von A A. Einige weitere Eigenschaften der Operatornorm sind die folgenden. Lemma II.9. Seien Normen auf R` , Rm und Rn fixiert und die induzierten Operatornormen mit k · k bezeichnet. (i) Für A ∈ R`×m und B ∈ Rm×n gilt kABk ≤ kAkkBk. (ii) Die Einheitsmatrix In ∈ Rn×n erfüllt kIn k = 1. Beweis. (i) Nach dem vorigen Lemma gilt kABxk ≤ kAkkBxk ≤ kAkkBkkxk und dies impliziert kABk ≤ kAkkBk. (ii) Dies folgt unmittelbar aus der Definition der Operatornorm. Die euklidische Norm lässt sich in naheliegender Weise auf Rm×n definieren, ist aber keine induzierte Operatornorm. II OPERATORNORM UND KONDITIONSZAHL 3 Beispiel II.10.P Die Frobenius-Norm einer Matrix A ∈ Rm×n ist definiert m Pn 2 2 a . Sie ist keine induzierte Operatornorm für durch kAkF = i=1 √ j=1 ij n > 1, da kIn kF = n gilt. Auch die normierte Frobeniusnorm n−1/2 kAkF ist keine induzierte Operatornorm, denn jede induzierte Operatornorm auf Rn×n erfüllt kAkop ≥ |λ| für alle symmetrischen Matrizen A ∈ Rn×n und jeden Eigenwert λ von A. II.C. Aussagen der linearen Algebra. Für eine Matrix A ∈ Rm×n beziehungsweise die damit identifizierte lineare Abbildung gilt ⊥ ⊥ Rm = Im A + ker A , Rn = Im A + ker A, wobei die Zerlegungen sogar orthogonal sind, das heißt für w = Av ∈ Im A und u ∈ ker A gilt w · u = w u = (Av) u = v A u = v A u = 0. ⊥ ⊥ ⊥ ⊥ ⊥ ⊥ ⊥ ⊥ Damit ist Im A das orthogonale Komplement von ker A , das heißt Im A = (ker A )⊥ . Für einen Endomorphismus beziehungsweise eine quadratische Matrix A ∈ Rn×n folgt, dass er genau dann bijektiv ist, wenn er surjektiv, das heißt Im A = Rn , oder injektiv, das heißt ker A = {0}, ist. In diesem Fall ist A regulär beziehungsweise invertierbar und es gilt det A 6= 0. Wichtige Informationen über die Matrix A und die zugehörige lineare Abbildung sind in den Eigenwerten enthalten, die die Nullstellen des charakteristischen Polynoms n-ten Grades ⊥ pA (t) = det(A − tIn ) sind. Eine Zahl λ ∈ R ist ein Eigenwert von A genau dann, wenn ein zugehöriger Eigenvektor v ∈ Rn \ {0} mit Av = λv existiert. Die Menge der Eigenwerte wird auch als Spektrum bezeichnet. 0 1 Beispiel II.11. (i) Die Matrix A = hat keine reellen Eigenwerte. −1 0 (ii) Jede obere Dreiecksmatrix A, das heißt jede Matrix A ∈ Rn×n mit der Eigenschaft ajk = 0 für j > k, hat die Eigenwerte λ1 = a11 , ..., λn = ann . Eine Matrix A ∈ Rn×n heißt diagonalisierbar, wenn eine invertierbare Matrix V ∈ Rn×n und eine Diagonalmatrix D ∈ Rn×n existieren, so dass V −1 AV = D gilt. In diesem Fall haben A und D dieselben Eigenwerte und sind durch die Diagonaleinträge von D gegeben. Ferner sind dann die Spaltenvektoren von P zugehörige Eigenvektoren, denn es gilt [Av1 , ..., Avn ] = A[v1 , ..., vn ] = AV = V D = [v1 , ..., vn ]D = [λ1 v1 , ..., λn vn ]. Damit folgt, dass A genau dann diagonalisierbar ist, wenn es eine Basis bestehend aus Eigenvektoren von A gibt. 0 1 Beispiel II.12. Die Matrix A = ist nicht diagonaliserbar, da es 0 0 sonst eine invertierbare Matrix V ∈ R2×2 mit V −1 AV = 0 gäbe, was A = 0 zur Folge hätte. 4 S. BARTELS, 30.10.2013 Symmetrische Matrizen sind stets diagonalisierbar und es existiert eine Orthonormalbasis bestehend aus Eigenvektoren, das heißt es existieren linear unabhängige Eigenvektoren v1 , ..., vn mit kvj k2 = 1 sowie vj · vk = 0 für 1 ≤ j, k ≤ n mit j 6= k. II.D. Konditionszahl. Mit Hilfe des Begriffs der Operatornorm lässt sich die Konditionierung eines linearen Gleichungssystems präzisieren. Theorem II.13. Sei A ∈ Rn×n regulär und seien x, x e, b, eb ∈ Rn so, dass Ax = b, Ae x = eb. Dann gilt kx − x ek kb − ebk ≤ kAkkA−1 k kxk kbk Beweis. Es gilt kx − x ek = kA−1 (b − eb)k ≤ kA−1 kkb − ebk sowie kbk = kAxk ≤ kAkkxk beziehungsweise kxk ≥ kAk−1 kbk. Damit folgt kx − x ek kA−1 kkb − ebk kA−1 kkb − ebk ≤ ≤ , kxk kxk kAk−1 kbk also die behauptete Abschätzung. Definition II.14. Die Konditionszahl einer regulären Matrix A ∈ Rn×n bezüglich der durch die Norm k · k auf Rn induzierten Operatornorm ist definiert durch condk·k (A) = kAkkA−1 k. Im Fall einer `p -Norm schreiben wir condp statt condk·kp . Bemerkung II.15. Ist A symmetrisch mit Eigenwerten λ1 , ..., λn , so gilt maxj=1,...,n |λj | . cond2 (A) = mink=1,...,n |λk | Wir betrachten die Konditionszahl der Matrix aus dem eingehenden Beispiel, in dem Störungen der rechten Seite große Fehler verursachten. 1 1 Beispiel II.16. Die Matrix A = hat die Eigenwerte λ1,2 = 1 1+ε 1 + ε/2 ± (1 − ε)1/2 , das heißt für kleine Zahlen ε gilt λ1 ≈ 2 + ε und λ2 ≈ ε2 /8. Damit folgt cond2 (A) ≈ 16ε−2 , was das empfindliche Verhalten gegenüber Störungen erklärt. Die Konditionszahl misst die Verzerrung einer linearen Abbildung, ist jedoch unabängig von uniformen Skalierungen. Beispiel II.17. Für eine symmetrische Matrix A ∈ R2×2 beschreibt cond2 (A) das Verhältnis der Radien der Ellipse A(N2 (1)).