I)x
Werbung
Mathematische Grundlagen • • • • • • • • Lineare Algebra Matrizenalgebra Einfaches Eigenwertproblem Singulärwertzerlegung Generalisierte Inverse Iterative und numerische Verfahren Differentialrechnung Optimierung Ausgleichungsrechnung I Gerhard Navratil Lineare Algebra Lösen linearer Gleichungen und Gleichungssysteme Werkzeug: Matrizenrechnung Unbekannte Konstante Koeffizienten a11 x18 x1 a121x22 a613x3x315b1 a21 x31 x1 a225x22 a723 x3x3 15b2 a31 x14 x1a329xx22 a233x3x315b3 Ausgleichungsrechnung I Gerhard Navratil Arten von linearen Gleichungssystemen Homogenes Gleichungssystem: alle Konstanten gleich Null Inhomogenes Gleichungssystem: mindestens eine Konstante ungleich Null Beispielsystem: 3 Gleichungen in 3 Unbekannten Mehr Gleichungen als Unbekannte: Überbestimmt Mehr Unbekannte als Gleichungen: Unterbestimmt Ausgleichungsrechnung I Gerhard Navratil Begriff ‚Algebra‘ Abu Ja'far Muhammad ibn Musa AlChwarismi: ‚Hisab al-gabr w'al-muqabala‘ (Wiederherstellen und Zusammenführen) um 800 – Auflösen von Gleichungen lat. Übersetzung: ‚Algoritmi‘ (Algorithmus) Algebra später: Lehre vom Auflösen von Gleichungs- und Ungleichungssystemen Ausgleichungsrechnung I Gerhard Navratil Moderne Algebra Beziehungen mathematischer Größen zueinander – formale Behandlung Lineare Algebra: n-dimensionaler Vektorraum und lineare Transformationen in ihm Algebra auch: mathematische Struktur mit bestimmten Eigenschaften Menge der Matrizen und ihre Operationen sind eine Algebra Ausgleichungsrechnung I Gerhard Navratil Matrizenalgebra Eine (m,n)-Matrix ist eine rechteckige Anordnung von m x n Elementen in m Zeilen und n Spalten. a11 a12 a21 a22 aik am1 am 2 a1n a2 n m A n amn Ausgleichungsrechnung I Gerhard Navratil Dimension einer Matrix Definiert durch Anzahl der Spalten und Zeilen quadratisch, wenn Anzahl der Spalten und Zeilen gleich rechteckig sonst (m,1)-Matrix: Spaltenvektor (1,n)-Matrix: Zeilenvektor (1,1)-Matrix: Skalar Ausgleichungsrechnung I Gerhard Navratil Elemente der Matrix Können Variablen, Zahlen aus C (R, Z, N), Polynome, Matrizen etc. sein Angesprochen über den Index – Zeilenindex: Nummer der Zeile – Spaltenindex: Nummer der Spalte Index: Erst Zeile, dann Spalte angegeben Ausgleichungsrechnung I Gerhard Navratil Gleichungssysteme mit Matrizen Gleichungssystem von vorher: Ax=b • Koeffizientenmatrix A • Unbekanntenvektor x • Konstantenvektor b 8 1 6 15 x1 A 3 5 7 , b 15 , x x2 x 4 9 2 15 3 Ausgleichungsrechnung I Gerhard Navratil Schreibweise von Matrizen Runde und eckige Klammern erlaubt In der Lehrveranstaltung: Eckige Klammern für Matrizen mit Zahlen Blockweise auftretende Nullen oft weggelassen (Lesbarkeit) 1 4 5 2 M 6 3 8 4 0 statt M 0 0 Ausgleichungsrechnung I Gerhard Navratil 0 1 0 5 2 0 0 6 0 0 3 8 Alter der Matrizenschreibweise Albrecht Dürer: ‚Die Melancholie‘ (1514) magisches Quadrat Ausgleichungsrechnung I Gerhard Navratil Submatrizen Jeder Teilblock einer Matrix kann wieder als Matrix aufgefasst werden 8 1 6 P q A 3 5 7 r s 4 9 2 P, q, r, s sind Submatrizen Ausgleichungsrechnung I Gerhard Navratil Spezialformen • Nullmatrix: Alle Elemente gleich Null • Diagonalmatrix: Nur Hauptdiagonale besetzt • Dreiecksmatrix: Dreieck besetzt – obere Dreiecksmatrix R oder U – untere Dreiecksmatrix L • Treppenform: nicht-quadratische Matrizen in Dreiecksform Ausgleichungsrechnung I Gerhard Navratil Symmetrie • Symmetrische Matrix: quadratisch und aij a ji i, j 1...n • Schief-symmetrische Matrix: quadratisch und Elemente der Hauptdiagonale gleich Null aij a ji i, j 1...n Ausgleichungsrechnung I Gerhard Navratil Gleichheit von Matrizen Zwei Matrizen sind gleich, wenn sie • vom gleichen Typ sind (die gleiche Dimension haben) und • alle Elemente gleich sind, also wenn gilt aij bij i 1...m, j 1...n Ausgleichungsrechnung I Gerhard Navratil Spur einer Matrix Nur für quadratische Matrizen Summe der Hauptdiagonal-Elemente abgekürzt mit ‚tr‘ (engl. ‚trace‘) tr A n aii i 1 Ausgleichungsrechnung I Gerhard Navratil Determinante einer Matrix Nur für quadratische Matrizen Berechnet nach Entwicklungssatz von Laplace abgekürzt mit ‚det A‘ oder |A| Minor detA n i 1 aik 1i k Aik n aik 1i k Aik k 1 Submatrix nach Streichen der i-ten Zeile Kofaktor, oder auch und k-ten Spalte, auch Streichungsmatrix algebraisches Komplement Ausgleichungsrechnung I Gerhard Navratil Regeln über Determinanten • Vertauschen zweier Zeilen (Spalten) wechselt das Vorzeichen • Addition (Subtraktion) eines Vielfachen einer Zeile (Spalte) zu einer anderen Zeile (Spalte) lässt die Determinante unverändert • Determinante einer Dreiecks- oder Diagonalmatrix ist das Produkt der HauptdiagonalElemente • verschwindende Determinante: Sind zwei Zeilen (Spalten) gleich oder proportional, so wird det(A)=0 (die Determinante verschwindet) Ausgleichungsrechnung I Gerhard Navratil Reguläre und singuläre Matrizen • Singuläre Matrix: Quadratische Matrix mit verschwindender Determinante – det(A)=0 • Reguläre Matrix: Quadratische Matrix, bei der die Determinante nicht verschwindet Ausgleichungsrechnung I Gerhard Navratil Spezialfälle (2,2)-Matrix a11 a21 a12 a11 a22 a12 a21 a22 (3,3)-Matrix: Regel von Sarrus + + a11 a21 a31 - + - a12 a22 a32 - a13 a11 a23 a21 a33 a31 a12 a22 a32 Ausgleichungsrechnung I Gerhard Navratil Matrizenoperationen • • • • Transposition Addition/Subtraktion Multiplikation mit einem Skalar Multiplikation zweier Matrizen Ausgleichungsrechnung I Gerhard Navratil Transposition Elemente wechseln ihre Position durch Vertauschen des Zeilen- und Spaltenindex Abgekürzt mit AT Spaltenvektor wird zu Zeilenvektor und umgekehrt a a T ij ji i 1...m, j 1...n Ausgleichungsrechnung I Gerhard Navratil Symmetrie und Transposition • Symmetrische Matrix: A AT • Schiefsymmetrische Matrix: A A T Ausgleichungsrechnung I Gerhard Navratil Aufspaltung einer quadratischen Matrix Jede quadratische Matrix kann aufgespalten werden in eine symmetrische und eine schiefsymmetrische Matrix: A B sym C ssym mit 1 B sym A AT 2 1 C ssym A AT 2 Ausgleichungsrechnung I Gerhard Navratil Addition und Subtraktion Elementweises addieren/subtrahieren A B aik bij Addition ist assoziativ Addition ist kommutativ Addition hat Nullelement Transposition einer Summe A B C A B C ABBA A00A A A B T AT BT Ausgleichungsrechnung I Gerhard Navratil Multiplikation Matrix-Skalar Jedes Element wird mit dem Skalar multipliziert A aij aij Es gilt: A A A A A A A A B A B Ausgleichungsrechnung I Gerhard Navratil Matrizenmultiplikation m A n n B p m C p n i i k k k A B ak b j ai b j a b j k 1 Element an Position (i,j) ist Produkt aus Zeilenvektor ai und Spaltenvektor bj Potenzen nur für quadratische Matrizen möglich AB=0 bedeutet, dass mindestens eine Matrix singulär (nicht: Nullmatrix!) Ausgleichungsrechnung I Gerhard Navratil Eigenschaften der Multiplikation Assoziativ: (AB)C = A (BC) Neutrales Element ist Einheitsmatrix I (E) mit I ij ij 1 für i j mit ij 0 für i j Kroneckersymbol Multiplikation mit Einheitsmatrix ist kommutativ Sonst NICHT kommutativ (ABBA) Multiplikation ist distributiv: A(B+C)=AB+AC Ausgleichungsrechnung I Gerhard Navratil Potenzieren von Matrizen A A A p A p q q A pq p q Ausgleichungsrechnung I Gerhard Navratil Skalarmultiplikation Mit Einheitsmatrix kann die Skalarmultiplikation in eine Matrizenmultiplikation rückgeführt werden: A I A Ausgleichungsrechnung I Gerhard Navratil Transponieren von Produkten A B C Z T ZT CT BT AT Ausgleichungsrechnung I Gerhard Navratil Falk‘sches Schema p n D B n C m A B C=AB BCD A Ausgleichungsrechnung I Gerhard Navratil CD ABCD Determinante und Spur von Matrizenprodukten • Determinante einer (n,n)-Matrix: A n A A 1n A AB A B • Spur einer Matrix: tr A tr AT tr A B tr A tr B tr A tr A Ausgleichungsrechnung I Gerhard Navratil A AT Gauß‘sche Transformation NA A Produkt N ist quadratisch, symmetrisch Elemente nij von N: Skalarprodukt der Spalten i und j von A Diagonalelemente positiv (Quadrate!) Matrix positiv definit (bzw. semidefinit wenn auch Null in Hauptdiagonale) T PA A PA Auch für Produkte möglich: T Ausgleichungsrechnung I Gerhard Navratil Positiv definit Alle Subdeterminanten, die durch Streichung der letzten k Zeilen und Spalten entstehen (Minoren) sind 0 Hinweise auf positive definite Matrix: – – – – – Diagonalelemente positive reelle Zahlen Jede Untermatrix ist positiv definit Spur, Determinante und Minoren positiv A+B positiv definit, wenn A und B positiv definit Symmetrische Matrix mit positiven Eigenwerten ist positiv definit Ausgleichungsrechnung I Gerhard Navratil Orthogonale Matrizen Quadratische Matrix Skalarprodukt aus beliebigen Spaltenvektoren (Zeilenvektoren) ist 0 oder 1 orthonormal Es gilt QT Q I bzw. QT Q 1 Determinante ist ±1 Determinante +1: eigentlich orthogonal Determinante -1: uneigentlich orthogonal Multiplikation orthogonaler Matrizen ist kommutativ QT Q QQT I Ausgleichungsrechnung I Gerhard Navratil Inversion Inverse Matrix (Kehrmatrix) von A ist 1 1 definiert über AA A A I Matrix A quadratisch mit Determinante 0 Inverse ist eindeutig 1 * 1 A det A A A*: Adjungierte Matrix zu A, transponierte Matrix der Kofaktoren von A Ausgleichungsrechnung I Gerhard Navratil Inversion einer (2,2)-Matrix a b 1 d b 1 A A det A c a c d Ausgleichungsrechnung I Gerhard Navratil Weitere Regeln 1 orthogonale Matrizen A A A symmetrisch A-1 symmetrisch A Diagonalmatrix A-1 Diagonalmatrix mit qii 1 T aii Diagonalmatrix mit weiterer Zeile/Spalte aij 1 q , q ii besetzt aii ij aii a jj Ausgleichungsrechnung I Gerhard Navratil Submatrizen p Pp p Q s A s R p s Ss ~ ~ P Q p s 1 p p A ~ ~ s R p s Ss ~ 1 1 P P QS R 1 ~ Q P QS1R QS1 ~ 1 1 1 R S R P QS R ~ S S 1 S 1R P QS1R Ausgleichungsrechnung I Gerhard Navratil QS 1 1 Spezialfälle von Submatrizen A B 0 C 1 A 1 A 1BC1 1 C 0 1 A 1 0 A 0 1 0 B 0 B 1 I 0 I 0 D I D I Ausgleichungsrechnung I Gerhard Navratil Neumann‘sche Reihe Matrizeninversion kann auch über Reihenentwicklung berechnet werden: I A 1 I A A A A 2 3 4 Beweis: Von links mit (I+A) multiplizieren Konvergenz, wenn Ai bei wachsendem i gegen Nullmatrix strebt Ausgleichungsrechnung I Gerhard Navratil Auflösen von Gleichungssystemen Gegeben: Ax=b Multiplikation von links mit A-1: A-1Ax= A-1b ergibt: (I)x= A-1b Voraussetzungen: Anzahl der Zeilen in A = Anz. Zeilen in b Anzahl der Spalten in A = Anz. Zeilen in x A invertierbar (quadratisch, Determinante Null) Ausgleichungsrechnung I Gerhard Navratil Auflösung wenn nicht quadratisch Gauß‘sche Transformation: Multiplikation von links mit AT: ATAx=ATb Auch: Normalgleichungen Jetzt quadratisch und symmetrisch, wenn regulär ist das System lösbar Abkürzung N=ATA Normalgleichungsmatrix Ausgleichungsrechnung I Gerhard Navratil Lineare Abhängigkeit • Vektorrechnung: Ein k-Tupel von Vektoren heißt linear abhängig wenn gilt k li xi 0 i 1 mit (l1, …, ln) 0 • Matrizenrechnung: Lineare Abhängigkeiten zwischen Zeilenvektoren bzw. Spaltenvektoren Ausgleichungsrechnung I Gerhard Navratil Rang Rang: Anzahl der linear unabhängigen Vektoren – rank(A) Zeilen- und Spaltenrang sind immer gleich Es gilt: rank(A)=rank(AT) Ausgleichungsrechnung I Gerhard Navratil Rangdefekt Anzahl der linearen Abhängigkeiten: Rangdefizit oder Rangdefekt d rank(A)=n-d Ausgleichungsrechnung I Gerhard Navratil Rang einer Matrix Maximaler Rang einer (n,n)-Matrix: n Dann: d = 0 (voller Rang) und det(A) 0 Also: Matrix invertierbar! Wenn d > 0, dann det(A) = 0 Maximaler Rang einer (n,m)-Matrix: min(n,m) Ausgleichungsrechnung I Gerhard Navratil Rang bei Gleichungssystemen Gleichungssystem Ax=b (n,n)-Matrix A muss Rang n haben Zusätzlich: rank(A)=rank(A,b) Ausgleichungsrechnung I Gerhard Navratil Bestimmung des Ranges (1) Gauß‘scher Algorithmus: Man bringt die Matrix auf Treppen-(Dreiecks-)Form Erlaubte elementare Umformungen: – Vertauschen von Zeilen/Spalten – Multiplizieren mit Skalar – Addieren einer mit einem Skalar multiplizierten Zeile/Spalte zu einer anderen Zeile/Spalte Ausgleichungsrechnung I Gerhard Navratil Bestimmung des Ranges (2) Zeilen/Spalten, die das Vielfache anderer Zeilen/Spalten sind, werden eliminiert Anzahl der nicht verschwindenden Zeilen/ Spalten ist der Rang Verschwindende Zeilen: Nullen in Hauptdiagonale Determinante wird Null Algorithmus auch zur Lösung von Gleichungssystemen verwendbar Ausgleichungsrechnung I Gerhard Navratil Elementare Umformungen Sind auch über Matrizenmultiplikationen möglich: z.B. Vertauschung von Zeilen 0 1 0 8 1 6 3 5 7 1 0 0 3 5 7 8 1 6 0 0 1 4 9 2 4 9 2 J ik A Ausgleichungsrechnung I Gerhard Navratil A neu Gauß-Jordan-Verfahren Basiert auf Gauß‘schem Algorithmus Nur Umformungen der Zeilen Ziel ist Zeilennormalform: – Elemente unterhalb der Hauptdiagonale Null – Erstes nicht verschwindendes Element jeder Zeile Eins – Oberhalb dieser nicht verschwindenden Elemente stehen nur Nullen Ausgleichungsrechnung I Gerhard Navratil Vorgangsweise Zeile durch diesen Wert dividieren 0 0 0 0 0 1x 0x 0x 0x 0 0x 1x 0x 0x 0 0x 0x 1x 0x 0 0x 0x 0x 11x Zeilen vertauschen größtes Element (Pivotelement) Erste vom Nullvektor verschiedene Spalte Ausgleichungsrechnung I Gerhard Navratil Hinweis Gauß-Jordan-Verfahren kann auch zur Matrizeninversion verwendet werden Beginn: A|I Umwandlung der Matrix A, wobei jede Umformung auf beide Matrizen angewendet wird Resultat: I | A-1 Ausgleichungsrechnung I Gerhard Navratil Einfaches Eigenwertproblem (1) Quadratische Matrix A, gesucht sind die Vektoren x, für die gilt Ax=lx mit dem Skalar l Umgeformt: (A-lIx=0 (charakteristische Gleichung) Annahme: (A-lI ist invertierbar: (A-lI1(A-lIx=(A-lI10 x=0 triviale Lösung Ausgleichungsrechnung I Gerhard Navratil Einfaches Eigenwertproblem (2) Nicht-triviale Lösungen, wenn (A-lI singulär, also det(A-lI=0 charakteristische Determinante von A Ausgleichungsrechnung I Gerhard Navratil Eigenwertproblem allgemeine Form des Eigenwertproblems: Ax=lBx (für uns nicht wichtig) Außerdem existiert jeweils eine zweite Art (Multiplikation mit dem Vektor von links) Für uns ist bei Eigenwertproblem immer das einfache Eigenwertproblem erster Art gemeint Ausgleichungsrechnung I Gerhard Navratil Eigenwerte Lösung der charakteristischen Gleichung für eine (n, n)-Matrix liefert n Werte l1 bis ln (Eigenwerte) Eigenwerte im Allgemeinen konjugiert komplex n ungerade: mindestens ein reeller Eigenwert einfache, zweifache und mehrfache Eigenwerte Ausgleichungsrechnung I Gerhard Navratil Kontrolle der Eigenwerte detA n li i 1 tr A n li i 1 Ausgleichungsrechnung I Gerhard Navratil Weitere Eigenschaften det(A)=0 mindestens ein Eigenwert gleich Null Rangdefizit d d Eigenwerte gleich Null Die Eigenwerte einer Dreiecks- oder Diagonalmatrix sind die Hauptdiagonalelemente A und AT haben dieselben Eigenwerte A, li An, (li) n (speziell: Inverse!) A, li A+cI, li+c; cA, cli Ausgleichungsrechnung I Gerhard Navratil Eigenvektoren Zu den Werten l gehörende nicht triviale Lösungen für x Eigenvektor zum Eigenwert l Da (A-liI singulär, ist der Eigenvektor nicht eindeutig! Rangdefizit von 1: Eigenrichtung (Vektor auf Länge 1 bringen um einheitliche Lösung zu erhalten – Normieren liefert Eigenvektor) Rangdefizit >1: Entsprechende Anzahl linear unabhängiger Eigenrichtungen Ausgleichungsrechnung I Gerhard Navratil Begriffe Menge aller Eigenwerte: Spektrum der Matrix Betragsmäßig größter Eigenwert: Spektralradius Eigenwerte werden in Spektralmatrix L zusammengefasst (Diagonalmatrix) Eigenvektoren als Spaltenvektoren in Modalmatrix X zusammengefasst Ausgleichungsrechnung I Gerhard Navratil Eigenschaften von L und X A = XLX-1 (Eigenwertzerlegung) X-1AX = L (Hauptachsentransformation) AX = XL A und L sind ähnliche Matrizen: Es gibt eine Matrix U für die gilt: A = U-1LU oder allgemein: S = U-1RU (Ähnlichkeitstransformation) A symmetrisch X orthogonal A = XLXT und XTAX = L Ausgleichungsrechnung I Gerhard Navratil Weitere Eigenschaften Ist A eine Diagonalmatrix, so gilt L = A und X = I A und Am haben dieselben Eigenvektoren Bei einer symmetrischen Matrix A gilt: A2 = ATA, die Matrix ATA hat dieselben Eigenvektoren, die Eigenwerte sind die Quadrate der Eigenwerte von A Ausgleichungsrechnung I Gerhard Navratil Geometrische Interpretation Darstellung einer Ellipse ist möglich mit x a b x 1 bzw. xT Ax 1 y c d y Eigenvektoren von A: Richtung der Haupt- und Nebenachse Eigenwerte von A: Länge von Haupt- und Nebenachse Modalmatrix dreht die Ellipse in Hauptlage Ausgleichungsrechnung I Gerhard Navratil Singulärwertzerlegung Ähnlich der Eigenwertzerlegung Auch für rechteckige Matrizen definiert Die (m,n)-Matrix A zerlegen wir in – eine orthogonale (m,m)-Matrix U, – eine orthogonale (n,n)-Matrix V und – eine (m,n)-Diagonalmatrix S. Bedingung für die Zerlegung: A = USVT Ausgleichungsrechnung I Gerhard Navratil Bestimmung der Matrizen (1) Gauß‘sche Transformation T T T A A USV USV T VST UT USV T Weil U orthogonal gilt UTU=I Mit der Abkürzung D=STS=S2 erhalten wir AT A VDV T Rechter Teil entspricht formal einer Eigenwertzerlegung von ATA. Ausgleichungsrechnung I Gerhard Navratil Bestimmung der Matrizen (2) Somit D Diagonalmatrix mit Eigenwerten von ATA. S hat die Wurzeln der Eigenwerte in der Hauptdiagonale, mit Nullen aufgefüllt zur richtigen Dimension V aus Eigenvektoren von ATA. U über AAT=USVT(USVT)T=USSTUT Singular Value Decomposition (SVD) D=SST=S2 Ausgleichungsrechnung I Gerhard Navratil Inversion singulärer Matrizen (Generalisierte Inverse) Moore-Penrose Inverse A A A A AA AA T T A AA A AA A A Bestimmung über Singulärwertzerlegung: Da nur für reguläre Matrizen (li0) möglich, Eigenwerte gleich Null gestrichen Ausgleichungsrechnung I Gerhard Navratil Numerische Lösung Bisher gesehene Verfahren und Formeln sehr rechenintensiv und fehleranfällig Im Allgemeinen sollte auf vorhandene, getestete Programme zurückgegriffen werden Im Weiteren einige wichtige Methoden Ausgleichungsrechnung I Gerhard Navratil Lösung von Gleichungssystemen • • • • • Eliminationsverfahren nach Gauß Eliminationsverfahren nach Gauß-Jordan LU-Verfahren Cholesky-Verfahren Gauß-Seidel-Verfahren Ausgleichungsrechnung I Gerhard Navratil Eliminationsverfahren nach Gauß Koeffizientenmatrix durch elementare Umformungen in Dreiecks- oder Treppenform bringen liefert eine Unbekannte Rückwärtseinsetzen in das umgeformte Gleichungssystem Ausgleichungsrechnung I Gerhard Navratil Eliminationsverfahren nach GaußJordan Koeffizientenmatrix durch elementare Umformungen in Zeilennormalform gebracht Direkte Ermittlung der Unbekannten Ausgleichungsrechnung I Gerhard Navratil LU-Verfahren (LR-Verfahren) Lower-Upper-Decomposition (n,n)-Matrix A in obere (U) und untere (L) Dreiecksmatrix zerlegt: A = LU Ax = (LU)x = L(Ux) = b Ly = b Vorteil: Zerlegte Matrix A kann mit jedem Konstantenvektor b ohne neuerliche Auflösung verwendet werden Ausgleichungsrechnung I Gerhard Navratil Cholesky-Verfahren Anwendung des LU-Verfahrens auf symmetrische, positiv definite Matrizen aik u1i u1k u2i u2 k ui 1,i ui 1,k A = UTU uik uii u aii u u u 2 ii 2 1i Ax = b Ux = s mit 2 2i bi si i 1 uik sk k 1 uii Ausgleichungsrechnung I Gerhard Navratil 2 i 1,i Partielle Reduktion mit dem Cholesky-Verfahren (1) Ax = b aufgespaltet in A11x1 + A12x2 = b1 A21x1 + A22x2 = b2 Erlaubt Aufspaltung der Dreiecksmatrix in U11 U12 U 0 U 22 Ausgleichungsrechnung I Gerhard Navratil Partielle Reduktion mit dem Cholesky-Verfahren (2) Aus A = UTU können wir ableiten: T U11U11 T U11U12 T U12 U12 A11 A12 UT22 U 22 A 22 Ausgleichungsrechnung I Gerhard Navratil Partielle Reduktion mit dem Cholesky-Verfahren (3) T U11 U11 A11 I : A11x1 A12 x2 b1 T U11 U12 A12 II : A 21x1 A 22 x2 b 2 T U12 U12 UT22 U 22 A 22 U11x1 U12 x2 T 1 U11 T 1 U11 b1 s1 A(22p ) x 2 b(2p ) mit 1 A(22p ) A 22 A 21A11 A12 1 b(2p ) b 2 A 21A11 b1 Ausgleichungsrechnung I Gerhard Navratil 1 II A 21A11 I Gauß-Seidel-Verfahren Schwach besetzte Matrix: An vielen Stellen Null Iterative Verfahren gut geeignet z.B. Gauß-Seidel-Verfahren Näherungslösung so lange verbessert, bis gewünschte Genauigkeit erreicht Nachteil: Iteration nicht immer konvergent Ausgleichungsrechnung I Gerhard Navratil Bestimmung von Eigenwerten und –Vektoren • QR-Algorithmus – Zerlegung in orthogonale Matrix Q und Dreiecksmatrix R A = QR, Iteration Ak+1 = RkQk, Hauptdiagonalelemente von Ak kovergieren zu Eigenwerten • Jacobi-Verfahren – Symmetrische Matrix wird näherungsweise in eine Diagonalmatrix übergeführt (Eigenwerte in Hauptdiagonale) Ausgleichungsrechnung I Gerhard Navratil Matrixnorm Reelle Funktion der Elemente mit der Eigenschaft ||A||0 mit ||A|| = 0 für A=0 cA c A AB A B AB A B … für quadratische Matrizen Unterschiedliche Normen vorhanden Ausgleichungsrechnung I Gerhard Navratil Wichtige Matrixnormen • Frobenius/Schur-Norm (Euklidische Norm) A F m n aik 2 i 1k 1 • Spektral-/Hilbert-Norm A S max maximaler Eigenwert Ausgleichungsrechnung I Gerhard Navratil Gestörte Gleichungssysteme Störung eines Gleichungssystems durch kleine Abweichungen eines oder mehrerer Parameter A Ax x b b Frage: Wie wirken sich die Störungen auf die Lösung aus? Ausgleichungsrechnung I Gerhard Navratil Beispiel 1 a x 1 , a R, a 1 a 1 y 0 1 a x0 , y 0 1 a2 1 a2 gestörtes System: 1 a x 1 , a R, a 1 a 1 y 1 a a x , y 1 a2 1 a2 Differenz: x x0 a , 2 1 a y y0 1 1 a2 Bei a nahe 1 wirkt sich ein geringer Fehler bereits stark aus! Ausgleichungsrechnung I Gerhard Navratil Allgemeine Behandlung x A A 1 Bestimmung von b Ax x x Ergebnis: Für kleine Störungen wird der relative Fehler um den Faktor A 1 A verstärkt. Gut konditioniert: kleine Eingangsfehler bewirken kleine Ergebnisfehler Kondition kkleine Matrix A Schlecht konditioniert: p der Eingangsfehler bewirken unverhältnismäßig große Ergebnisfehler Ausgleichungsrechnung I Gerhard Navratil Kondition einer Matrix k(A)1 Große Konditionszahl weist auf unangenehme numerische Eigenschaften der Matrix hin eventuell Probleme beim Auflösen des Gleichungssystems Singuläre Matrizen erhalten k= Symmetrische Matrizen: k(A)=|lmax|/|lmin| Ausgleichungsrechnung I Gerhard Navratil Differentialrechnung Funktion: Abbildung xf(x) f ( x) f ( x x) f ( x ) mit x x x Differenzenquotient: x x Steigung der Sekante im Intervall [x,x0] Differentialquotient (erste Ableitung) 0 f ' ( x) lim h 0 f ( x0 h) f ( x0 ) h 0 Steigung der Funktion im Punkt x Lineare Funktionen: Steigung und Sekante in jedem Punkt gleich Ausgleichungsrechnung I Gerhard Navratil 0 Rechenregeln • • • • • • Konstantenregel c' 0 (c f ( x))' c f ' ( x) Faktorregel n n 1 ( x )' n x Potenzregel f ( x) g ( x) ' f ' ( x) g ' ( x) Summenregel Produktregel f ( x) g ( x) ' f 'g f g ' Quotientenregel f ( x) f 'g f g ' ' 2 g ( x ) g • Kettenregel f ( g ( x)) ' f ' ( g ( x)) g ' ( x) Ausgleichungsrechnung I Gerhard Navratil Numerische Differentiation Wenn analytische Ableitung aufwendig Differentialquotient durch Differenzenquotient angenähert f ( x h) f ( x ) f ' ( x) h oder (numerisch besser) f ( x h) f ( x h) f ' ( x) 2h mit 10-8h 10-4 Ausgleichungsrechnung I Gerhard Navratil Höhere Ableitungen Zweite Ableitung: Erste Ableitung der ersten Ableitung – f‘‘(x)=(f‘(x))‘ Ebenso dritte Ableitung etc. Allgemein: f (n) n d f ( x) ( x) n dx Ausgleichungsrechnung I Gerhard Navratil Taylorreihe (1) Approximation durch Potenzreihen z.B. f ( x) n f (k ) ( x0 ) x x0 k Rn ( x) k 0 k! n-tes Taylorpolynom Funktionswerte einer differenzierbaren Funktion f in der Umgebung der Stelle x0 näherungsweise berechenbar unendliche Potenzreihe (n ): Taylorreihe Ausgleichungsrechnung I Gerhard Navratil Taylorreihe (2) Auch geschrieben als 1 1 ( n) 2 f ( x0 x) f ( x0 ) f ' ( x0 )x f ' ' ( x0 )x f ( x0 )x n 2! n! Voraussetzung: Funktion (n+1)-fach differenzierbar Entwicklung um x0=0: Maclaurin-Formel Beispiele: Sinus-/Cosinusentwicklung Ist x klein: Abbruch nach ersten beiden Gliedern - Linearisierung Ausgleichungsrechnung I Gerhard Navratil Funktionen in mehreren Variablen Abbildung, die jedem Vektor x eine (reelle) Zahl f(x) zuordnet Funktion in n Variablen entsprechend der Dimension des Vektors Ausgleichungsrechnung I Gerhard Navratil Partielle Ableitungen Alle Parameter außer xi einer Funktion in n Variablen als Konstante angesehen Ableitung nach diesem Parameter heißt partielle Ableitung (erster Ordnung) nach xi an der Stelle x Analog partielle Ableitungen höherer Ordnung Ausgleichungsrechnung I Gerhard Navratil Totales Differential Totales Differential der Funktion f an der Stelle x: f ( x) f ( x) f ( x) df dx1 dx2 dxn x1 x2 xn Ausgleichungsrechnung I Gerhard Navratil Taylorentwicklung für Funktion in zwei Variablen f ( x0 , y0 ) 1 f ( x0 , y0 ) f ( x0 x, y0 y ) f ( x0 , y0 ) x y 1! x y f ( x0 , y0 ) 1 f ( x0 , y0 ) x y 2! x y ( 2) f ( x0 , y0 ) 1 f ( x0 , y0 ) x y n! x y (n) Rn Wobei die Klammerausdrücke nach dem binomischen Lehrsatz aufzulösen sind: n nk k a b a b k k 0 n n und folgendes gilt: f x p f y m p m f p m p x y Ausgleichungsrechnung I Gerhard Navratil Linearisieren einer Funktion in mehreren Variablen Taylorentwicklung Abbruch nach der ersten Ableitung Anwendbar nur in einer entsprechend kleinen Umgebung um x0 (Glieder höherer Ableitungen vernachlässigbar klein) Ausgleichungsrechnung I Gerhard Navratil Differentiation von Matrizenfunktionen Formal gleich bzw. ähnlich den gewöhnlichen Differentiationsregeln Hier nur für Ausgleichung wichtige Fälle Differentialvektor: dxT=(dx1 dx2 … dxn) f=aTx df=aTdx Ausgleichungsrechnung I Gerhard Navratil Ableitung der Bilinearform Bilinearform: Produkt der Form Zeilenvektor-Matrix-Spaltenvektor f=xTAl df = dxTAl = lTATdx Sonderfall: Vektoren identisch – Quadratische Form f=xTAx df = dxTAx + xTAdx = xT(AT+A)dx Symmetrische Matrizen: df = 2xTAdx Ausgleichungsrechnung I Gerhard Navratil Optimierung Festlegung von Parametern so, dass eine Funktion der Parameter einen extremen Wert annimmt (Maximum oder Minimum) z.B. kürzester Weg zwischen zwei Punkten, maximale Fläche bei gegebenem Umfang Eindimensionaler Fall: Erste Ableitung gleich Null setzen – liefert Extremwert Mehrdimensionaler Fall: Ersten partiellen Ableitungen gleich Null gesetzt Ausgleichungsrechnung I Gerhard Navratil Unterscheidung MaximumMinimum Zweite Ableitung Bei Funktion in mehreren Variablen: Hesse2 2 f Matrix f 2 x1x2 x1 2 f • positiv definit: Minimum 2 f H 2 x2x1 x2 (alle Eigenwerte positiv) • negativ definit: Maximum (alle Eigenwerte negativ) Ausgleichungsrechnung I Gerhard Navratil Nebenbedingungen Gesucht: lokale Extrema von f(x1…xn), Bedingung g(x1…xn) muss erfüllt sein • f Zielfunktion • g Nebenbedingung Ausgleichungsrechnung I Gerhard Navratil Beispiel (1) f(x1,x2)=x12+2x22 g(x1,x2)=x1+x2-3=0 Lösung: x1 in g durch x2 ausdrücken und in f einsetzen – liefert quadratische Gleichung in einer Unbekannten Diese einfache Lösung nicht immer möglich! Ausgleichungsrechnung I Gerhard Navratil Beispiel (2) Graphische Lösung: Nebenbedingung berührt Niveaulinie Ausgleichungsrechnung I Gerhard Navratil Beispiel (3) Mathematisch: Nebenbedingung und Niveaulinie in diesem Punkt parallel Somit: Gradienten von f und g haben gleiche Richtung: f (a) lg (a) bzw. f (a) lg (a) 0 Ausgleichungsrechnung I Gerhard Navratil Beispiel (4) Somit erhalten wir das Gleichungssystem f g l 0 x1 x1 f g l 0 xn xn g x1,, xn 0 Ausgleichungsrechnung I Gerhard Navratil Beispiel (5) Formal gleiche Lösung: Lagrange-Funktion L x1,, xn , l f x1,, xn l g x1,, xn Lagrange-Multiplikator Ableitung der Lagrange-Funktion nach allen Variablen x1, …, xn und l und gleich Null setzen liefert dasselbe Gleichungssystem wie vorher. Ausgleichungsrechnung I Gerhard Navratil Zusammenfassung (1) Gleichungssysteme können mit Matrizen einfach angeschrieben und behandelt werden Eigenschaften durch Kennzahlen beschrieben (Determinante, Rang, etc.) Linearisieren von Funktionen geschieht mit Taylorreihen Zum Optimieren mit Nebenbedingungen nimmt man die Lagrange-Funktion Ausgleichungsrechnung I Gerhard Navratil Zusammenfassung (2) Vorsicht bei numerischen Problemen: Die Hälfte aller vom Computer darstellbarer Zahlen liegt zwischen -1 und 1 Schlechte Numerik kann den Rechengang empfindlich stören, daher die Ergebnisse IMMER kritisch hinterfragen Ausgleichungsrechnung I Gerhard Navratil
