Document
Werbung
Robuste Schätzung • Einführung • Schätztheorie • Ansätze für robuste Schätzer – Herleitung einer Schätzfunktion – Klassen von Schätzfunktionen Ausgleichungsrechnung II Gerhard Navratil Methode der kleinsten Quadrate Eigenschaften – Größte Wahrscheinlichkeit für ausgeglichene Werte – Erwartungstreue Beliebt weil Schätzer linear einfach zu handhaben Nachteil: Anfällig für grobe Fehler Ausgleichungsrechnung II Gerhard Navratil Annahme bei der Methode der kleinsten Quadrate Fehler der Beobachtungen normalverteilt Annahme getroffen aufgrund des zentralen Grenzwertsatzes Gilt nur wenn (idealerweise) – Frei von groben Fehlern – Keine systematischen Einflüsse Meist nicht in vollem Umfang gegeben! Ausgleichungsrechnung II Gerhard Navratil Beispiel (1) von nach s 1 X 282,844 2 X 223,603 3 X 199,998 4 X 223,608 5 X 282,842 200m 5 Festpunkte, jeweils Strecke zu Neupunkt gemessen X 100m 2 1 3 4 5 Pkt y X X -0,0006 199,9989 Ausgleichungsrechnung II Gerhard Navratil Beispiel (2) Einführen eines groben Fehlers Strecke 1 – X statt 282,844m neu 292,844m (10m-Fehler) von nach v [mm] 1 X -5042 2 X 4018 3 X 1965 4 X -503 5 X 2182 Pkt y X X 5,0502 201,9631 Pkt y X X -0,0006 199,9989 Vorher: Ausgleichungsrechnung II Gerhard Navratil Beispiel: Was fällt auf? Grober Fehler (10m) verursacht Fehler in ausgeglichenen Koordinaten von 5m (y) und 2m (x) Generell große Verbesserungen (nicht nur bei Seite 1-X) Dieses Beispiel: Nur ein grober Fehler – Elimination der Beobachtung aufgrund Verbesserungen möglich Ausgleichungsrechnung II Gerhard Navratil Ursache für Versagen? Voraussetzung für Funktionieren von Methode der kleinsten Quadrate war Normalverteilung der Beobachtungen Grobe Fehler nicht normalverteilt Ausgleichungsrechnung II Gerhard Navratil Wünschenswert wäre Klare Abtrennung grober Fehler Notwendig: Verbesserung bei groben Fehlern korrigiert diesen Fehler ganz/fast Also: Ergebnis nur von ‚korrekten‘ Beobachtungen beeinflusst! Methoden, bei denen das passiert: Robuste Schätzer z.B. Median Ausgleichungsrechnung II Gerhard Navratil Eigenschaften für robuste Schätzer • Verteilungsrobust: Fehler im stochastischen Modell sollen wenig stören • Datenrobust: Gute Ergebnisse bei groben Fehlern in Datenmaterial • Modellrobust: Ergebnis hauptsächlich von ‚guten‘ Daten beeinflusst • Hohe Trennfähigkeit: Grobe Fehler sollen an Verbesserungen erkennbar sein • Optimale Ergebnisse: Ergebnisse sollen der Methode der kleinsten Quadrate entsprechen Ausgleichungsrechnung II Gerhard Navratil Fortsetzung Beispiel (1) Lösung des Beispiels mit Least Median Square (LMS): Alle eindeutigen Lösungen bestimmt, Median der Verbesserungsquadrate, Minimum gibt Lösung 10 Lösungen, Lösung mit minimalem Pkt y X Median ist X -0,0056 199,9985 Pkt y X X -0,0006 199,9989 Vorher: Ausgleichungsrechnung II Gerhard Navratil Fortsetzung Beispiel (2) Ergebnis unterscheidet sich kaum von Lösung ohne groben Fehler Falsche Beobachtung (1 von 5 = 20%) hat keinen Einfluss von nach v [mm] Verbesserungen: 1 X -10006,3 Fehler leicht zu 2 X 0,0 3 X 0,5 finden! 4 X 0,0 5 X 3,6 Ausgleichungsrechnung II Gerhard Navratil Fortsetzung Beispiel (3) Weitere Methode (siehe Kraus Photogrammetrie Bd. 2): Iterative Ausgleichung mit Kehrwerten der Verbesserungen als Gewichten 1. von nach p v [mm] 2. von nach p v [mm] 1 X 1 -5042 1 X 0,198 -6307 2 X 1 4018 2 X 0,249 3081 3 X 1 1965 3 X 0,509 1658 4 X 1 -503 4 X 1,985 -117 5 X 1 -2182 5 X 0,458 -1352 Ausgleichungsrechnung II Gerhard Navratil Fortsetzung Beispiel (4) Einfluss der grob falschen Beobachtung wird immer geringer Verbesserung wird größer Nach der 17. Iteration: Lösung ändert sich von nach v [mm] nicht mehr Pkt y X 1 X -9995,8 X 0,0043 200,0035 2 X 8,8 3 X 5,5 4 X 0,0 5 X 0,2 Ausgleichungsrechnung II Gerhard Navratil Schätztheorie Schätzfunktion + Eigenschaften Einflussfunktion: Misst Einfluss einer Änderung im Parametervektor auf die Schätzfunktion Verlustfunktion: Abweichung der Schätzfunktion vom optimalen Ergebnis Ausgleichungsrechnung II Gerhard Navratil Schätzfunktion Funktion, die den gesuchten Parameter aus den Beobachtungen ableitet Beobachtungsgleichungen Schätzwert für unbekannten Parameter Tn Tn t X 1 , X 2 ,, X n Anhand dieses Schätzwertes Untersuchung der Eigenschaften der Schätzfunktion Ausgleichungsrechnung II Gerhard Navratil Einflussfunktion (1) Überlegung: Gegeben (n-1) Zufallsvariablen Xi mit empirischer Verteilung Fn-1 und Schätzfunktion Tn1 T Fn1 tn1 X 1 , X 2 ,, X n1 Hinzufügen einer weiteren Zufallsvariable: Tn T Fn tn X 1 , X 2 ,, X n n 1 1 Fn Fn 1 x n n Ausgleichungsrechnung II Gerhard Navratil Einflussfunktion (2) Differenz der Schätzfunktionen Tn-1 und Tn multipliziert mit Anzahl der Zufallsvariablen Sensibilitätskurve SC Beschreibt den Effekt des Hinzufügens einer Beobachtung auf die Schätzfunktion SCn 1 1 n 1 T Fn 1 x T Fn 1 n n nTn Tn 1 1 n n ∞, also 1/n=e: Einflussfunktion IF IF x; T ; F T 1 e F e x T F e Ausgleichungsrechnung II Gerhard Navratil Einflussfunktion (3) Misst Effekt einer infinitesimalen Änderung in den Daten auf den Schätzer Theoretisch strenges aber abstraktes Maß Grobe Fehler: Nur Schätzfunktion mit beschränktem Einfluss kann robust sein Typen von Schätzfunktionen: – Monoton, unbeschränkt: arithmetisches Mittel – Monoton, beschränkt: Median – Beschränkt mit Sprung auf 0: Arithmetisches Mittel mit Verwerfungsregel – Beschränkt mit stetigem Übergang auf 0: HampelSchätzer Ausgleichungsrechnung II Gerhard Navratil Einflussfunktion (4) Aus: Wicki (1999) Robuste Schätzverfahren für die Parameterschätzung in geodätischen Netzen, S. 36 Ausgleichungsrechnung II Gerhard Navratil Verlustfunktion r Verbesserungen: lˆ l v erfüllen funktionales Modell Schätzfunktion für Verbesserungen notwendig Verlustfunktion r(v): Abweichung der Schätzfunktion vom optimalen Ergebnis 2 r v v Gauß‘sche Verlustfunktion i i Methode der kleinsten Quadrate s Ls-Norm-Schätzer: r vi vi Ausgleichungsrechnung II Gerhard Navratil Konsistenz Schätzfunktion Tn für Parameter t ist konsistent, wenn Tn bei wachsendem n gegen t konvergiert Also: Je größer die Stichprobe desto sicherer die Schätzung Ausgleichungsrechnung II Gerhard Navratil Erwartungstreue Erwartungstreu: Erwartungswert ist gleich dem zu schätzenden Parameter, also E Tn E t X 1 , X 2 ,, X n t Muss unabhängig von der Anzahl der Realisierungen gelten Bias: B E Tn t Bias bei erwartungstreuen Schätzern gleich Null Ausgleichungsrechnung II Gerhard Navratil Bruchpunkt Grenzwert für den Prozentsatz grob falscher Beobachtungen vor Verlust der Erwartungstreue Bruchpunkt 10%: bis zu 10% der Beobachtungen dürfen falsch sein und das Ergebnis ist noch korrekt Arithmetisches Mittel, Methode der kleinsten Quadrate: Bruchpunkt 0% Maximal möglicher Wert: 50% (Median, LMS) Voraussetzung: Keine Hebelbeobachtungen Angabe in Geodäsie nicht möglich (außer 0%) Ausgleichungsrechnung II Gerhard Navratil Effizienz (1) Schätzvarianz V Tn E Tn t Maß für die Streuung der Schätzfunktion um den Erwartungswert möglichst klein! Effizienz: Verhältnis zwischen kleinstmöglicher Schätzvarianz und Schätzvarianz der verwendeten Schätzfunktion Vmin Tn eTn V Tn Ausgleichungsrechnung II Gerhard Navratil 2 Effizienz (2) Praktische Anwendungen: Möglichst hohe asymptotische Effizienz, also lim eTn 1 n Oft nur relative Effizienz erreichbar – relativ effizient, wenn Schätzvarianz kleiner als die anderer Schätzfunktionen Ausgleichungsrechnung II Gerhard Navratil Suffizienz Suffizient, wenn alle relevanten Informationen der Stichprobe verwendet werden Nicht gegeben, wenn bestimmte Informationen nicht einfließen z.B. Punkt durch 3 Strecken bestimmt, Lösung nur aus 2 Strecken berechnet Ausgleichungsrechnung II Gerhard Navratil Hebelbeobachtung (1) Daten, die geometrisch weit entfernt von der Masse der übrigen Daten liegen Bsp: Ausgleichende Gerade Ausgleichungsrechnung II Gerhard Navratil Hebelbeobachtung (2) Beobachtungsgleichungen bei Qll=I: v=Ax-l L2-Norm liefert 1 T T v A A A A l l 1 T T AA A A l l H I l Projektionsmatrix (Hatmatrix) H Kofaktoren der Verbesserungen: Qvv=I-H Ausgleichungsrechnung II Gerhard Navratil Hebelbeobachtung (3) Für die Spur vonn Qvv gilt: n trQ vv trI H 1 hii n hii n u i 1 i 1 Spur gleich Rang idempotente Matrix Für die Redundanzanteile gilt n n tr Q vv qvv ii n u ri i 1 i 1 Also Bezug Redundanzanteil – Geometrie ri qvv ii 1 hii Ausgleichungsrechnung II Gerhard Navratil Hebelbeobachtung (4) Wert von hii groß (nahe bei 1) Hebelbeobachtung Beobachtung mit kleiner Redundanz (nur schwach kontrolliert) Hebelbeobachtung „Gute“ Hebelbeobachtungen haben einen starken positiven Einfluss auf das Ergebnis der Schätzung Aber: Fehler nur schwer lokalisierbar Ausgleichungsrechnung II Gerhard Navratil Behandlung von Hebelbeobachtungen • Optimierung der Beobachtungspläne • „Entgeometrisierung“ des Modells • Hampel-Krasker-Schätzer (nach Caspary (1996), Anmerkungen zum robusten Schätzen) Ausgleichungsrechnung II Gerhard Navratil Problem bei Hebelbeobachtungen Maskierung bei Gruppe von Beobachtungen Beispiel: nicht unabhängige Wieder-holung einer Messung Ausgleichungsrechnung II Gerhard Navratil Maskierte Hebelbeobachtung Distanz c ist unvollständig kontrolliert! rc = 0%, grober Fehler fällt nicht auf Strecke c 2x gemessen rc1 = 50%, rc2 = 50% grober Fehler in einer Messung fällt auf Grober Fehler in beiden Beobachtungen (nicht unabhängig) fällt nicht auf! Ausgleichungsrechnung II Gerhard Navratil Ansätze für robuste Schätzer (1) Messfehler x: Wahrscheinlichkeit P, dass x Werte aus einem Bereich X beschrieben über Verteilungsfunktion F x P X x Geodäsie: Annahme Normalverteilung, also F x N 0, Systematische Einflüsse meist vorhanden Störung! Ausgleichungsrechnung II Gerhard Navratil Ansätze für robuste Schätzer (2) Robuste Schätzer: Messfehler gehören Stammverteilung oder Störverteilung an Wahrscheinlichkeit e, dass Messfehler auftreten F x 1 e Gx eS x Für Stammverteilung G meist Normalverteilung Schätzer robust, wenn gute Schätzwerte auch bei nicht streng normalverteilten Daten Ausgleichungsrechnung II Gerhard Navratil Herleitung der Schätzfunktion (1) Beispiel: Methode der kleinsten Quadrate Eindimensionale Schätzfunktion X t X 1 , X 2 ,, X n Gauß‘sche Verlustfunktion 2 2 r vi r X X i X X i vi Extremwertaufgabe ist 2 r v X X v i i min i n 2 i 1 Ausgleichungsrechnung II Gerhard Navratil n i 1 Herleitung der Schätzfunktion (2) Lösung: 1. Ableitung gleich Null setzen 2X X 2v n i 1 n i i 1 i 0 Eindimensionaler Fall: Arithmetisches Mittel n 1 X Xi n i 1 Mehrdimensionaler Fall: Annahme unkorrelierte, gleichgenaue Messungen, v Ax l also Qll=P=I: Ausgleichungsrechnung II Gerhard Navratil Herleitung der Schätzfunktion (3) Verlustfunktion soll minimal werden Erste Ableitung Y der Verlustfunktion r vi Y vi r ' vi vi Da variable Größen in x und nicht in v: Kettenregel n r vi n r vi vi vi Y v i x v x x j i 1 i 1 i 1 j i j n Ausgleichungsrechnung II Gerhard Navratil mit j 1,2,, u Herleitung der Schätzfunktion (4) Wegen v=Ax-l muss gelten n Y v a 0 mit j 1,2, , u Y v a 0 i ij Einführung von ai ai1 ai 2 aiu (Zeilenvektor der A-Matrix) führt zu n i 1 i 1 i i Matrizenschreibweise Y Yv1 Yv2 Yvn T A Y0 Liefert das Normalgleichungssystem Ausgleichungsrechnung II Gerhard Navratil Herleitung der Schätzfunktion (5) Modifizierte Gauß‘sche Verlustfunktion, 2 vi r vi 2 Erste Ableitung: Yvi vi Und somit AT v 0 Einsetzen von v=Ax-l gibt AT Ax l 0 A Ax A l T T Ergibt keine robuste Schätzfunktion ! Ausgleichungsrechnung II Gerhard Navratil M-Schätzer (1) Verallgemeinerung der Maximum LikelihoodSchätzer: M- oder Huber-Schätzer Eng verwandt mit Methode der kleinsten Quadrate Verlustfunktion so gewählt, dass Schätzer robust, dann bekannte Bedingung r L L r v min i i i Ausgleichungsrechnung II Gerhard Navratil M-Schätzer (2) Eindimensionaler Fall: 2 Verlustfunktion r Li Li Li Li liefert arithmetisches Mittel L L 0 n i 1 i 1 n L Li n i 1 Nicht robust! Beurteilung der Eigenschaften: Einflussfunktion bestimmen, nach Hampel und Borutta: IFi A, ˆl, xˆ , G S11aTi Yvi mit S1 AT YA Y diag E Y' v1 E Y' v2 E Y' vn Ausgleichungsrechnung II Gerhard Navratil M-Schätzer (3) Zeile ai: Einfluss der i-ten Beobachtung auf den Unbekanntenvektor Funktion Y(vi) ist bei M-Schätzern proportional zur Einflussfunktion Wenn Einflussfunktion beschränkt: robust Für Diskussion der Eigenschaften der Verlustfunktion reicht Diskussion von Y Oft Einflussfunktion nicht explizit bestimmt Ausgleichungsrechnung II Gerhard Navratil M-Schätzer (4) Annahme: Stammverteilung G, Störverteilung S, geringe Anzahl von Ausreißern Stetige, konvexe Verlustfunktion mit robusten Eigenschaften: 1 2 2 vi r c vi 1 c vi c 2 2 für vi c für vi c vi Yc vi sign vi c Ausgleichungsrechnung II Gerhard Navratil für vi c für vi c M-Schätzer (5) Ausgleichungsrechnung II Gerhard Navratil L-Schätzer (1) Linearkombination von Ordnungsstatistiken Einfachster Fall: Direkt beobachtete Größen, n Beobachtungen, nach Größe sortiert L(1) L( 2 ) L( n ) L(i) …i-te Ordnungsstatistik der Stichprobe Schätzfunktion n n L g L1 , L 2, , Ln ai Li i 1 Ausgleichungsrechnung II Gerhard Navratil mit a i 1 i 1 L-Schätzer (2) • Gleiche Gewichte (1/n): arithmetisches Mittel • a1=an=1/2, sonst 0: Schätzung nach Tschebyscheff L L L 1 n 2 Beide Lösungen nicht robust! Ausgleichungsrechnung II Gerhard Navratil L-Schätzer (3) • Abschneiden des größten und kleinsten Wertes • Alle Werte außer mittlerem Wert abschneiden: Median Beide Lösungen robust! Ausgleichungsrechnung II Gerhard Navratil Ls-Norm-Schätzer (1) Verlustfunktion als Potenz der Verbesserungsabsolutbeträge s r vi vi mit 1 s Erste Ableitung wird Y vi s vi vi s 2 Normalgleichungen: n v v i 1 i i s 2 aij 0 mit Ausgleichungsrechnung II Gerhard Navratil mit 1 s j 1, , u Ls-Norm-Schätzer (2) Es zeigt sich, dass Y-Funktion beschränkt für 1 s 2 in diesem Bereich robust Ausgleichungsrechnung II Gerhard Navratil L2-Norm-Schätzer Bei s=2: L2-Norm mit Normalgleichungen r vi v , Y vi 2vi 2 i n v a i 1 i ij 0 A x 0, A Ax A l bzw. Parameterschätzung nach L2-Norm entspricht der Methode der kleinsten Quadrate T T T Ausgleichungsrechnung II Gerhard Navratil L1-Norm-Schätzung n s=1: r vi vi , Yvi sign vi vi min i 1 Beschränkte Y-Funktion robust Leider keine optimale Lösung bei fehlerfreien Daten Gut geeignet für Aufdecken grober Fehler Berechnung z.B. Simplex-Algorithmus Bestimmung auch mit L2-Norm möglich (siehe Übung) Ausgleichungsrechnung II Gerhard Navratil Weitere Schätztypen L-, M-, Ls-Norm-Schätzer sind die Haupttypen Dazu viele Untertypen (z.B. R-, modifizierte M-, BIBER-Schätzer) Wichtig: LMS RANSAC Ausgleichungsrechnung II Gerhard Navratil Least Median Square (LMS) – Bruchpunkt nahezu 50% – Minimiert Median der Verbesserungsquadrate – Alle eindeutigen Lösungen bestimmt, Median ermitteln, Minimum ist gesuchte Lösung – Maximal un Gleichungssysteme Ausgleichungsrechnung II Gerhard Navratil Random Sample Consensus (RANSAC) Dient dem Erkennen grober Fehler Ergebnis: Beobachtungen ohne grobe Fehler (‚consensus set‘) Vorgangsweise – Zufällige Auswahl von Beobachtung – Berechnung der Lösung – Berechnung der Wahrscheinlichkeit • Verbesserungen ALLER Beobachtungen • Wahrsch. = [Anz. (Verb. < Schwelle)]/[Anz. Beob.] Mehrmals wiederholt, Lösung mit max. Wahrscheinlichkeit = Ergebnis Ausgleichungsrechnung II Gerhard Navratil Problem bei RANSAC Lösung nicht bei jeder Auswahl möglich Nicht alle Lösungen berechnet Schwellenwert kritisch Geodäsie z.B. 3 log 1 p Faustformel für Durchläufe s log 1 1 e mit s … Anzahl für die Bestimmung notwendiger Beobachtungen p … Wahrscheinlichkeit für Stichprobe ohne grobe Fehler e … relativer Anteil grober Fehler Ausgleichungsrechnung II Gerhard Navratil
