Aufgabe Intensität Egalisierung INTELLIGENTE SYSTEME Teil IV Sommersemester 2017 — Teil Mustererkennung Normierung Geometrie R Geometrie R Σ Prof. E.G. Schukat-Talamazzini Stand: 6. März 2017 Aufgabe Intensität Egalisierung Geometrie R Σ Aufgabe Intensität Egalisierung Normierung des Musters Muster/Objekte vergleichbare Maßeinheiten Wertebereich: Amplitudennormierung Aufnahme Aufgabenstellung f Vorverarbeitung Wertebereich: Nichtparametrische Verfahren Mathematische Hilfsmittel Klassifikator Arbeitsphase Lernphase Stichprobe Definitionsbereich: Geometrische Normierung Merkmale Lernen der Klassenbereiche Ziele • Abstrahieren von irrelevanten Eigenschaften • Reduktion von Mustervariabilität • Ähnlichkeit von Objekten gleicher Klasse (symb. Beschreibung) Ωκ Transformation Setze „unproduktive“ Musterparameter auf einen Standardwert. Annahme Das Muster stellt ein Objekt der physikalischen Welt mit — prinzipiell abgrenzbaren — raum-zeitlichen Umrissen dar. Σ Aufgabe Intensität Egalisierung Σ Aufgabe Intensität Egalisierung Geometrie Wertebereichsnormierung — Definitionsbereichsnormierung Verarbeitungssequenz zur Normierung eines Parameters Dauer, Ausdehnung, Fläche, Volumen Lage Translation, Drehung, Neigung sonstige ... Strichstärke, Stimmhöhe, Beleuchtung, ... Intensität A A A A A A A 3. Transformiere das Muster (das Objekt), so daß der resultierende Objektparameter den Standardwert annimmt. Problem • Verfahren zur Objektsegmentierung? • Drehlage von ’6’ und ’9’ • Größe von ’s’ und ’S’ Egalisierung Apostroph Schrägstrich Geometrie • Geeignete Standardisierungstransformation? • Muster besteht aus mehreren Objekten (Wort, Zeile). • Normierung unterschiedlicher Parameter kollidiert! R Σ Aufgabe Intensität Egalisierung Geometrie Wertebereichsnormierung (1./2. Momente) Gemeinsame Transformation aller Werte [fn ] Aufgabenstellung Mittelwertfreiheit f = Wertebereich: Amplitudennormierung Wertebereich: Nichtparametrische Verfahren N 1 X fn N n=1 h = f −f h=0 h = f /sf sh2 = 1 Energie / Intensität Definitionsbereich: Geometrische Normierung Mathematische Hilfsmittel Σ 2. Berechne den originalen Objektparameter. Vorsicht: • Größe von R 1. Extrahiere das zu normierende Objekt aus dem Muster. A A Größe A A A Lautstärke, Helligkeit, Kontrast A A Wie wird normiert? A Was wird normiert? Intensität Aufgabe R Geometrie sf2 N 1 X 2 = fn N n=1 Standardnormalverteilung σf2 = N 1 X (fn −f )2 N n=1 h = f −f σf [hn ] ∼ N (0, 1) N (0, 1)-normierte fn sind invariant gegen lineare Transformationen R Σ Aufgabe Intensität Egalisierung Geometrie R Σ Aufgabe Intensität Egalisierung Wertebereichsnormierung (Summe, Extrema) Wertebereichsnormierung Gemeinsame Transformation aller Werte [fn ] 250 Beispieldatenpunkte (N (0, 3)-Irrfahrt) Energie = 1 N(0,1)−Standardnormal 200 250 0 100 150 200 250 0 50 100 150 200 Summe = 1 Intervall [fmin,fmax] 4−Standard−Intervall 250 0.8 0.8 1.0 Index 0.6 Amplitude µ+σ µ+σ µ 0.4 µ 0.4 µ+σ 0.6 Amplitude µ+σ µ+σ 0.2 Amplitude 50 0.2 0.0 0 50 100 150 200 250 0 50 100 Index Egalisierung µ+σ Index 0.000 1 fn − f + = 2 2 · C σf hn ∈[0,1] Intensität 150 µ Index µ C = 2 oder C = 3 oder C = 4 Aufgabe 100 µ+σ Statistisches Einheitsintervall [0, 1] hn 50 0.008 fn − fmin fmax − fmin 0.004 hn = 0 µ+σ −3 0 −1 −20 Umschließendes Einheitsintervall [0, 1] 1 µ+σ Amplitude µ −2 µ+σ 0 2 5 3 µ+σ −10 √ entspricht einer Energienormierung der [gn ] mit gn = fn µ 2 n=1 µ+σ Amplitude Sh = 1 1 4 20 h = f /Sf 10 fn 0 N X Amplitude Sf = Σ 3 Mittelwert = 0 −1 Einheitssumme (fn ≥ 0) R Geometrie Geometrie R Σ Aufgabe 150 200 250 0 Index Intensität 50 100 150 200 250 Index Egalisierung Geometrie Egalisierung des Grauwerthistogramms MIKROSKOPISCHE BODENPROBE IN ACRYL 16000 Aufgabenstellung Die gescannte Bodenprobe ist unterbelichtet; nur ein kleiner Teil des Grauwertintervalls [0, 255] ist mit Bildrasterpunkten besetzt. 14000 Absolute H ufigkeit 12000 Wertebereich: Amplitudennormierung 10000 8000 6000 4000 2000 0 Wertebereich: Nichtparametrische Verfahren 0 20 40 60 80 100 Grauwertstufe 120 140 160 180 Problem Definitionsbereich: Geometrische Normierung Gesucht ist eine monotone und surjektive Grauwerttransformation sur τ : {0, . . . , L − 1}−→{0, . . . , L − 1} Mathematische Hilfsmittel die das Histogramm des transformierten Bildes [hnm ] mit möglichst gleichförmig macht. hnm = τ (fnm ) (∀n, m) R Σ Aufgabe Intensität Egalisierung Geometrie R Σ Beweis. Egalisierung einer Wahrscheinlichkeitsverteilung Gleichförmige Dichte = ˆ Wir haben zu zeigen, daß Y eine gleichförmige, also konstante, Verteilungsdichte besitzt. lineare kumulative Verteilung Wir zeigen dafür, daß die kumulative Verteilungsfunktion eine Gerade (genauer: die Identität) ist. F( γ ) kumulative Verteilung Als Ableitung der kumulativen Verteilung muß die Dichtefunktion dann konstant sein. P(Y ≤ η) γ Grauwerte Satz (Kanonische Gleichverteilung) (1) P(F (X) ≤ F (ξη )) (2) = P(X ≤ ξη ) (3) = F (ξη ) (4) = η (5) 1. Definition von Y. 2. Ein ξ mit F (ξ) = η existiert, da F stetig ist. 3. Gleiche Ereignismenge, da F streng monoton ist. Ist die Funktion F : IR → [0, 1] stetig und streng monoton, so ist die Zufallsvariable Y := F (X) gleichverteilt im Intervall [0, 1]. Intensität P(F (X) ≤ η) = Die einzelnen Schritte gelten aus folgenden Gründen: Sei F (ξ) = PX (ξ) = P(X ≤ ξ) die Verteilungsfunktion einer Zufallsvariablen X. Aufgabe = Egalisierung Geometrie Verfahren zur Grauwertegalisierung 4. Definition von F . 5. Definition von ξη (siehe (2)). R Σ Aufgabe Intensität Egalisierung Geometrie Grauwertegalisierung Beispiel Bodenprobe in Acryl — Bilder und Grauwerthistogramme hAlgorithmusi 1 Berechne für [fnm ] das relative Grauwerthistogramm [q` ]. 2 Bestimme daraus das kumulative Grauwerthistogramm def q Σ (γ) = γ X q` `=0 3 Transformiere alle Bildpunkte: hnm = (L − 1) · q Σ (fnm ) Dabei sei [0, L − 1], L = 2b , der quantisierungsbedingte Grauindexbereich. isumhtiroglAh R Σ Aufgabe Intensität Egalisierung Geometrie R Σ Aufgabe Intensität Egalisierung Geometrie R Geometrie R Σ Grauwertegalisierung Informationsgehalt 6= Naturtreue Aufgabenstellung Wertebereich: Amplitudennormierung Wertebereich: Nichtparametrische Verfahren Definitionsbereich: Geometrische Normierung Mathematische Hilfsmittel Flughafen Tripolis Aufgabe AFC-Militärfahrzeug Intensität Rattenmuskelfaser Egalisierung SAR-Satellit Geometrie R Σ Aufgabe Intensität Egalisierung Geometrische Normierung Neuabtastung eines Musters Transformation der Musterkoordinaten „Umrastern“ · 1D: von N auf N 0 Abtastwerte Beispiel Handschriftnormierung Drehung — Neigung — Größe — Liniendicke Rekonstruktionsformel des Abtastsatzes 1. Parameterbestimmung Abmessung (H/B/L), Dauer, Winkel, Flächeninhalt berechnen. 2. Koordinatentransformation Abbildungsvorschrift in Abhängigkeit vom Normierungsparameter: 0 x x 0 0 h(x , y ) = f (x, y ) und tgeo : 7→ y y0 „alte“ versus „neue“ Abtastwerte (Umrastern) f (x) = +∞ X fj · j=−∞ sin(2πB(x − j∆x)) 2πB(x − j∆x) Näherungsformel: lineare Interpolation f (x) = fn + (fn+1 − fn ) · x − n∆x , ∆x x ∈ [n∆x, (n + 1)∆x] Σ Aufgabe Intensität Egalisierung Geometrie R Σ Intensität Egalisierung R Geometrie Objektumfassung Ordinatenprojektionen Umschreibendes Rechteck hxu , yu , xo , yo i Relative zeilenweise & spaltenweise Grauwertkonzentration A A Σ A Binarisierung: [fnm ] 7→ Mf Vertikalprojektion xu /xo = min / max{n | ∃m : (n, m) ∈ Mf } yu /yo = min / max{m | ∃n : (n, m) ∈ Mf } fmY = xu /xo = xs ∓ 3σx Bemerkung · Was wenn das binarisierte Bild Störungen des Hintergrundes enthält? · Was wenn die Bildzeilen/spalten asymmetrische Grauverläufe aufweisen? · Was wenn die Grauwertzeilen/spalten „unglockenförmig“ aussehen? Egalisierung fnX = fnm X fnm m Schwellwertentscheidung yu /yo = ys ∓ 3σy Intensität X Horizontalprojektion n Geometrische Momente: 3σ-Umfassung Aufgabe Aufgabe Geometrie xu = min{n | fnX ≥ θ} xo = max{n | fnX ≥ θ} yu = min{n | fnY ≥ θ} yo = max{n | fnY ≥ θ} Für den (optimalen) Schwellwert θ gibt es leider keine „Naturkonstante“! R Σ Aufgabe Intensität Egalisierung Quantilkriterium Iterierte Ordinatenprojektion Das Objekt ist da, wo 1 − δ = 95% der Tinte verbraten wird ... Layouterkennung bei der optischen Dokumentenanalyse (ODA) Quantil-Entscheidung (δ > 0) y xu = Qδ ([fnX ]) xo = Q1−δ ([fnX ]) yu = Qδ ([fnY ]) yo = Q1−δ ([fnY ]) Definition R Geometrie Σ y x x Der q-Quantil einer kumulativen Verteilungsdichte F (ξ) = P(X ≤ ξ) ist definiert als Qq (F ) = F −1 (q) = min{ξ | F (ξ) ≥ q} Der q-Quantil einer diskreten Verteilung [pk ] ist definiert als Qq ([pk ]) = min{j0 | j0 X pj ≥ q} j=1 Der q-Quantil einer diskreten positiven Zahlenfolge [rk ] ist definiert als der q-Quantil der normierten Folge [rk0 ] mit rk0 = rk/P rj . j Absender Iteriertes Auswerten vertikaler & horizontaler Bildprojektionen Spalten · Textblöcke · Zeilen · Wörter Post− wert− zeichen Adressatenname Straße & Hausnummer PLZ Ortsname Aufgabe Intensität Egalisierung Geometrie R Σ Aufgabe Intensität Koordinatentransformation Egalisierung 1. Bestimmung der Normierungsfaktoren α, β, rx , ry (α = 0◦ ± δ) Winkelprojektionen f α 2. Transformation der Bildebenenkoordinaten T : (x, y ) 7→ (x 0 , y 0 ) α Für alle |α| ≤ δmax berechne: Größe α Z +∞ y f (ξ, y + ξ tan α) dξ f (y ) = Anisotrope Skalierungsoperation β Σ Schiefewinkelbestimmung Winkelprojektionsverfahren α R Geometrie −∞ 0 x x/rx = y0 y /ry ξ Kontrastkriterium Wähle α∗ mit maximalem Kontrast: Neigung Schiefe Drehung Horizontale Scherungsoperation Vertikale Scherungsoperation Rotationsmatrix mit Winkel α 0 x x − y · cot β = y0 y 0 x x = 0 y y − x · tan α 0 x cos α + y sin α x = y0 y cos α − x sin α Aufgabe Intensität Egalisierung Geometrie Kontrast([fmα ]) = kf α p kp = α = 10° M X |fmα |p Kontrast([fmα ]) = −H([fmα ]) = M X fmα · log2 fmα R Σ Aufgabe Intensität Egalisierung (β = α − 90◦ = 0◦ ± δ) Originalbild mit geneigter Schrift (binarisiert) Aufgabenstellung Akkumulatorebene mit den Punktdichten (x, β) Wertebereich: Amplitudennormierung nach horizontaler Scherung aufgerichtetes Schriftbild Wertebereich: Nichtparametrische Verfahren hAlgorithmusi 1 Binarisiere das Grauwertbild. 2 Invertiere das Binärbild. 3 Projektion der weißen Tinte (kleine Winkel vertikaler Ausrichtung) 4 Wähle β mit maximaler Anzahl „weißer“ f α (x)-Werte. Definitionsbereich: Geometrische Normierung Mathematische Hilfsmittel isumhtiroglAh α = −10 ° m=1 Neigungswinkelbestimmung Modifizierte Winkelprojektion α = 0° m=1 Geometrie R Σ Aufgabe Intensität Egalisierung R Geometrie Σ Aufgabe Intensität Zufallsvariable eines Wahrscheinlichkeitsraumes Egalisierung Geometrie R Σ Diskrete Zufallsvariable und ihre kumulative Verteilungsfunktion Definition Eine Zufallsvariable X heißt diskret, falls der Wertebereich von X abzählbar ist. Definition Sei (f, E, P) ein Wahrscheinlichkeitsraum. Eine Abbildung X : f → IR Bemerkung In diesem Falle gilt dann heißt Zufallsvariable genau dann wenn gilt: f = Ar = {ε ∈ f | X(ε) ≤ r } ∈ E für alle r ∈ IR [ {ε | X(ε) = xn } = n∈IN {X = xn } n∈IN für den abzählbaren Wertebereich {x1 , x2 , x3 , . . .} sowie auch P(f) = 1. Für die Wahrscheinlichkeit P(X = xn ) schreiben wir auch kürzer pn . Definition Definition Die Abbildung FX : → 7 → IR r [0, 1] P(Ar ) , Ist X eine diskrete Zufallsvariable mit dem Wertebereich {xn |n ∈ IN}, dann heißt IR → [0, 1] P(X = xn ) (∃n) x = xn pX : 7→ x 0 sonst Ar = {ε ∈ f | X(ε) ≤ r } heißt kumulative Verteilungsfunktion der Zufallsvariablen X. Für P(Ar ) schreiben wir üblicherweise P(X ≤ r ). Aufgabe [ Intensität Egalisierung diskrete Wahrscheinlichkeitsdichtefunktion von X. Die Werte xn heißen Massenpunkte von X. R Geometrie Σ Stetige Zufallsvariable Aufgabe Intensität Egalisierung Geometrie Wahrscheinlichkeitsverteilungsdichtefunktion Die Dichte ist die Ableitung der Verteilung Definition Eine Zufallsvariable X heißt kontinuierlich, falls der Wertebereich von X nicht abzählbar ist. Bemerkung 2. Wir betrachten daher stattdessen die Wahrscheinlichkeit dafür, daß X in einem endlichen Intervall [a, b] oder einem unendlichen Anfangsstück (−∞, r ] von IR liegt. 1 f(x) so heißt die Funktion fX : IR → IR die Wahrscheinlichkeitsdichte der stetigen Zufallsvariable X. Lemma Für eine stetige Zufallsvariable X mit der Dichtefunktion fX und der Verteilungsfunktion FX gilt für alle a, b ∈ IR mit a < b die Aussage f(x) F(x) Ist X eine (kontinuierliche) Zufallsvariable mit der Eigenschaft Z r FX (r ) = P(X ≤ r ) = fX (ξ)dξ für alle r ∈ IR −∞ 1. Für eine kontinuierliche Zufallsvariable X sei die Wahrscheinlichkeit dafür, daß sie einen bestimmten Wert x ∈ IR annimmt, gleich 0. F(x) Definition F(x) Z x1 x2 x3 x4 x r x kontinuierliche (stetige) Zufallsvariable a b x P(a < X ≤ b) = FX (b) − FX (a) = b fX (ξ)dξ . a R Σ Aufgabe Intensität Egalisierung Geometrie R Σ Aufgabe Intensität Egalisierung Geometrie Erwartungswerte (Zentrale) Momente einer Verteilung Zufallsvariable · Funktion einer Zufallsvariablen Mittel und (quadratische) Standardabweichung ( Varianz) R Σ Definition Für eine stetige Zufallsvariable X mit der Dichtefunktion fX bezeichnen wir Z +∞ µX = E[X] = x · fX (x)dx Definition Für eine Funktion g : IR → IR ist mit X auch g (X) eine Zufallsvariable. Die Summe bzw. das Integral X E[g (X)] = g (xn ) · P(X = xn ) −∞ als den Erwartungswert der Zufallsvariablen X selbst, Z +∞ 2 2 Var[X] = σX = E[(X − µX ) ] = (x − µX )2 · fX (x) dx n Z E[g (X)] +∞ = −∞ g (x) · fX (x)dx −∞ als die Varianz (Streuung, Dispersion), σX als die Standardabweichung und E[XN ] bzw. E[(X − µX )N ] heißt — im Falle der Konvergenz — der Erwartungwert der Zufallsgröße g (X). als das (zentrale) N-te Moment von X. Aufgabe Intensität Egalisierung Geometrie Eigenschaften der Verteilungsmomente R Σ Aufgabe Intensität Egalisierung Geometrie Ungleichungen für Wahrscheinlichkeiten Verteilungsunabhängige Abschätzungen Satz (Tschebyscheff-Ungleichung) Ist die Abbildung g : IR → IR nichtnegativ, so gilt für jedes λ > 0: Lemma Für die Erwartungswerte von Funktionen diskreter oder stetiger Zufallsvariablen gelten die Aussagen: P(g (X) ≥ λ) ≤ E[g (X)] λ Im Falle endlicher Varianz von X gilt die bekannte Form: 1. Für alle a ∈ IR ist E[a] = a. P(|X − µX | ≥ c · σX ) ≤ 2. Homogenität: E[a · g (X)] = a · E[g (X)] 3. Additivität: E[g1 (X) + g2 (X)] = E[g1 (X)] + E[g2 (X)] 4. Monotonie: g1 (x) ≤ g2 (x) ⇒ E[g1 (X)] ≤ E[g2 (X)] 5. Falls E[X2 ] existiert, so gilt Var[X] = E[X2 ] − E[X]2 1 c2 Satz (Jensen-Ungleichung) Für eine Zufallsvariable X und eine konvexe Abbildung g : IR → IR gilt: E[g (X)] ≥ g (E[X]) Folgerung Weil bekanntlich g (x) = x 2 konvex (g 00 ≥ 0) ist, folgt Var[X] = E[X2 ] − E[X]2 ≥ 0 . R Σ Aufgabe Intensität Egalisierung Geometrie R Σ Aufgabe Intensität Egalisierung Geometrie Zufallsvektoren Momente multivariater Verteilungen Multivariate Wahrscheinlichkeitsverteilungen Erwartungswertvektor und Kovarianzmatrix R Σ Definition Für einen stetigen Vektor X von Zufallsvariablen X1 , . . . , XD mit der multivariaten Verteilungsdichte fX definieren wir Z µX = E[X] = x · fX (x) dx Definition Ist X ein Vektor von Zufallsvariablen X1 , . . . , XD , so heißt FX (x) = FX (x1 , . . . , xD ) = P(X1 ≤ x1 , . . . , XD ≤ xD ) IRD als den Erwartungswertvektor und σX1 X1 .. SX = . σXD X1 die multivariate Verteilungsfunktion von X. D Sie heißt stetig, falls eine Funktion fX : IR → IR existiert mit der Eigenschaft Z x1 Z xD FX (x1 , . . . , xD ) = ··· fX (x1 , . . . , xD ) dx1 . . . dxD −∞ als die Kovarianzmatrix von X. Dabei bezeichne für alle j = 1, . . . , D: σXi Xj = = Cov[Xi , Xj ] = E[(Xi − µXi )(Xj − µXj )] Z Z (xi − µXi )(xj − µXj ) · fXi Xj (xi , xj ) dxi dxj IR Intensität σX1 XD .. . σXD XD −∞ fX heißt dann multivariate Verteilungsdichte von X. Aufgabe ... .. . ... Egalisierung Geometrie Statistische Unabhängigkeit Statistische Unkorreliertheit R Σ Aufgabe IR Intensität Egalisierung Geometrie Unabhängigkeit & Unkorreliertheit Einige wichtige Eigenschaften 1. Aus der Unabhängigkeit folgt die Unkorreliertheit. Definition 2. Aus der Unkorreliertheit folgt i.a. nicht die Unabhängigkeit. Die Zufallsvariablen X1 , . . . , XD heißen unabhängig, wenn gilt D Y fX (x1 , . . . , xD ) = fXd (xd ) = fX1 (x1 ) · . . . · fXD (xD ) d=1 Die Zufallsvariablen heißen unkorreliert, wenn gilt E[ D Y d=1 Xd ] = D Y d=1 E[Xd ] 3. Zwei Zufallsvariablen X, Y sind unkorreliert, wenn E[XY] = µX µY gilt, also gdw. gilt Cov[X, Y] = 0. 4. Sind die Zufallsvariablen X1 , . . . , XD unabhängig, so sind sie auch paarweise unabhängig und natürlich auch paarweise unkorreliert. Folglich gilt für ihre Kovarianzmatrix 2 σX 1 0 ... 0 0 σX2 ... 0 2 2 2 S X = diag(σX1 , . . . , σXD ) = . .. . . . . . ... . 0 0 . . . σX2 D mit σX2 d = σXd Xd , d = 1, . . . , D. R Σ Aufgabe Intensität Egalisierung Geometrie Zusammenfassung (4) 1. Die Normierung dient der Reduktion der Mustervariabilität. 2. Bestimmte Kennzeichnungsparameter des Musters werden auf einen Standardwert gesetzt, z.B. 0 oder 1. 3. Die Amplitudenwerte des Musters werden hinsichtlich Mittelwert, Summe, Streuung, Min/Max o.ä. normiert. 4. Die Egalisierung ist eine nichtlineare Transformation und erzwingt die Gleichverteilung der Amplitudenwerte. 5. Eine geometrische Normierung erfordert das (rechnerische) Umrastern des Originalmusters. 6. Zur Größen-, Lage- oder Dauernormierung sind die Objektgrenzen zu bestimmen, z.B. durch Ordinatenprojektionen. 7. Zum Normieren der Orientierung (Drehung, Schiefe, Neigung) ist ein Rotationswinkel zu schätzen, z.B. durch Kontrastmaximierung ausgewählter Winkelprojektionen. R Σ