Wavelets made easy

Wavelets made easy
Skalarprodukt und
Orthogonalprojektion
Proseminar Numerik WS 04/05
Maria Muschinski
Einleitung
Die Darstellung eines Signals mit Hilfe von Wavelets erzeugt eine Orthogonalprojektion(wie
ein Schatten) des Signals auf den Wavelet-Raum. Aus diesem Grund beschäftigen wir und in
diesem Kapitel mit den Konzept, Theorie und Anwendung von Orthogonalprojektionen.
Hierzu wiederholen wir einige Begriffe aus der linearen Algebra:
Eine Basis eine Untermenge U eines Raumes V über den Körper F mit zwei Eigenschaften
• U spannt V auf ( d.h.  v V  n  R, Elemente u1 , u 2 ,  U und
Koeffizienten c1 , c2 ,F so, dass v  c1 u1    cn un
• U ist linear unabhängig (d.h. wenn v  0 mit 0  c1 u1    cn un folgt dass
c1  0,, cn  0
Ein Basis Z von V mit dem Skalarprodukt , ist:
•
orthogonal: x, z  Z , x  z gilt : x, z  0
•
orthonormal: orthogonal und  z  Z : z, z = 1 (= z ).
Sei v  V , w  W und (v  w)  W .Dann ist w das naheste Element aus W zu v (d.h. w ist
die eindeutig bestimmte Lösung des Problems: “Minimiere den Abstand v  w “
über alle w  W .
Sei ( w1 , , wn ) ein Orthonormalbasis von W, dann hat w für jedes v  V , w  W die
Darstellung:
n
v, wi
w
wi .
i 1 wi , wi
Gram Schmidtsches Orthogonalisierungsverfahren
Das Gram Schmidtsches Orthogonalisierungsverfahren ist eine Methode zur Konstruktion von
Orthonormalbasen. Für jede linear unabhängige Familie von Vektoren v1 , v2 ,  in einem
Raum V existiert eine orthonormale Menge U  u1 , u2 ,so, dass gilt:
k
u ,v
uk 1  vk 1   i k21 ui mit ui  0 , i = 1,…,k
u1 :  v1 ;
ui
i 1
und
span  u1 , , uk   span  v1 ,.vk  .
1
2
0
 
 
 
Beispiel: Betrachte im R die Vektoren: x1   1  , x 2    1 , x3   1  . Dann gilt:
 0
0
1
 
 
 
y1  x1
3
1
3 
y2  x 2 
y1   1
y1 , y1
2 
0
y1 , x 2
 0
 
y1 , x3
y2 , x3
y3  x3 
y1 
y2   0 
y1 , y1
y2 , y2
1
 
1
1
 0
 
 
3 
3
Die Vektoren
1 ,
  1 ,
 0  bilden ein Orthogonalsystem in R .
2
 0
0
1
 
 
 
Anwendung auf drei dimensionale Computergrafiken
Der drei dimensionale Raum V entspricht den Raum R 3 , wo eine zwei-dimensionale
Unterraum W die Ebene des Bildschirms repräsentiert. Ziel ist es die Darstellung eines
Punktes x V aus R 3 in der Bildschirmebene. Dies geschieht mit Hilfe seines
Bildpunktes Px , entstanden aus der Orthogonalprojektion P :  V  W . Die
Bildschirmebene W ist mit dem Orthonormalbasis u, v versehen. Die Koordinaten des
Bildpunktes Px werden mit Hilfe von Skalarprodukten berechnet:
Px   x, u u  x, v v
und auf dem Bildschirm eingezeichnet.
x hat nun die Koordinaten (p, q), wobei p : x, u und q : x, v ist.
Beispiel: Die Ebene W  R 3 durch den Ursprung und senkrecht zu dem
Einheitsvektor w   76 , 72 , 73  , hat den Orthonormalbasis u :  72 , 73 , 76  , v :   73 , 76 , 72  .
Der Punkt x : = (1,2,3). Berechnung der Koordinaten
p  x, u  (1,2,3),  72 , 73 , 76   267
q  x, v  (1,2,3),  73 , 76 , 72    73
Der Punkt
 267 , 73  wird auf dem Bildschirm markiert.
Bemerkung: Diese Methode arbeitet sehr gut in kleineren Maschinen( z.B. Taschenrechner
mit Grafikzeichner).
Anwendung auf die Methode der kleinsten Quadrate
Ein populäres Anwendungsfeld sind die sog. linearen Modelle in der Statistik( lineare
Ausgleichsrechnung).
Approximationsproblem: Es soll eine möglichst passende Gerade L : c1x  c0  y durch die
Punkte (2,3), (4,7), (5,8), (6,9) konstruiert werden. Wenn alle Punkte auf der Geraden liegen
würden, würden sie folgendes GLS erfüllen:
2c1  c0  3
4c1  c0  7
5c1  c0  8
6c1  c0  9
entspricht in Vektorschreibweise:
 2
 1  3 
 
   
 4
 1  7 
c1    c0      .
5
1
8
 
   
6
 1  9 
 
   
Es existiert keine Lösung für das GLS, da y :  (3,7,8,9)  R 3 nicht in der Unterraum
W :  span  x,1  liegt. Das zugrunde liegende Approximationsproblem lässt sich auch als
diejenige Aufgabe auffassen, die „zu y naheste“ Linearkombination c1 x  c01 mit Hilfe der
Orthogonalprojektion P:R4  span  x,1  zu finden, wobei c1 x  c01  P( y) . Mit Hilfe der
Gram-Schmidtsches Orthogonalisierungsverfahren erhalten wir:
w1  v1  1
  94 
 
x,1
17   14 
w2  x 
1 x    3  .
1,1
4
 4 
 7 
 4 
Nun können wir die Orthogonalprojektion von y auf W bilden, so dass: P ( y ) zu y am
nahesten ist. Dazu berechnen wir:
y, w1  27
y, x  128
y , w2 
Mit der obigen Formel folgt:
53
4
P( y ) 
Nun sind c1,c0 leicht abzulesen:
53
c1   1.514285714285 ,
35
11
c0   0.314285714285
35
y, w1
y, w2
11 53
w1 ( x) 
w2 ( x) 

x
w1 , w1
w2 , w2
35 35
53
11
x
.
35
35
Anschaulich gesprochen handelt es sich hierbei um die beste Approximation von x durch
einen geeigneten Vektor P(y) in dem von x,1 aufgespannten Unterraum.
also hat die Gerade die Gleichung y 
Anwendung auf die Berechnung von Funktionen
Computer können nur endlich viele arithmetische Operationen und logische Tests
durchführen. Transzendente Funktionen (e, sin, cos) benötigen aber unendlich viele solche
Operationen. Eine Methode zur Approximation von transzendenten Funktionen f mit Hilfe
von rationalen Funktionen g funktioniert folgendermaßen:
Dazu wird die Orthogonalprojektion g von f berechnet und ähnlich wie im letzten Beispiel
behandelt, g repräsentiert die zu f naheste rationale Funktion die zu W gehört.
Beispiel: Berechnung der Wurzelfunktion mit Hilfe von Polynomen des Grades 1.
Betrachte den Körper R und den Vektorraum V :  C 0 14 ,1, R mit dem Skalarprodukt:
1
f , g :   f ( x) g ( x) dx
1
4
Außerdem sei der lineare Unterraum W  V mit p  W so dass gilt: p( x)  c0  c1x
mit c0 ,c1  R . Das Approximationsproblem beschränkt sich darauf die Orthogonalprojektion p
von der Wurzelfunktion f zu finden.
Berechnung der Orthonormalbasis von W ( mit Hilfe z.B. der Gram Schmidt Verfahrens für
die Basis (v1, v2 ) : (1, x) ):
w1  v1  1
v ,w
5
w2  v2  2 1 w1  x 
w1 , w1
8
Daraus folgt die Gleichung des Polynoms:
p ( x) 
f , w1
f , w2
88
10
w1 ( x) 
w2 ( x) 
x
w1 , w1
w2 , w2
135
25
Fehlerabschätzung( Berechnung der Abweichung mit Hilfe der Funktion:)
D( x) : c0  c1x  x
auf den Intervall  14 ,1  mit 14  x  1 .
c0  c1 x  x
x

c0  c1  14  
1
4
1
4

1
 0.0666
15
Das Polynom p( x)  c0  c1x approximiert die Wurzelfunktion auf R*  0, 14  .
Bemerkung: Es existieren viele andere Methoden um einen Funktion zu approximieren:
durch splines, Taylorpolynom usw.
Anwendung auf Wavelets
Ähnlich wie bei der Approximation von Funktionen erzeugen Orthogonalprojektionen eine
Annäherung eines Signals durch Kombination senkrecht aufeinander stehenden Wavelets.
Signale können durch senkrecht aufeinander stehenden Wavelets approximiert/angenähert
werden. Im Allgemeinen ist dazu der Vektorraum V über Funktionen mit dem Skalarprodukt
, und der lineare Unterraum W  V bestehend aus den orthogonalen Wavelets
w0 , w1 ,, wk , wk 1 ,
Jedes Signal (Funktion) wird dargestellt durch die Orthogonalprojektion von f:
f , wk
~
f 
wk
wk , wk
k
mit den Waveletkoeffizienten: ck 
f , wk
wk , wk
Die Haar- Wavelets zum Beispiel, definiert auf V  CI0 0,1, R über alle stückweise stetigen
Funktionen, haben den Skalarprodukt:
1
f , g :   f (t ) g (t ) dt
0
Die Treppenfunktionen
 0,2 n ,
 2 n ,2 * 2 n ,
 2 * 2 n ,3 * 2 n ,  , (2n  1) * 2 n , (2n ) * 2 n ,
definiert durch
1 für k 2 n  r  k  1 2 n
k 2n ,k 12n r  :  
n
n
0 für r  k 2 oder k  1 2  r
sind über disjunkte Intervalle zueinander orthogonal. Sie spannen den linearen Unterraum
~
W : Span k 2 n , k 12 n  : k  0,1,,2n  2,2n  1 auf. Das so entstandene f ist Lösung des
~
Problems: Minimiere den Abstand f  f mit f  W

