Merkmale Informationsgewinnung

Erste Stufe der Informationsgewinnung
Interpretationszyklus für Einzelbilder
Zuordnung von Modellausprägungen zu Bilddaten
Generische räumliche Beschreibung
(parametrisierte Modelle für Szene,Objekte, Beleuchtung, Abbildung)
Modifiziert
Bestimmt
Art
Modellelemente
Bildauswertung
Parameterschätzung,
Klassifikation
Modellausprägungen
(Parametersätze)
Modellwelt
Bestimmt
Art
Merkmale,
Primitive
Verfahren
extrahieren
Signalverarbeitung
Digitalisiertes
Bild
Bildsensor
Computer Vision
Projektion
Modellwelt-Bild
Synthese
Synthetisches Bild,
Szenenskizze
Display
4_Seite 1
Informationsgewinnung
Bildmerkmale
Objektberandung
(Geometrie)
Grauwertunterschiede
Texturunterschiede
Lokalisierung
Segmentierung
Freiheitsgrade
Form
Oberflächeneigenschaft Grauwert
(Radiometrie)
Textur
Klassifikation
Modellähnlichkeit
(geometrisch, radiometrisch)
Klassifikation
KantenMerkmal 1- operator
Bild
Bild
...
...
...
Merkmal NBild
Fleckoperator
Computer Vision
N Kantenbilder
N Fleckbilder
4_Seite 2
Videokamera
Diskrete Signale

T
rn  n1x1 , n2 x2 ,, nD xD 
Aliasing räumlich und zeitlich:
Signale halbe Abtastfrequenz!
Abstandsmaße im diskreten Gitter
 
 
de ( x, x´ )  x  x´ 
D
´ 2
(
n

n
 d d ) xd
2
Euklidische Distanz
d 1
D
 ´
d b ( x , x )   nd  nd´
City-block-Distanz
 ´
d c ( x , x )  max nd  nd´
Schachbrett-Distanz
d 1
d 1,..., D
Computer Vision
4_Seite 3
Informationsgewinnung
Merkmale
Textur-Deskriptoren
• Texturelle
• Statistische
• Fourier
Berandungsdeskriptoren
• Einfache
• shape numbers
• Fourier
• Momente
Regionale Deskriptoren
• Einfache
• Topologische
Computer Vision
4_Seite 4
Informationsgewinnung
Merkmale
Grauwert-Deskriptoren: Textur
Keine formale Beschreibung von Textur.
Maße für Glattheit, Rauhigkeit, Regelmäßigkeit, etc.
periodisch
homogen
Rauh
fraktal
Drei Ansatzpunkte zur Beschreibung von Textur:
• Statistisch: glatt, rauh, körnig,grob
• Strukturell: Anordnung geometrischer Primitive (z.B. reguläre Anordnung v. Linien)
• Spektral: Detektion globaler Periodizitäten als Peaks im räumlichen Frequenzspektrum
Computer Vision
4_Seite 5
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze
h
homogen
0
255 g
Rauh
fraktal
h
0
.
.
.
255 g
Computer Vision
.
.
.
1. Auswertung des Histogramms
des durch die Maske definierten
Bildbereichs
4_Seite 6
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze: Momente des Grauwerthistogramms
Wenn L die Anzahl der Grauwerte ist und
h(gi) das Histogramm in der Maske, so
sind die n-ten Momente:
h
L
0
255 g
 n ( g )   ( g i  m) n h( g i )
i 1
L
m   g i h( g i )
i 1
Das zweite Moment heisst Varianz und
wird mit s² bezeichnet. Es ist ein Maß des
Grauwertkontrasts. Z.B. ist
h
0
255 g
1
R  1
1 s 2
R=0 für konstanten Grauwert und geht
gegen 1 für große s.
n=3: Skewness des Histogramms
n=4: relative Plattheit des Histogramms
Computer Vision
4_Seite 7
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze: 2. Auswertung der Coocurrence-Matrix
Nachteil der reinen Histogramm-Ansätze: keine Information über relativen Position der Pixel
zueinander (Phase).
Information über die Positionen von Pixeln mit gleichem oder ähnlichem Grauwert:
Coocurrence-Matrix.
Positionsoperator Pk,l : In Bezug auf aktuellen Punkt (u,v) wähle aus Punkt (u+k, v+l).
Anzahl der unterschiedlichen Grauwerte G
Matrix A mit GxG Elementen ai,j : Anzahl, wie oft g(u,v)=i und g(u+k,v+l)=j.
Coocurrence-Matrix C: Matrix A dividiert durch Anzahl der Punktpaare, die P erfüllen.
Beispiel:
G=3: g e {0,1,2}; Positionsoperator P1,1
Angewendet
auf das Bild
4 2 0
0 0 0 1 2 Ergibt die  
 2 3 2
Matrix
A

1 1 0 1 1


1 2 0
2 2 1 0 0

und damit
 1 
Cooccurrence C 
2

16
Matrix
4 2 0
3 2
1 2 0
1 1 0 2 0 ci,j ist ein Schätzwert für die bedingte Wahrscheinlichkeit,
0 0 1 0 1
dass ein Paar von Punkten, das P erfüllt die Werte i,j hat.
Computer Vision
4_Seite 8
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze: Coocurrence-Matrix
Aus der Coocurrence-Matrix C können Maße zur Charakterisierung einer Textur gewonnen
werden. Eine solche Menge von Deskriptoren ist z.B.:
(1) Maximale Wahrscheinlichkeit
Stärkste Antwort auf P
(2) Moment der Elemente-Differenz der Ordnung k
relativ kleiner Wert, wenn hohe Werte nahe Hauptdiag.
max (cij )
i, j
k
(
i

j
)
cij

i
j
cij
(3) Moment der inversen Elemente-Differenz der Ordnung k
Gegenteiliger Effekt wie (2)
 (i  j )
(4) Entropie
Maß für die Unordnung
  cij log (cij )
i
j
i
j
 cij
(5) Gleichförmigkeit
Entgegengesetzt zu (4)
i
Computer Vision
k
2
j
4_Seite 9
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze: Unser´s Summen- und Differenzhistogramme
Vereinfachung gegenüber Coocurrence-Matrix
Bildfenster gleicher Größe, deren Mitte um du und dv gegeneinander verschoben ist:
{gm´,n´ } = {gm+du, n+dv }, m = 1, ... ,M; n = 1, ... ,N
Summen und Differenzen der Grauwerte:
{sm,n }  {g m,n  g m du ,n  d v }; {d m,n }  {g m,n  g m du ,n  d v }
Summen- und Differenzhistogramme:
N s (i; d u , d v )  N s (i )  Anzahl ({sm,n } | sm,n  i); hs (i ) 
N s (i)
 N (i)
s
i
N d (i; d u , d v )  N d (i)  Anzahl ({d m,n } | d m,n  i); hd (i) 
N d (i)
N
d
(i)
i
Computer Vision
4_Seite 10
Informationsgewinnung
Merkmale
gm+du,n+dv
X
gm,n
dv
X
sm,n = gm,n + gm+du,n+dv
hs (i ) 
du
dm,n = gm,n - gm+du,n+dv
N s (i )
hd (i ) 
 N (i)
N d (i )
s
d
(i )
i
i
X
N
hd
hs
X
0
i
Computer Vision
0
4_Seite 11
i
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze: Unser´s Summen- und Differenzhistogramme
Maße aus den normierten Histogrammen:
2G
Unser
M sUnser

i

h
(
i
)
;
M
 s
, Mit
d , Mit 
i 0
2G
G
 i  h (i)
i G
2
Unser
M sUnser

h
(
i
)
;
M
 s
, ZwMom
d , ZwMom 
i 0
d
G
2
h
(
i
)
d
i G
2G
Unser 2
Unser
M sUnser

(
i

M
)

h
(
i
)
;
M

, Kontr
s , Mit
s
d , Kontr 
i 0
2G
Unser
M sUnser

h
(
i
)
ln
h
(
i
);
M
 s
, Entr
s
d , Entr 
i 0
G
Unser 2
(
i

M

d , Mit )  hd (i )
i G
G
 h (i) ln h (i)
i G
d
d
können berechnet werden für verschiedene du und dv, meist
(1,0), (1,1), (0,1), (-1,0)
Computer Vision
4_Seite 12
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze: Momente
Zweidimensionale, kontinuierliche Funktion f(x,y): Moment der Ordnung (p+q):
 

m pq 
p q
x
 y f ( x, y) dx dy
  
für p,q = 0,1,2,...
Wenn f(x,y) kontinuierlich und nicht-verschwindende Elemente nur in einem Teil der
xy-Ebene, existieren Momente jeder Ordnung und sind eindeutig durch f(x,y) bestimmt.
Die Menge aller Momente bestimmt seinerseits f(x,y).
Zentrale Momente
 pq 
 
  (x  x)
p
( y  y ) f ( x, y ) dx dy mit
q
  
m10
x
m00
und
m01
y
m00
Für ein digitales Bild wird daraus
 pq   ( x  x ) p ( y  y ) q f ( x, y )
x
y
Um Schwerpunkt verschoben: translationsinvariant
Computer Vision
4_Seite 13
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze: Momente
Zentrale Momente bis zur Ordnung 3:
m
10   ( x  x )1 ( y  y ) 0 f ( x, y )  m10  10 m00  0; 01  0;
m00
x
y
11   ( x  x )1 ( y  y )1 f ( x, y )  m11 
x
y
m10m01
;
m00
2
2
2m
m
 20   ( x  x ) ( y  y ) f ( x, y )  m20  10  10
m00
m00
x
y
2
0
2
m
 m20  10 ;
m00
2
m
 02   ( x  x ) ( y  y ) f ( x, y )  m02  01 ;
m00
x
y
0
2
30   ( x  x ) 3 ( y  y ) 0 f ( x, y )  m30  3x m20  2 x 2 m10 ;
x
y
12   ( x  x )1 ( y  y ) 2 f ( x, y )  m12  2 ym11  x m02  2 y 2 m10 ;
x
y
 21   ( x  x ) 2 ( y  y )1 f ( x, y )  m21  2 x m11  ym20  2 x 2 m01;
x
y
 03   ( x  x ) 0 ( y  y )3 f ( x, y )  m03  3 ym02  2 y 2 m01;
x
y
 pq
pq


mit


1
pq

Normierte zentrale Elemente:
 00
2
Computer Vision
Skaleninvarianz durch
Normierung
für p  q  2,3,...
4_Seite 14
Informationsgewinnung
Merkmale
Textur: Statistische Ansätze: Invariante Momente
Eine Menge von 7 invarianten Momenten aus den zweiten und dritten Momenten:
1  20  02
 2  (20  02 ) 2  4112
3  (30  312 ) 2  C
 4  (30  312 ) 2  (21  03 ) 2
5  (30  312 )(30  12 )  [(30  12 ) 2  3(30  312 )] 
 (321  03 )(21  03 )[3(30  12 ) 2  (21  03 ) 2 ]
6  (20  02 )[(03  12 ) 2  (21  03 ) 2 ]  4 11 (30  12 )(21  03 )
7  (321  03 )(30  12 )[(30  12 ) 2  3(21  03 ) 2 ] 
 (312  30 )(12  03 )[3(30  12 ) 2  (21  03 ) 2 ]
Translations-, rotations- und skaleninvariant
Computer Vision
4_Seite 15
Informationsgewinnung
Merkmale
Textur: Vergleich der Trennungswirksamkeit von Texturmerkmalen
Quelle: Handbook
Computer Vision
ComputerofVision
4_Seite 16
Informationsgewinnung
Segmentierung
Detektion von Diskontinuitäten
• Kanten
• Linien
• Punkte
Detektion von Ähnlichkeiten
Computer Vision
4_Seite 17
Segmentierung
Detektion von Diskontinuitäten
Kanten
Grauwertprofil erste Ableitung
(Gradient)
Computer Vision
zweite Ableitung
(Laplace)
4_Seite 18
Bildmerkmale
Merkmal Gradient
Motivation: Wenn Objekte homogen bezüglich Grauwert oder Texturmerkmal sind, dann treten
an Objektgrenzen starke Gradienten auf.
Grauwertbild
Gradientenbild
Computer Vision
4_Seite 19
Bildmerkmale
Merkmal Gradient
 g ( x, y ) g ( x, y ) 
g ( x , y )  
,


x

y


 g ( x , y )   g ( x , y ) e i ( x , y )
T
g ( x, y )
  arctan x
g ( x, y )
y
Betrag gibt Stärke des Grauwertübergangs.
• Rotationsinvariant
• Invariant gegen homogene GW-Änderungen
Phase gibt Richtung.
• Invariant gegen homogene GW-Änderungen
Diskretisierung im Bild -> Differenzenquotienten
Computer Vision
4_Seite 20
Bildmerkmale
Merkmal Gradient
 g ( x, y ) g ( x, y ) 
g ( x, y )  
,


x

y


T
Diskretisierung im Bild -> Differenzenquotienten
f ( x, y ) f ( x, y )  f ( x  x, y )

x
x
f ( x  x, y )  f ( x, y )

x
f ( x  x, y )  f ( x  x, y )

2x
Rückwärts-xGradient –Dx
Vorwärts-xGradient +Dx
Symmetrischer-xGradient SDx
Ergibt Faltungsmaske
S
Dx 
1
 1,0,1
2
Analog y, z.B.:
Computer Vision
 1
1
S
Dy   0 
2
 1
4_Seite 21
Bildmerkmale
Erinnerung: Faltung
100
30
90
g(m)
100
K(m)
25
80
70
90
80
70
20
60
60
50
15
50
40
40
10
30
20
30
20
5
10
10
0
0
1
3
5
7
9
11
13
15
17
Eindimensional, diskret
19
0
-9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9
g~(m)  K (m)  g (m) 

1
3
5
7
9
 K ( j )  g (m  j )
11
13
15
17
19
m=17
j  
2D, diskret
2D, kontinuierlich
g~(m, n)  K (m, n)  g (m, n) 
g~ ( x, y )  K ( x, y )  g ( x, y ) 


  K ( j , k )  g (m  j , n  k )
j   k  
 
  K (  , )  g ( x   , y   )dd
  
Computer Vision
4_Seite 22
Bildmerkmale
Erinnerung: Faltung
2D, diskret, endl. Faltungskern
g~ (m, n) 
JK
 KK
  g (m  j , n  k )  K (m
hs
j  J K k  K K
Bild {gm,n}, 0  m  M, 0  n  N
g1,1
g1,2
g1,3
g1,4
g1,5
g1,6
g1,7
Faltungskern {Km,n}
g1,8
g1,9
g1,9
...
K-1,-
g2,1
g2,2
g2,3
g2,4
g2,5
g2,6
g2,7
g2,8
g2,9
g2,9
...
K-1,0
K-1 1
1
X
g3,1
g3,2
g4,1
g4,2
g5,1
g5,2
g6,1
g6,2
g7,1
g3,3
K-1,1
g4,3
g3,4
g3,5
g3,6
g3,7
g3,8
g3,9
g3,9
...
g4,4
g4,5
g4,6
g4,7
g4,8
g4,9
g4,9
...
g5,6
g5,7
g5,8
g5,9
g5,9
...
K-1,0
X
K-1 1
K0,-1
K0,0
K0,1
g5,3
g5,4
g5,5
K1,-1
K1,0
K1,1
 j , nhs  k )
g6,3
g6,4
g6,5
g6,6
g6,7
g6,8
g6,9
g6,9
...
g7,2
g7,3
g7,4
g7,5
g7,6
g7,7
g7,8
g7,9
g7,9
...
g8,1
g8,2
g8,3
g8,4
g8,5
g8,6
g8,7
g8,8
g8,9
g8,9
...
g9,1
g9,2
g9,3
g9,4
g9,5
g9,6
g9,7
g9,8
g9,9
g9,9
...
...
...
...
....
...
...
...
...
...
...
...
Computer Vision
K0,-1
K0,0
K0,1
K1,-1
K1,0
K1,1
g~ (4,4) 
1
1
Beispiel:
m = 4, n = 4, mhs=0
Jk = 1, Kk = 1, nhs=0
  g ( 4  j ,4  k )  K ( j , k ) 
j  1k  1
 g (5,5)  K (1,1)  g (5,4)  K (1,0) 
 g (5,3)  K (1,1)  g (4,5)  K (0,1) 
 g (4,4)  K (0,0)  g (4,3)  K (0,1) 
 g (3,5)  K (1,1)  g (3,4)  K (1,0) 
 g (3,3)  K (1,1)
4_Seite 23
Bildmerkmale
Merkmal Gradient
Einige gängige Gradienten-Operatoren:
Roberts
Prewitt
0
 1

 1
 1

 1
1
0
0
0
0
1 0 
0  1


 1  1  1
0 0 0


 1 1 1 
 1  2  1
0

0
0


 1
2
1 
1
1
1
Sobel
  1 0 1
  2 0 2


  1 0 1
Isotrop
 1
 2

  1
0
0
0
1 
2 
1 
Computer Vision
 1  2

0
0
1
2

 1

0
1 
4_Seite 24
Bildmerkmale
Merkmal Gradient
Gradienten-Operatoren verstärken Rauschen:
Vorzugsweise Operatoren mit Glättungseigenschaften
  1 0 1


Sobel Dx   2 0 2
  1 0 1
 1  2  1
Dy   0
0
0  Dx  ( g 31  2 g 32  g 33 )  ( g11  2 g12  g13 )
 1
2
1 
Alternativ: Tiefpassfilterung mit Gaussfunktion und anschließende Ableitung
Gaussfunktion
G ( x, y ) 
1
2s
x2
 2
2s
1
e
2 s
G ( x)  G ( y )

2

e
x2  y2

2s 2

1
e
2 s
y2
 2
2s

Computer Vision
4_Seite 25
Bildmerkmale
Merkmal Gradient
Faltung mit der Ableitung der Gaussfunktion: Canny-Filter
G( x, y ) 
1
2s
4
e

x2  y2
2s 2
 x, y  
1
s
2
 x, y G( x, y)
Separierbar in x und y
Computer Vision
4_Seite 26
Bildmerkmale
Merkmal Laplace
2
2

f

f
2 f  2  2
x
y
Laplace-Operator einer 2-dimensionalen Funktion f(x,y):
Im Fall einer diskreten 3x3-Maske:
 0 1 0 


2
D    1 4  1 damit D 2 f  4 g 2, 2  ( g 2,1  g1, 2  g 3, 2  g 2,3 )
 0 1 0 


Laplace-Operatoren verstärken Rauschen:
Glättung mit Gauss-Funktion
x y
x y




2
2
 2 e 2s  f ( x, y )   2 e 2s  f ( x, y )


2
x2  y2

2
2s 2
e
2

2
1
s4
x
2
 y  s  e
2
2
2
x2  y2

2s 2
2s
Hildreth-Marr- oder Mexican Hat-Operator
x y


1
2
2s 2
H  2G  

e

2s 2 
2
2



Nulldurchgänge des Hildreth-Marr-gefilterten Bildes geben Kantenpixel-Kandidaten.
Überschwellige Pixel des Gradientenbildes geben Kantenpixel-Kandidaten.
Computer Vision
4_Seite 27
Konturextraktion
Konturpunktextraktion beim Canny-Operator
1. Faltung mit Filter
x2  y 2

G ( x, y ) 
1
2s
4
e
2s 2
 x, y  
1
s
2
 x, y G( x, y)
2. Im faltungsgefilterten Bild: Gradientenbetragsmaximum in Gradientenrichtung
225°
180°
135°
G ( x, y ) G ( c , y )  g ( y )
G ( x, y ) 
Gradienten-Richtung in M
1°...22°, 158°...202°, 338°...360°
23°...67°, 203°...247°
68°...112°, 248°...292°
113°...157°, 293°...337°
270°
F G
E M
D C
315°
H
A
B
90°
45°
dg ( y )
dy
Maximumbedingung
b(A)  b(M) und b(E)  b(M)
b(B)  b(M) und b(F)  b(M)
b(C)  b(M) und b(G)  b(M)
b(D)  b(M) und b(H)  b(M)
Computer Vision
0°
Wenn M Maximum, trage
in Ergebnisbild Betrag
und Richtung ein, sonst
0.
4_Seite 28
Konturextraktion
Konturpunktextraktion beim Canny-Operator
1. Faltung mit Filter
Computer Vision
4_Seite 29
Konturextraktion
Konturpunktextraktion beim Canny-Operator
2. Gradientenbetragsmaximum in Gradientenrichtung
Computer Vision
4_Seite 30
Konturextraktion
Konturpunktextraktion beim Canny-Operator
1. Faltung mit Filter
Computer Vision
4_Seite 31
Konturextraktion
Konturpunktextraktion beim Canny-Operator
2. Gradientenbetragsmaximum in Gradientenrichtung
Computer Vision
4_Seite 32
Konturextraktion
Kantenpixel-Verkettung
Vorgestellte Methoden liefern Intensitäts-Diskontinuitäten
Leider nicht immer Objektränder: Zusätzliche Struktur und
Kantenunterbrechungen durch Rauschen und Beleuchtungsdiskontinuitäten.
 Daher weitere Verarbeitung zur Zusammenstellung von
Kantenpixelkandidaten zu Rändern.
1. Unterdrückung zusätzlicher Strukturen:
I.A. kleiner Gradientenbetrag
Vorgehen:
Zwei Schwellen zur Unterdrückung:
1. Größere Schwelle zur Filterung ausgeprägter Konturpunkte
2. Dort Verfolgung der Kontur mit kleinerer Schwelle
Computer Vision
4_Seite 33
Konturextraktion
2. Verdünnung auf pixelbreite Strukturen:
Durch Diskretisierung bis zu 3 Pixel breite Strukturen.
Gütekriterium in 3x1-Maske in Gradientenrichtung (Lacroix)
3. Lokale Verarbeitung:
Analyse in einer kleinen Nachbarschaft (z.B. 3x3 oder 5x5) um einen
Kandidaten:
Alle ähnlichen Kandidaten werden verbunden.
 Rand von Pixeln ähnlicher Eigenschaft.
Verwendete Maße: (1) Gradientenstärke und (2) Gradientenrichtung
g ( x, y)  g ( x´, y´)  T
Computer Vision
 ( x, y)  ( x´, y´)  T
4_Seite 34
Bildsegmentierung durch Schwellwerte
Histogramm-Auswertung
Bild eines Merkmals, das sich für das Objekt charakteristisch ausprägt:
Merkmalsbild
1400
Histogrammsegmentierung
Hintergrund Objekt
Segmentierung
Anzahl Bildpunkte
1200
1000
800
600
400
200
g(x,y)
0
20 40 60 80 100 120 140 160 180 200 220 240 260
Helligkeit (Grauwert)
Computer Vision
H(x,y)=0, wenn g(x,y)  T
H(x,y)=1, wenn g(x,y) > T
Schwelle T
4_Seite 35
Bildsegmentierung durch Schwellwerte
Auffinden der Schwelle mittels Histogramm-Auswertung (1)
Verteilungsfunktionen (Wahrscheinlichkeitsdichten) eines Merkmals z
für Objekt pO(z) und
Hintergrund pH(z)
mit a priori Auftrittswahrscheinlichkeiten von
Objektpunkten PO und
Hintergrundpunkten PH.
Bedingung PO + PH = 1.
Ergibt Gesamtwahrscheinlichkeitsdichte p(z) = PO pO(z) + PH pH(z)
Im Gauss´schen Fall:
PO
p( z ) 
e
2 s O

( z  O )2
2s O 2
Computer Vision
PH

e
2 s H

( z  H )2
2s H 2
4_Seite 36
Bildsegmentierung durch Schwellwerte
Auffinden der Schwelle mittels Histogramm-Auswertung (2)
Wahrscheinlichkeit einer Fehlzuordnung E:
T
E (T )  PH
p

T
H
( z )dz  PO  PO
p
O
( z )dz

Minimierung von E
dE (T )
! 0  PO  pO (T )  PH  p H (T )
dT
Gauss´sche pO und pH: Einsetzen, logarithmieren und vereinfachen ergibt
quadratische Gleichung
A T 2  B T  C  0
mit
A  s O2  s H2 ; B  2(  Os H2   H s O2 ); C   O2s H2   H2 s O2  2s O2s H2 ln
Computer Vision
s H PO
s O PH
4_Seite 37
Bildsegmentierung durch Schwellwerte
Auffinden der Schwelle mittels Histogramm-Auswertung (3)
Vorgehen nach obiger Methode:
1.
2.
3.
4.
5.
6.
Trainingsstichprobe Bildmaterial
Histogramm für Objektpixel hO
Histogramm für Hintergrundpixel hH
Berechnung von sO und O aus hO
Berechnung von sH und H aus hH
Berechnung von A, B und C:
A  s O2  s H2 ; B  2(  Os H2   H s O2 ); C   O2s H2   H2 s O2  2s O2s H2 ln
s H PO
s O PH
7. Berechnung der Schwelle durch Lösung der quadratischen Gleichung
A T 2  B T  C  0
8. Anwenden der Schwelle auf neues Bildmaterial
Computer Vision
4_Seite 38
Darstellung und Beschreibung
Darstellung der Objekt-Berandung: Ketten-Code
Kettencode-Erstellung:
Folge der Richtungen entlang der Kontur ab beliebigem
Startpunkt.
Beispiel: 22110067665654323
x x X
x
X
X
0 0
1
1
6
X7
Anfangspunktinvarianz
1. Startpunkt-Normierung:
Verschiebe zirkular so, dass die Sequenz eine Zahl
minimaler Größe bildet.
Beispiel: 22110067665654323  00676656543232211
X
2
x
2
X
X
X
X
X
X
X x
3
2
1
2
3
1
1
7
2
4
0
4
6
3
4
5
6
7
5
5
6
0
7
Rotationsinvarianz
2. Rotationsnormierung:
Erste Differenz: Anzahl der Richtungen, die zwei
aufeinanderfolgende Elemente des Codes trennen.
Beispiel: 22110067665654323  07070617071777717
Anfangspunkt- und Rotationsinvarianz
Kettencode  Rotationsnormierung 
Startpunktnormierung
Beispiel: 22110067665654323  07070617071777717 
06170717777170707
Computer Vision
4_Seite 39
Darstellung und Beschreibung
Darstellung der Objekt-Berandung: Polygon-Approximationen
Polygon-Approximationen einer digitalen Berandung mit beliebiger Genauigkeit.
Aber gesucht: Repräsentation der wesentlichen Berandungseigenschaften mit möglichst kleiner
Anzahl an Segmenten.
Nicht-triviales Problem iterativer Suche.
Einfache Methode für Polygone mit minimalem Umfang:
1. Bedeckung
Randkurve mit
rechtwinklig
angeordneten
Quadraten
2. Gerade
Verbindungen
der Außenecken
des „Quadrateschlauches“
Computer Vision
4_Seite 40
Darstellung und Beschreibung
Beschreibung der Objekt-Berandung: Polardarstellung
A

r
A
r

Schwerpunkt
Schwerpunkt
r
r
A/2
A/2
A/2


/2

3/2
2
Computer Vision
/2

3/2
2
4_Seite 41
Darstellung und Beschreibung
Beschreibung der Objekt-Berandung: Momente
1. Umwandlung einer Berandung in eine
eindimensionale Kurve (z.B. Polardarst.)
2. Berechnung Momente der Kurve
K
 n ( )   ( i   ) n p ( i )
i 1
A
mit
r

K
   i p ( i )
i 1
Schwerpunkt
Bei
Polardarst ellung :
K
r
 n ( )   ( i   ) n g ( i )
A/2
i 1
A/2
mit

/2

3/2
2
Computer Vision
K
    i  r ( i )
i 1
4_Seite 42
Darstellung und Beschreibung
Beschreibung der Objekt-Berandung: Fourier-Deskriptoren
Rand ermittelt: Zähler s längs Berandung ergibt Menge {x(s),y(s)} s=0,...,L-1
Als komplexe Zahl: u(s) = x(s) + iy(s)
L-periodisch für geschlossene Konturen.
DFT:
2ks
i
1 L 1
u ( s)   a(k )  e L , 0  s  L  1
L k 0
L 1
a(k )   u ( s)  e
i
2ks
L
, 0  k  L 1
s 0
a(k): Fourier-Deskriptoren der Berandung.
Transformationseigenschaften:
Identität
u(s)
Translation
u´(s) = u(s)+u0
Skalierung
u´(s) = au(s)
Anfangspunkt
u´(s) = u(s-s0)
Rotation
u´(s) = u(s) exp(i2)
Computer Vision
->
->
->
->
->
a(k)
a´(k) = a(k)+ u0d(k)
a´(k) = aa(k)
a´(k) = a(k) exp(-i2s0k/L)
a´(k) = a(k) exp(i2)
4_Seite 43
Darstellung und Beschreibung
Beschreibung der Objekt-Berandung: Fourier-Deskriptoren
Ähnlichkeit der Form von Randkurven mit Fourier-Deskriptoren
Randkurven u(s) und v(s) mit a(k) und b(k):
2
 L 1
i
d (u0 ,a , , s0 )  min  u ( s)  av( s  s0 )e  u0 
u0 ,a , , s0
 s 0

Ist für mittelwertfreie u(s) und v(s) erfüllt, wenn
u0  0
a
 c(k ) cos(
k
k
 k   )
 b( k )
2
k
 c(k ) sin( 
tan   
 c(k ) cos(
k
 k )
k
 k )
k
d kann für jedes  =  (s0)
berechnet werden.
Das Minimum ergibt dann d, welches
dann ein Ähnlichkeitsmaß für die
Formen ist.
k
mit
a (k )b* (k )  c(k )eik ,   2s0 / L

2
dann d  min d ( )  min  a (k )  ab(k )  ei ( k  ) 




Computer Vision
4_Seite 44
Darstellung im Frequenzraum
Ortsraum - Frequenzraum
Signale können als Überlagerung (Summe)
periodischer Funktionen
mit Frequenzen w und
mit Amplituden F
dargestellt werden:
y(x)
Cosinus Funktionen
Sinus Funktionen
Transformation in Frequenzraum
N 1
y ( x)   Fe (k ) coswk x   Fo (k ) sin wk x ; wk  k
k 0
 2
  Fe (k ) cos k
 N
k 0
N 1

 2
x   Fo (k ) sin  k

 N
2
N

x

Diskrete Fourier-(Rück)Transformation
Frequenzraum-Darstellung gibt an,
mit welcher Häufigkeit jeweils
periodische Funktionen vorkommen.
Computer Vision
4_Seite 45
Darstellung im Frequenzraum
Ortsraum - Frequenzraum
1
Fe (k ) 
N
Fe (k ) 
1
N
N 1
1


y
(
x
)
cos
w

x
;
F
(
k
)



k
o
N
x 0
 2k
y
(
x
)
cos


 N
x 0
N 1
N 1
 y( x) sin wk  x ; wk 
x 0
1

x ; Fo (k )  
N

 2k
y
(
x
)
sin


 N
x 0
N 1
Im Frequenzraum sind viele Operationen günstiger.
Alle linearen Operationen z.B.
Hochpass, Tiefpass, Bandpass und Bandsperre
mit hoher Güte
Erkennung periodischer Strukturen
Manipulation periodischer Strukturen

x

2k
N Analyse:
Transformation
Ortsraum  Frequenzraum
Signal y im Ortsraum, Abtastwerte y(i)
Nach einer Bearbeitung im Frequenzraum
Fe(k)→Fe~(k) und Fo(k)→Fo~(k)
kann wieder in den Ortsraum zurück transformiert werden.
2
~
~
~
y ( x)   Fe (k ) coswk x   Fo (k ) sin wk x ; wk  k
N
k 0
N 1
 2 
 2 
~
~
  Fe (k ) cos k
x   Fo (k ) sin  k
x
 N 
 N 
k 0
N 1
Computer Vision
Synthese:
Transformation
Frequenzraum  Ortsraum
4_Seite 46
Darstellung im Frequenzraum
Ortsraum – Frequenzraum
Polare Notation – komplexe Schreibweise
N 1
N 1
1
Fe (k ) 
N
1


y
(
x
)
cos
w
x
;
F
(
k
)



k
o
N
x 0
 y( x) sin wk x ; wk 
1
Fe (k ) 
N
1
 2k 
y
(
x
)
cos
x
;
F
(
k
)





o
N
N


x 0
x 0
N 1
F(k)
Fo(k)

Fe(k)
F (k ) 
F (k )
e
2
 2k 
y
(
x
)
sin
x


 N 
x 0
N 1

 Fo (k ) 2 ; Amplitude (Magnitude)
 Fo (k ) 

 (k )  arctan 
 Fe (k ) 
Komplexe Schreibweise
1
F (k ) 
N
N 1
 y ( x )e
x 0
Computer Vision
2k
N
Fe (k )  F (k ) cos[ (k )]
Fo (k )  F (k ) sin[  (k )]
Phase
F (k )  F (k ) ei ( k )
 iw k x
2k
; wk 
;
N
N 1
y ( x )   F ( k ) e iw k x
x 0
4_Seite 47
Darstellung im Frequenzraum
Ortsraum – Frequenzraum
Filterung der abgetasteten Funktion y:
1. Analyse
N 1
2.
1
Fe (k ) 
N
1


y
(
x
)
cos
w
x
;
F
(
k
)



k
o
N
x 0
1
Fe (k ) 
N
 2k
y
(
x
)
cos


 N
x 0
N 1
 y( x) sin wk x ; wk 
x 0
1

x ; Fo (k )  
N

 2k
y
(
x
)
sin


 N
x 0
N 1
2k
N

x

Multiplikation mit Filterfunktion
Filterfunktion, Abtastwerte f(k)
3.
N 1
Synthese
~
Fe (k )  f (k )  Fe (k )
~
Fo (k )  f (k )  Fo (k )
N 1
2x
~
~
~
y ( x)   Fe (k ) cosw k   Fo (k ) sin w k ; w k  k
N
k 0
~
 2x  ~
 2x 
  Fe (k ) cos k

F
(
k
)
sin
 o
k

N
N




k 0
N 1
Computer Vision
4_Seite 48
Darstellung im Frequenzraum
Ortsraum – Frequenzraum
Eigenschaften der Fourier-Transformation
Aus: Handbook of Computer Vision
Computer Vision
4_Seite 49
Darstellung im Frequenzraum
Ortsraum – Frequenzraum
Eigenschaften der
Fourier-Transformation
Aus:
Handbook of Computer Vision
Computer Vision
4_Seite 50
Darstellung im Frequenzraum
Ortsraum – Frequenzraum
Bezüglich Fourier-Transformation invariante Funktionen
Aus: Handbook of Computer Vision
Computer Vision
4_Seite 51
Darstellung im Frequenzraum
Ortsraum – Frequenzraum
Wichtige Fourier-Transformationspaare
Aus: Handbook of Computer Vision
Computer Vision
4_Seite 52
Darstellung im Frequenzraum
Ortsraum – Frequenzraum
2-Dimensionale diskrete Fourier-Transformation
1
g (u, v)  F g ( j, k ) 
N
N 1 N 1
 g ( j, k )  e

2i
( uj  vk )
N
j 0 k 0
1
g ( j, k )  F g (u, v) 
N
1
Computer Vision
N 1 N 1
 g (u, v)  e

2i
( uj  vk )
N
j 0 k 0
4_Seite 53
Darstellung und Beschreibung
Beschreibung der Objekt-Berandung: Umschreibendes Rechteck (Bounding box)
Computer Vision
1.
Große Halbachse: Gerade, welche
die am weitesten entfernten Punkte
der Objektberandung verbindet.
2.
Kleine Halbachse: Zur großen
Halbachse senkrechte kürzeste
Gerade, so dass die
Objektberandung im damit gebildeten
Rechteck liegt.
3.
Exzentrizität: Verhältnis von großer zu
kleiner Halbachse
4_Seite 54
Merkmale aus Bildfolgen
Bildfolgen: statische Kamera
Zeit
Bewegte Kamera
Zeit
Original
Aufgaben:
•Detektion sich bewegender Objekte
•Verfolgung sich bewegender Objekte
•Objektklassifikation anhand Bewegungsmuster
Computer Vision
Aufgaben:
•Eigenbewegungsschätzung
•Detektion sich bewegender Objekte
•Verfolgung sich bewegender Objekte
•Objektklassifikation anhand Bewegungsmuster
4_Seite 55
Merkmale aus Bildfolgen
Im Bildstapel ergeben
Statische Objektpunkte
senkrechte Geraden
Sich bewegende Bildpunkte
gleichförmige Bewegung:
geneigte Geraden
Beschleunigte Bewegung:
gekrümmte Kurven
Computer Vision
4_Seite 56
Merkmale aus Bildfolgen
Dynamik eines Bildpunktes
Differenzbilder für
statischen Hintergrund mit
sich bewegenden Fahrzeugen
Computer Vision
4_Seite 57
Merkmale aus Bildfolgen
Bildfolgen: statische Kamera: Raum-Zeit-Kanten
Zeit
FlugzeugTemplate
Raumkantenbild
Raumkanten
Grauwertbild
Original
Raum-Zeit-Kantenbild
Raum-Zeit-Kanten
Computer Vision
4_Seite 58
Merkmale aus Bildfolgen
Bildfolgen: statische Kamera: Raum-Zeit-Kanten
Interpretation einer Bildfolge
Gt1(x,y), Gt2(x,y), ..., GtN(x,y)
als dreidimensionales Feld
G(x,y,t)
Raum-Zeit-Kanten
z.B. durch
3-D Sobel-Operator
Beispiel: Infrarotbildfolge (Luftbild) eines Ausschnitts der Meeresoberfläche
Computer Vision
4_Seite 59
Merkmale aus Bildfolgen
Bildfolgen: statische Kamera: Bewegungssegmentierung
Differenzbildverfahren:
1
1
0
1
-1
Empfindlich gegen
Beleuchtungsänderung
Rauschen
Periodische Vorgänge
Computer Vision
4_Seite 60
Merkmale aus Bildfolgen
Bildfolgen: statische Kamera: Bewegungssegmentierung
Hintergrundschätzung:
Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“
Ein Pixel:
g(t)
g(t)
g(t)
Ideal konstant
t
t
Konstant mit Rauschen
Einmaliges Ereignis
t
g(t)
g(t)
t
Langsame Veränderung
t
Periodische Schwankung
Computer Vision
4_Seite 61
Merkmale aus Bildfolgen
Bildfolgen: statische Kamera: Bewegungssegmentierung
Hintergrundschätzung:
Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“
Histogramm über M Bilder:
H(g)
H(g)
H(g)
ge
Ideal konstant
g
H(g)
g
Konstant mit Rauschen
Einmaliges Ereignis
H(g)
1
H M (g) 
N
g
Langsame Veränderung
g
N

i 1
hi
e
2 s i

1
2

g

g

i
2
2s i
g
Periodische Schwankung
Änderung, wenn HM(g) < HSchwelle
Computer Vision
4_Seite 62
Merkmale aus Bildfolgen
Bildfolgen: statische Kamera: Bewegungssegmentierung
Hintergrundschätzung: Vorgehensweise
Betrachtung der Vergangenheit zur Modellierung des „Normalprozesses“
Berechnung eines Bewegungssegment-Bildes (binär Bewegtobjekt-stat. Hintergrund):
Für jedes Pixel
1. Histogramm über die M letzten Bilder
2. Modellierung des Histogramms als Summe von Gaussfunktionen
3. Aktueller Grauwert in Modell?
Ja: Eintrag als Hintergrund-Pixel (z.B. 0 für unverändert), Update Modell
Nein: Eintrag als Vordergrund-Pixel (z.B. 1 für verändert), Update Modell
Letzte M Bilder
...
H(g)
aktuelles Bild
In Modell
Bewegungssegment-Bild
In Modell
H(g)
...
g
g
Histogramm für jedes Pixel
Computer Vision
4_Seite 63
Merkmale aus Bildfolgen
Bildfolgen: Kamera-Bewegungsschätzung
Bildstabilisierung („Wackelkompensation“): Anwendung z. B. Handycams
Annahmen:
Translationen der Kamera vernachlässigbar,
nur wenige sich in der Szene bewegende Objekte.
Drehung der Kamera um Achsen des Bildsensors (Nick- und Gier-, kein Rollwinkel)
Feste Szenengegenstände
Kameradrehung
Bild

Bild
Verschiebung
Bildsensor
Computer Vision
4_Seite 64
Merkmale aus Bildfolgen
Bildfolgen: Kamera-Bewegungsschätzung
Bildstabilisierung („Wackelkompensation“): Anwendung z. B. Handycams
Vorgehen:
1. Schätzung der Translation: Lage des Kreuzkorrelationsmaximums zweier Frames
2. Korrektur der Translation
Berechnung z.B. mittels FFT:
...
...

KKF (x, y )  F 1 F{g t1 ( x, y )}  F{g t 2 ( x, y )}*
ymax
xmax

Lage des Maximums der Kreuzkorrelationsfunktion:
xmax, ymax
Computer Vision
4_Seite 65
Merkmale aus Bildfolgen
Bildfolgen: Bewegungsschätzung
Verfolgung von Merkmalen
1. „Blockmatching“
Vollständige Suche eines Bildausschnitts in einer Umgebung um Ursprungsposition
t
+
Bild zur Zeit t
Bild zur Zeit t+
t+
Computer Vision
4_Seite 66
Merkmale aus Bildfolgen
Bildfolgen: Bewegungsschätzung
Verfolgung von Merkmalen
1. „Blockmatching“: Prinzip
t+
t
Ausschnitt aus Bild zur Zeit t:
Template zur Suche im
nächsten Bild
t+
Suche im Bild zur Zeit t+:
Position im Bild zur Zeit t+, an der
An welcher Stelle „passt“ das
das Template der Bildstruktur am
Template am besten?
Ähnlichsten ist.
Suche beschränkt auf Suchbereich
um Templatepos. im Bild z. Zeit t.
Computer Vision
4_Seite 67
Merkmale aus Bildfolgen
Bildfolgen: Bewegungsschätzung
Verfolgung von Merkmalen
1. „Blockmatching“: Vorgehen
t
t+
• Messung der Ähnlichkeit eines Bildausschnitt B(t) von Bild zur Zeit t mit einem darunter liegenden
Ausschnitt B(t+) gleicher Form und Größe von Bild zur Zeit t+.
Ein Ähnlichkeitsmaß wird für eine Menge von Verschiebungen von B(t) gegenüber der
Ursprungsposition berechnet.
• Verschiebung, bei der die Ähnlichkeit maximal ist und einen Schwellwert überschreitet, gibt eine
Schätzung für die Blockbewegung.
• Ähnlichkeitsmaße:
Euklidische Distanz (Unähnlichkeit)
Kreuzkorrelation (Ähnlichkeit)
Computer Vision
4_Seite 68
Merkmale aus Bildfolgen
Bildfolgen: Bewegungsschätzung
-Ki, -Kj
Verfolgung von Merkmalen
1. „Blockmatching“: Ähnlichkeitsmaße
+Ki, -Kj
„Block“
Template
Verschiebungen di und dj um Ursprungsposition i,j des Templates
-Ki, +Kj
Normierte Kreuzkorrelation:
2
d KK (i, j , d i , d j ) 
  g (t )
 Ki
K j
m Ki n K j
 Ki
K j
  g (t )
m Ki n K j
Euklidischer Abstand:
d E (i, j , d i , d j ) 
i  m, j  n

2
i  m, j  n

  g
 Ki
d CB (i, j , d i , d j ) 
 Ki
K j
 
m Ki n K j
Computer Vision
  g (t  )
 Ki
i  m, j  n

K j
m Ki n K j
K j
m Ki n K j
City-Block-Distanz:
 g (t   ) i d i  m , j d j  n
+Ki, +Kj

2
i d i  m , j d j  n
 g (t  )i d i  m, j d j  n

2
g i  m, j  n  g (t  )i d i  m, j d j  n
4_Seite 69
Merkmale aus Bildfolgen
Bildfolgen: Bewegungsschätzung
Optischer Fluss
Grundsätzliche Annahme:
F ( x, y, t  1)  F ( x  x( x, y ), y  y ( x, y ), t )
Jedes Pixel zur Zeit t+1 einer Bildsequenz kann modelliert werden als ein Pixel zur Zeit t,
das um einen Vektor (x, y)T verschoben wurde: Konstanz der Beleuchtung.
Optischer Fluss: Finde ein Vektorfeld (x(x,y), y(x,y))T, das die opt. Fluss Gleichung
löst.
Problem: Unterbestimmtheit
Betrachte Grauwertbild mit 8 Bit Dynamik und 512x512 Pixel:
 Durchschnittlich 1024 Pixel/Grauwert.
 Zusätzliche Einschränkungen nötig:
1. Glattheit des Flussfeldes
2. Kleine Flussvektoren
Computer Vision
4_Seite 70
Merkmale aus Bildfolgen
Bildfolgen: Bewegungsschätzung
Optischer Fluss
Zusätzliche Einschränkungen:
1. Glattheit des Flussfeldes
2. Kleine Flussvektoren
Dann Entwicklung der opt. Fluss Gleichung in Taylor-Reihe und Vernachlässigung
quadratischer und höherer Glieder:
F
F
F
( x, y )  x( x, y)
( x, y )  y ( x, y )
( x, y )
t
x
y
g
Lokale Gleichung erster Ordnung
dg
g  x  m  x 
„optical flow constraint equation“
dx
Nicht an jedem Punkt lösbar,
g(x0,t+t)
da zwei Unbekannte.
g
Nimm gleiche Flussvektoren in
g(x0,t)
kleiner Umgebung um Punkt (x,y) an
t+t
t
(Glattheitsannahme)  überbestimmtes
Gleichungssystem
Einschränkung: x und y
x x0
klein genug für Abbruch der Taylor-Reihe.
Abhängig von Bildinhalt, gewährleistet nur bei kleiner ein Pixel.
Computer Vision
4_Seite 71
x
Merkmale aus Bildfolgen
Bildfolgen: Bewegungsschätzung
Optischer Fluss
F
F
F
( x, y )  x( x, y )
( x, y )  y ( x, y )
( x, y )
t
x
y
oder in Kurzschrei bweise Ft  v x  Fx  v y  Fy
 optical flow constraint equation
v x  Fx  v y  Fy  Ft  0
  vx 
Bestimmung von v    an Punkt ( x, y ) durch Minimierun g des Fehlerterm s
 vy 
E
 v
x  Fx  v y  Fy  Ft 
2
( x , y )R ( x0 , y0 )
mit R( x0 , y0 ) : Region um ( x0 , y0 ).
Ableitung von E nach v x und v y Null setzen ergibt :
  
W  v   mit
   Fx2
W  
  Fx  Fy
 F  F ,
 F 
Computer Vision
x
y
2
y
  v x     Fx  Ft 
v   ,   

vy 
  Fy  Ft 
4_Seite 72
Merkmale aus Bildfolgen
Bildfolgen: Bewegungsschätzung
Optischer Fluss
  
W  v   mit
   Fx2
W  
  Fx  Fy
 F  F ,
 F 
x
y
2
y
  v x     Fx  Ft 
v   ,   

F

F

y
t
vy 



Matrix W ist symmetrisc h und positiv semi  definit, reelle nicht  negative Eigenwerte .


Entwicklun g der Lösung in die Eigenvekto ren 1 und  2 mit den Eigenwerte n 1 > 2 ,



wenn 1 , 2  0 : v  a1  1  a 2   2
T 
T 
 
 
Einsetzen ergibt a1  1
und a 2  2
1
2


 T
Wenn 2  0 , dann ist W singulär und W  2   2   2

Wenn 1  0 , dann sind alle Elemente von W (Gradiente n) Null  Geschwindi gkeit unbeschrän kt.
Maßnahme :
Sortiere 1 , 2 nach min , max .


Wenn max  1 , betrachte W als Null und setze an diesem Punkt v  0.
Computer Vision
4_Seite 73
Merkmale aus Bildfolgen
Bildfolgen: Bewegungsschätzung
Optischer Fluss
Berechnungsvorschrift
0

 
v  a max   max


a  
 1 1 a2  2
für max  1
für max >> min
sonst
Implementi erungsmögl ichkeiten :
Mögliche Wahl für Bedingung max >> min : max > 100  min .
Gradienten und Zeitablei tung als zentrale Differenze n :
1
Fx ( x, y )  Ft 0 ( x  1, y )  Ft 0 ( x  1, y )
2
1
Fy ( x, y )  Ft 0 ( x, y  1)  Ft 0 ( x, y  1)
2
1
Ft ( x, y )  Ft 0 t ( x, y )  Ft 0 t ( x, y )
2
Computer Vision
4_Seite 74
Merkmale aus Bildfolgen
Bildfolgen: Bewegungsschätzung
Verfolgung von Merkmalen
2. Verfolgung von Monotonie-Operator-Blobs
Betrachte das „Grauwertgebirge“ eines Bildes:
„Kuppen“ und „Senken“ sind stabile Merkmale von Objekten
Quadratische Formen: Zweite Ableitung konstant in Nähe Kuppe bzw. Senke
Computer Vision
4_Seite 75
Merkmale aus Bildfolgen
Bildfolgen: Bewegungsschätzung
Verfolgung von Merkmalen
2. Verfolgung von Monotonie-Operator-Blobs
Am Boden einer Senke bzw. an der Decke einer Kuppe ist die dritte Ableitung klein.
Computer Vision
4_Seite 76
Merkmale aus Bildfolgen
Bildfolgen: Flussvektor-Schätzer nach Lukas und Kanade
Ermittlung der Verschiebung eines kleinen Blocks an Position x,y in Bild zur Zeit t2 gegenüber
Bild zur Zeit t1: dx, dy
E d x , d y 
 I x, y   I x  d , y  d 
2
1
x , yBlock
E d x , d y 
xy

2
x
 2I x, y   I x  d
x , yBlock
1
2
x
y

, y  dy 
I 2 x  d x , y  d y 
xy
I 2 x, y 
I 2 x, y 
I 2 x  d x , y  d y   I 2 x, y  
dx 
dy
x
y
Computer Vision
4_Seite 77
Merkmale aus Bildfolgen
Bildfolgen: Flussvektor-Schätzer nach Lukas und Kanade
Ermittlung der Verschiebung eines kleinen Blocks an Position x,y in Bild zur Zeit t2 gegenüber
Bild zur Zeit t1: dx, dy
E (d x , d y )
xy
0
I ( x, y)  I ( x  d , y  d )  0

1
2
x
y
 x, y  Block

I 2 ( x, y )
I 2 ( x, y ) 
 I1 ( x, y )   I 2 ( x, y ) 
dx 
d y   0  x, y  Block
x
y


I 2 ( x, y )
I 2 ( x, y )

dx 
d y  I 2 ( x, y )  I1 ( x, y )  x, y  Block
x
y
d x 
 I x ( x, y ) I y ( x, y )      I t ( x, y )  x, y  Block
d y 


Computer Vision
4_Seite 78