CV3_KomponentenImSys..

Beispiel Andocksystem (ADS)
Komponenten im System
Systemleistung: Leitung des Flugzeugpiloten mittels Display auf die für den Flugzeugtyp
vorgeschriebene Stoppposition.
Sensor für Bugradposition und Achsenwinkel eines anrollenden Flugzeugs auf Basis von
Video-Bildsequenzen.
Passagierbrücke
Einrollleitlinie
B 737-300
Rollfeld
Stopposition
Computer Vision
Videokamera
Display
1_Seite 1
ADS im Flughafen-Informationssystem
Komponenten im System
Tower
Touchdownzeit, Flugzeugtyp,
Flugnummer
Vorfeldkontrolle
Leitsystem
Gate-Nr, Gateankunft (Soll),
Flugzeugtyp, Flugnummer
Gate
Gateankunftzeit (ist), Stopposition
Videoauswertung
Regler:
Display
Typ
Lage
ADS
Flugzeugmodell
Status, Position, Winkel, Zeit
Computer Vision
1_Seite 2
ADS: Systemanforderungen
Komponenten im System
Videoauswertung
Regler:
Display
Typ
Lage
ADS
Flugzeugmodell
Status, Position, Winkel, Zeit
● Sensor: CCD-Videokamera im PAL-Format (576x768 Pixel)
● Hardware / Platform: Standard-PC-System / Betriebssystem Windows NT
● Messfrequenz: mindestens 12 Hz
● Messgenauigkeit: Bugradposition +/- 0,2 m, Winkel Flugzeugachse/Leitlinie +/- 2°
● Operationelle Anforderungen: Fehltyperkennung, Pushbackerkennung, MultiLeitlinienfähigkeit
● Beleuchtung: Tageslicht, Flutlicht, Allwetterfähigkeit bis Cat III Sichtbedingung
Computer Vision
1_Seite 3
ADS: Messaufgabe
Komponenten im System
Die Messung erfolgt in zwei Schritten:
1. Bestimmung der Position des Flugzeugs im Bild.
2. Rückschluss auf die Position des Flugzeugs auf dem Rollfeld (im Raum):
Objektpunkt auf
der Bildebene, z.B. Triebwerksmitte
y
Bildebene
z
Szenenpunkt
Sehstrahl
Höhe der
Triebwerksmitte über
dem Boden
Rollfeld(Boden)
Voraussetzung: Die Abbildungseigenschaften der Kamera und die Orientierung
zwischen Kamera und Boden ist bekannt.
Computer Vision
1_Seite 4
Erinnerung: Kameramodell und -kalibrierung
Begriffe
Kamerakalibirierung (Eichung) = Ermittlung eines Parametersatzes, so dass das
Kameramodell das Abbildungsverhalten der Kamera möglichst gut approximiert.
Kameramodell
=
Mathematische Beschreibung (Approximation) des realen Abbildungsverhaltens
des Sensors.
z.B. Lochkamera: Die Transformation P : R³  R² ist durch 5 Parameter gegeben:
f
Brennweite (Abstand Ursprung Koordinatensystem und Bildebene)
(cx, cy) Bildhauptpunkt (Durchstoßpunkt der z-Achse im Bild in Pixeln)
dx / dy Breite / Höhe eines Pixels in der Einheit des Kamerakoordinatensystems
f xc
f yc
i
  cx j 

 cy
d x zc
d y zc
Computer Vision
1_Seite 5
Kamerakalibrierung
Begriffe
Was wird für die Kamerakalibrierung benötigt?
Marke 1
(2, 0, 0)T
Marke 3
(4, 0, 0)T
Marke 0
(0, 0, 0)T
Marke 8
(0, 2, 0)T
gemessen (soll)
projiziert (ist)
Kalibrierkörper und die IDs und
Weltkoordinaten der Marken
z.B. Schachbrettmuster
Größe der Quadrate 2 cm
Computer Vision
Bild vom Kalibrierkörper
und die Bildkoordinaten der Marken
1_Seite 6
Kamerakalibrierung
Begriffe
Bemerkungen zu den Kalibriermarken:
● Auch Landmarken kommen als Kalibriermarken in Frage (z.B. Markierungen auf dem
Rollfeld von Flughäfen).
● Auch mit (ausreichend genauen) CAD-Modellen können Kameras kalibriert werden:
Dann wird die Lageschätzung um die Kameraparameter erweitert.
gemessen (soll)
projiziert (ist)
Computer Vision
1_Seite 7
Kamerakalibrierung
Begriffe
Bemerkungen:
● Standard für CCD-Kameras: Kalibrierung nach Roger Tsai (Lochkamerasystem plus
radiale Verzeichnung)
Radial verzeichnetes
Schachbrettmuster
(Fischauge)
● Die Kalibriermarken müssen alle relevanten Bereiche des Bildes abdecken.
● Eine echte 3D-Verteilung der Marken stabilisiert die Kalibrierung.
● Die Mindestanzahl an Kalibriermarken ist durch die Anzahl der zu bestimmenden
Parameter gegeben (eine Marke liefert zwei Gleichungen!)
Computer Vision
1_Seite 8
ADS: Kameramodell
Komponenten im System
Abbildungsmodell nach
Roger Tsai (Lochkamera plus
radiale Verzeichnung)
Bringe Markierungen auf dem
Boden an und ziehe ein Bild mit
diesen Markierungen ein.
Projiziere die Markierungen auf
das Bild (rote Kreuze)
Optimiere die
Abbildungsparameter, so dass
projizierte Markierungen und
abgebildete Markierungen
möglichst gut übereinstimmen.
Computer Vision
1_Seite 9
ADS: Messaufgabe
Komponenten im System
Die Messung erfolgt in zwei Schritten:
1. Bestimmung der Position des Flugzeugs im Bild.
2. Rückschluss auf die Position des Flugzeugs auf dem Rollfeld (im Raum).
Lösung hier: Suche bestimmte Objektpunkte im Bild durch
Schablonenanpassung.
Computer Vision
1_Seite 10
Kreuzkorrelation
Komponenten im System
Seien g und s zwei gleich große Bilder mit Breite B und Höhe H. Dann heißt
 B 1 H 1

  g ( x, y ) s( x, y ) 


x 0 y 0


Korr( g , s ) 
 B 1 H 1 2
 B 1 H 1 2

  g ( x, y )   s ( x, y ) 



 x 0 y 0
 x  0 y  0

Kreuzkorrelation von g und s.
Computer Vision
1_Seite 11
Schablonenanpassung
Komponenten im System
● Gegeben seien ein Bild g und eine Schablone s.
● Schiebe die Schablone s über das Bild g und berechne an jeder Bildpunktposition die
Kreuzkorrelation.
● An der Position, an der die Schablone und das Bild am besten übereinstimmen, ist
die Kreuzkorrelation am größten.
Schablone s
Kreuzkorrelationsbild
Bild g
Computer Vision
1_Seite 12
ADS: Objektmodell
Komponenten im System
Objektmodellierung: Modell aus Triebwerkseinlass, Frontscheibe, Hauptfahrwerk (in
Form von Schablonen) und deren geometrischer Zusammenhang (Gitter)
Schablonen,
starres Gitter
Centerline
Stopposition
Die Übereinstimmung des Modells mit dem Bild wird durch Schablonenanpassung (z.B.
Korrelationskoeffizient) gemessen.
Computer Vision
1_Seite 13
ADS: Suchvorgang im Fangbereich
Komponenten im System
Start
Korrelationsverlauf beim Vorgang "Searching" für Sequenzen mit folgenden Merkmalen:
Flugzeugtyp: 737; Kamera: color; Mittelwert-Template.
Korrelationsverlauf für verschiedene Sequenzen
Suchposition festlegen
ce3
ce4
ce5
ce25
3D-Template an Suchposition
transformieren
ce24
Korrelationswert
ce19
361
321
281
241
161
Sequenz
121
ce8
ce16
Bild-Nr.
Bild-Nummer
81
ce12
ce6
ce17
Korr. berechnen für Umgebung
um Suchposition
ce18
ce13
ce14
ce10
ce11
ce21
ce22
ce7
Nein
Template gefunden
Korr>Schwellwert
ce26
ce27
ce9
41
Bild einziehen
ce15
ce23
201
Sequenz
ce20
Ja
ce1
1
ce2
Flugzeugposition über
3D-Fit berechnen
Tracking
Computer Vision
1_Seite 14
ADS: Objektverfolgung
Komponenten im System
Start
Aktuelle Flugzeugposition
aus "Searching"
Schablone an aktuelle
Flugzeugposition transformieren
Schablone mit aktuellem
Bildinhalt überblenden
Bild einziehen
Korrelation für Schablone
berechnen
Aktuelle Flugzeugposition über
3D-Fit berechnen
ja
Stop-Postion
Stop
nein
Computer Vision
1_Seite 15
ADS: Verfolgungsergebnisse
Komponenten im System
KKV-Werte für "Tracking" Vorgang; Fluzeugtyp: 737; Kamera: SW; 3D; 5 P
Korrelationsverlauf
für verschiedene Sequenzen
t3d_3
t3d_4
t3d_5
t3d_25
t3d_24
t3d_19
t3d_20
1
t3d_8
t3d_16
0.8
t3d_15
t3d_12
0.6
Korrelationswert
t3d_6
0.4
t3d_17
t3d_18
0.2
371
334
0
t3d_2
t3d_1
t3d_9
t3d_27
t3d_26
t3d_7
t3d_23
t3d_22
t3d_21
t3d_11
t3d_10
t3d_14
t3d_13
t3d_18
t3d_17
t3d_6
t3d_12
t3d_15
t3d_16
t3d_8
t3d_20
t3d_19
297
260
223
186
149
112
Sequenz
75
t3d_10
t3d_11
t3d_21
t3d_22
t3d_23
t3d_7
t3d_27
1
t3d_9
t3d_3
t3d_5
t3d_4
t3d_14
t3d_26
38
t3d_25
t3d_24
Sequenz
BildNummer
Bild-Nr.
t3d_13
t3d_1
t3d_2
Computer Vision
1_Seite 16
ADS: Auswerteergebnisse
30
30
25
25
20
20
15
Komponenten im System
15
10
10
5
5
481
449
417
385
353
321
289
257
225
193
161
129
97
65
33
0
1
0
-0 0 0,
,5
5
Andocksequenz 3: f=16mm Stop: x=-0.17, y=1.5
25
25
20
20
15
15
10
10
5
5
0
Computer Vision
481
449
417
385
353
321
289
257
225
193
161
129
97
65
33
0
0
1
-0,5
Andocksequenz 10: f=16mm Stop: x=-0.31, y=0.7
1_Seite 17
ADS: Auswerteergebnisse
Komponenten im System
90
80
70
60
50
40
30
20
10
0
-5
0
5
10
15
20
60
50
40
30
20
10
0
-2
-1,5
Computer Vision
-1
-0,5
0
1_Seite 18
Zusammenfassung
Operationelle
Anforderungen
Komponenten im System
Lösungskonzept
Bildauswertung
Geschwindigkeit
Latenzzeit
Genauigkeit
EinsatzRandbedingungen
Zuverlässigkeit
Systemanforderungen
Sensoren
Nutzungskonzept
Aufgabendefinition
Datensätze
Algorithmen
HW-/SW-Konzept
Echtzeitlösung
Trainingsumgebung
Testumgebung
Systemintegration
Szene
KommunikationsEinbindung
Hardware
Betriebssystem
Verfügbarkeit
Computer Vision
1_Seite 19
Korrelationskoeffizient
Komponenten im System
Seien g und s zwei gleich große Bilder mit Breite B und Höhe H. Dann heißt
 B 1 H 1

  g ( x, y )  g s( x, y )  s 


Kov( g , s )
x 0 y 0


 ( g , s) 

2
V ( g )V ( s )
 B 1 H 1
 B 1 H 1
2
  g ( x, y )  g   s( x, y )  s 

 x 0 y 0
 x  0 y  0










Korrelationskoeffizient von g und s.
 positiv
g und s heißen un 
negativ

korreliert, wenn
Computer Vision
  0

  0
  0

ist.
1_Seite 20
Schablonenanpassung
Komponenten im System
● Gegeben seien ein Bild g und eine Schablone s.
● Schiebe die Schablone s über das Bild g und berechne an jeder Bildpunktposition
den Korrelationskoeffizienten.
● An der Position, an der die Schablone und das Bild am besten übereinstimmen, ist
der Betrag des Korrelationskoeffizienten am größten.
Schablone s
KorrelationsKoeffizientenbild
(Betrag)
Bild g
Computer Vision
1_Seite 21