Motion Tracking
Werbung
MOTION TRACKING Olaf Christ AIS-Sommersemester 2000 Betreuer: Prof. C. Klauck Motion Tracking • • • • • • Ziele des Vortrags Einsatzgebiete Bewegungsanalyse Methoden Weitere Probleme des Motion Tracking Abschließendes / Ausblick Ziele des Vortrags Vermittlung: • von Einsatzgebieten • elementarer Probleme des Motion Trackings. • einiger Lösungsansätze und Bewertung • weitere Probleme des Motion Trackings • was ist nun Motion Tracking ? Einsatzgebiete • • • • • • • • Robotvision Fahrzeugtechnik (Crashtests) Leitsysteme (Autopilot) Medizintechnik (Operationshilfe) Sportmedizin (Bewegungsanalyse) Unterhaltungsindustrie (Motion Capturing) Microsoft Explorer Maus (Optischer Sensor) Militär (Lenksysteme) Bewegungsanalyse • • • • • • • Was ist Bewegung ? Bildsequenzanalyse Blendenproblem Korrespondenzproblem Bildsequenzanalyse Optischer Fluss Methoden / Lösungsansätze Was ist Bewegung Behauptungen: • Bewegung stellt sich durch eine Veränderung zwischen Einzelbildern dar. • Bewegung stellt sich durch Grauwertänderungen dar. Bewegungsanalyse Bewegungsanalyse Bewegungsanalyse • Bewegung kann in Grauwertänderungen resultieren • Der Umkehrschluss trifft leider nicht zu • Bewegungsanalyse hängt eng mit räumlichen und zeitlichen Grauwertänderungen zusammen,die sich mit Hilfe von lokalen Operatoren ermitteln lassen • Operatoren zur Bestimmung des Verschiebungsvektors sehen aber immer nur einen kleinen Ausschnitt Das Blendenproblem ? Der Verschiebungsvektor (VV) kann nicht eindeutig bestimmt werden. Punkte können nicht eindeutig wiedergefunden werden. ? ? Lokale Operatoren liefern wenig Information über Bewegung ! Das Korrespondenzproblem vorher nachher mittlerer Teilchenabstand ist größer als der VV mittlerer Teilchenabstand ist kleiner als der VV Das Korrespondenzproblem • Wir können keine korrelierenden Punkte in zwei aufeinanderfolgenden Bildern finden • Das Blendenproblem ist ein Spezialfall des allg. Korrespondenzproblems • Aufnahmefrequenz muss so groß sein, daß der mittlere VV signifikant kleiner als der mittlere Partikelabstand ist. • Physikalische stimmt nicht immer mit der sichtbaren K. überein oder es lässt sich nur eine Größe bestimmen. Bildsequenzanalyse u = - tan φ u=- tan φx tan φy Geschwindigkeit ist direkt mit der Orientierung verknüpft ! Bildsequenzanalyse t x y Bildsequenzanalyse Vorteile: • Lösung des Schnappschußproblems • Geschwindigkeit kann direkt als Orientierung gemessen werden • Größere Robustheit gegenüber zeitweiliger Verdeckung von Objekten • Möglichkeit der Bewegungsabschätzung und analytischen Betrachtung der Algorithmen im kontinuierlichen xt-Raum Das Blendenproblem bleibt uns aber leider erhalten. Bewegung im Fourierraum • Betrachtet die Bewegung im xt-Raum im korrespondierenden kώ-Raum • Geschwindigkeit und Orientierung lassen sich relativ leicht bestimmen • Möglichkeit eines zeitlichen Tiefpassfilters • Das Blendenproblem wird mittransformiert • Objektidentität geht verloren Optischer Fluß • Bewegung und Grauwertänderung sind nicht äquivalent Begriffserklärung: Bewegungsfeld: Projektion der Bewegungen in der 3D-Szene auf die Bildebene. Optischer Fluß: • Grauwertfluß in der Ebene bzw. die sichtbare Bewegung in der Ebene • Nur gleich bei konstanter Beleuchtung in der Bildebene Im kontinuierlichen Raum gilt: • Wird der Optische Fluß aus zwei aufeinanderfolgenden Bildern bestimmt, dann erscheint er als Verschiebungsvektor von den Merkmalen des ersten zu denen des zweiten Bildes. Im diskreten Raum entsprechend: • Liegt an jedem Bildpunkt solch einen Vektor vor, dann hat man ein Verschiebungsvektorfeld. Optischer Fluß • Näherung des optischen Flusses: Wir teilen das VVF durch das Zeitintervall zwischen den beiden Bildern • Die Bestimmung des optischen Flusses aus nur zwei aufeinanderfolgenden Bildern ist nicht sehr robust • Orts/Zeit -Bilder erlauben eine wesentlich robustere Aussage Optischer Fluß Bewegungsbestimmung im Orts / Zeit-Raum ist robust gegenüber Verdeckung Methoden • Differentielle Methoden Mehrkanalbilder Orts/Zeit-Energie Modelle Methoden der kleinsten Quadrate Differentialgeometrische Methoden • Alternativen zur Differentiellen Methode: Tensormethode Korrelationsmethode Phasenmethode • Robustheit Differentielle Methoden • Klassischer Ansatz der Bewegungsanalyse zwischen zwei aufeinanderfolgenden Bildern • Es ist nicht möglich den kompletten VV an jedem einzelnen Punkt im Orts/Zeit-Bild zu bestimmen Mehrkanalbilder • Nutzt weitere Kanäle, um beide Komponenten des optischen Flusses zu bestimmen • Stellt eine Erweiterung der Differentialgeometrischen Modellierung dar und erlaubt die beliebige Vorverarbeitung von Bildern. • Ist nur sinnvoll, wenn ein zusätzliches Merkmal auch wirklich neue Information bringt Tensormethode • Erlaubt die Berechnung der lokalen Orientierung jedes Objektes unter Zuhilfenahme der Tensor-Rechnung und Eigenwertanalyse. • Objektidentität wird beibehalten Korrelationsmethode • Analyse der Verschiebung zweier aufeinanderfolgender Bilder • Sucht in einem bestimmten Bereich nach der Position der optimalen Ähnlichkeit • Zwei Merkmale sind gleich, wenn sie sich nur um einen Faktor α unterscheiden, der die Beleuchtungsunterschiede angibt • relativ unempfindlich gegenüber Beleuchtungsänderungen und die Standardmethode bei Stereobildern • Hohe (Subpixel)-Genauigkeit • sehr rechenintensiv und im allgemeinen auf zwei Bilder beschränkt Phasenmethode • die wesentliche Bildinformation ist in der Phase des Bildsignals enthalten • Die Methode ist unempfindlich gegenüber Beleuchtungsänderungen • Eigentlich ein 1D -Konzept • Bei Erweiterung auf 2D erlaubt sie aber sogar die Verarbeitung komplexer Fälle wie sich überlagernder transparenter Objekte Allgemeine Probleme • Ungleichmäßige Bewegung führt zu einem Fehler in der Schätzung des Optischen Flusses, der mit dem Quadrat der Beschleunigung wächst. • Ein zunehmender Rauschpegel vermindert die Kohärenz zwischen Nachbarschaften Robustheit • Differentielle Methoden sind nicht robust gegenüber Beleuchtungsänderungen • Die Korrelationsmethode ist robust gegenüber geringen Beleuchtungsänderungen, die Phasenmethode praktisch gar nicht. • Phasen- und Tensormethode sind relativ unempfindlich gegenüber Bewegungsdiskontinuitäten Überdeckung • Ein weiteres Problem des Motion Trackings • Wichtige Teile eines Objekte sind in irgendeiner Art verdeckt • Shape-Segmentation • Lösungsansatz mittels neuronaler Netze Template / Pattern Matching zur Findung der Region of Interest (ROI) • Am besten lösbar mit Kenntnis des zu verfolgenden Objekts Abschließendes /Ausblick • Es konnte nur ein winziger Einblick gegeben werden • Motion Tracking ist immer noch ein schwieriges komplexes Thema • Das Korrespondenzproblem und das Problem der Überdeckung bleiben schwierig und sind noch nicht vollständig gelöst • Beleuchtungsänderungen sind ein großes Problem • Es gibt allerdings mittlerweile sehr stabile Algorithmen • Flexiblere Verfahren wie zB. Template /Pattern Matching die Methode lösen die Methode mit Markern allmählich ab • Durch die Veröffentlichung einer Open Source Bibliothek von Intel und die rasante Performancesteigerung der Prozessoren ist M. T. für jedermann anwendbar. Literaturhinweise Jähne 1997 Jähne, Bernd: Digitale Bildverarbeitung: Springer – ISBN 3-540-61379-X Foley 1997 Foley, James D. :Computer Graphics: Principles and Practice: Addison-Wesley – ISBN 0-201-84840-6 INTEL 2000 Computer Vision Library: http://developer.intel.com/software/opensource/index.htm Erreichbar am 25.6.2000 MIT Media Laboratory Computers Watching Football:http://www-white.media.mit.edu/vismod/demos/football/tracking.htm Erreichbar am 25.6.2000 Horst Haussecker 1997 Bildfolgenanalyse: http://klimt.iwr.uni-Heidelberg.de/Projects/BAW/diplhhaus/node1.html Erreichbar am 25.6.2000 Die Fensterfunktion: http://129.206.107.84/PublicFG/ProjectB/CFT/dipluschimpf/node16.html Erreichbar am 25.6.2000 Torsten Rupp Axiales Motion Stereo: http://www.fzi.de/mmr/german/projects/ams/Ams2.html Erreichbar am 25.6.2000 Frank Hering Optimierung der Teilchenzuordnung: Fuzzy Logic: http://klimt.iwr.uni-heidelberg.de/Projects/paper/doktor/node65.html Erreichbar am 25.6.2000 Dmitry Chetverikov Tracking in computer vision: http://visual.ipan.sztaki.hu/pivweb/node2.html Erreichbar am 25.6.2000 1997 Image and Video Computing Group - Boston University Active Blobs:Approach: http://irc.bu.edu/faculty/sclaroff/ivc/ActiveBlobs/approach.html Erreichbar am 25.6.2000 Philip McLauchlan Visual Tracking: http://http.cs.berkeley.edu/~pm/Papers/bmvc97/node2.html Erreichbar am 25.6.2000 Sang-Hwa Lee, Seoul National University (Korea) Jong-Il Park, MIC3, ATR (Japan) Choong-Woong Lee, Seoul National University (Korea) Motion Analysis II, A New Stereo Matching Algorithm Based on Bayesian Model: http://www.causalproductions.com/TEMP/INDEX/IC98S507.HTM Erreichbar am 25.6.2000 Bewegungsschätzung im Spektralraum: http://est340.e-technik.tu-ilmenau.de/pvk/bericht/4-08.htm#Bewegungsschätzun Erreichbar am 25.6.2000 Hydra: Multiple People Detection and Tracking Using Silhouettes: http://www.umiacs.umd.edu/~hismail/Hydra_Outline.htm Neil Johnson University of Leeds / Vision Group: http://www.scs.leeds.ac.uk/neilj/research.html Erreichbar am 25.6.2000