Photometrische Stereoanalyse
Werbung
Hauptseminar Computer Vision Kapitel VIII Photometrische Stereoanalyse Kai Christian Bader ([email protected]) Nur ein kurzer Überblick... 1. 2. 3. Grenzen der SFS-Verfahren Analyse von Irradianzpaaren Analyse von Irradianztripeln Photometrische Stereoanalyse (Kai Bader) 2 Das Beispiel aus dem letzten Vortrag SFS-Verfahren sind nur unter idealen Bedingungen zu solchen Resultaten fähig. Photometrische Stereoanalyse (Kai Bader) 3 Was aber ist mit solchen Fällen? Photometrische Stereoanalyse (Kai Bader) 4 1. Grenzen von SFS-Verfahren Kapitel 1 Die Problemstellung aus einem Einzelbild eine Oberfläche zu rekonstruieren ist stark unterbestimmt. Starke Einschränkungen in der Objektvielfalt notwendig... Photometrische Stereoanalyse (Kai Bader) 5 1. Grenzen von SFS-Verfahren 1.1 Der Term E0 ist bekannt und konstant E0 bekannt Lösungsmenge ist bei einer Lambertschen Reflektanzkarte gleich einem Kegelschnitt im Gradientenraum (E0 bestimmbar, falls eine Orientierung n = s vorhanden und sichtbar ist) Zur Erinnerung: E0 Bestrahlungsstärke der Beleuchtung Albedo / Reflektionskonstante Photometrische Stereoanalyse (Kai Bader) 6 1. Grenzen von SFS-Verfahren 1.2 Die Oberflächen sind mindestens C(1)-stetig Facettenübergänge / Objektkanten sind nicht immer wahrnehmbar Stetigkeitsanforderung Da die Stetigkeitsanforderung für jeden Punkt gilt: Keine Möglichkeiten der Untersuchung polyedrischer Objekte (es existieren allerdings hierfür spezielle SFS-Verfahren welche mit einem Kantenoperator arbeiten) Photometrische Stereoanalyse (Kai Bader) 7 1. Grenzen von SFS-Verfahren 1.3 Es müssen singuläre Punkte bzw. Orientierungen bekannt sein (d.h. einige Höhenwerte, bevorzugt Orte mit einer Konvexität bzw. Konkavität oder Sattelpunkte sollten bekannt sein) Problem der Mehrdeutigkeit: konkav-konvex-Konflikt Photometrische Stereoanalyse (Kai Bader) 8 1. Grenzen von SFS-Verfahren Aber nun zur Photometrischen Stereoanalyse Als Erweiterung der vorher behandelten SFSVerfahren, genauer zur... Photometrische Stereoanalyse (Kai Bader) 9 2. Die Analyse von Irradianzpaaren Kapitel 2 Der erste Erweiterungsschritt zur schattierungsbasierten Mehrbildanalyse Photometrische Stereoanalyse (Kai Bader) 10 2. Die Analyse von Irradianzpaaren 2S-Verfahren (2-Beleuchtungsquellenverfahren) Eine weitere Beleuchtungsquelle wird hinzugefügt Die Richtungen s1 und s2 der Beleuchtungsquellen dürfen nicht kollinear sein Zwei Aufnahmen durch einen Sensor bei identischer Positionierung und Orientierung, aber mit jeweils nur einer Beleuchtungsquelle Für jeden Bildpunkt ergeben sich so zwei Irradianzen: Irradianzpaar Photometrische Stereoanalyse (Kai Bader) 11 2. Die Analyse von Irradianzpaaren Allgemeine Vorraussetzung: Bei einer Irradianz = 0 wird = 0 angenommen, d.h. der Punkt ist nicht beleuchtet Beispiel für zwei Aufnahmen mit verschiedenen Lichtquellen: Photometrische Stereoanalyse (Kai Bader) 12 2. Die Analyse von Irradianzpaaren Nur falls s = v gilt können alle Orientierungen der sichtbaren Punkte beleuchtet werden Bei SFS-Verfahren sind unter Annahme allg. Beleuchtungsrichtungen immer ein Teil der Orientierungen im Schatten Photometrische Stereoanalyse (Kai Bader) 13 2. Die Analyse von Irradianzpaaren Je kleiner der Winkel zwischen s1 und s2, desto mehr Orientierungen sind sichtbar Je größer der Winkel , desto robuster ist das Verfahren gegenüber Meßungenauigkeiten bei den Irradianzen Eine optimale Wahl der Beleuchtungsrichtungen existiert nicht Alle bestrahlten Orientierungen sollten von v aus sichtbar sein (d.h. es sollte gelten: v = as1 + bs2 ) Photometrische Stereoanalyse (Kai Bader) 14 2.1 Lineare Reflektanzkarten Für die Oberflächenrefflektion und die Beleuchtung wird ein lineares Reflektanzverhalten angenommen Jede gemessene Irradianz E1 reduziert die Lösungsmenge der Orientierungen auf eine von p abhängige Gerade h im Gradientenraum h : q h( p) m( s1 ) p b( s1, E1 ) Existiert eine zweite Aufnahme mit veränderter Beleuchtungsrichtung und Irradianz E2, so ergibt sich eine zweite Gerade k. k : q h( p) m( s2 ) p b( s2 , E2 ) Photometrische Stereoanalyse (Kai Bader) 15 2.1 Lineare Reflektanzkarten Beide Irradianzen beschreiben den gleichen Szenepunkt Der Schnittpunkt (pm,qm) der Geraden h und k repräsentiert die einzige konsistente Orientierung Photometrische Stereoanalyse (Kai Bader) 16 2.1 Lineare Reflektanzkarten Aus den beiden Gleichungen kann ein LGS gebildet werden: 1 pm m( s1 ) 1 b( s1 , E1 ) qm m( s2 ) 1 b( s2 , E2 ) Mit zwei Reflektanzkarten deren Steigungen nicht identisch sind lässt sich für jedes Irradianzpaar eine eindeutige Orientierung konstruieren. Photometrische Stereoanalyse (Kai Bader) 17 2.2 Albedoabhängige Analyse Der Lösungsansatz für Lineare Reflektanzkarten lässt sich nicht direkt auf Lambertsche Oberflächen übertragen (eine Bildirradianz beschränkt hier den Gradienten (p, q) auf Kegelschnitte, also Kurven 2.Ordnung) Für ein Irradianzpaar existieren max. zwei Orientierungen, da die Isoirradianzkurven höchstens zwei Schnittpunkte haben Photometrische Stereoanalyse (Kai Bader) 18 2.2 Albedoabhängige Analyse Durch messen: Beleuchtungsrichtungen s1, s2 und Irradianzen E1, E2 Die Gradientenraumpräsentation sei durch ps1=p(s1), ps2=p(s2) gegeben Aus der Lambertschen Reflektionseigenschaft ergeben sich zwei Bildirradianzgleichungen als nichtlin. Gleichungssystem in p, q: E1 E01 p ps1 q qs1 1 p 2 q 2 1 ps21 qs21 1 (für E2 / s2 äquivalent) Photometrische Stereoanalyse (Kai Bader) 19 2.2 Albedoabhängige Analyse Das Zweibein der Beleuchtungsrichtungen s1, s2 wird mit einer 3x3 Rotationsmatrix R rotiert bis beide Y-Komponenten der transform. Beleuchtungsrichtungen Null ergeben: s1' R s1 , s2' R s2 s1 und s2 sind komplanar zur XZ-Ebene: psi' p( si ' ) , qsi' q( si ' ) 0 ; i 1,2 Genauso kann mit den Oberflächenorientierungen verfahren werden: p ' p ( n ' ) p ( R n ) , q' q( n ' ) q( R n ) Photometrische Stereoanalyse (Kai Bader) 20 2.2 Albedoabhängige Analyse Durch die Rotation vereinfacht sich das Gleichungssystem zu: E1 E01 p' ps1 1 p'2 q'2 1 ps22 1 (äquivalent für E2 / s2) Die Bildirradianzen ändern sich nicht durch die Rotation Photometrische Stereoanalyse (Kai Bader) 21 2.2 Albedoabhängige Analyse Durch Eliminierung von p'2 q'2 1 kann das Gleichungssystem auf E2 E01 ( p' ps1' 1) ps22' 1 E1 E02 ( p' ps 2' 1) ps22' 1 reduziert werden. p‘ als einzige Unbekannte kann (da sie in linearer Form auftritt) eindeutig aus (E1,E2) bestimmt werden. q‘ kann aus p‘ ermittelt werden Photometrische Stereoanalyse (Kai Bader) 22 2.2 Albedoabhängige Analyse Die Gleichung 2 E12 E02 2 ( p'2 q'2 1)( ps21 1) ( p' ps1 1)2 Ist quadratisch in q‘ es existieren zwei Lösungen für q‘1,2 Photometrische Stereoanalyse (Kai Bader) 23 2.2 Albedoabhängige Analyse Existiert ein Paar von Lösungsorientierungen, so sind diese Spiegelsymmetrisch zur Ebene aufgespannt von s1 und s2 Existiert nur eine Lösungsorientierung, so sind n, s1 und s2 komplanar Es kann eine eindeutige Oberflächenorientierung rekonstruiert werden, falls zur Modellierung Lambertsche Reflektanzkarten eingesetzt werden (dann sogar Punktlokal verwendbar) Photometrische Stereoanalyse (Kai Bader) 24 2.3 Eindeutigkeit durch Integrabilität 3 Beispiele für Verfahren, mit deren Hilfe trotz Mehrdeutigkeiten eine eindeutige Lösung rekonstruiert werden kann Direkte SFS-Erweiterung Konvexitätsannahme Integrabilitätsbedingung Photometrische Stereoanalyse (Kai Bader) 25 2.3 Eindeutigkeit durch Integrabilität Direkte SFS-Erweiterung Rekonstruktion einer eindeutigen Oberfläche mit der Erweiterung schattierungsbasierter Einzelbildverfahren (besonders geeignet: globale Minimierungsansätze) Photometrische Stereoanalyse (Kai Bader) 26 2.3 Eindeutigkeit durch Integrabilität Konvexitätsannahme Die Objektumgebung wird auf konkave oder konvexe Oberflächen beschränkt die Lösung ist dann eindeutig bestimmbar Photometrische Stereoanalyse (Kai Bader) 27 2.4 Albedounabhängige Analyse Die Verwendung Lambertscher Reflektanzkarten impliziert im allgemeinen, dass die Terme E0 und E1 bekannt und konstant sind. Wie groß ist aber die Mächtigkeit der Lösungsmenge, wenn die Albedo unbekannt bleibt? Photometrische Stereoanalyse (Kai Bader) 28 2.4 Albedounabhängige Analyse Bildirradianzen unter paralleler Beleuchtung: nT s1 nT s2 E1 E01 und E2 E02 n s1 n s2 Nennerfrei gemacht und von einander subtrahiert: nT ( E01 E2 s2 s1 E02 E1 s1 s2 ) 0 (diese kann als ein Skalarprodukt aufgefasst werden) Photometrische Stereoanalyse (Kai Bader) 29 2.4 Albedounabhängige Analyse Ist 0, so kann die Albedo aus der Gleichung eliminiert werden. Mit der Hilfsgröße E0a ,b E0a Eb sb kann die Gleichung als vereinfachtes Skalarprodukt dargestellt werden: nT ( E01,2 s1 E02,1 s2 ) 0 oder noch kompakter als: nT ( s1,2 s2,1 ) 0 mit sa ,b E0a ,b sa E0a Eb sb sa Photometrische Stereoanalyse (Kai Bader) 30 2.4 Albedounabhängige Analyse Die Vektordifferenz s1,2 - s2,1 ist eine konstante Größe und s1, s2 aufgespannt Die veränderlichen Größen sind die Bildirradianzen E1 und E2 Vektor s1s2 ist orthogonal zur Vektordifferenz s1,2 - s2,1 Lösungen sind alle Vektoren n, für die das Skalarprodukt Null ergibt (n orthogonal zu s1,2 - s2,1) Photometrische Stereoanalyse (Kai Bader) 31 2.5 Kugelapproximation Prinzipiell: Albedounabhängige Rekonstruktion mit dem Irradianzpaar, vergleichbar mit dem Problem der albedounabhängigen Rekonstruktion von SFS-Verfahren (in beiden Fällen beschränkt die Irradianziformation die Orientierungen auf Kreise auf der Gaußschen Kugel) Bei SFS-Verfahren: Kreisumfang ist immer < 2 (je größer die Irradianz, desto kleiner der Kreisumfang) Photometrische Stereoanalyse (Kai Bader) 32 2.5 Kugelapproximation Die Irradianz E und der Kreisumfang U stehen durch die Gleichung in Relation. E 2 U 2 1 E0 Bei albedounabhängigen 2S-Verfahren: Kreisumfang konstant 2 (damit i.a. größer als bei SFS) Photometrische Stereoanalyse (Kai Bader) 33 3. Analyse von Irradianztripeln Ähnlich den vorherigen 2S-Verfahren werden nun Verfahren betrachtet, bei denen drei Beleuchtungsquellen eingesetzt werden. Diese 3S-Verfahren ordnen jedem Bildpunkt 3 Irradianzen, also das Irradianztripel, zu. Photometrische Stereoanalyse (Kai Bader) 34 3.1 Albedoabhängige Analyse Mit einem Irradianzpaar einer Lambertschen Oberfläche kann die Lösungsvielfalt der Orientierungen auf maximal zwei beschränkt werden. Wird eine dritte Beleuchtungsquelle hinzugenommen, so entsteht ein weiterer Kreis auf der Gaußschen Kugel. Bei drei konsistenten Irradianzen müssen diese drei Kreise mindestens einen gemeinsamen Schnittpunkt besitzen. Mit der dritten Irradianz kann die korrekte der beiden Lösungsorientierungen ermittelt werden! Photometrische Stereoanalyse (Kai Bader) 35 3.1 Albedoabhängige Analyse Im Gradientenraum wurde vorher das Paar der Lösungsgradienten durch Schnitt zweier Kegelschnitte bestimmt. Kommt eine weitere Beleuchtungsquelle hinzu, so schneiden sich die drei Kegelschnitte in einem Punkt. Dieser Schnittpunkt (p,q) im Gradientenraum repräsentiert die gesuchte Orientierung. Photometrische Stereoanalyse (Kai Bader) 36 3.1 Albedoabhängige Analyse Auch ohne Berechnung der Lösungskandidaten kann eine Lösung bestimmt werden, indem die Schnittkurven nichtanalytisch erzeugt werden. Dazu werden die Reflektanzkarten als Bildmatrizen repräsentiert. Bei Verwendung eines Kalibrierobjektes müssen weder Beleuchtungsrichtung noch das Produkt E0 bekannt sein. Die Berechnung der Orientierungen erfolgt durch Schwellenwertsegmentierung der Reflektanzkarten. Durch die robuste Verfahrensweise können auch Oberflächen ohne Lambertsche Reflektionseigenschaften rekonstruiert werden. Photometrische Stereoanalyse (Kai Bader) 37 3.1 Albedoabhängige Analyse Look-Up-Tabellen Ein im Bild gemessenes Irradianztripel lässt sich als Punkt im kartesischen Koordinatensystem E1E2E3 auffassen, wenn jede der drei aufspannenden Achsen die Bildirradianzen einer Beleuchtungsquelle repräsentieren. Jedem möglichen Irradianztripel ist eindeutig eine Oberflächenorientierung zugeordnet, so dass die die Generierung einer dreidimensionalen Look-Up-Tabelle möglich ist: Photometrische Stereoanalyse (Kai Bader) 38 3.1 Albedoabhängige Analyse Zwei Möglichkeiten der Erstellung: Sind Richtung und Bestrahlungsstärke der Beleuchtungsquellen bekannt kann die Look-Up-Tabelle aus Reflexionsmodellen bestimmt werden. Mit einem Kalibrierungsobjekt bekannter Geometrie und Reflexion (das alle Orientierungen in diskreter Form aufweist) kann die Bestimmung der Bestrahlungsstärken und der Reflektionsparameter entfallen. Soll eine Oberflächenorientierung bestimmt werden, so muss lediglich der Tabelleneintrag nachgeschlagen werden. Dem Zeitvorteil beim Analysieren steht ein hoher Speicherbedarf entgegen. Photometrische Stereoanalyse (Kai Bader) 39 3.1 Albedoabhängige Analyse Photometrische Stereoanalyse (Kai Bader) 40 3.2 Albedounabhängige Analyse Ein Irradianzpaar beschränkt die Gradienten in einem Lambertschen Oberflächenpunkt unbekannter Albedo auf eine Gerade im Gradientenraum. Mit einer dritten Beleuchtungsquelle hat man drei Irradianzpaare, also auch drei Gradengleichungen. Unter der Vorraussetzung konsistenter Irradianzen besitzen diese immer einen gemeinsamen Schnittpunkt. Photometrische Stereoanalyse (Kai Bader) 41 3.2 Albedounabhängige Analyse Unter 2.4 wurde eine Gleichung genannt, mit der zur Oberflächenorientierung orthogonaler Vektor berechnet werden kann - hier (E1,E2): nT ( E01 E2 s2 s1 E02 E1 s1 s2 ) 0 (äquivalent für (E1,E3) und (E2,E3)) Durch Bildung des Vektorproduktes entsteht ein zur gesuchten Orientierung n kollinearer Vektor: u ( E01 E2 s2 s1 E02 E1 s1 s2 ) ( E01 E3 s3 s1 E03 E1 s1 s3 ) Es gilt also: n su Photometrische Stereoanalyse (Kai Bader) 42 3.2 Albedounabhängige Analyse Wird die Gleichung durch eine der Bestrahlungsstärken geteilt (hier E3), so ändert sich die Richtung des Vektors nicht bezüglich u. E01 E02 E01 u ( E2 s2 s1 E1 s1 s2 ) ( E3 s3 s1 E1 s1 s3 ) E03 E03 E03 * Dies bedeutet, dass für den Analyseprozess die Bestrahlungsstärken der Leuchtquellen nur relativ zueinander bekannt sein müssen. Die Albedo kann folglich auch nur relativ bestimmt werden. Photometrische Stereoanalyse (Kai Bader) 43 3.2 Albedounabhängige Analyse Beispiel für ein Bildtripel mit nichtuniformer Albedo: Photometrische Stereoanalyse (Kai Bader) 44 3.3 Bestimmung der Beleuchtungsrichtung Durch Abwandlung des Ansatzes zur Photometrischen Stereoanalyse können diese zur Bestimmung einer Beleuchtungsrichtung eingesetzt werden. (Dieser Ansatz wird auch inverse Photometrische Stereoanalyse genannt) Photometrische Stereoanalyse (Kai Bader) 45 3.3 Bestimmung der Beleuchtungsrichtung Bei der PS setzt voraus, dass für jeden Bildpunkt drei Beleuchtungsrichtungen s0, s1, s2 gemessen werden können. Aus den drei Irradianzen wird Punktneutral eine Oberflächenneutrale n bestimmt. Das Kalibrierungsobjekt wird mit einer Beleuchtungsquelle unbekannter Richtung s bestrahlt. Zur Berechnung der Beleuchtungsrichtung können die drei gemessenen Irradianzen mit der Oberflächenneutralen vertauscht und zu einer Matrix zusammengefasst werden: n1x n1 y n1z N n 2 x n2 y n 2 z n n n 3y 3z 3x Die Bildirradianzgleichung kann nun aufgelöst werden: E D N s s N 1 D 1 E Photometrische Stereoanalyse (Kai Bader) 46 Nochmals Als Erinnerung... 1. 2. 3. Grenzen der SFS-Verfahren Analyse von Irradianzpaaren Analyse von Irradianztripeln ? ? ? ? Fragen? Photometrische Stereoanalyse (Kai Bader) ? 47
