Image-Based-Lighting
Werbung
Automatische Extraktion von HDRBeleuchtungsdaten aus Fotos Konrad Kölzer, Frank Nagl, Bastian Birnbach, Paul Grimm Computer Graphics Applied Computer Science Erfurt University ofApplied Sciences Beispiel Ohne Image-Based-Lighting Mit Image-Based-Lighting Konrad Kölzer 2 Gliederung 1. Einleitung 2. State-Of-The-Art 3. Konzept 4. Realisierung 5. Auswertung 6. Zusammenfassung und Ausblick Konrad Kölzer 3 Einleitung • Großer Anwendungsbereich: Visualisierung von Planungen – Szenario Raum-Möblierung – Platzieren virtueller Modelle in realer Szene – Synthese von realen und virtuellen Anteilen • Virtuelle Modelle nahtlos in reale Szene integrieren • Erfordert realistische Beleuchtung der virtuellen Modelle entsprechend realer Beleuchtungssituaiton Konrad Kölzer 4 Einleitung – Anwendungsszenario • Reale Szene liegt als 3D-Photo-Collection vor – Nutzer erstellt von einer realen Szene Fotos aus verschiedenen Blickwinkeln – Structure-From-Motion-Algorithmus rekonstruiert Position der Kameras im Raum – Platzierung der Bilder im Raum 3D-Photo-Collection • Wie können Beleuchtungsinformationen aus 3D-PhotoCollections extrahiert werden? Konrad Kölzer 5 State-Of-The-Art • Fournier et. al., 1992: Differenzielles Rendering • Debevec, 1998: Light Probes – Mehrmaliges Abfotografieren einer Metallkugel – Umgebungsbeleuchtung in Form einer Environment-Map • Gibson, 2003: Inverse Radiosity + Irradiance Volume Konrad Kölzer 6 Konzept – Ansatz (1/3) • Wie können Beleuchtungsinformationen aus 3D-PhotoCollections extrahiert werden? • Lokale Szene liegt nicht in 3D vor, d.h. kein differenzielles Rendering möglich • Idee: Synthetisieren einer Environment-Map aus Bildern der 3D-Photo-Collection Konrad Kölzer 7 Konzept – Ansatz (2/3) • Bild als Schnittebene mit Lichtstrahlen auffassen, die von Kameras aufgenommen werden • Jeder Pixel stellt Lichtstrahl dar Konrad Kölzer 8 Konzept – Ansatz (3/3) 1. Bezugspunkt P wählen, für den Licht aus Bildern gesammelt werden soll 2. Bilder mit ähnlichen Kamerapositionen aber unterschiedlichen -richtungen sammeln 3. Reflektiertes Licht aus unterschiedlichen Richtungen in Environment-Map akkumulieren 4. Überlappungen zur Erweiterung des dynamischen Bereichs nutzen HDR wird angestrebt Konrad Kölzer 9 Konzept – Ablauf (1/3) Extraktion von Beleuchtungsdaten aus Bildern • Alle Kameras verwenden, die um Bezugspunkt liegen • Verwendung eines bestimmten Toleranzradius, um gewisse Bildmenge sicher zu stellen • Kamerarichtungen sollten variieren, um möglichst gesamte Umgebung abzudecken P Konrad Kölzer 10 Konzept – Ablauf (2/3) Umwandlung von LDR- in HDR-Beleuchtungsdaten • Unterschiedlich belichtete Bilder überlappen sich • Belichtungsstärke für jedes Bild aus Exif-Tags bekannt • Für gleiche Richtungen mehrere Farbpixel vorhanden • Mehrere LDR-Farbwerte können zu einem HDR-Farbwert kombiniert werden – LDR- Farbwerte werden mit Beleuchtungsstärke multipliziert – Gewichtung eines LDR-Farbwertes unter Berücksichtigung seiner Signifikanz Konrad Kölzer P 11 Konzept – Ablauf (3/3) Umwandeln der Beleuchtungsdaten • HDR-Environment-Map nicht für echtzeitfähiges Rendering geeignet Umwandlung notwendig • – Light-Maps – Spherical Harmonics – Direktionale Lichtquellen Median-Cut-Algorithmus fasst Environment-Map zu wenigen direktionalen Lichtquellen zusammen Konrad Kölzer 12 Realisierung • Realisierung erfolgt in Form von Shadern • Verwendung einer Cube-Map – Akkumulation aller Bilder für alle Umgebungsrichtungen – Jede Seite deckt einen Raumwinkel von 4π/6 ab • Akkumulation erfordert jeweils drei Renderdurchläufe Konrad Kölzer 13 Realisierung • 1. Renderdurchlauf – Akkumulation der Belichtungswerte gewichtet mit Signifikanzen – Ablage in temporärer Textur 1 • 2. Renderdurchlauf – Akkumulation der Signifikanzen – Ablage in temporärer Textur 2 • 3. Renderdurchlauf – Quotient der Ergebnisse aus 1. und 2. Renderdurchlauf • Median-Cut-Algorithmus in Software implementiert Konrad Kölzer 14 Demo Konrad Kölzer 15 Auswertung Ohne Image-Based-Lighting Konrad Kölzer 16 Auswertung Mit Image-Based-Lighting Konrad Kölzer 17 Auswertung Mit Image-Based-Lighting, Nahaufnahme Konrad Kölzer 18 Auswertung – Probleme • Bereiche mit fehlender Abdeckung werden als schwarze Wand behandelt Interpolation notwendig • Keine Nahfeldsimulation, d.h. virtuelles Objekt blockiert kein reales Licht keine realistische Schattendarstellung Bereich mit vielfacher Abdeckung Bereich mit keiner Abdeckung Konrad Kölzer 19 Auswertung – Ausblick • Interpolation: Texel mit unbekannter Lichtintensität in Cube-Map sollen Wert des nächsten Texels mit definierter Lichtintensität erhalten • 3D-Rekonstruktion der lokalen Szene verwenden – Bessere Bildabdeckung (Vom Bezugspunkt entfernte Kameras können verwendet werden) – Positionierung von Lichtquellen möglich – Projektionsflächen für Schattendarstellung bekannt Konrad Kölzer 20 Zusammenfassung • Verfahren für Imaged-Based-Lighting in 3D-PhotoCollections vorgestellt • Bildet reale Beleuchtung auf virtuelle Objekte ab unter Annahme von entfernten Lichtquellen • Interpolation von nicht abgedeckten Bereichen notwendig Konrad Kölzer 21 Vielen Dank für die Aufmerksamkeit
