Kein Folientitel - Universität Basel
Werbung
Maschinen Lernen Sehen Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Departement für Mathematik und Informatik │ Thomas Vetter Lebenslauf 1979 - 1985 1989 1991 - 1993 1993 - 1999 Studium Physik und Mathematik in Ulm Promotion in Biophysik PostDoc am M.I.T. USA Max-Planck-Institut für biol. Kybernetik Tübingen 1999 - 2002 Professor für Computer Graphik an der Universität Freiburg i.Br. 2002 Professor für Angewandte Informatik an der Universität Basel 1 Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Arbeitsgebiete 1979 - 1985 Studium: Physik und Mathematik 1989 Promotion in Biophysik: Neurobiologie, Fluoreszenzmessung, Simulation 1991 - 1993 M.I.T. : Computer Vision 1993 - 1999 Max-Planck-Institut : Computer Vision, Psychophysik, Computer Graphik 1999 - 2002 Professor für Computer Graphik an der Universität Freiburg i.Br. 2002 Basel: Computer Graphik, Computer Vision Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Arbeitsgebiete 1985 - 1989 Promotion in Biophysik: Neurobiologie, Fluoreszenzmessung, Simulation Fragestellung: Wie funktioniert der el. Informationsfluss innerhalb einer Nervenzelle 2 Maschinen Lernen Sehen Departement für Mathematik und Informatik │ Thomas Vetter Neurobiologie in Schnelldurchgang Membran Aktionspotential Maschinen Lernen Sehen Departement für Mathematik und Informatik │ Thomas Vetter 3 Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Gesichterkennung … durch die Analyse der Bildpixel. ? Doch welcher Pixel soll mit welchem verglichen werden? Wissen um Gesichter und Geometrie gibt Hilfestellung. Maschinen Lernen Sehen Departement für Mathematik und Informatik │ Thomas Vetter Verändern Sie sich ... 4 Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Parametrisiertes Modellieren von Gesichtern Variation eines Bildes nach: • Blickwinkel • Gesichtsausdruck • Ähnlichkeit in Familien • Lichtverhältnis • Fülle eines Gesichts Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Variationen eines Gesichts Datenbasis parametrisiertes Gesichts Modell Modellieren Gesichtsanalyse Vorlage 3D Modell Variation 5 Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Computer Graphik ist mehr als nur Bilder! Computer Graphics Computer Vision Machine Learning Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Ansatz: Beispielbasiertes Modellieren 2D Bild 3D Beispieldaten = w1 * + w2 * + w3 * + w4 * +. . . 6 Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Repräsentation (1): Zylinderkoordinaten h rot(h,f) grün(h,f) blau(h,f) f h Radius(h,f) f Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Addition von Gesichtern 1 __ 2 + 1 __ 2 = Überlagerung „3D Morph“ 7 Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Repräsentation (2): Form- und Farbvektoren Referenz Kopf s0 x1 y1 z1 x2 , y2 z2 ... r1 g1 b 1 t0 r 2 g 2 b 2 ... 70 000 Datenpunkte Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Repräsentation (2): Form- und Farbvektoren Referenz Kopf s0 x1 y1 z1 x2 , y2 z2 ... r1 g1 b 1 t0 r 2 g 2 b2 ... Kopfi x1 y1 z 1 s i x , 2 y 2 z2 ... r1 g1 b 1 ti r 2 g 2 b2 ... 8 Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen 3D Gesichtsvektorraum Linearkombinationen erzeugen neue Gesichter. a1 * + a2 * + a3 * + a4 * +. . . = b1 * + b2 * Maschinen Lernen Sehen + b3 * + b4 * +. . . Departement für Mathematik und Informatik │ Thomas Vetter Modellieren von Gesichtern Modellieren 9 Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Stetiges Modellieren von Gesichtern Karikatur Original Mittelwert Gegengesicht Maschinen Lernen Sehen Departement für Mathematik und Informatik │ Thomas Vetter Variation eines Gesichts Welche Richtung entspricht einem bestimmten Attribut? 10 Maschinen Lernen Sehen Departement für Mathematik und Informatik │ Thomas Vetter Lernen aus Beispielen Anpassen einer Regressionsfunktion Maschinen Lernen Sehen Departement für Mathematik und Informatik │ Thomas Vetter Attribute eines Gesichts Geschlecht Gewicht Original 11 Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Gesichtsausdruck als Richtungsvektor Original: - = Lächeln Neues Gesicht: + Lächeln = Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Variationen eines Gesichts Datenbasis parametrisiertes Gesichts Modell Modellieren Gesichtsanalyse Vorlage 3D Modell Variation 12 Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen “Morphable Model” zur Bildanalyse = 1 R 1 2 3 2 3 Output Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Fehlerfunktion Bilddifferenz EImage 2 I ( x , y ) I ( x , y ) model input x, y Wahrscheinlichkeit der Parameter Zu optimieren Eprior log( p ( ai , bi ,...) ) E E Image E Prior 13 Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Gesichterkennung Vielfältiges Erscheinungsbild CMU-PIE Testbilder Maschinen Lernen Sehen Departement für Mathematik und Informatik │ Thomas Vetter 3D Computer Graphik 14 Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Modellieren von Bildern Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Eine neue Frisur gefällig? 3D Geometrie und Textur 3D Winkel, Position Beleuchtung, Verdeckung 15 Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Eine neue Frisur gefällig? 3D Geometrie und Textur 3D Winkel, Position Beleuchtung, Verdeckung Maschinen Lernen Sehen Departement für Mathematik und Informatik │ Thomas Vetter 16 Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Portraits made to Measure – Results 100 90 Original Face 80 % Correct ratings 70 Aggressiveness Extroversion Likeability 60 50 40 30 20 10 0 Aggressiveness Extroversion Likeability Risk Seeking Social Skills Trustworthiness Personality traits Risk Seeking Social Skills Maschinen Lernen Sehen Trustworthiness Departement für Mathematik und Informatik │ Thomas Vetter Surface Data Prediction 3D Surface Data Base Analysis 3D Input Statistical Original Prediction 17 Departement für Mathematik und Informatik │ Thomas Vetter Maschinen Lernen Sehen Application Maschinen Lernen Sehen Departement für Mathematik und Informatik │ Thomas Vetter Mein Dank gilt: Sandro Schönborn Andreas Forster Bernhard Egger Marcel Lüthi Thomas Albrecht 18
