Erkennung von Gesichtsausdrücken anhand von Bildbewegungen (Irfan Essa & Alex Pentland) Hauptseminar Smart Environments Joachim Biggel 11.12.2003 Überblick 1. Motivation 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell 2. Grundlagen 3. FACS: zum Vergleich kurz vorgestellt 4. Gesichtsmodell …von Essa und Pentland 6. Ergebnisse 7. Evaluation 5. Mimikmodell 6. Ergebnisse: Tests mit dem neuen Modell 7. Evaluation: Vergleich mit FACS, Vor- und Nachteile des neuen Modells 1. Motivation 2. Grundlagen Gesichtsausdrücke … als wichtiges Kommunikationsmittel … zur Beurteilung der Gefühlslage 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell bessere Interaktion Mensch – Maschine möglich (z.B. Online-Shopping, Smart Rooms) 6. Ergebnisse 7. Evaluation Einsatz in anderen Gebieten (z.B. Zusammenarbeit mit Psychologen) Unterscheidung Gesichtsmodell – Mimikmodell: 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ Gesichtsmodell: - Repräsentation des Gesichts - Bewegungen im Gesicht verfolgen und darstellen 5. Mimikmodell 6. Ergebnisse 7. Evaluation Mimikmodell: - einzigartiges Charakteristikum für jeden Gesichtsausdruck - Klassifizierung und Erkennung von Ausdrücken FACS Facial Action Coding System 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System bereits 1978 von Ekman und Friesen entwickelt 4. FACS+ 5. Mimikmodell nur Mimikmodell 6. Ergebnisse 7. Evaluation wird von vielen anderen Ansätzen verwendet Verwendung von 46 sog. Action Units (AUs) = lokales Bewegungsgebiet im Gesicht 1. Motivation AUs beinhalten jeweils die betroffenen Muskeln der Bewegung 2. Grundlagen 3. FACS – Facial Action Coding System Darstellung jeder optisch unterscheidbaren Bewegung (AUs kombinierbar) 4. FACS+ 5. Mimikmodell 6. Ergebnisse Erkennung von Ausdrücken durch beteiligte AUs (je nach Intensität auf einer 5-Punkte Skala) 7. Evaluation Beispiel: - Anheben der Augenbrauen = AU 2 FACS+ 1. Motivation keine Gemeinsamkeiten mit FACS 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ - Erstellung - Initialisierung - Verfolgung - Kontrolle FACS+ = Gesichtsmodell 3-D Abbild eines Gesichts 5. Mimikmodell 6. Ergebnisse Grundlage für das folgende Mimikmodell 7. Evaluation dient zur Verfolgung der Gesichtsbewegungen Gesicht vorerst als grobes Mesh (Netz) aus Dreiecken 1. Motivation 2. Grundlagen Ziel: Bewegungspunkte und Muskeln im Bild entsprechen Kanten der Dreiecke im Mesh Lösung: Anpassung durch Verfeinerung des Mesh 3. FACS – Facial Action Coding System 4. FACS+ - Erstellung - Initialisierung - Verfolgung - Kontrolle 5. Mimikmodell 6. Ergebnisse 7. Evaluation grobes Mesh Muskeln (Striche) und angepasstes Mesh Bewegungspunkte (Punkte, Kreise) Übertragen von markanten Bewegungspunkten auf das Bild Vorgehen: 2. Grundlagen 1. Gesicht und seine Eigenschaften (Nase, Mund, Augen) im Bild lokalisieren (automatisch mit Eigenspace-Methode) 3. FACS – Facial Action Coding System 2. diese Positionen, um Gesicht auf Mesh zu verformen 1. Motivation 4. FACS+ - Erstellung - Initialisierung - Verfolgung - Kontrolle 3. markante Bewegungspunkte auflegen und aufs Bild übertragen 5. Mimikmodell 6. Ergebnisse 7. Evaluation 1. 2. 3. Verfolgung des Gesichts durch Berechnung des optischen Flusses optischer Flussvektor vi(t) = Geschwindigkeit und Richtung der Pixel im Bild t zu t+1 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ - Erstellung - Initialisierung - Verfolgung - Kontrolle 5. Mimikmodell 6. Ergebnisse 7. Evaluation Mapping des optischen Flusses auf Bewegungspunkte im Gesichtsmodell Problem: optischer Flussvektor 2-dimensional; Modell mit Bewegungspunkten 3-dimensional Lösung: 3-D Gesicht mit Laser einscannen liefert Funktion zur Umrechnung von 2-D in 3-D evtl. störhafte, ungenaue Eingangsdaten kann zu enormen Abweichungen führen 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System deshalb: Kontrollmechanismus mit Kalman-Filter Kalman-Filter : 4. FACS+ - Erstellung - Initialisierung - Verfolgung - Kontrolle bisherige Zustände des Systems ermittelt Schätzung für neuen Zustand 5. Mimikmodell 6. Ergebnisse 7. Evaluation rekursiv neuer Zustand des Systems (Weiterverarbeitung) korrigieren neue Messungen 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell 6. Ergebnisse 7. Evaluation Mimikmodell Problem: einzigartiges Charakteristikum für jeden Ausdruck Lösung: Erstellung von Merkmalsvektoren als Mimiktemplate für jeden Ausdruck 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell - Merkmalsvektor - Erkennung 6. Ergebnisse 7. Evaluation Merkmalsvektor: Erstellung aus Muscle Actuation Profiles Merkmalsvektor = Höchststand jedes Muskels im Profile 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell - Merkmalsvektor - Erkennung 6. Ergebnisse 7. Evaluation für jeden Ausdruck einen Merkmalsvektor (Mimiktemplate) erstellen Skalarprodukt: 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell - Merkmalsvektor - Erkennung 6. Ergebnisse 7. Evaluation Merkmalsvektor der Bildsequenz x Mimiktemplate Ergebnis 1 bedeutet vollständige Übereinstimmung 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System zu Grunde liegender Datenbestand: - Aufnahmesequenzen: 30 Frames/Sekunde; 450x380 Pixel - 20 Personen mit Ausdrücken: Lachen, Überraschung, Ärger, Ekel, Augenbrauen heben und Trauer Durchführung: - Merkmalsvektoren von 2 zufällig ausgewählten Personen - 52 Gesichtsausdrücke von 7 verschiedenen Personen 4. FACS+ 5. Mimikmodell 6. Ergebnisse 7. Evaluation Ergebnis: 98 % Trefferquote Vergleich zu Ansätzen mit FACS: 80-90 % Trefferquote 1. Motivation 2. Grundlagen Gründe: - Schwierigkeiten, alle 46 AUs und Kombinationen darzustellen - AUs decken nur lokale Gebiete ab keine einzigartige, genaue Beschreibung von Ausdrücken - zeitlicher Verlauf der Muskelaktivitäten nur linear angenähert 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell 6. Ergebnisse 7. Evaluation - Vergleich mit FACS - Vor- und Nachteile 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System Vorteile: - sehr detaillierte Darstellung des Gesichts und Bewegungen mit verwendetem Gesichtsmodell - Mimiktemplates basieren auf wirklichen Bilddaten und Messungen, nicht auf Heuristiken 4. FACS+ 5. Mimikmodell 6. Ergebnisse 7. Evaluation - Vergleich mit FACS - Vor- und Nachteile Nachteile: - Verwendung des optischen Flusses: Fehler evtl. durch wechselnde Lichtverhältnisse oder Bewegungen des Kopfes 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System Was ist bei diesem Ansatz hervorzuheben? 4. FACS+ 5. Mimikmodell 6. Ergebnisse 7. Evaluation Fragen? …Vielen Dank für eure Aufmerksamkeit! 11.12.2003