Vortrag

Erkennung von Gesichtsausdrücken anhand
von Bildbewegungen
(Irfan Essa & Alex Pentland)
Hauptseminar Smart Environments
Joachim Biggel
11.12.2003
Überblick
1. Motivation
1. Motivation
2. Grundlagen
3. FACS – Facial Action
Coding System
4. FACS+
5. Mimikmodell
2. Grundlagen
3. FACS: zum Vergleich kurz vorgestellt
4. Gesichtsmodell
…von Essa und Pentland
6. Ergebnisse
7. Evaluation
5. Mimikmodell
6. Ergebnisse: Tests mit dem neuen Modell
7. Evaluation: Vergleich mit FACS, Vor- und Nachteile des
neuen Modells
1. Motivation
2. Grundlagen
Gesichtsausdrücke … als wichtiges Kommunikationsmittel
… zur Beurteilung der Gefühlslage
3. FACS – Facial Action
Coding System
4. FACS+
5. Mimikmodell
bessere Interaktion Mensch – Maschine möglich
(z.B. Online-Shopping, Smart Rooms)
6. Ergebnisse
7. Evaluation
Einsatz in anderen Gebieten
(z.B. Zusammenarbeit mit Psychologen)
Unterscheidung Gesichtsmodell – Mimikmodell:
1. Motivation
2. Grundlagen
3. FACS – Facial Action
Coding System
4. FACS+
Gesichtsmodell:
- Repräsentation des Gesichts
- Bewegungen im Gesicht verfolgen und darstellen
5. Mimikmodell
6. Ergebnisse
7. Evaluation
Mimikmodell:
- einzigartiges Charakteristikum für jeden Gesichtsausdruck
- Klassifizierung und Erkennung von Ausdrücken
FACS
Facial Action Coding System
1. Motivation
2. Grundlagen
3. FACS – Facial Action
Coding System
bereits 1978 von Ekman und Friesen entwickelt
4. FACS+
5. Mimikmodell
nur Mimikmodell
6. Ergebnisse
7. Evaluation
wird von vielen anderen Ansätzen verwendet
Verwendung von 46 sog. Action Units (AUs) = lokales
Bewegungsgebiet
im Gesicht
1. Motivation
AUs beinhalten jeweils die betroffenen Muskeln der Bewegung
2. Grundlagen
3. FACS – Facial Action
Coding System
Darstellung jeder optisch unterscheidbaren Bewegung (AUs
kombinierbar)
4. FACS+
5. Mimikmodell
6. Ergebnisse
Erkennung von Ausdrücken durch beteiligte AUs
(je nach Intensität auf einer 5-Punkte Skala)
7. Evaluation
Beispiel:
- Anheben der Augenbrauen = AU 2
FACS+
1. Motivation
keine Gemeinsamkeiten mit FACS
2. Grundlagen
3. FACS – Facial Action
Coding System
4. FACS+
- Erstellung
- Initialisierung
- Verfolgung
- Kontrolle
FACS+ = Gesichtsmodell
3-D Abbild eines Gesichts
5. Mimikmodell
6. Ergebnisse
Grundlage für das folgende Mimikmodell
7. Evaluation
dient zur Verfolgung der Gesichtsbewegungen
Gesicht vorerst als grobes Mesh (Netz) aus Dreiecken
1. Motivation
2. Grundlagen
Ziel:
Bewegungspunkte und Muskeln im Bild entsprechen
Kanten der Dreiecke im Mesh
Lösung: Anpassung durch Verfeinerung des Mesh
3. FACS – Facial Action
Coding System
4. FACS+
- Erstellung
- Initialisierung
- Verfolgung
- Kontrolle
5. Mimikmodell
6. Ergebnisse
7. Evaluation
grobes Mesh
Muskeln (Striche) und
angepasstes Mesh
Bewegungspunkte (Punkte,
Kreise)
Übertragen von markanten Bewegungspunkten auf das Bild
Vorgehen:
2. Grundlagen
1. Gesicht und seine Eigenschaften (Nase, Mund, Augen)
im Bild lokalisieren (automatisch mit Eigenspace-Methode)
3. FACS – Facial Action
Coding System
2. diese Positionen, um Gesicht auf Mesh zu verformen
1. Motivation
4. FACS+
- Erstellung
- Initialisierung
- Verfolgung
- Kontrolle
3. markante Bewegungspunkte auflegen und aufs Bild
übertragen
5. Mimikmodell
6. Ergebnisse
7. Evaluation
1.
2.
3.
Verfolgung des Gesichts durch Berechnung des optischen
Flusses
 optischer Flussvektor vi(t) = Geschwindigkeit und Richtung
der Pixel im Bild t zu t+1
1. Motivation
2. Grundlagen
3. FACS – Facial Action
Coding System
4. FACS+
- Erstellung
- Initialisierung
- Verfolgung
- Kontrolle
5. Mimikmodell
6. Ergebnisse
7. Evaluation
Mapping des optischen Flusses auf Bewegungspunkte im
Gesichtsmodell
Problem: optischer Flussvektor 2-dimensional;
Modell mit Bewegungspunkten 3-dimensional
Lösung: 3-D Gesicht mit Laser einscannen  liefert Funktion
zur Umrechnung von 2-D in 3-D
evtl. störhafte, ungenaue Eingangsdaten  kann zu enormen
Abweichungen führen
1. Motivation
2. Grundlagen
3. FACS – Facial Action
Coding System
deshalb: Kontrollmechanismus mit Kalman-Filter
 Kalman-Filter :
4. FACS+
- Erstellung
- Initialisierung
- Verfolgung
- Kontrolle
bisherige Zustände
des Systems
ermittelt
Schätzung für neuen
Zustand
5. Mimikmodell
6. Ergebnisse
7. Evaluation
rekursiv
neuer Zustand des
Systems
(Weiterverarbeitung)
korrigieren
neue Messungen
1. Motivation
2. Grundlagen
3. FACS – Facial Action
Coding System
4. FACS+
5. Mimikmodell
6. Ergebnisse
7. Evaluation
Mimikmodell
Problem:
einzigartiges Charakteristikum für jeden Ausdruck
Lösung:
Erstellung von Merkmalsvektoren als Mimiktemplate
für jeden Ausdruck
1. Motivation
2. Grundlagen
3. FACS – Facial Action
Coding System
4. FACS+
5. Mimikmodell
- Merkmalsvektor
- Erkennung
6. Ergebnisse
7. Evaluation
 Merkmalsvektor: Erstellung aus Muscle Actuation Profiles
Merkmalsvektor = Höchststand jedes Muskels im Profile
1. Motivation
2. Grundlagen
3. FACS – Facial Action
Coding System
4. FACS+
5. Mimikmodell
- Merkmalsvektor
- Erkennung
6. Ergebnisse
7. Evaluation
für jeden Ausdruck einen Merkmalsvektor (Mimiktemplate)
erstellen
Skalarprodukt:
1. Motivation
2. Grundlagen
3. FACS – Facial Action
Coding System
4. FACS+
5. Mimikmodell
- Merkmalsvektor
- Erkennung
6. Ergebnisse
7. Evaluation
Merkmalsvektor der Bildsequenz x Mimiktemplate
Ergebnis 1 bedeutet vollständige Übereinstimmung
1. Motivation
2. Grundlagen
3. FACS – Facial Action
Coding System
zu Grunde liegender Datenbestand:
- Aufnahmesequenzen: 30 Frames/Sekunde; 450x380 Pixel
- 20 Personen mit Ausdrücken: Lachen, Überraschung, Ärger,
Ekel, Augenbrauen heben und Trauer
Durchführung:
- Merkmalsvektoren von 2 zufällig ausgewählten Personen
- 52 Gesichtsausdrücke von 7 verschiedenen Personen
4. FACS+
5. Mimikmodell
6. Ergebnisse
7. Evaluation
Ergebnis: 98 % Trefferquote
Vergleich zu Ansätzen mit FACS: 80-90 % Trefferquote
1. Motivation
2. Grundlagen
Gründe:
- Schwierigkeiten, alle 46 AUs und Kombinationen darzustellen
-
AUs decken nur lokale Gebiete ab  keine einzigartige,
genaue Beschreibung von Ausdrücken
-
zeitlicher Verlauf der Muskelaktivitäten nur linear angenähert
3. FACS – Facial Action
Coding System
4. FACS+
5. Mimikmodell
6. Ergebnisse
7. Evaluation
- Vergleich mit FACS
- Vor- und Nachteile
1. Motivation
2. Grundlagen
3. FACS – Facial Action
Coding System
Vorteile:
- sehr detaillierte Darstellung des Gesichts und Bewegungen
mit verwendetem Gesichtsmodell
-
Mimiktemplates basieren auf wirklichen Bilddaten und
Messungen, nicht auf Heuristiken
4. FACS+
5. Mimikmodell
6. Ergebnisse
7. Evaluation
- Vergleich mit FACS
- Vor- und Nachteile
Nachteile:
- Verwendung des optischen Flusses:
Fehler evtl. durch wechselnde Lichtverhältnisse oder
Bewegungen des Kopfes
1. Motivation
2. Grundlagen
3. FACS – Facial Action
Coding System
Was ist bei diesem Ansatz hervorzuheben?
4. FACS+
5. Mimikmodell
6. Ergebnisse
7. Evaluation
Fragen?
…Vielen Dank für eure
Aufmerksamkeit!
11.12.2003