Vorlesung 1

Wearable Systems I
Vorlesung 2
Vorlesung 2
30.09.2008
Context and Learning Page 01 to 15
Bewertung von Klassifkiatoren Seite 01 bis 08
Heute
- Signal Processing
- Führung durch das Wearable Lab
Context and Learning
- Recognition of contexts in mobile, wearable environment
- Complete data path considered
- Methods and tools from several disciplines
Machine Learning
- Supervised learning
- Unsupervised learning
- Reinforcement learning
Goals of supervised learning
- Classification
o Outputs are discrete class labels
o Goal: classify new inputs correctly
- Regression
o Outputs are continuous valued
o Goal: predict output accurately for new inputs
Goals of unsupervised learning
- Build model for useful representation
o finding clusters
o dimensionality reduction
o finding good explanations of data
o modelling the data density
Signalverarbeitung, Signaleigenschaften, Merkmale
Lernziele
- Übersicht und Einordnung von Analyseverfahren auf Signalebene
- Einblick Wavelettransformation
Schichtenmodell Kontexterkennung
- Datenpfad vom Sensor bis zur Kontextbestimmung
- Sensor  Signal Processing  Feature Extraction  Feature Selection 
Classification  Identification
1/4
Wearable Systems I
Vorlesung 2
Bewertung von Klassifikatoren: Confusion Matrix, ROC-Graph
Motivation
- Bewertungsmassstab (Klassifikationsergebnisse  Vorhersage)
- Accuracy:
o Problem: Z.B. sehr viele negative Ergebnisse, ganz wenige Positive. Hohe
accuracy, auch wenn nur die negativen Ergebnisse richtig erkannt werden
o Differenziert nicht zwischen Fehlertypen
 Confusion Matrix, ROC Graph
Confusion Matrix
- unterscheidet zwischen verschiedenen Fehlertypen
- bei n Klassen n 2 Matrix
- für ein 2-Klassenproblem:
Aktuell positiv
Vorhersage positiv
TP (true positive)
Vorhersage negativ
FN (false negative)
-
TPn  P  y  1, t  1
-
FPn  P  y  1, t  1
-
FNn  P  y  1, t  1
-
TNn  P  y  1, t  1
-
Accuracy AC 
-
TP  TN
TP  TN  FP  FN
TP
Recall REC 
TP  FN
TP
Precision PRE 
TP  FP
TN
Specificity SPE 
TN  FP
REC  PRE
f-measure (f1-measure) F  2 
REC  PRE
Mutual Information I  y; t    P  y, t   log 2
y
t
Aktuell negativ
FP (false positive)
TN (true negative)
P  y, t 
P  y  P  t 
ROC-Graph
- Relative Operating Characteristic
- True Positive rate vs. False Positive rate Kurve
- Perfekt wäre (0, 1), d.h. alle Positiven und alle Negativen werden richtig erkannt.
- Je grösser die Fläche unter der Kurve, desto besser der Klassifikator
2/4
Wearable Systems I
Vorlesung 2
Qualification in continuous Data Streams: the Null Class Challenge
- discrimination of relatively rare activities form a default ‘null’ activity which covers
the majority of time in the data
- often ill-defined, fragmented and variable class boundaries
<Jump back to: Signalverarbeitung, Signaleigenschaften, Merkmale>
Signale
- Sensorsignale
o Datenaufnahme und erste Vorverarbeitung
o Signalkonditionierung
- Segmentierung
o Trennung wichtiger Abschnitte eines Signals, um Muster oder Objekte vom
Hintergrund zu trennen
o Abschätzung von Grenzen anhand der erwarteten Muster
- Signaleigenschaften, Merkmale, Features
o Reduktion des Informationsgehaltes
o Übergang von Signalen zu Merkmalstupeln
o Häufig benutzt in der Aktivitätserkennung
 Mittelwert
 RMS
 Varianz
 Standardabweichung
 Normalisiertes Signal (Mittel = 0, Varianz = 1)
 Kovarianz
 Median
 Schwelle
 Anzahl Schwellensprung (crossing)
 Max-, Min-Werte
 Differenz min-max
 Ableitungen
 …
 Frequenzbereich, Signaltransformation
Feature Selection
- Given D available features in feature set Y. Select out of the feature set Y the k-best
features which maximise the cost function J
- Motivation
o Curse of dimensionality
o Reduce the effort in the classification
- Search effort
D
o A complete search involves   combinations for a fixed value of k out of D
k
features and 2D combinations
o Heuristic methods are necessary to reduce the effort
3/4
Wearable Systems I
-
-
Vorlesung 2
Methods: Filter- and wrapper-methods
Filter methods
o Max-Dependency
o Max-Relevance
o Min-Redundancy
o Advantage
 Fast execution
 Generality: not tailored for a specific classifier
o Disadvantage
 Tendency to select large feature sets
Wrapper methods
o Selection of features is controlled by the classification results.
o Genetic Algorithm (GA)
o Simulated Annealing
o Greedy Hill Climbing
Wrapper Method: Greedy Hill Climbing Methods
- Sequential Forward Selection (SFS)
o Best results when optimal subset has a small number of features
- Sequential Backward Selection (SBS)
- Sequential Forward Floating Selection (SFFS)
- Sequential Backward Floating Selection (SBFS)
4/4