Inkrementelles Lernen von Support Vector Machines

Inkrementelles Lernen von Support Vector
Machines
Support Vector Machines sind Klassifikatoren, die den Eingaberaum in zwei Bereiche trennen, wobei
die Trennebene einen maximalen Abstand zu den Daten besitzt. Entsprechend können die Daten nur
in zwei Klassen getrennt werden. Die Trennebene wird durch die Stützvektoren definiert, die sich am
nächsten an dieser Ebene befinden.
Für das Training einer SVM wird dieser üblicherweise die gesamte Menge an Daten übergeben, für die
die Labels (die Klasse) bestimmt wurde. Anschließend wird aufgrund dieser Daten die Trennebene mit
einem Optimierungsverfahren bestimmt. Ziel dieser Aufgabe ist es, ein tiefergehendes Verständnis für
inkrementelle und dekrementelle Lernverfahren von SVMs zu entwickeln und Implementierungen zu
recherchieren bzw. selber umzusetzen. Bei dieser Art des Lernens werden nicht alle Daten auf einmal
präsentiert, sondern nacheinander, so dass das Ändern weniger Daten kein komplett neues Lernen zur
Folge hat und somit effizienzer ist.
Am Ende sollen Implementierungen in C++ (am besten auf Basis der libSVM) und Java zur Verfügung
stehen. Details dazu und zu bereits recherchierten Implementierungen sind beim Betreuer vor Beginn
der Arbeit anzufragen. Einige Publikationen zum Thema stehen am Ende dieses Dokuments.
Folgende Punkte beinhaltet die Aufgabe:
1. kurze Literaturrecherche (als Ergänzung zur bereits vorhandenen Literatur)
2. grobes Verstehen der Verfahren und Herausstellen von Gemeinsamkeiten und Unterschieden
3. Implementierung für C++ und Java
4. ggf. experimenteller Vergleich zwischen Batch-Learning und inkrementellem Lernen
References
[1] Gert Cauwenberghs and Tomaso Poggio. Incremental and decremental support vector machine
learning. Advances in neural information processing systems, 13:409–415, 2001.
[2] Shinya Katagiri and Shigeo Abe. Selecting support vector candidates for incremental training. In
Proc. IEEE Int Systems, Man and Cybernetics Conf, volume 2, pages 1258–1263, 2005.
[3] Alistair Shilton, M. Palaniswami, D. Ralph, and Ah Chung Tsoi. Incremental training of support
vector machines. IEEE transactions on Neural Networks, 16(1):114–131, 2005.
[4] Richa Singh, Mayank Vatsa, Arun Ross, and Afzel Noore. Biometric classifier update using
online learning: A case study in near infrared face verification. Image and Vision Computing,
28(7):1098–1105, 2010.
1