MACHINE LEARNING, 11. SEMINAR – FEED

MACHINE LEARNING, 11. SEMINAR – FEED-FORWARD NETZE
Aufgabe 1.
a) Für binäre Muster (x1 , x2 , x3 ), xi ∈ {0, 1} soll ein Klassifikator realisiert werden, der
die Muster (0, 0, 0), (0, 0, 1), (0, 1, 1), (1, 1, 1) der ersten Klasse – und alle anderen
Muster der zweiten Klasse zuordnet. Dafür soll das abgebildete zweischichtige FeedForward Netz verwendet werden.
N0
N1
x1
N2
x2
x3
Wie muss man die Gewichte und Schwellen der 3 Neuronen wählen, damit das Netz
den geforderten Klassifikator realisiert?
b) Verallgemeinern Sie die Aufgabe für den Fall, dass der Klassifikator für binäre Muster (x1 , x2 , . . . , xn ), xi ∈ {0, 1} realisiert werden soll. Zu der ersten Klasse gehören die
Muster, für die xi+1 ≥ xi für alle i gilt. Der zweiten Klasse werden alle anderen Muster
zugeordnet.
Aufgabe 2. Die Menge aller 3-Tupel (x1 , x2 , x3 ) von reellen Zahlen xi ∈ R soll wie folgt
auf die Menge der 3-Tupel (y1 , y2 , y3 ) von binären Zahlen yi ∈ {0, 1} abgebildet werden:
1 falls xi = max j x j
yi =
0 sonst.
Das heißt, dass das i-te Bit yi genau dann gesetzt wird, wenn der i-te Inputwert xi das
Maximum aller 3 Werte ist. Realisieren Sie diese Abbildung durch ein Feed-Forward
Netz aus binären Schwellwertneuronen. Geben Sie die Struktur des Netzes und geeignete Gewichte und Schwellwerte für die Neuronen an.
Hinweis: Betrachten Sie zunächst das einfachere Problem mit 2-Tupeln.
1
Aufgabe 3. Konstruieren Sie ein Time-Delay Feed-Forward Netz, dass schwarz-weisse
Bilder klassifiziert. Ein schwarz-weisses Bild wird dabei interpretiert als ein “Gitter der
binären Variablen”, d.h. das Input des Netzes besteht aus binären Signalen xi j ∈ {0, 1},
wobei i und j Koordinaten im Gitter sind. Die zu modellierende Bildklasse besteht aus
allen Bildern, in denen schwarze achsenparallele Rechtecke auf dem weissen Hintergrund zu sehen sind (siehe Skizze unten). Die Anzahl der Rechtecke, ihre Positionen
und Größen sind dabei beliebig (einschliesslich kein Rechteck oder das ganze Bild ist
schwarz). Die Rechtecke dürfen sich nicht berühren.
Das Netz soll für alle derartige Bilder feuern, d.h. das Output des Netzes ist “1”. Bei
allen anderen Bildern feuert das Netz nicht (liefert “0” zurück).
Hinweis: Betrachten Sie ein 2×2 Bildausschnitt und überlegen Sie, welche Kombinationen der schwarzen und weissen Pixel bei der oben beschriebenen Bildklasse zugelassen
werden sollen.
Aufgabe 4.
Betrachten Sie das recht skizzierte Feed-Forward Netz. Die
Anzahl der Output-Neuronen ist gleich der Dimension des
Inputs. Die Zwischenschicht besteht aus einem einzigen linearen Neuron, d.h. die Übertragungsfunktion ist “abwesend”: y = f (y0 ) = y0 . Die Output-Neuronen sind ebenfalls linear. Zusätzlich sei verlangt, dass die Gewichte der
Zwischenschicht gleich den entsprechenden Gewichten der
Output-Schicht sind (siehe Skizze). Ausserdem, sei der Gewichtsvektor normiert, d.h. ||w|| = 1.
Das Netz wird anhand einer Lernstichprobe von Mustern (x1 , x2 . . . xL ), xl ∈ Rn so gelernt, dass sein Output mit dem Input möglichst übereinstimmt (im Sinne der quadratischen Abweichung), d.h. die zu minimierende Zielfunktion ist
L
,
∑ ||xl − y(xl , w)||2 → min
w
l=1
y(xl , w)
ist das Output des Netzes für das l-te Muster mit dem Gewichtsvektor w.
Welcher Gewichtsvektor w optimiert diese Zielfunktion?