test44_102 - oth
Werbung
Neuronale Netze, Fuzzy Control und Genetische Algorithmen Hochschule Regensburg Hebb’sche Regel und Delta-Regel, MLP, Backpropagation Test Nr. 44_102 Spezielle Algorithmen Name: ________________________ Lehrbeauftragter: Prof. Sauer Vorname: _____________________ 1. Aufgabe 1. Welche Eigenschaften besitzen Muster, die mit der Hebb’schen Regel gut lösbar sind? ___________________________________________________________________________________ 2. Besitzt der folgende Satz von Eingabevektoren diese Eigenschaft? ____________________________ (1,1,-1,-1,1,1,-1,-1) (1,1,1,1,-1,-1-1,-1) (1,-1,1,-1,1,-1,1,-1) Beweise (durch eine nachvollziehbare Berechnung) diese Eigenschaft! ___________________________________________________________________________________ ___________________________________________________________________________________ ___________________________________________________________________________________ 3. Können diese Muster auch mit der Delta-Regel gut bearbeitet werden? ________________________ 4. Gib Gründe für die soeben gegebene Antwort an. _________________________________________ ___________________________________________________________________________________ 5. Woran erkennt man ein lernfähiges Netzwerkmodell? ___________________________________________________________________________________ 6. An welcher Stelle wird das Lernen in den neuronalen Netzwerk-Modellen realisiert? ___________________________________________________________________________________ 7. Zur Verschlüsselung der Eingabedaten in einem einfachen, zwei Schichten umfassenden Netzwerk sind 4 Codierungen (Code 1, Code 2, Code 3, Code 4) möglich. Eine dieser vier Codierungen ist ungeeignet. Eingabedaten 0<=X<337 337<=X<342 342<=X<348 348<=X<352 352<=X<357 357<=X<M1 1 Code 1 100000 010000 001000 000100 000010 000001 Code 2 111111 011111 001111 000111 000011 000001 Code 3 111111 111110 111100 111000 110000 100000 M ist eine beliebig große Zahl 1 Code 4 000011 001100 110000 000111 111000 001111 Neuronale Netze, Fuzzy Control und Genetische Algorithmen a) Gib an, welche der vier Codierungen ungeeignet ist? ______________________________________ b) Warum ist gerade diese Codierung ungeeignet? ___________________________________________________________________________________ ___________________________________________________________________________________ 8. Zeige, daß durch geeignete Wahl bzw. Berechnung der Gewichte und des Schwellwerts der Aktivierungsfunktion (Sprungfunktion) die logischen Funktion UND, ODER mit dem folgenden zwei Schichten umfassenden Netz realisiert werden kann? w1? w2? Schwellwert? a) logisches UND w1 = ____________ w2 = _____________ Schwellwert: ________________ w2 = _____________ Schwellwert: ________________ b) logisches ODER w1 = ____________ 2. Aufgabe 1. Zeige durch eine geometrische Repräsentation, daß das XOR-Problem nicht linear trennbar ist! 2. Welche logischen Funktionen mit 2 Eingangsgrößen und einer Ausgangsgröße erfüllen das Kriterium der linearen Trennbarkeit? Logische Funktionen mit 2 Eingangsgrößen und einer Ausgangsgröße sind x1 0 0 1 1 x2 0 1 0 1 f0 0 0 0 0 f1 0 0 0 1 f2 0 0 1 0 f3 0 0 1 1 f4 0 1 0 0 f5 0 1 0 1 f6 0 1 1 0 f7 0 1 1 1 f8 1 0 0 0 f9 1 0 0 1 f10 1 0 1 0 f11 1 0 1 1 f12 1 1 0 0 f13 1 1 0 1 Gib die logischen Funktionen an, die das Kriterium der linearen Trennbarkeit nicht erfüllen! ________ ___________________________________________________________________________________ 2 f14 1 1 1 0 f15 1 1 1 1 Neuronale Netze, Fuzzy Control und Genetische Algorithmen 3. Gib das einfachste aller Netzwerke an, mit dem die unter 2. Angegebenen logischen Funktionen, die das Kriterium der linearen Trennbarkeit erfüllen, realisiert werden können! 4. Nach welchen Methoden können die Gewichte für derartige Netzwerke berechnet werden? 1. Methode: _________________________________________________________________________ 2. Methode: _________________________________________________________________________ 5. Berechne Gewichte und Schwellwerte (Sprungfunktion) für die logischen Funktion UND (f1) und ODER (f7)! a) Gib zunächst die Berechnungsgrundlagen (Formeln) in allgemeiner Form an. Logisches UND (f1) ___________________________________________________________________________________ ___________________________________________________________________________________ ___________________________________________________________________________________ ___________________________________________________________________________________ logisches ODER (f7) ___________________________________________________________________________________ ___________________________________________________________________________________ ___________________________________________________________________________________ ___________________________________________________________________________________ b) Führe die Rechnung aus. Logisches UND ___________________________________________________________________________________ ___________________________________________________________________________________ logisches ODER ___________________________________________________________________________________ ___________________________________________________________________________________ 3 Neuronale Netze, Fuzzy Control und Genetische Algorithmen 3. Aufgabe Könnte das folgende Perzeptron (mit einer inneren Schicht) das XOR-Problem lösen? Eingabeschicht 1 1 1 1 1.5 0.5 -1 Zwischenschicht 1 0 Ausgabeschicht Die an den Kanten angegebenen Werte sind Gewichte. Die in die Kästchen eingeschriebenen Werte sind die Schwellwerte der Aktivitätsfunktion (Sprungfunktion, >=). Zeige, in einem Schreibtischtest, das vorliegende Netz das XOR-Problem löst. Eingabemuster 0 0 0 1 1 0 1 1 Eingabewerte Ausgabewerte Eingabewerte Ausgabewerte 4 Eingabewerte Ausgabewerte Neuronale Netze, Fuzzy Control und Genetische Algorithmen Neuronale Netze, Fuzzy Control, Genetische Algorithmen Prof. Jürgen Sauer 3. Aufgabenblatt mit Lösungen 1. Aufgabe 1. Welche Eigenschaften besitzen Muster, die mit der Hebb’schen Regel gut lösbar sind? Orthogonalität der Eingabevektoren 2. Besitzt der folgende Satz von Eingabevektoren diese Eigenschaft? ja (1,1,-1,-1,1,1,-1,-1) (1,1,1,1,-1,-1-1,-1) (1,-1,1,-1,1,-1,1,-1) Beweise (durch eine nachvollziehbare Berechnung) diese Eigenschaft! 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 3. Können diese Muster auch mit der Delta-Regel gut bearbeitet werden? ja 4. Gib Gründe für die soeben gegebene Antwort an. Bei orthogonalen Mustern gibt es keinen Unterschied zwischen Delta-Regel und Hebb’scher Regel. 5. Woran erkennt man ein lernfähiges Netzwerkmodell? Die Gewichte können sich ändern 6. An welcher Stelle wird das Lernen in den neuronalen Netzwerk-Modellen realisiert? Die Gewichte werden so verändert, daß der auftretende Fehler kleiner wird. 7. Zur Verschlüsselung der Eingabedaten in einem einfachen, zwei Schichten umfassenden Netzwerk sind 4 Codierungen (Code 1, Code 2, Code 3, Code 4) möglich. Eine dieser vier Codierungen ist ungeeignet. Eingabedaten 0<=X<337 337<=X<342 342<=X<348 348<=X<352 352<=X<357 357<=X<M2 Code 1 100000 010000 001000 000100 000010 000001 Code 2 111111 011111 001111 000111 000011 000001 Code 3 111111 111110 111100 111000 110000 100000 a) Gib an, welche der vier Codierungen ungeeignet ist? Code 4 2 M ist eine beliebig große Zahl 5 Code 4 000011 001100 110000 000111 111000 001111 Neuronale Netze, Fuzzy Control und Genetische Algorithmen b) Warum ist gerade diese Codierung ungeeignet? Es ist darauf zu achten, daß die einzelnen, kodierten Eingabevektoren voneinander linear unabhängig sind. Code 4 zeigt keine linear unabhängige Codierung, da bspw. die 6. Zeile die Summe aus der 1. und 2. Zeile ist 8. Zeige, daß durch geeignete Wahl bzw. Berechnung der Gewichte und des Schwellwerts der Aktivierungsfunktion (Sprungfunktion) die logischen Funktion UND, ODER mit dem folgenden zwei Schichten umfassenden Netz realisiert werden kann? w1? w2? Schwellwert? a) logisches UND w1 = 1 w2 = 1 Schwellwert: 1.5 w2 = 1 Schwellwert: 0.5 b) logisches ODER w1 = 1 2. Aufgabe 1. Zeige durch eine geometrische Repräsentation, daß das XOR-Problem nicht linear trennbar ist! 1,0 1 1,1 0 0 0,0 1 1,0 2. Welche logischen Funktionen mit 2 Eingangsgrößen und einer Ausgangsgröße erfüllen des Kriterium der linearen Trennbarkeit? Logische Funktionen mit 2 Eingangsgrößen und einer Ausgangsgröße sind x1 0 0 1 1 x2 0 1 0 1 f0 0 0 0 0 f1 0 0 0 1 f2 0 0 1 0 f3 0 0 1 1 f4 0 1 0 0 f5 0 1 0 1 f6 0 1 1 0 f7 0 1 1 1 f8 1 0 0 0 f9 1 0 0 1 f10 1 0 1 0 f11 1 0 1 1 f12 1 1 0 0 Gib die logischen Funktionen an, die das Kriterium der linearen Trennbarkeit nicht erfüllen! f6 , f9 6 f13 1 1 0 1 f14 1 1 1 0 f15 1 1 1 1 Neuronale Netze, Fuzzy Control und Genetische Algorithmen 3. Gib das einfachste aller neuronale Netzwerke an, mit dem die unter 2. Angegebenen logischen Funktionen, die das Kriterium der linearen Trennbarkeit erfüllen, realisiert werden können! w1 w2 Schwellwert 4. Nach welchen Methoden können die Gewichte für derartige Netzwerke berechnet werden? 1. Methode: Delta-Regel 2. Methode: rein rechnerisch mit Hilfe von Formeln 5. Berechne Gewichte und Schwellwerte (Sprungfunktion) für die logischen Funktion UND (f1) und ODER (f7)! a) Gib zunächst die Berechnungsgrundlagen (Formeln) in allgemeiner Form an. Logisches UND (f1) 0 w1 0 w2 0 w1 1 w2 1 w1 0 w2 1 w1 1 w2 logisches ODER (f7) 0 w1 0 w2 0 w1 1 w2 1 w1 0 w2 1 w1 1 w2 b) Führe die Rechnung aus. Logisches UND w1 = 1, w2 = 1, 1.5 logisches ODER w1 = 1, w2 = 1, 0.5 7 Neuronale Netze, Fuzzy Control und Genetische Algorithmen 3. Aufgabe Könnte das folgende Perzeptron (mit einer inneren Schicht) das XOR-Problem lösen? Eingabeschicht 1 1 1 1 1.5 0.5 -1 Zwischenschicht 1 0 Ausgabeschicht Die an den Kanten angegebenen Werte sind Gewichte. Die in die Kästchen eingeschriebenen Werte sind die Schwellwerte der Aktivitätsfunktion (Sprungfunktion, >=). Zeige, in einem Schreibtischtest, daß das vorliegende Netz das XOR-Problem löst. Eingabemuster 0 0 1 1 0 1 0 1 Eingabewerte Ausgabewerte der Zwischenschicht 0 0 0 0 1 1 0 1 1 1 0 1 2 2 1 1 Eingabewert Ausgabewert der Ausgabeschicht 0 0 1 1 1 1 0 0 8
