Dokumentation des Matlab-Programms zur Lösung des XOR

Dokumentation des Matlab-Programms zur Lösung des
XOR Problems mit dem Backpropagation Netzwerk
Von Norbert Ebenhöh und Wolfgang Hösl
Problemstellung
In dem vorliegenden Matlab-Programm soll das XOR-Problem mit dem Backpropagation Netzwerk
gelöst werden. Das Java Applet das unter "http://fbim.fh-regensburg.de/%7Esaj39122/vhb/NNScript/script/gen/Applets/fi/" zu finden ist soll dabei als Grundlage dienen.
Allgemeines:
XOR-Problem
Das XOR-Problem (exklusives Oder) beschreibt das Problem, dass bei mehreren Eingängen genau
dann eine logische 1 als Ausgabe erscheint, wenn eine ungerade Anzahl von 1 in den Eingänge vorliegt.
In unserem Fall gibt es zwei Eingaben. Das folgende Muster beschreibt das XOR-Problem:
0 XOR 0 = 0
1 XOR 0 = 1
0 XOR 1 = 1
1 XOR 1 = 0
Backpropagation Netzwerk
Das Netzwerk besitzt eine Eingabeschicht, eine Zwischenschicht (Hidden-Layer) und eine
Ausgabeschicht. Die verschiedenen Schichten besitzen folgenden Elemente:
•
•
•
Eingabeschicht bestehend aus drei Neuronen
o Bias
o Zwei Eingabeneuronen
Zwischenschicht
o Bias
o Zwei Neuronen
Ausgabeschicht
o Ausgabeneuron
Für weitere Informationen bezüglich des Backpropagation Netzwerks siehe Kapitel 2.4 des NF-Skripts.
Graphical User Interface (GUI)
Im Folgenden werden die einzelnen Programmelemente der Graphical User Interface (GUI) und deren
Funktion erläutert.
Trainingsmuster:
Über die Buttons
0 XOR 0 = 0
1 XOR 0 = 1
0 XOR 1 = 1
1 XOR 1 = 0
wird die Eingabe und die gewünschte Ausgabe bekannt gemacht. Die Eingabe wird an die
Eingabeneuronen gegeben, die Gewichte werden mit Zufallszahlen belegt und es wird ein FeedforwardSchritt durchgeführt. Das Ergebnis wird in die grafische Darstellung des Netzes übertragen. Das
momentan gewählte Trainingsmuster wird durch den gedrückten Button visualisiert.
Bei einer Änderung des Trainingsmusters werden die Gewichte neu gesetzt und es wird ein neuer
Feedforward-Schritt durchgeführt.
Netzwerk:
Das Netzwerk wird durch Textfelder für die Neuronen und Verbindungslinien für die Synapsen
dargestellt. Wird ein Trainingsmuster gewählt, so wird das entsprechende Ergebnis in die Textfelder
übertragen.
Unter dem Netzwerk wird zusätzlich die Anzahl der Trainingszyklen sowie der Fehler ausgegeben. Der
Fehler wird jedoch nur bei betätigen des Trainingsbuttons ausgegeben.
Lernrate:
In diesem Eingabefeld kann die Lernrate eingetragen werden.
Fehlergrenze:
In diesem Eingabefeld kann die Fehlergrenze definiert werden.
Reset:
Mit Reset wird die das Netzwerk komplett zurückgesetzt. Lediglich der Bias bleibt enthalten.
Training:
Mit dem Button Training wird das Training gestartet. Es wird ein zufälliges Trainingspaar ausgewählt und
ein Feedforward- und Feebackward-Schritt wird durchgeführt. Dieser Vorgang wiederholt sich bis der
quadratische Fehler geringer als 0,01 (oder der definierte Wert) ist oder 20000 Trainingszyklen
durchgeführt wurden. Der Fehler sowie die Anzahl an Trainingszyklen werden im Netzwerk dargestellt.
Step:
Bei Betätigung des Buttons Step wird ein kompletter Lernzyklus durchgeführt (Feedforward- und
Feedbackward-Schritt). Die Eingabe ist durch die vorherige Auswahl des Trainingsmusters gegeben. Die
Berechnungen für den kompletten Lernzyklus werden daraufhin im Ausgabefenster dargestellt.
Einzelne Lernschritte können beliebig oft durch erneutes Betätigen des Step Buttons durchgeführt
werden. Die aktuellen Berechnungen werden im Ausgabefenster ausgegeben.
m-Files
Folgende Dateien werden zur korrekten Ausführung des XOR-Backpropagation-Problems benötigt:
-
Xor_ebenhoeh_hoesl.m
BackProp.m
Feedbackward.m
Feedforward.m
Lernen.m
Ruecksetzen.m
Sigmoid_Aktivieren.m
Die m-files werden in dieser Hinsicht nur kurz erläutert, da sie im Grunde genommen entsprechend
kommentiert sind.
xor_ebenhoeh_hoesl.m
Diese Datei ist die Hauptdatei. Von hier aus wird die grafische Oberfläche gestartet. Außerdem werden
hier die globalen Variablen definiert und erstmals initialisiert.
Zusätzlich kann hier die maximale Anzahl an Iterationen verändert werden, die bei Betätigung des
Training Buttons durchgeführt werden. Der Default-Wert der Fehlergrenze kann hier ebenfalls geändert
werden.
BackProp.m
Dieses Skript enthält die grafische Benutzeroberfläche des XOR-Algorithmus. Sie enthält Funktionen,
die hinter den einzelnen Button-Klick-Ereignissen hinterlegt sind. Die einzelnen Funktionen sind (es
werden nur die Funktionen aufgelistet, die für das Matlab-Programm von Bedeutung sind):
setFields
Dies ist eine Funktion die die Werte, die in der GUI enthalten sind, auf die Defaultwerte ändert. Es
werden lediglich die Eingabeneuronen an die Funktion übergeben und in die entsprechenden
Eingabefelder übertragen.
Button0xor0_Callback
Diese Funktion wird bei Betätigung des 0 xor 0 = 0 Buttons aufgerufen. Die Eingabe und das Ziel
werden mit Hilfe der Funktion Ruecksetzten übergeben. Es wird ein Feedforward-Schritt durchgeführt
und die Ergebnisse werden in die GUI übertragen.
Button0xor1_Callback
Siehe Button0xor0_Callback für das Eingabemuster 0 xor 1 = 1.
Button1xor0_Callback
Siehe Button0xor0_Callback für das Eingabemuster 1 xor 0 = 1.
Button1xor1_Callback
Siehe Button0xor0_Callback für das Eingabemuster 1 xor 1 =0.
ButtonReset_Callback
Diese Funktion wird bei Betätigung des Reset Buttons aufgerufen. Die Funktionen Ruecksetzten und
setFields werden aufgerufen. Alle Werte werden zurückgesetzt. Dies entspricht einem erneuten
Programmstart.
ButtonTraining_Callback
Diese Funktion wird bei Betätigung des Training Buttons aufgerufen. Es werden Zufallswerte für die
Eingabeneuronen erzeugt. Das dazugehörige Ziel wird ermittelt und mit diesen Werten wird die Lernen
Funktion aufgerufen. Die Lernen Funktion wird so lange in einer Schleife erneut mit Zufallswerten
durchgeführt, bis der Fehler unter die vorgegeben Fehlerschranke fällt oder 20000 Iterationen
durchgeführt wurden.
Die Ergebnisse des zuletzt durchgeführten Lernzyklus werden in das Eingabefenster übertragen. Wird
die Iterationsgrenze von 20000 erreicht, so wird eine Fehlermeldung in das Ausgabefenster geschrieben.
ButtonStep_Callback
Diese Funktion wird bei Betätigung des Step Buttons aufgerufen. Es wird ein kompletter Lernzyklus
durchgeführt, d.h. die Funktion Lernen wird aufgerufen. Das Ergebnis wird in das Ausgabefenster der
GUI übertragen. Die Anzahl an Trainingsschritten und die Fehlerrate wird aktualisiert.
Feedbackward.m
Enthält die Funktion Feedbackward, die die Fehlerrate Dk berechnet und diesen Fehler auf die
vorhergehenden Schichten umrechnet.
Feedforward.m
Enthält die Funktion Feedforward, die über Gewichte, Biases und anschließende Auswertung der
Sigmoid-Funktion die Werte der Neuronen der Zwischenschicht und der Ausgabeschicht berechnet.
Diese 3 Werte werden von der Funktion in einem Vektor zurückgegeben.
Lernen.m
In dieser m-file werden die Feedforward- und Feedbackward Funktionen aufgerufen. Da bei der Wahl
des Trainingsmusters bereits ein Feedforward-Schritt durchgeführt wurde, wird beim erstmaligen
drücken des Lernen Buttons die Feedforward Funktion übersprungen.
In Lernen wird ebenfalls die Anzahl der Lernschritte mitgezählt.
Ruecksetzen.m
Die Funktion Ruecksetzen setzt alle Parameter auf deren Anfangswerte. So wird die Anzahl der
Trainingszyklen wieder auf 0 gesetzt, die Biases werden neu mit Zufallszahlen belegt, ebenso die
Verbindungsgewichte W_ij und W_jk zwischen Eingabe- und Zwischenschicht bzw. Zwischen- und
Ausgabeschicht.
Sigmoid_Aktivieren.m
Die Funktion Sigmoid_Aktivieren liefert für einen Übergabeparameter x den Wert 1/(1+exp(-x))
Erklärung
Wir bestätigen hiermit, dass wir das Projekt „Lösung des XOR-Problems mit dem BackpropagationNetzwerk. Umsetzung des Java-Applets in Matlab“ (Aufgabe 4b des 12. Aufgabenblattes) selbstständig
und ohne fremde Hilfe gelöst haben.
Norbert Ebenhöh
Regensburg, 20.01.2009
Wolfgang Hösl