Künstliche Neuronale Netze Überblick 2

Arbeitstitel
Neuronen, Modelle,
Künstliche Neuronale Netze
Version 08.08.01
Jürgen Weiprecht
21. Dezember 2004
Inhaltsverzeichnis
1 Einführung
1
1.1
Frühe Vorstellungen und Automaten . . . . . . . . . . . . . .
1
1.2
Neuronen, Informationen und KNN . . . . . . . . . . . . . .
5
1.3
Motivation und Kapitelübersicht . . . . . . . . . . . . . . . . .
9
2 Das Gehirn
13
2.1
Die Anatomie des Nervensystems . . . . . . . . . . . . . . . . 13
2.2
Das Gehirn als System . . . . . . . . . . . . . . . . . . . . . . 18
2.3
2.2.1
Gehirn und Körper . . . . . . . . . . . . . . . . . . . . 18
2.2.2
Arten der Erfassung von Informationen durch das Gehirn 21
Wichtige Verfahren zur Untersuchung des Gehirns . . . . . . . 23
3 Die Neuronen
27
3.1
Der allgemeine äussere Aufbau einer Neurone . . . . . . . . . 27
3.2
Neuronentypen . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3
Die Wirkungsweise einer Neurone . . . . . . . . . . . . . . . . 32
3.4
3.3.1
Der prinzipielle innere Aufbau einer Neurone . . . . . . 32
3.3.2
Potentiale von Neuronen . . . . . . . . . . . . . . . . . 35
Synaptischer Übergang und Informationsfluss . . . . . . . . . 38
4 Beschreibungen, Modelle und Systeme
4.1
41
Modellbildung und Betrachtung . . . . . . . . . . . . . . . . . 41
4.1.1
Betrachtungsebenen . . . . . . . . . . . . . . . . . . . 41
i
ii
INHALTSVERZEICHNIS
4.1.2
Berechnungsmodelle . . . . . . . . . . . . . . . . . . . 47
4.2 Vom biologischen zum abstrakten Modell . . . . . . . . . . . . 51
4.3 Das Neuron als abstraktes Modell . . . . . . . . . . . . . . . . 60
4.3.1
Die Neurone als Verabeitungelement . . . . . . . . . . 60
4.3.2
Aktivierung und die Funktion der VE . . . . . . . . . 65
4.3.3
Verbindungen von VE . . . . . . . . . . . . . . . . . . 69
5 Grundlagen von KNN
5.1
75
Eigenschaften von KNN . . . . . . . . . . . . . . . . . . . . . 75
5.1.1
Von der VE zum KNN . . . . . . . . . . . . . . . . . 75
5.1.2
Das Schichtenmodell der KNN . . . . . . . . . . . . . 78
5.2 Dynamik und Netzwerkstrukturen . . . . . . . . . . . . . . . . 85
5.2.1
Strukturen und Abbildung der Dynamik . . . . . . . . 85
5.2.2
Zustände eines KNN . . . . . . . . . . . . . . . . . . . 87
5.3 Lernen als Dynamik in einem KNN
. . . . . . . . . . . . . . 89
5.3.1
Lernen in biologischen neuronalen Netzen
. . . . . . . 89
5.3.2
Lernen in einem KNN als DS . . . . . . . . . . . . . . 91
5.3.3
Arten des Lernens
. . . . . . . . . . . . . . . . . . . . 94
5.3.3.1
Beobachtetes Lernen . . . . . . . . . . . . . . 94
5.3.3.2
Unbeobachtetes Lernen . . . . . . . . . . . . 95
5.3.3.3
Andere Arten des Lernens . . . . . . . . . . . 95
6 Einfache und historische Neuronen- und KNN-Modelle
6.1
97
Das Modell nach McCulloch und Pitts . . . . . . . . . . . . 97
6.2 Das Perzeptron . . . . . . . . . . . . . . . . . . . . . . . . . . 97
6.2.1
Das Prinzip des Perzeptron . . . . . . . . . . . . . . . 97
6.2.2
Lernen mit dem Perzeptron . . . . . . . . . . . . . . . 103
6.3 Das Adaline . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
7 Weitere Bausteine aus der KNN-Theorie
107
8 Simulationssysteme
109
INHALTSVERZEICHNIS
iii
8.1
PDP++-Software . . . . . . . . . . . . . . . . . . . . . . . . 109
8.2
Andere Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . 110
8.2.1
GENESIS . . . . . . . . . . . . . . . . . . . . . . . . 110
9 Programmierung von Neuronenmodellen und KNN
111
9.1
Objekt-Orientierte Programmierung von KNN . . . . . . . . 111
9.2
Neuronenmodelle in C++ . . . . . . . . . . . . . . . . . . . . 114
9.2.1
McCulloch-Pitt Neuron . . . . . . . . . . . . . . . . . . 114
A Ergebnisse der Programmierung von Neuronenmodellen und
KNN
117
A.1 Ergebnisse von Neuronenmodellen . . . . . . . . . . . . . . . . 117
A.1.1 McCulloch-Pitt-Neuron . . . . . . . . . . . . . . . . . . 117
A.1.2 Adaline . . . . . . . . . . . . . . . . . . . . . . . . . . 120
B Begriffserläuterungen
123
C Mathematische Symbole
127
D Abkürzungen
129
iv
INHALTSVERZEICHNIS
Abbildungsverzeichnis
1.1
Beispiele für historische Maschinen sind a) die Ente von Vaucanson oder b) die Pascalin, eine Rechenmaschine von Blaise
Pascal. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
Modellvorstellung des Aktionspotentials einer Neurone, mehr
im Kapitel 3, ab Seite 35. . . . . . . . . . . . . . . . . . . . .
6
1.3
Historische Vorstellungen zu den KNN in einer Übersicht. . .
8
1.4
Motivation Künstliche Neuronale Netze und Computer. . . . . 10
2.1
Eine schematische Darstellung eines menschlichen Gehirns,
mit der Bezeichnung einiger wichtiger Bereiche. Abbildung
ähnlich der Darstellung in [THOMPSON94] auf S. 23 . . . . . 14
2.2
Skizze einer einfachen Neurone mit den wichtigsten Bezeichnungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3
Erstes Modell einer Informationsverarbeitung in einem Gehirn. 18
2.4
Die beiden Abbildungen zeigen die Segmente und Bereiche in
einem Gehirn bei verschiedenen Funktionen. a) Deutet den
Verlauf und die Bereiche für die Funktion Schmecken, Sehen
usw. an und b) kennzeichnet schematisch einige der Bereiche beim Sprechen und Farbverstehen. Abbildungen modifizert nach [Spektrum92/1]. . . . . . . . . . . . . . . . . . . . . 19
3.1
Schematischer Aufbau einer Neurone, hier in einem Verbund
dargestellt. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.2
Neuronentypen: a) Strukturbilder von Neuronentypen, b) Eingefärbtes Nervengewebe. . . . . . . . . . . . . . . . . . . . . . 30
3.3
Der innere Aufbau einer Neurone . . . . . . . . . . . . . . . . 33
3.4
Das Prinzip einer Synapse . . . . . . . . . . . . . . . . . . . . 34
1.2
v
vi
ABBILDUNGSVERZEICHNIS
3.5 Das Ruhe- und Aktionspotentiale einer einzelnen Neurone . . 37
3.6 Bewegungrichtung des Aktionspotential und synaptischer Übergang . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.1
Modell des Sehsystems. Blaue Bezeichnungen kennzeichnen
die anatomische und die roten Bezeichnungen verdeutlichen
die Anwendung-Ebene. . . . . . . . . . . . . . . . . . . . . . . 42
4.2
Vektorkodierung mit Hilfe des Modells vom Sehsystem, Betrachtung erfolgt jetzt auf der Anwendungsebene. . . . . . . . 43
4.3
Zusammenhang zwischen Struktur und Funktion bei der Betrachtung des Gehirns und der Ableitung von Modellen. . . . . 44
4.4
Anwendung des Modells aus Abbildung 2.3. Oben: Prinzip des
menschlichen Sehsystems Unten: Modell eines einfachen mehrschichtigen KNN. . . . . . . . . . . . . . . . . . . . . . . . . 46
4.5
c
Robotermodell (aus dem LEGO°
-Mindstormbausatz ) . . . . 49
4.6 Berechnungsmodell: Es existiert ein möglicher Regelkreis, welcher sich durch Systemfunktionen oder konkrete Objekte (Roboter, Mensch) darstellen lässt. . . . . . . . . . . . . . . . . . 50
4.7
Der schematische Übergang von einem realen Neuronenmodell zum
einem künstlichen und abstrakten Neuronenmodell. Die Darstellung zeigt ein resultierendes System mit einer symbolischen Übertragungsfunktion, abgeleitet aus einem Neuronenverbund. . . . . . 52
4.8 Eine schematische Darstellung des Übergang vom biologischen
Vorbild über ein einzelnes Neuronenmodell hin zu einem, hier
mehrschichtigen (vgl. Kapitel 5.1.2), KNN. . . . . . . . . . . 53
4.9 Die mögliche Struktur eines Eingangsvektors. . . . . . . . . . 56
4.10 Ein allgemeines dynamisches System für Modellneuron oder
KNN. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.11 Eine Neurone als dynamisches System und der Übergang von
einer Modellneurone zum KNN. . . . . . . . . . . . . . . . . 58
4.12 Modellbildung nach Gleichung 4.9 und 4.15: Die Modellneurone ist auch ein Dynamisches System, vgl. auch Abbildung 4.10. 61
4.13 Prinzipielle Aufbau einer VE, ähnlich wie in Abbildung 4.10
auf Seite 58. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
ABBILDUNGSVERZEICHNIS
vii
4.14 Die wichtigsten Aktivierungsfunktionen in einer qualitativen
Übersicht. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.15 Möglichen Parametereinstellungen für eine Aktivierungsfunktion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.16 Modellbildung ausgehend von einer Neuronenverbindung.
. . 70
4.17 Beispiel für FAN-IN und FAN-OUT. . . . . . . . . . . . . . . 72
5.1
Wichtige Eigenschaften in einem KNN. Die Schichten sind
farblich markiert, die VEs sind als Kreis gekennzeichnet und
die Verbindungen sind als Pfeile realisiert. . . . . . . . . . . . 76
5.2
Ein einfaches Schichtenmodell für ein KNN, Bild ist eine Vergrößerung des Modells aus Abbildung 4.8 auf Seite 53. . . . . 79
5.3
Dreischichtiges KNN mit einer willkürlich gewählten Verbindungsstruktur. Das Netz im Bild enthält 12 Eingänge und zwei
Ausgänge. Indizierungen im Bild weggelassen. . . . . . . . . . 80
5.4
Symbolische Erläuterung der Schichten und der Verbindungen
in einem einfachen dreischichtigen KNN. Weitere Erläuterungen zu dem Netz werden im Text gegeben. . . . . . . . . . . . 84
5.5
Weiterentwicklung des Ebenen-Modells nach der Abbildung 2.3 auf
Seite 18, bezogen auf die KNN und deren mögliche Struktur. 86
5.6
Mögliche Zustände in einem KNN, wobei diese auch für die
einzelnen VE zutriffen. Die Abbildung wurde durch das Zustandsdiagramm eines Prozesses nach [KALFA88] inspiriert. . 88
5.7
Schematische vereinfachte Darstellung des Lernen in einem
KNN, betrachtet als Dynamisches System. . . . . . . . . . . . 92
5.8
Signalausbreitung und Fehlerrückführung in einem einfachen
dreischichtigen KNN. Bild leicht verändert nach [DECO96] . 93
6.1
Das Perzeptron nach Rosenblatt . . . . . . . . . . . . . . . . 98
6.2
Der prinzipielle Aufbau eines Perzeptrons . . . . . . . . . . . . 100
6.3
Abhängigkeit des Ausgangs einer R-Einheit zu der Wichtung
der Eingangsinformation . . . . . . . . . . . . . . . . . . . . . 101
8.1
Simulation einer Neurone . . . . . . . . . . . . . . . . . . . . . 109
viii
ABBILDUNGSVERZEICHNIS
9.1 Betrachtet man die KNN als ein Objekt von allgemeiner Natur, so erkennt man im Sinne von OOP, dass die einzelnen
Netzarten in einer Beschreibung des Obkjets KNN enthalten
(instance of) sind. . . . . . . . . . . . . . . . . . . . . . . . . 111
9.2 Schematische Darstellung einer Klassenbildung für KNN in
C++. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
9.3
Schematische Darstellung von Objekten mittels zweier Basisklassen in C++. Bild ist den Darstellungen in [ROGERS97] auf Seite
41 nachempfunden. . . . . . . . . . . . . . . . . . . . . . . . . . . 113
9.4
Darstellung von von Basisklassen und abgeleiteten Klassen in
C++. Bild ist den Darstellungen in [ROGERS97] auf Seite 38 nachempfunden. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
A.1 Adaline-Simulation . . . . . . . . . . . . . . . . . . . . . . . . 121
A.2 Adaline-Simulationsverteilung . . . . . . . . . . . . . . . . . . 121
A.3 Adaline-Simulationsverteilung . . . . . . . . . . . . . . . . . . 122
Tabellenverzeichnis
3.1
Die wichtigsten Typen von Neuronen . . . . . . . . . . . . . . 31
4.1
Arten Neuronaler Netze . . . . . . . . . . . . . . . . . . . . . 47
4.2
Programmtechnische Umsetzung von Eingabewerten am Beispiel der Sprache C++ . . . . . . . . . . . . . . . . . . . . . . 57
4.3
Schematische Ableitung eines Modellbildung für Neurone und
KNN mit der Andeutung der verwendeten mathematischen
Hilfsmittel. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5.1
Sympolische Darstellung von Strukturelementen und zeitlichen Abhängingkeiten in KNN. . . . . . . . . . . . . . . . . . 85
C.1 Wichtige mathematische Symbole . . . . . . . . . . . . . . . . 127
D.1 Wichtige Abkürzungen . . . . . . . . . . . . . . . . . . . . . . 129
ix
Kapitel 1
Einführung
1.1
Frühe Vorstellungen und Automaten
Eines der faszinierendsten Organe von höheren Lebewesen und Menschen
bildet das Gehirn. Durch die Funktion dieses Organs ist der Mensch, im
Zusammenspiel mit seinen Sinnen und dem restlichen Körper, in der Lage,
die Welt zu erkennen und zu verändern.
Mit dem Gehirn ist die Betrachtung des Seele verbunden. Vermutete man
im Altertum die Seele des Menschen im Herzen, so weiß man heute, dass die
Seele eines Menschen als Ganzes maßgeblich vom Geschehen im Gehirn mitbestimmt wird. Die Suche nach dem Verständnis des Aufbaus, der Funktion
und der Wirkungsweise des Gehirns hat viele Forschergenerationen auf den
verschiedensten Gebieten beflügelt. Es hat und gibt viele Modelle von diesem
Objekt, die zum Teil auch wieder verworfen werden mussten. Die Vorstellungen über das Gehirn sind sehr komplex, in manchen Details existieren auch
gegensätzliche Ansichten. Viele der neusten Erkenntnisse sind erst durch den
Einsatz von modernen Technologien möglich geworden. Dabei tauchten auch
wieder neue Frage auf. Die neusten Erkenntnisse über das Gehirn - und das
menschliche Gehirn im Speziellen - resultieren aus Forschungsbereichen, welche augenscheinlich nicht unbedingt im Zusammenhang stehen.
Neben dem Gehirn, als einem Forschungsgegenstand, gab und gibt es Bemühungen dieses Gebilde nachzubilden oder dessen Fähigkeiten künstlich zu erzeugen. Schon immer sind die Menschen von den Vorstellungen über das Denken
und von der Realisierung künstlicher Wesen fasziniert. Die Methoden und
Verfahren von sogenannten Künstlichen Neuronalen Netze (KNN) sind den
allgemeinen Prinzipien der biologischen Intelligenz nachempfunden und man
1
2
KAPITEL 1. EINFÜHRUNG
nutzt diesen Sachverhalt auf einem Computer aus. Dabei bilden die Neuronen, als die Grundzellen der biologischen Informationsverarbeitung, und
deren hochgradige Vernetzung in den Hirnbereichen die Grundlage für solche
Modelle. Dabei ergibt sich eine Synthese, denn es werden durch diese Modelle
die Prinzipien der Intelligenz vestanden und andererseits angewendet.
Einen ersten Einstieg in das Gebiet der KNN, welches im Laufe der Zeit
sehr umfangreich geworden ist, sollte mit einer kurzen Darstellung der Entwicklungen über die Vorstellungen zu dieser Thema beginnen. Aus und über
die Geschichte der KNN ist die Anwendung, das Zusammenspiel und die
Beeinflussung von verschiedenen Wissenschaften (vgl. auch Abbildung 1.3)
deutlich zu erkennen. Natürlich können in dieser kurzen historischen Übersicht nur einige Konzepte benannt werden, wobei einige in den nachfolgenden Kapiteln weiter vertieft werden. Außerdem unterliegen die KNN einer
ständigen und rasanten Entwicklung, auch gerade weil sie stark interdisziplinär arbeiten. Übersichten, welche das Thema besser verdeutlichen findet
man in der Fachliteratur, einen kleiner Querschnitt ist im Literaturverzeichnis ab der S.131 zu finden.
Die Erforschung der Fakten der Umwelt und die Phantasie von Vorstellungen
legten letztlich den Grundstein zur Entwicklung der Wissenschaften. Schon
seit den fühen Tagen der Meschheit wurde nach dem Verständnis des Denkens und des Begreifen gesucht. Die Erkenntnisse der griechischen Philosophie (s.a. [KROENER91]), welche zum Kern und dem Ursprung der heutigen
modernen westlichen Denkvorstellungen zählen, sind der Ausgangspunkt für
viele dieser Ideen. Sokrates, Plato, Aristoteles u.a., sie sprachen natürlich
nicht von KNN, sondern eher von Automaten. Mit diesen Automaten sollten Leistungen des Menschen verstanden, verbessert oder verstärkt werden.
Letztlich sind KNN nichts anderes als abstrakte Automaten, welche Denkbzw. Lernvorgänge auf einem Computer nachbilden. In der Antike baute zum
Beispiel Heron hydraulische Automaten in der Form von sich selbstständig,
bewegenden Tempelanlagen oder Archimedes nutzte seine Kenntnisse über
mathematische Zusammenhänge nicht nur zum Bau von Kriegsmaschinen
bei der Verteidigung seinen Heimatstadt Syrakrus. Natürlich waren diese
Ansätze noch nicht unmittelbar mit Vorgängen im menschlichen Gehirn1
verknüpft und diese Maschinen hatten keine Fähigkeit sich veränderten Bedingungen anzupassen.
Neben diesen ersten wissenschaftlichen Ansätzen gibt es in vielen Völkern
Erzählungen, Sagen oder Märchen von künstlichen Wesen oder Kreaturen,
im Guten und im Bösen, die eine Sehnsucht ausdrücken, den Menschen als
1
Sondern gingen z.T. von diesem aus.
1.1. FRÜHE VORSTELLUNGEN UND AUTOMATEN
3
einen Schöpfer (Demirugen) zu sehen. Exemplarisch seien hier nur an die
Geschichten über den Golem und den Homunkulus erinnert. Im 19. Jahrhundert erregten die Geschichten von mechanischen Puppen2 viel Aufsehen.
Der Roman über Dr. Frankenstein3 oder über Roboter4 haben auch in der
Gegenwart viele Entwickler und Forscher und andere Menschen motiviert.
Im 18. Jahrhundert kam es zu einer Blüte von mechanischen Automaten. Es
wurden Maschinen zum automatischen Abspielen von Musik und und zum
Schachspielen entwickelt und gebaut. Die Abbildung 1.1a zeigt die mechanische Ente von Vaucanson. Diese Maschine geht auch auf den mechanistischen Ansatz von La Mettrie ([LaMetterie88]) zurück. Dieser meinte die
a)
b)
Abbildung 1.1: Beispiele für historische Maschinen sind a) die Ente von Vaucanson oder b) die Pascalin, eine Rechenmaschine von Blaise Pascal.
Automaten müssten nur verfeinert werden müssten, um die Fähigkeiten von
Menschen zu erreichen. Das Verständnis des Automaten als das mechanische Bild (besser Modell ) galt als der Schlüssel, dass ein Mensch eines Tages
nachgebaut werden könne. Neben dem Ansatz eines Menschen als Automaten gab5 es die Verwendung von Maschinen und Automaten zum Ersatz
oder der Verbesserung von bestimmten Fähigkeiten und Fertigkeiten. Blaise Pascal und Carl Friedrich Gauß bauten erste Rechenmaschinen, vgl.
Abbildung 1.1b, die die Kompliziertheit von Rechnungen vereinfachen sollten. Automaten oder Maschinen sollten intellektuelle Leistungen vollbringen.
Dieses zunächst mechanistische Denken hatte ihre Ursache in den damaligen
2
Hugo v. Hoffmansthal oder E.T.A Hoffmann
Mary Shelly,FRANKENSTEIN or The Modern Prometheus, Könemann Verlagsgesellschaft, Köln, 1995
4
Karel Capek, R.U.R. oder Isaac Asimov’s Roboter-Erzählungen
5
und gibt
3
4
KAPITEL 1. EINFÜHRUNG
Stand der Erkenntnisse der Wissenschaft, basierend auf deren Erkenntnissen,
z.B. von Isaac Newton über die Schwerkraft und von Galileo Galilei zur
Schiefen Ebene usw. Auch in der Mathematik unterstützte diesen Ansatz
ducrh die Enwicklung der Aussagelogik von George Boole, welcher sie als
“Denkgesetze” verstand. Charles Babbage legte dann die ersten Grundlagen für die Entwicklung von Automaten, welche wir heute als Computer
kennen6 . Aber auch diese Ansätze kamen nicht zur irgendeiner Form der Anpassung und Komplexität, welche dem Menschen und den Tieren eigen ist.
Sie blieben letztlich Spielereien.
Die ersten Ansätze zum Verständnis des Gehirns ergaben sich aus den Erkenntnissen zur Anpassung und Rückkopplung. Bei den Maschinen war dies
der Regler von J. Watt an den Dampfmaschinen und die damit verbundene Verbesserung der dazu gehörigen Technologie. Sie wurde damit zu einem
der Ausgangspunkte für die Grundlage der heutigen industriellen Massenproduktion7 . Mit den zunehmenden und neuen Erkenntnissen aus der Wissenschaften vertiefte und festigte sich die Vorstellung, dass der Mensch nach
Naturgesetzen funktioniere. Mit dem Zuwachs an Wissen, z.B. in der Medizin und in den sich bildenden Vertiefungsfachrichtungen - wie Anatomie,
Neurologie usw. -, wurde der Mensch als ein komplexes Gebilde begriffen,
man erkannte Prozesse von Ursache und Wirkung im Körper8 .
Das 19. Jahrhundert brachte ebenfalls auf vielen Gebieten große Fortschritte.
Man fand heraus, dass das Gehirn eine Steuerzentrale für die Vorgänge in einem lebendigen biologischen System ist. Weiterhin erkannte man das die Entwicklung dieses Organs von dem Informationsverarbeitungsprozess abhängig
ist. Man determinierte das Gehirn als Objekt9 zur Informationsverarbeitung,
indem man gewisse mentale Fähigkeiten bestimmten Regionen10 zuordnete.
Man erkannte ebenfalls, das diese Signale von einer gewissen Stärke sein
mussten. Mit den Erkenntnissen zu Reflexen und Elektrizität wurde das Interesse am Gehirn immer stärker. Die Fakten wurden in Modellen interpretiert und nachvollzogen, aber KNN nach heutigen Maßstäben waren es noch
nicht. Eine gute Übersicht zu den verschiedenen Ideen und die Entwicklungen
der Hirnforschung kann man in einem Beitrag von [SpdWGuG/I/II] nachlesen. Der Zusammenhang zwischen philosohischen Gedanken und der Idee
von künstlichen Wesen kann man auch in [DIETZ03] nachlesen.
6
Vgl. [GEB88]
Erste industrielle Revolution: Dampfmaschine und Eisenbahn
8
z.B. Blut, Körpertemperatur
9
und Subjekt
10
Schädellehre von Gall
7
1.2. NEURONEN, INFORMATIONEN UND KNN
1.2
5
Neuronen, Informationen und KNN
In den ersten Jahren des 20. Jahrhunderts wurden die Neuronen bzw. die
Nervenzellen von Ramón y Cajal und Camillo Golgi (vgl. Kapitel 2)
als die Grundzellen eines Gehirns bestimmt. Man erkannte, das sich diese
Zellen auf die Informationsverarbeitung spezialisiert hatten. Durch die Erkenntnisse über die Aktionspotentiale um das Jahr 1914, sowie die ständige
Analyse durch den Einsatz immer modernerer Verfahren (z.B. bildgebende
Verfahren ab den siebziger Jahren des 20. Jahrhunderts, vgl. Kapitel 2.3 auf
Seite 23) erhilt man eine immer bessere Vorstellung über diese Zellen. Das
Verhalten von Neuronen konnte und kann mit dem Wissen aus der Physik
zum Ladungstransport von Teilchen oder aus der Chemie über Ionenkonzentrationen, basierend auf den Erkenntnissen zur physikalischen Chemie von
Walther Nernst, beschrieben werden. Über die Ionenbewegung in und aus
den Nervenzellen und das Verhalten bei unterschiedlichen Leitfähigkeit basieren die Arbeiten von Hodgkin und Huxley, für die sie letztlich 1963 auch
mit dem Nobelpreis gewürdigt wurde.
Die Aktionspotentiale bilden sich, wenn ein Ladungsaustausch zwischen der
Nervenzelle und der Umgebung stattfindet. Überschreitet der Ladungstransfer einen Schwellenwert, so bildet sich ein Potential und es wird in der Neurone weitergeleitet. Neuronen besitzen häufig einen gleichförmigen Aufbau.
An eigentlichen Zellkörper befinden sich die Dendriten und ein Axon. An den
Dendriten übernimmt eine Neurone mittels der Synapsen die Signale einer
anderen Neurone von deren Axonende. Die Potentiale sind die Träger von
Informatioen in dem System der Neurone. Details zu dem Aufbau und der
Funktion von Neuronen werden im Kapitel 3 auf Seite 27 behandelt. Die Erkenntnisse zu den Neuronen führten zu der Einsicht, dass diese Zellen über
ihre vielfachen Verbindungen wie hochgradige parallele Systeme arbeiten.
Die Zusammenfassung von Neuronen zu Gruppen11 determiniert bestimmte
Bereiche, die wichtig für die Verhaltensweise von Lebewesen sind, fördern die
Betrachtung dieser Bereiche im Rahmen der Modellbildung als dynamische
Systeme12 .
Eccles13 untersuchte die Informationsverarbeitung, d.h. der Signalaustausch,
an den Synapsen. Er beschreibt diese Systeme mit Hilfe von elektronischen
Schaltungen, vgl. Abbildung 1.2, als Übertragungssysteme. Damit hatte man
die Funktion der Neuronen zwar erkannt, aber man konnte noch nicht im
Detail deren Zusammenwirken erklären. Mit Hilfe von Physik und Chemie
11
Nuclei, Ganglien
Vgl. nachfolgende Kapitel
13
Vgl. [ECCLES00] und [ECCLES99]
12
6
KAPITEL 1. EINFÜHRUNG
+
R ~1,2M Ω
−
U ~70mV
C ~ 3pF
RC−Modell eines Neurons
Abbildung 1.2: Modellvorstellung des Aktionspotentials einer Neurone, mehr
im Kapitel 3, ab Seite 35.
konnte das physikalische Verständnis des Wirkens vertieft werden, aber der
Zusammenhang zwischen dem Verstehen durch das Gehirn und der Aktion
am Neuron war und ist z.T. noch offen. Diese Erkenntnisse sollten auch durch
geeignete Computersimulationen gewonnen werden.
Mit der zunehmenden Erforschung von Gehirn und Neuronen, sowie den Fortschritten auf anderen Gebieten der Wissenschaften hat die Modellbildung zur
Beschreibung und dem Verstehen des Gehirns zugenommen. Jetzt kommt es
an diesem Punkt zu einem interessanten Aspekt, einerseits entwickelt man
KNN-Modelle um die Funktion und das Verhalten besser zu verstehen und
andererseits eignen sich diese Modelle in einer abstrakten Form für Anwendungen zur Lösung von Problemen14 . In der Gegenwart kommen neben den
anderen Wissenschaften auch noch die Mathematik und die Computerwissenschaften immer mehr zur Anwendung. Grundlage sind die Vorstellungen,
dass die internen Vorgänge und Funktionen in einem Gehirn oder einem realen Neuronenensemble ein internes Bild der äußeren Welt ergeben. Dies gilt
auch für die KNN.
Mit der Berücksichtigung der Rückkopplungen, die man durch entsprechende dynamische Systeme beschreiben kann, kann man ein Gehirn zu einem
Rechner abstrahieren. Ausgehend von der Vorstellung einer Turing-Maschine
entwickelten McCulloch und Pitt 1943 ein Modell einer Neurone, mehr im
Kapitel 6.1 auf Seite 97, als ein Verarbeitungselement. Die Grundidee ist,
14
Vgl. auch Kapitel 8 und ??
1.2. KNN
7
dass die Vorstellungen über die Außenwelt über die Sensoren zu den Neuronen gelangen und dort entsprechende Wahrheitswerte generieren. Mit diesem
Modell konnten sich die logischen Verknüpfungen, wie ODER, NICHT oder
UND, realisieren lassen. Dieses Modell der Vorstellungen der Informationsverarbeitung über die Außenwelt in den Neuronen bildete eine der wichtigsten
Grundlagen bzw. gab Ansätze zu den Beschreibungen in der Neurophysiologie15 . Jetzt konnte man die Vorstellungen in einem Gehirn determinieren,
aber für die Anpassung an Veränderungen blieben noch Fragen offen.
Die Erkenntnis von Donald Hebb, 1949, das sich in einem Neuronenverbund die Verbindungen verstärkten, welche besonders häufig aktiviert wurden, führte zu einer ersten Erklärung von Lernfähigkeit und Anpassung im
Gehirn, bzw. in bestimmten Hirnregionen. Die Stärke bzw. die Veränderung
einer Verbindung ist als eine Basis in vielen Lernstrategien enthalten16 . Durch
die Übernahme der Lernfähigkeit konnten jetzt auch Veränderungen berücksichtigt werden. Bevor man diese Systeme auf einem Rechner implementierte17 , wurden die Erkenntnisse in Algorithmen (z.B. Filter) oder Analogrechnern18 realisiert. Im Jahr 1958 stellte Rosenblatt ein neues Modell für Neuronen, das Perzeptron (s. Kapitel 6.2 auf Seite 97), vor. Das Lernverfahren
des Perzeptrons basierte auf der Korrektur von Fehlern bzw. Differenzen
zwischen Soll und Ist. Die Formulierung der Ansätze durch McCulloch und
Pitt, Rosenblatt und Hebb kennzeichnen einen wichtigen Ausgangspunkt
für die Betrachtung und die Erforschung der KNN.
Mit der Annahme von linearen Funktionen glaubte man, dass die einfachen
Neuron- und KNN-Modelle viele Probleme lösen könnten. Mit der Adaline
von Widrow und Hoff wurde um 1960 ein ähnliches Modell, wie das Perzeptron, vorgestellt. Hatte das Perzeptron noch seinen Ausgangspunkt in der
Biologie, als ein Modell der Verarbeitung von Informationen auf der Retina
eines Auges, so basierte das Modell des Adline auf der adaptiven Veränderung
von Parametern seiner Regelkreise. Das Lernen in einem einfachen KNN erfolgte unter definierten Bedingungen. Komplexeres Lernverhalten scheiterte,
dies konnten Minsky und Papert in ihrem Werk über das Perzeptron 1969
nachweisen. Dies führte nach einer frühen Euphorie des KNN-Ansatzes zu
einer Ernüchterung. In der Erforschung der Künstlichen Intelligenz wurde der
Top-Down-Ansatz für Jahre dominierend. Man glaubte, dass sich die Intelligenz über Regeln definieren19 und darstellen konnte. Die KNN traten in den
15
Arbeiten von Hubel und Wiesel
Vergleiche Lernen mit Neuronen in den Kapitel 5 und 7
17
In den 50-er Jahren des 20. Jahrhunderts waren Computer noch nicht allgegenwärtig.
18
Rechner, die z.T. nicht mit dem Binärsystem laufen.
19
Expertensysteme
16
8
KAPITEL 1. EINFÜHRUNG
60-er und frühen 70-er Jahren des letzten Jahrhunderts in den Hintergrund.
Andere Naturwissenschaften
Vorstellungen
MATHEMATIK
Golem, Homunkulus, Frankenstein
Gehirn/Neuron
Gehirn als Steuerzentrale
Neuron als Grundzelle/Schaltelement
Ramon y Cajal/Camillo Golgi
Neuronen im Verbund
Neurologie
Automaten/Roboter
Ionenaustausch, Aktivierung,
Neurotransmitter
Dynamische Systeme
Funktionen in Gehirnbereichen
als
Erklärung
Neuronale Netze und
Modell
Neuronale Netze als Modell
KNN−Lernverfahren
Neuronenmodelle Neuronale Netze als Künstliche Neuronale Netze (KNN)
McCulloch−Pitt
Perzeptron
Adaline
Komplexität
Einschichtige Netze
Mehrschichtige Netze
Gehirn als Computer
PHYSIK BIOLOGIE CHEMIE INFORMATIK
Zeit
Wissen
Abbildung 1.3: Historische Vorstellungen zu den KNN in einer Übersicht.
Eine neue Blüte der KNN begann in den letzten 25 Jahren des 20. Jahrhunderts. So wurden 1976 von Grossberg und 1982 von Kohonen Modelle der
Selbstorganisation bei einem Lernen ohne Lehrer eingeführt. Einfluss hatte
auch die Übertragung des Spinmodells von Magneten auf die KNN durch
Kohonen, ebenfalls 1982. Mit der Übernahme von nichtlinearen Funktionen
bei der Systembeschreibung und die zunehmende hohe Verfügbarkeit von
Rechentechnik halfen mit die Probleme bei den einfachen Netzen zu überwinden.
Die Betrachtung des Gehirns als Dynamisches System und die Dynamik
durch eine neuronale Selektion durch Gerald M. Edelmann20 , der dies auch
mit Hilfe von entsprechenden Computermodellen untermauerte, befruchtete
die KNN. Mit der PDP-Initiative (Parallel Distributed Processing)
von Rumelhart und McClelland wurden die KNN auch als Anwendungen interessant. Man hatte Modelle um die Vorgänge im Gehirn besser zu
20
vgl. [EDEL93] und [EDEL95]
1.3. MOTIVATION UND KAPITELÜBERSICHT
9
verstehen und man konnte die gleichen Modelle weiter abstrahieren, um aus
ihnen Anwendungen zu gewinnen, die auf einem Computer laufen. Klassifizierung oder Bilderkennung seien hier nur als Beispiel angeführt. Die Erkenntnis, dass die Neuronen in einem Gehirn nicht als einzelne Baugruppe
auftreten, sondern durch ihre hochgradig parallelen Verbindungen die Wirkung der Steuerung realisieren, determinierten eine dezentrale und verteilte
Informationsverarbeitung. Entsprechend musste die Adaption auf einem sequentiellen Rechner sein, man nutzt letztlich den Speicherplatz und die zunehmenden Rechengeschwindigkeiten. Verteilte Darstellung von Information
und nicht explizite Adressierung bilden eine Mikrostruktur für Prozesse wie
Lernen und Anpassung.
Mit den PDP-Modellen, auf welche auch hier ab dem Kapitel 5 Bezug genommen wird, hat sich die Entwicklung der KNN massiv beschleunigt. Eine
Generalogie würde Bände füllen, deshalb sollen jetzt in den nachfolgenden
Kapiteln einige der Grundprinzipien näher erläutert werden. Ausgangspunkt
ist das Gehirn, vor allem die Funktion der Neuronen, gekoppelt mit der entsprechenden Modellbildung.
1.3
Motivation und Kapitelübersicht
In diesem Buch geht es nicht um die Hirnforschung in seinen Aspekten, hierzu gibt es weiterführende und vertiefende Literatur21 (vgl. auch Literaturhinweise auf S. 131). Mit der Erforschung des Gehirns – als einem Ort oder
als einer Struktur –, wo Verstehen und Begreifen stattfindet, sind auch die
Versuche einer automatischen bzw. künstlichen Nachbildung dieses Objekts
verbunden.
Mit den Methoden und Verfahren der Nachbildung von Neuronalen Netzen,
besser Künstliche Neuronale Netze (KNN), möchte man die allgemeinen
Prinzipien der biologischen Intelligenz auf einem Computer nutzen. Dabei
sind die Abstraktionen von Neuronen als den Basiszellen und deren hochgradige Vernetzung in den Hirnbereichen die Grundlage für diese Modelle. Dabei
ergibt sich eine Synthese, denn es werden durch die Modelle die Prinzipien
der Intelligenz vestanden und andererseits angewendet. Doch erst ein hohes
Technologieniveau und die universelle Verfügbarkeit von Rechentechnik machen Simulationen solcher KNNs möglich, deren Resultate letztlich auch in
einer separaten Anwendung sinnvoll sein können. Abbildung 1.4 zeigt eine
nicht ganz ernst gemeinte Karikatur zu diesem Thema
21
speziell [EDEL93], [THOMPSON94], [SINAUER92] oder [EDEL02]
10
KAPITEL 1. EINFÜHRUNG
Abbildung 1.4: Motivation Künstliche Neuronale Netze und Computer.
Zu Beginn werden einige der biologischen Grundlagen, die für die Beschäftigung mit den KNN nötig sind, behandelt. Im Kapitel 2 wird das menschliche
Nervensystem und dessen Anatomie erläutert. Dabei werden einige Zusammenhänge zwischen den verschiedenen Betrachtungsweisen des Gehirns als
System und den KNN hergestellt. Anschließend werden kurz die biologischen
Grundlagen angedeutet und einige der Verfahren vorgestellt, welche bei der
Erforschung des Gehirns verwendet derden. Das Kapitel 3 behandelt in einer
kurzen Übersicht den Aufbau und die Wirkungsweise von biologischen Neuronen. Im Mittelpunkt steht der Informationsfluss, denn dieses Vorbild der
biologischen Informationsverarbeitung ist eine der Grundlagen für die Konzeption von KNN. Die Umsetzung von neuronalen, d.h. letztlich künstlichen
neuronalen, Strukturen wird bei Bilderkennugssystemen oder Roboterrealisierungen anders sein als bei den biologischen Vorbildern.
Der Übergang von den biologischen Modellen der Gehirnstrukturen und Neuronen zu denen, welche auf einen Rechner implementierbare KNN ergeben,
sind der Inhalt des des Kapitel 4. Im diesem werden einige Vorstellungen zur
Modellbildung und zu den benötigten Hilfsmitteln erklärt.
Im Kapitel 5 werden die allgemeinen Grundlagen von KNN eingeführt. Neben der Schichtenbetrachtung, der Zustandsbeschreibung und dem Lernen
werden das Modell von McCulloch und Pitts, das Perzeptron sowie das
Adaline beschrieben. An diesen historischen Modellen werden die allgmeinen
Grundlagen, wie z.B. die Möglichkeiten der Verbindung von Neuronen, eingegangen. Ebenfalls wird eines der wichtigsten Merkmale, die Lernfähigkeit,
der KNN eingeführt.
Lft. Stand. 13. September 2004, Änderungen möglich
1.3. ÜBERSICHT
11
⇓
Weitere Merkmale und prinzipielle Strukturen von KNN werden im Kapitel 7 behandelt. Anschließend wird die Wirkungsweise der KNN und deren
Dynamik von KNN erläutert. Dabei wird die mathematische Grundlage auf
der Basis der zu verarbeiteten Informationen kurz beschrieben. Auf dieser
Basis werden auch die Kriterien für eine objekt-orientierte Programmierung
abgeleitet.
Robotik und Künstliche Neuronale Netze sind Modelle der menschlichen Informationsverarbeitung, aber auch der Versuch einer technologischen Weiterentwicklung. Konkretisiert werden die KNN hier bei Anwendungen in der
Bildverarbeitung und Klassifizierung.
Ab dem Kapitel ?? beginnt der Anhang. Im Abschitt B sind wichtige vBegiffe diese Buches noch mal in Kurzform erläutert. In den Abschnitten C
und D sind die hier am häufigsten verwendeten mathematischen Symbole und
Abkürzungen zusammengefaßt. Im Kapitel D findet man ab der Seite 131 das
Literaturverzeichnis zur Vertiefung der hier angerissenen Themen.
12
KAPITEL 1. EINFÜHRUNG
Kapitel 2
Das Gehirn
2.1
Die Anatomie des Nervensystems
Der Begriff Gehirn ist für dieses Organ eigentlich ein Oberbegriff, welcher
ein vielseitiges Ensemble aus mehreren komplexen Strukturen aus sehr vielen
einzelnen Zellen, genannt Neuronen (vgl. Kapitel 3), bezeichnet. In diesem
Abschnitt sollen einige der wichtigsten Bereiche eines menschlichen Gehirns
benannt werden.
Das Gehirn, vgl. Abbildung 2.1, bildet zusammen mit dem Rückenmark,
welches im Bild nur als Ansatz zu sehen ist, das Zentralnervensystem (ZNS)
des Menschen. Das ZNS hat die Aufgabe der Informationsverarbeitung. Die
Informatioen entstehen durch oder über die Sensoren (z.B. die Haut oder die
Zunge), bei der Bildung von Stoffen in den exokrinen und endokrinen1 Drüsen
(z.B. Schweißdrüsen, Hypophyse) oder bei der Kommunikation von einzelnen
Hirnabschnitte. Der Emfang, die Sendung und Speicherung der Information
ist natürlich nicht direkt mit der Informationsverarbeitung in einem Rechner
vergleichbar. Dort kann lediglich eine Abstraktion dieser Prozesse stattfinden.
Das Groß- oder Endhirn (Cerebrum, Telencephalon) und das Kleinhirn (Cerebellum) überlagern den Hirnstamm (Medulla oblongata und Pons). Am Ende
des Hirnstammes findet man das Mittelhirn (Mesencephalon). Der Thalamus, sowie der Hypothalamus und die Großhirnrinde (Cortex cerebri) liegen
über dem Hirnstamm. Die Großhirnrinde ist in zwei Hälften geteilt, diese
werden Hemisphären genannt. Das Mittelhirn (Mesencephalon) schließt sich
dem Rückenmark als Fortsetzung an. Das Rückenmark ist Nervengewebe
in Längsform, welches durch die Wirbelsäule gestützt und geschützt wird.
1
vgl. Erklärung von Begriffen ab Seite 123.
13
14
KAPITEL 2. DAS GEHIRN
Cortex cerebri
(rechte und linke Großhirnrinde)
Zentralfurche
Gyrus
(Windung in der Hirnrinde)
Mesencephalon
(Mittelhirn)
Amygdala
Thalamus
Hippocampus
Cerebellum
Hypothalamus
Hypophyse
(Kleinhirn)
Pons und Medulla oblongata
(Hirnstamm)
Rückenmark
Abbildung 2.1: Eine schematische Darstellung eines menschlichen Gehirns,
mit der Bezeichnung einiger wichtiger Bereiche. Abbildung ähnlich der Darstellung in [THOMPSON94] auf S. 23
2.1. ANATOMIE
15
Gebündelte Fasern außerhalb des ZNS nennt man Nerven, im Unterschied
zu den Nervenbahnen, die sich im Inneren des ZNS befinden.
Im Rückenmark erfolgen Reflexe auf die Funktionen von Muskeln und auf
autonome Reaktionen bei körperlichen Reizen (spinale Reflexe). Aktivitäten,
welche über das Rückenmark laufen und die das Gehirn mit einbeziehen nennt
man supraspinale Aktivitäten. Die Informationen, die die Körperbewegungen
koordinieren, werden über das Rückenmark zu den Neuronen2 , die dann mit
den Muskeln verbunden sind, geleitet. In der Gegenrichtung werden viele
Wahrnehmungen der Sinne (hauptsächlich Tastreize) durch das Rückenmark
zum Gehirn gesendet. Im Bereich des Kopfes erfolgt die sensorische und motorische Anbindung (vgl. Gehör und Auge) direkt.
Der Hirnstamm (Medulla oblongata und Pons) enthält auf- und absteigenden
Nervenfasern und bildet somit eine Fortsetzung des Rückenmarks. In diesem
Bereich werden wichtige Funktionen, wie die Atmung, der Herzschlag und
andere unbewusste Aktionen, gesteuert. Es handelt sich um Nervenbahnen,
deren Struktur in Zusammenhang mit den autonomen Nerven steht. Diese
Art der Nervenbahnen hat Verbindung zu den autonomen Funktionen (Prozesse, die im Körper als Folge von Wechselwirkungen ablaufen, wie z.B. bei
Emotionen) und den bestimmenden Funktionen (z.B. Verdauung, Herztätigkeit oder Atmung). Man nennt es auch das vegetative Nervensystem.
Das Mittelhirn (Mesencephalon) geht von einer kabelbaumartigen Struktur
des Rückenmarks in die kompaktere Schichtenstruktur des Thalamus sowie
des Hypothalamus über. Im oberen Bereich des Mittelhirns findet man Zellenansammlungen für das Hör- und Sehsystem. Im unteren Teil werden die
Augenbewegungen gesteuert und auch die Kontrolle der tiefer gelegenen Hirnabschnitte erfolgt hier. Außerdem findet man hier Strukturen (der Rote Kern
(Nucleus ruber) und stark pigmentierte Zellen (Substantia nigra)), welche für
die Bewegungskontrolle mit verantwortlich sind.
Das Rückenmark, der Hirnstamm und das Mittelhirn bilden aus der Sicht der
Evolution die ältesten Teile des ZNS. Sie sind hintereinander angeordnet. Da
sie wichtige Vitalfunktionen kontrollieren und steuern, ist dies verständlich.
Im Laufe der Entwicklung waren und sind diese Funktionen zum Überleben
notwendig. Dies ist auch der Grund, dass die Organisation und die Struktur
dieser Hirnbereiche sich bei vielen Lebewesen, vor allem Säugetiere, ähnlich gestaltet ist. Das Kleinhirn (Cerebellum) ist ebenfalls eines der älteren
Resultate der Evolution. Es ist verantwortlich für die sensomotorische Koordination. Ähnlich der Großhirnrinde bilden die Neuronen hier eine wenige
2
Die Kommunikation zwischen Rückenmark, Hirn und Muskel ist natürlich komplexer,
als hier angedeutet.
16
KAPITEL 2. DAS GEHIRN
Millimeter dicke Oberflächenschicht. Die Eingaben zum Kleinhirn kommen
vom Gleichgewichtssystem der Ohren (Vestibularsystem), den sensorischen
Fasern des Rückenmarks, vom Sehsystem und von verschiedenen Bereichen
der Großhirnrinde und des Hirnstamms.
Den Thalamus findet man über und vor dem Mittelhirn. Er besteht aus je
zwei ovalen Strukturen, eine innerhalb der jeweiligen Großhirnhälfte. Der
Thalamus bildet einen Relaisknoten für das Seh-, Hör- und sensomotorische
System. Er umfasst auch Strukturen, welche wieder auf andere Bereiche (z.B.
den Cortex) projizieren und diese können dann Eingaben des Großhirns verarbeiten. Der Hypothalamus liegt in der unteren Hälfte des Gehirns im Bereich
des Zusammentreffens von Mittelhirn und Thalamus. Nachbar des Hypothalamus ist die Hirnanhangdrüse (Hypophyse). Diese wird von dem Thalamus
gesteuert. Es werden damit Körperfunktionen, die z.B. bei den Emotionen
auftreten, geregelt. Die Steuerung der Hormone im Körper wird von dem System Hypothalamus und Hypophyse koordiniert. Die chemische Zusammensetzung der Hormone bilden einen Regelkreis, mit dem auch andere Hirnbereiche
beeinflusst werden.
Die Großhirnrinde (Cortex cerebri) ist die jüngste Struktur, der sich beim
Menschen im Laufe der Evolution herausgebildet hat. Sie besitzt eine relativ
große Ausdehnung und ist bei Säugetieren, besonders beim Menschen, ein
äußerlich sehr dominierenter Bereich. Er fällt durch seine Faltung und Windungen (Gyrus) auf, es befinden sich die Kontrollzentren für die Sprache,
das Erkennen der Umwelt und das Denk- und Vorstellungsvermögen. Die
Großhirnrinde bildet sich über die jeweiligen Hirnhälften aus und ist mittels
Balken (Corpus callosum) miteinander verbunden. Der Cortex ist die oberste Neuronenschicht im Gehirn. Sie bildet eine rund drei Millimeter starke
Schicht über das ganze Gehirn. Bei einem Schnitt durch den Cortex zeigt
sich eine schichtenähnliche Struktur der Anordnung der Neuronenzellen.
Die Oberfläche der Großhirnrinde und diese Neuronenbereiche lassen sich in
bestimmte Regionen unterteilen. Die Darstellung solcher Regionen ist in dieser Abhandlung in den Abbildungen 2.4 auf Seite 19 und 2.4 auf Seite 19 zu
erkennen. In der Fachliteratur3 werden weitere Details und Zusammenhänge
für das ZNS und die einzelnen Bereiche genauer erläutert. Das vollständigen
Verstehen des Cortex cerebri, überhaupt des Gehirns, steht für die Wissenschaften trotz großer Erfolge erst am Anfang.
Grundlage der Funktion des Gehirns sind die bereits mehrfach erwähnten
Neuronen als eine Art elementare Bausteine. Abbildung 2.2 auf der nächsten
3
z.B.in [EDEL93], [EDEL95], [THOMPSON94], [CHURCHLAND97] oder [ROTH03]
u. v. a. m.
2.1. ANATOMIE
17
Seite zeigt ein Modell einer einfachen Neurone. Die Information empfängt
eine Neurone über die Dendriten und den Zellkörper (Soma). Weitergeleitet
wird die Information über das Axon. Das Ende des Axon verzweigt sich und
endet in den Synapsen. Eine Synapse ist die Verbindung zu anderen Neuronen oder zu den entsprechenden Muskel- oder Drüsenzellen. Eine genauere
Beschreibung der Funktion einer Neurone, die Behandlung des Informationsflusses, sowie die Abbleitung von Modellen bilden den Inhalt des folgenden
Kapitels.
Dendriten
Soma
(Zellkörper)
Axone
Synapsen eine Folgeneurone
Zellkern
Myelin
Abbildung 2.2: Skizze einer einfachen Neurone mit den wichtigsten Bezeichnungen
Über die Simulation von Neuronen und mit den Mitteln der KNN lassen sich
einige Funktionen des Gehirns nachgebilden, also sollte man einiges über den
Aufbau des Gehirns verstehen. Dieser ist aber nicht immer offensichtlich und
es treten auch widersprüchliche Theorien auf. Manche Funktionsbeschreibungen des menschlichen Gehirns ähneln manchmal denen von Computern. Die
Beschreibung der Funktionen des Gehirns auf der Grundlage der Informationstechnik ist ein Ausdruck des Verstehens des Hirns als eine Analogie zu
einem informationsverarbeitenden System.
18
KAPITEL 2. DAS GEHIRN
2.2
Das Gehirn als System
2.2.1
Gehirn und Körper
Um das Gehirn als System zu verstehen, betrachtet man die Wechselwirkungen zwischem dem Gehirn und dem Körper. Das Gehirn bildet eine Art
Steuerzentrale des Körpers und tritt mit den anderen Organen und Bereichen, z.B. über die Sensoren und die Motorik, in Wechselwirkung. Dieses,
natürlich extrem vereinfachte, Bild hat Bezüge zu einer Darstellung eines
Gehirns als eine Computer, der den Körper steuert. Analog gilt dies auch für
Robotermodelle, dort übernimmt die Software des Computers die Steuerung
der sensorischen Einheiten und des Roboterkörpers.
Reale Welt, Umwelt, Natur, ...
Körper
Sensorik/Motorik
(Transduktorzellen, Muskeln)
Gehirn/Neuronale Netze
Abbild der Realen Welt,
Umwelt, Natur, ...
Informationsfluß
Abbildung 2.3: Erstes Modell einer Informationsverarbeitung in einem Gehirn.
Ein Körper nimmt Informationen wahr, reagiert auf diese Informationen mit
der Verarbeitung im Gehirn, und der Körper reagiert mit der Motorik (vgl.
Abbildung 2.3). Diese Gesamtsystem enthält die, noch zu besprechenden,
Einheiten für eine Informationsverarbeitung. Die Interaktion mit der umgebenden Welt erfasst immer bestimmte Bereiche des Gehirns. Ein Nervensystem bzw. Gehirn empfängt Informationen durch eine Vielzahl von Sensoren,
wie Licht (Auge), Schall (Ohr) oder Druck (Tastsinn der Haut). Die Funktionen eines neuronalen Netzes oder Gehirnbereiches sind abhängig von diesen
Informationen ([EDEL93]).
Man nennt diese Umwandler von Informationen auch Transduktoren. Nach
der Signalwandlung werden über ein Bündel von Nerven, die Nervenfasern,
2.2. DAS GEHIRN ALS SYSTEM
19
a)
b)
Abbildung 2.4: Die beiden Abbildungen zeigen die Segmente und Bereiche in
einem Gehirn bei verschiedenen Funktionen. a) Deutet den Verlauf und die
Bereiche für die Funktion Schmecken, Sehen usw. an und b) kennzeichnet
schematisch einige der Bereiche beim Sprechen und Farbverstehen. Abbildungen modifizert nach [Spektrum92/1].
20
KAPITEL 2. DAS GEHIRN
Informationen zum bzw. vom Gehirn (vgl. auch S. 13) transportiert. Diese
Nerven im Körper werden häufig auch als periphere Nerven bezeichnet. Die
Informationen der Sinne werden auf bestimmte Teile des Gehirns abgebildet.
Die Rindenbereiche (manchmal auch Lappen4 genannt) sind für die Verarbeitung der jeweiligen Sinne verantwortlich.
Die Aufnahme der Informationen der Sinne in den Bereichen des Gehirns erfolgt über die Rezeptorenfelder. Ein Rezeptorfeld ist ein Bereich des Gehirns,
in dem eine Sinnesinformation eine entsprechendende Reaktion bewirkt. Die
Größe und der Umfang ist vom Körper abhängig, so ist z.B. das Rezeptorfeld der Fingerspitzen kleiner als das der Arme. Auch im visuellen Bereich
variieren die Größe der Felder. Die Abbildung 2.4 b zeigt einige der Bereiche
im Gehirn die z.B. bei Sprach- und Farbverstehen aktiv sind.
Die Entwicklung von höheren Lebewesen und die des Menschen hat im Gehirn zu einer Spezialisierung geführt. Beim Stoffwechsel und dem Kreislauf,
den sogenannten vegetaiven Funktionen, sind der Hirnstamm, der Hypothalamus und der Mandelkern (Amygdala) beteiligt. Die Wahrnehmungen unterteilen sich nach dem Sehen, dem Körperempfinden (Haut, Muskeln oder
Gelenke), das Sehsystem, das Gehör, der Geruch und der Geschmack. So sind
die Sinnesorgane für das Gleichgewicht (vestibuläres System) mit dem Organ
des Hörens verknüpft. Vom Innenohr führen Nervenbahnen zum verlängerten
Mark und von dort zu Bereichen im Thalamus und von dort in die vorden
Bereiche der Scheitellappen. Beim visuellen System (dem Sehen) gelangen
Informatione über Felder, zusammengesetzt aus lichtempfindlichen Stäbchen
und Zapfen, auf der Retina (vgl. [CHURCHLAND97]) des Auges. Diese Signale werden man diesen Stäbchen und Zapfen in Potentiale von Neuronen
verwandelt. Diese werden an die Sehkreuzung und von dort in den Thalamus weitergeleitet. Dort aktivieren sie im hinteren Bereich Neuronenfelder, oder neuronale Netzwerke, welche ein Mensch bewusst als Bilder wahrnimmt. Diese bewirken dann über den Hypothalamus oder die Amygdala die
Ausschüttung von Hormonen (z.B. sexuelle Erregung), die ihrerseits wieder
Reaktionen des Körpers (z.B. Schwitzen, Muskelkontraktionen o.ä) bewirken.
In der Abbildung 2.4 a sind einige der beteiligten Bereiche in ihren Abfolge
schematisch dargestellt.
An der Steuerung von Bewegungen, dem motorischen System, sind Kerne
beteiligt, die im Mittelhirn und im verlängerten Mark und dem Rückenmark lokalisiert sind. Sie betreffen die unbewusste Steuerung, wie z.B. die
Lidbewegungen der Augen. Die bewusste Steuerung kommt aus Bereichen
der Großhirnrinde, den hinteren Stirnlappen vor der Zentralfurche. Emo4
lat. Lupus
2.2. DAS GEHIRN ALS SYSTEM
21
tionales Verhalten wird meist mit dem limbischen System verbunden, da die
Drüsen, wie Hypothalamus und Amygdala, als das vegetative System die Produktion von entsprechenden Stoffen veranlassen. Die bisherigen Bereiche des
Gehirn beschäftigten sich mit den lebensnotwendiken Funktionen, die bei
vielen Lebewesen, besonders Säugetieren, anzutreffen sind. In den entwicklungsgeschichtlichen jüngsten Bereichen eines menschlichen Gehirn werden
die komplexeren Funktionen, wie Vorstellungen, Gedächtnis oder das Planen
von Aktionen, realisiert. Assoziationen findet man in der Großhirnrinde, man
nennt sie auch assoziativer Cortex. An Erinnerungen und dem Gedächtnis
ist der Hippocampus beteiligt. Modellbildungen, als Vorstellungem erfolgen
über die Stirnlappen, die in Verbindung zu anderen Bereichen sind, z.b. dem
Hinterhauptlappen. Ausführlichere Details der Funktionen des Gehirns findet man in der Literatur, so in [EDEL93], [ECCLES00], [CHURCHLAND97]
oder in [ROTH03] .
Neben der Eingrenzung der Funktionen eines Gehirn unterscheiden sich auch
die zellularen Bausteine des Gehirns. Die wichtigsen Zellen sind die Neuronen und die Gliazellen5 als Stützzellen der Neuronen. Eine genauere Betrachtung der Neurone wird im Kapitel 3 auf Seite 27 erfolgen. Man unterscheidet bei den Neuronen, im Zusammenhang mit der Sinneswahrnehmung
zwischen sensorischen Neuronen oder Rezeptoren (Sensorneuron) als den Detektoren der Sinne, den motorischen Sensoren (Motoneuron) als den Reaktoren oder Effektoren für die Reaktionen auf Sinneswahrnehmungen. Ferner
gibt es noch die Hauptneuronen und die Zwischenneuronen (Interneuronen).
Die Hauptneuronen sind große Nervenzellen innerhalb der bereits mehrfach
erwähnten Gehirnbereiche, welche mit anderen Bereichen in Verbindung stehen (z.B. Thalamus mit der Sehrinde), wohingegen die Interneuronen den
jeweiligen Bereich nicht überschreiten und als neuronale Netze zwischen den
Sensor- und Moto- oder Haupt-Neuronen vermitteln (vgl. Tabelle 3.1 im Abschnitt 3.2 des Kapitel 3).
2.2.2
Arten der Erfassung von Informationen durch
das Gehirn
Im letzten Abschnitt wurde schon erwähnt, dass die Informationen der Sinne
über eine Vielzahl von Rezeptoren zum Gehirn gelangen und dieses letztlich
agiert. Ähnlich wie bei einem Regelkreis6 übermitteln die Sinne Signale, die
5
Neuere Erkenntnisse messen diesen Gliazellen eine größere Bedeutung bei den
Abläufen zu.
6
Diese Betrachtung ist natürlich sehr vereinfacht!
22
KAPITEL 2. DAS GEHIRN
das Gehirn, also die Neuronen, verarbeiten und letztlich eine Reaktion bewirken. Es hat jeder wahrnehmbare Sinn seine zugehörigen Sensorneuronen
und diese funktionieren auf unterschiedliche Art und Weise. Die Anzahl der
Rezeptoren ist dabei sehr unterschiedlich verteilt.
Obwohl die Haut durch ihre Fläche das größte Sinnesorgan ist, mit der Informationen empfangen werden können, besitzt es nur ca. 3×105 Sensoren
für die Erfassung von Druck, Temperatur oder Schmerz. Die Empfindlichkeit
für taktile Reize ist über die Körperoberfläche unterschiedlich verteilt. Sehr
empfindlich reagieren die Fingerspitzen und die Lippen. Die erfassten Signale
(Reize) werden vom vegetativen und vom motorischen System verarbeitet.
Die meisten Sinnesorgane besitzt der Mensch im visuellen System. Dort befinden sich ca. 2. . . 3×108 Rezeptoren. Diese Sensoren unterteilen sich z.T.
meist in die bereits erwähneten Stäbchen und Zäpfchen auf der Retina. Damit ist ein Mensch in der Lage aus dem Spektrum der elektromagnetischen
Strahlung den Bereich des sichtbaren Lichts von 380. . .760 nm zu erfassen.
Dieser, zugegeben sehr kleine, Abschnitt aus diesem Spektrum bildet aber
einen der wichtigsten Informationsquellen für die Verarbeitung im Sehsystem und beim Zusammenwirken mit den anderen Bereichen. Dieser Bereich
ist auch bereits gut erforscht und die Erkenntnisse werden bei der Modellbildung für die KNN verwendet.
Wesentlich weniger Rezeptoren, nur 3×104 Haarzellen im Cortischen Organ,
steht dem Hörsystem zur Verfügung. Hören kann ein Mensch im Idealfall
Töne bzw. Frequenzen in einem Bereich von 20 Hz. . .20 kHz. Das Schlusslicht bildet das Geschmackssystem mit ca. 3000 Sensoren auf der Zunge. Dies
ist der Grund, warum ein Mensch nur Geschmäcker aus vier Grundarten,
Süß, Sauer, Salzig oder Bitter, identifizieren kann. Bei den Nervenbahnen der
Peripherie unterscheidet man zwischen zuleitenden (afferente) Fasern (auch
sensorische Fasern), welche die Informationen der Rezeptoren der Sensorik
ans Gehirn leiten und ableitenden (efferente) Fasern, sogenannte Motoneuronen (vgl. auch Tabelle 3.1), die Informationen vom Gehirn zum Rezeptor
bzw. die Motorik übertragen, der letztlich eine Reaktion des Körpers bewirkt
(z.B. Muskelkontraktion).
Die Verarbeitung der Sensordaten mittels der Rezeptoren repräsentieren eine Schnittstelle zwischen der Außenwelt und dem Gehirn. Ihre unterschiedliche Anzahl bewirkt eine Wichtung der ankommenden Signale. So ist klar,
dass der Mensch ein Lebewesen ist, welches sehr stark auf optische Reize
reagiert. ¿Ein Bild sagt mehr als tausend WorteÀ ist nicht nur ein geflügeltes Wort, sondern unterstreicht die Wichtigkeit von visuellen Signalen.
Diese Abhandlung ist keine Darstellung von neurologischen und neuroanato-
2.3. WICHTIGE VERFAHREN ZUR UNTERSUCHUNG DES GEHIRNS23
mischen Sachverhalten, für vertiefende Informationen sei auf das Literaturverzeichnis (ab S. 131) verwiesen. In den Literaturübersicht werden Quellen
aufgeführt, die die Details der sensorischen Erfassung, z.B. das Sehsystem
in [CHURCHLAND97] oder die Motorik in [EDEL93], genauer beschreiben.
2.3
Wichtige Verfahren zur Untersuchung des
Gehirns
Mit der Erforschung des Gehirns sind auch Untersuchungsverfahren für und
in diese Richtung verbunden. Auf den Erkenntnissen und Methoden dieser
Untersuchungsverfahren basieren vielen Modelle in der Hirnforschung und
Neurobiologie bzw. haben sich gegenseitig beinflußt. Viele dieser Verfahren
werden ebenfalls in der Medizin verwendet. Nach und mit diesen Modellen
wird und kann die Informationsverarbeitung im Gehirn oder deren Bereichen
beschrieben werden. Viele der Erkenntnisse, die in diesem Text angedeutet
wurden oder noch verarbeitet werden, beziehen sich auf diese Ergebnisse
solcher Untersuchungen.
Eines der ältesten Verfahren ist die Untersuchung von Hirnschäden (Läsionen). Man unterscheidet zwischen irreversiblen und reversiblen Schäden. Die
Betrachtung von Hirnschäden besteht natürlich aus dem Zusammenwirken
von mehreren eigenständigen Handhabungen und Praktiken. Irreversible Hirnschäden haben häufig ihre Ursache in Unfällen oder sind Folge von Krankheiten, z.B. einem Schlaganfall. Die Erkenntnisse von Beobachtungen sind das
Resultat von Einzelfällen. Ausserdem ist bei reversiblen Schäden eine Beobachtung nur während der Krankheit oder Läsionen möglich. Hier liegt aber
auch eine Schwäche dieser Methode. Stand in der Vergangenheit nur die ausschließliche Beobachtung über einen längeren Zeitraum bei Einzelfällen zur
Verfügung, so können gegenwärtig diese Ergebnisse durch zusätzliche moderne Verfahren verifiziert bzw. diagnostiziert werden. Die Menge der Einzelfälle und die zunehmende Möglichkeit der Verifizierung gleicht einen Teil
der Schwäche dieser Beobachtungsmethoden jedoch aus.
Moderne Methoden sind elektrische Aufzeichnungsverfahren und in letzter
Zeit immer mehr Abbildungsverfahren. Zum Teil kommen auch chemische
Methoden zur Anwendung. Kennt man die Stelle der Hirnschädigung, so
kann man aus der Beobachtung des Verhaltens Rückschlüsse auf die örtliche Struktur und deren Funktion gewinnen. Die Unterteilung des Gehirns in
verschiedene Bereiche und die Zuordnung der Funktionen sind zum Teil ein
Ergebnis solcher Beobachtungen. Neben der Untersuchung von permanenten
24
KAPITEL 2. DAS GEHIRN
Hirnschädigungen gibt es auch die Untersuchung der reversible Schädigungen (z.B. Blockieren von Neuronenfunktionen durch Medikamente). Diese
kurzzeitigen Störungen lassen Modelle zu, welche die Wechselwirkungen der
Hirnbereiche erklären können.
Chemische Verfahren werden verwendet, wenn man den Injektionsbereich
für solche Stellen genau lokalisieren kann. Man kann reversible Hirnschäden
durch Blockade von chemischen Vorgängen (z.B. Glutamat-Rezeptoren) bzw.
deren Verstärkung bewirken (z.B. Rauschgifte). Die Überreaktionen oder
Ausfallerscheinungen können den Hirnbereich determinieren. Es sind auch
gezielte Tierversuche möglich, welche Analogien zum Menschen erlauben.
Mit Hilfe von Tierexperimenten wurden die Grundlagen von Schlaf und
Traum herausgefunden. Mit diesen Verfahren konnten qualitative Modelle
des Gehirns erstellt werden. Man erkennt mit diesen Methoden die molekulare Struktur und deren Abläufe in einem Hirn. Durch die moderne Biotechnologie werden diese Verfahren zunehmend verfeinert (z.B. Klonierung von
Rezeptoren für Neurotransmitter) werden. Die Entwicklungen in der Molekularbiologie und Gentechnik werden hier sicherlich noch tiefere Erkenntnisse
liefern ([THOMPSON94]).
Eines der bekanntesten elektrischen Verfahren der Aufzeichnung von Gehirnaktivitäten ist das Elektroenzephalogramm (EEG). Hier werden auf der
Oberfläche (Kopf oder Hirn) die zusammengesetzten elektrischen Signale der
Hirnbereiche erfasst. Man kann die Aktivitäten von Gehirnregionen erfassen,
aber nichts über das Verhalten der Elemente innerhalb der Region aussagen. Im Tierversuch sind zwar Methoden möglich, die dass Einführen von
Tiefenelektroden in den Bereich erlauben, aber dies hat dann häufig nichts
mit dem menschlichen Verhalten zu tun. Hier helfen Analogiemodelle. Beim
ERP (engl. event-related potential) werden Signale erfasst, die zeitgleich auf
einen sensomotorischen Reiz oder ein motorisches Ereignis (z.B. Stromstoß)
auftreten. Zusammen mit dem EEG wird hier das Zeitverhalten von Reizen
auf bestimmte Bereiche oder Strukturelemente in Gehirn erkennbar. Man
nennt diese Techniken auch elektropsychologische Verfahren. Da der Aktivierungsimpuls eines Neurons meistens elektrischer Natur ist, entstehen somit
erfassbare elektrische und magnetische Felder. Diese können dann mittels
dem Magnetoenzephalogramm (MEG) registriert werden.
Mit der Nutzung der Röntgentechnik wurden die bildgebenden Techniken eingeführt. Mit einer Röngtenaufnahme, unter der Verwendung von Kontrastmittel, konnten so bestimmte Hirnbereiche lokalisiert worden. Trotzdem war
die Genauigkeit dieses Verfahrens nicht sehr hoch. Mit den Möglichkeiten der
Computertechnologie und der Verwendung von tomographischen Techniken
2.3. UNTERSUCHUNGSVERFAHREN
25
stehen heute wesentlich genauere Methoden der Analyse zur Verfügung. So
können mit diesen Techniken Querschnitte des Gehirns gewonnen werden,
die anschließend auch in eine entsprechende 3D-Ansicht überführt werden
können
Mit der Computertomographie (CT) auf Röntgenbasis erreicht man eine
Auflösung von 1mm. Dies ist gut für die Modellentwicklung von Strukturbereichen. Mit der MRI-Technik (engl. Magnetic Resonance Imaging) kann
man Auflösungen von ≈100µm erreichen. Bei der MRI-Technik wird das
Gehirn einem Magnetfeld ausgesetzt. Durch die Aufnahme der Veränderung der magnetischen Orientierung der Atome des entsprechenden Hirnbereiches kann man Strukturelemente oder Schädigungen bestimmen. Die
funktionelle Magnetresonanztomografie (fMRT) wird verwendet um Aktivitäten im Gehirn festzustellen bzw. aufzuzeichnen (vgl. [SpdWGuG02/II]).
Hier wird das sauerstoffreiche Blut sichtbar gemacht, da aktivierte Hirnbereiche einen sehr hohen Verbrauch an Sauerstoff haben. Da die MRI auf
Wasserstoff basiert, kann es zu Problemen mit anderen Elementen kommen.
Die Kombination von chemischen Methoden und Abbildungsverfahren erlaubt eine Lösung solcher Schwierigkeiten. Hier wird der Zusammenhang
zwischen elektrischer Aktivität und dem Stoffwechsel ausgenutzt. Dabei wird
ein schwach radioaktiver und dem Zucker ähnlicher Stoff ins Blut gegeben.
Dieser bewirkt dann bei Neuronen7 einen erhöhten Stoffwechsel. Man nennt
diese Methode 2-Desoxyglucose-Technik (2-DG). Eine Abbildung erhält man
mittels der Positronenemissionstomographie (PET, vgl. [THOMPSON94]
und [ECCLES99]).
Weitere Einzelheiten zu den Methoden, die in der Hirnforschung bzw. Neuroanatomie sowie Neurobiologie verwendet werden, findet man in der Fachliteratur und im Anhang von [CHURCHLAND97]. Für die weitere Abhandlung
werden die Resultate dieser Verfahren mit der Informationsverarbeitung in
Zusammenhang gebracht, um hieraus entsprechende Modelle zu simulieren
und zu entwerfen. Für das Verständnis des Gehirns als System sind sowohl
die Neuronen8 und das Zusammenwirken von Struktur und Funktion von Bedeutung. Das Gehirn wird als ein dynamisches System (vgl. [EDEL93] und
[EDEL95]) betrachtet, dessen kleinste Einheit ein Neuron darstellt.
7
8
vgl. Kapitel 3
die “Verarbeitungselemente”, vgl. S. 60
26
KAPITEL 2. DAS GEHIRN
Kapitel 3
Die Neuronen
3.1
Der allgemeine äussere Aufbau einer Neurone
Ist einer der Grundbausteine eines Organismus die Zelle, so ist dies für das
Gehirn oder ein biologisches neuronales Netz die Neurone. Im Kapitel 2 wurde bereits auf der Seite 17 in der Abbildung 2.2 ein einfaches Neuronenmodell
vorgestellt. Abbildung 3.1 zeigt eine ähnliche Struktur. Neuronen sind eigentlich normale Zellen, welche sich im Laufe der Evolution auf die Verarbeitung
von Informationen spezialisiert haben. Sie übertragen Informationen auf andere Neuronen oder senden und empfangen Informationen aus den Muskeloder Drüsenzellen. Neben den Neuronen gibt es im Gehirn noch die Gliazellen.
Neuere Forschungen1 ergaben, dass diese Art der Zellen nicht bloss das Stützgewebe für die Neuronen ist, sodern sich ebenfalls an der Informationsverbeitung im Gehirn beteiligt. Ein anderer Unterschied zu anderen biologischen
Zellen ist, dass sie sich nach ihrer Bildung nicht mehr zu vermehren scheinen. Dies bedeutet, dass sich in einem ausgewachsenen Gehirn keine neuen
Neuronen mehr bilden. Neuere Forschungen scheinen jedoch z.T. das Gegenteil zu bestätigen, d.h. es scheinen sich in bestimmten Hirnregionen (siehe
auch [SpdWGuG02/IV]) Neuronen wieder zu regenerieren. Die Ursache für
diese Verhalten wird gegenwärtig mit den modernen Methoden der Bio- und
Gentechnik weiter untersucht und zunehmend verstanden. In diesem Kapitel kann es daher nur einem sehr kurzen Abriss über den Aufbau und die
Funktion der Neuronen geben.
1
Vgl. [SpdW09/04]
27
28
KAPITEL 3. DIE NEURONEN
Zellkörper
(Soma)
Neuronen
Axone
Richtung des
Aktionspotential
(Erregung oder Hemmung)
Dendriten
präsynaptisch
Synapsen
prostsynaptisch
Zellkerne
Abbildung 3.1: Schematischer Aufbau einer Neurone, hier in einem Verbund
dargestellt.
Eine Neurone ist eine Struktur, von dessen Zellkörper (Soma)2 viele Fortsätze
ausgehen. Die meisten Fortsätze heißen Dendriten. Einer der wichtigsten
Fortsätze, aus der Sicht der Informationsverarbeitung, ist das Axon. Es hat
meist ein zylinderförmiges Aussehen. Am Ende eines Axon bilden sich, in
Richtung der mit dem Neuron verbundenen Zellen (Sensor- oder Muskelgewebe oder andere Neuronen), bestimmte Verdickungen. Diese Verdickungen
werden Synapsen genannt. Auf den Dendriten und dem Zellkörper befinden
sich viele dieser Synapsen. An diesen Synapsen werden die Informationen
zwischen den Neuronen (Hirnbereiche) oder den Transduktoren, den Verbindungen zwischen Nervengewebe und sensorischen Gewebe, ausgetauscht. Der
Informationsaustausch ist ein typisches Merkmal, besonders im Großhirnbereich (vgl. S.13), für die Neuronen.
Der Zellkörper einer Neurone enthält, wie viele andere organische Zellen,
einen Zellkern (Nucleus) und verschiedene Organellen, von denen die Mitochondrien die Wichtigsten sind. Sie stellen die Energie für die Neurone zur
Verfügung. Hierzu benötigen sie Sauerstoff und Glukose. Das Axon hat die
Funktion, ein entstehendes Aktionspotential (letztlich eine Erregung oder
2
Manchmal auch Perikaryon genannt
3.2. NEURONENTYPEN
29
Hemmung) vom Zellkörper zu den synapischen Verbindungsenden3 zu leiten
und chemische Substanzen vom oder zum Zellkörper zu transportieren. Die
Synapse als Form der Verbindung von Zellen kommt in dieser Art und Weise
nur in Nervengewebe vor. Es ist der Ort des Kontakts zwischen zwei Neuronen. Die Dendriten sind Auswüchse des Zellkörpers zur Informationsaufnahme, hier bilden sich die Synapsen heraus. Ihre Anzahl vergrößert letztlich die
Oberfläche des Zellkörpers für die Reizaufnahme. Genauere Einzelheiten zu
dem Aufbau von Neuronen und ihren Wechselwirkungen findet man in der
Literatur bei [CHURCHLAND97], [ECCLES00] und [Spektrum92/2].
3.2
Neuronentypen
Trotz des relativ gleichartigen funktionellen Aufbaus von Neuronen lassen
sich diese auf Grundlage ihrer Funktion in unterschiedliche Typen einteilen. Am Beispiel der menschlichen Großhirnrinde, wo Hirngewebe eingefärbt
wurde, kann man in Abbildung 3.2b verschiedene Arten von Neuronen erkennen. Das Einfärben von Nervengewebe geht auf die Methode des Histologen Ramón y Cajal und des Zytologen Camillo Golgi zurück. Diese beiden Wissenschaftler waren die Ersten, welche mittels der Einfärbung
Nervengewebe sichtbar machten und haben dafür 1906 den Nobelpreis erhalten ([CAJAL1889]). Mit der Imprägnierung mittels Silber-, Quecksilberoder Goldverbindungen können die Strukturen von Neuronen sichtbar gemacht werden ([BILEX88]). Verschiedene Arten von Neuronen zeigt die Abbildung 3.2a. Sie stellen eine Verallgemeinerung, die sich aus den komplexen
Bildern des eingefärbten Hirngewebe ergibt, dar.
Der obere Teil von Abbildung 3.2b zeigt pyramidenartige Motoneuronen.
Das Motoneuron ist der am leichtesten identifizierbare Typ von Neuronen.
Motoneuronen bilden sehr häufig auch die Grundlage für die Modelle zur Simulation oder für die Anwendung. Die Abbildung 2.2 auf Seite 17 war bereits
ein Modell einer solchen Motoneurone. Merkmal dieser Zellen sind ein großer
Zellkörper, ein umfangreicher Dendriten-Baum und ein langes ausgeprägtes
Axon.
Im Rückenmark befinden sich die Zellkörper der Motoneuronen, die mit der
Körpermuskulatur im Zusammenhang stehen. Bei der Versorgung der Gesichtsmuskeln und des Kopfes sind diese Somata im Hirnstamm zu finden.
Motoneuronen sind mit ihren Synapsen am Ende mit den Fasern von Muskeln verbunden. Deshalb leiten sie die neuronale Informationen zu den Mus3
Die im Text erwähnten Verdickungen, siehe Abbildung 3.1.
30
KAPITEL 3. DIE NEURONEN
a
b
Sensorneuron
Interneuron
Hauptneuron
Motoneuron
Abbildung 3.2: Neuronentypen: a) Strukturbilder von Neuronentypen, b)
Eingefärbtes Nervengewebe.
keln, sie beeinflussen (erregen oder hemmen) die Motorik des Körpers. Das
Axon der Motoneuronen ist von Myelin umgeben. Diese fetthaltige und isolierende Umhüllung des Axons, eine Art Hilfsgewebe, verbessert die Übertagungsfähigkeiten der Aktionspotentiale (vgl. auch Abbildung 2.2).
Ein weiterer Typ sind die Sensorneuronen, auch sensorische Nervenzellen genannt. Der untere Teil in Abbildung 3.2 b zeigt solche sternförmigen Zellen.
Sie empfangen die Reaktionen aus dem Körper. Im Gegensatz zu den Motoneuronen sind hier die Dendriten besonders ausgebildet. Analog zu den
Motoneuronen sind die Dendriten-Fasern ebenfalls mit Myelin umgeben. Die
Zellkörper der Sensorneuronen ist in Gruppen außerhalb des Rückenmarks zu
finden. Man nennt sie auch Spiralganglien. Innerhalb des Gehirns ist die Unterscheidung schwierig. Die Aktivierung von Sensorneuronen erfolgt über die
jeweiligen Rezeptoren. Die Umformung von physikalischen und chemischen
Zuständen erfolgt über die Synapsen in elektrische Potentiale (Aktionspotential, vgl. S. 37). Es findet die Transduktion, die Reiz-Erregungsübertragung,
statt.
Innerhalb des Gehirns gibt es eine große Menge von Nervenzellen oder Neuronen, die Anzahl wird auf ≈1011 Neuronen geschätzt. Man unterscheidet hier
im wesentlichen zwischen zwei Arten. Die Hauptneuronen, als die eine Art,
3.2. NEURONENTYPEN
31
sind große Zellen innerhalb eines Gehirnbereiches. Ihre Verbindungen kommunizieren mit den Neuronen in anderen Regionen. Um die Leitfähigkeit
zu erhöhen besitzen diese Neuronen ebenfalls eine Umhüllung aus Myelin,
d.h. ihr Axon ist myelinisiert. Damit kann man Hauptneuronen nach Modellvorstellungen praktisch als die Ausgabeneuronen der jeweiligen Hirnregion
betrachten.
Das Axon von Interneuronen, der zweiten Art, reicht nicht in andere Bereiche
des Gehirns hinein. Deshalb werden Informationen nur an die nächsten umliegenden Nervenzellen übertragen. Manche Interneuronen haben auch kein
Axon (vgl. Abb.3.2a) ausgebildet. Meistens sind Interneuronen zwischen Nervenzellen in Regionen mit zulaufenden bzw. weglaufenden Informationen zu
finden. Man bezeichnet sie auch als Zwischenneuronen. Sie bestimmen durch
ihre Verarbeitung die Struktur der Information, welche dann an die Hauptneuronen weitergeleitet wird, damit letztlich Hirnbereiche entsprechend reagieren. Die Tabelle 3.1 fasst die Neuronentypen nochmals zusammen. Die in
Neuronentypen
Hauptneuron
Interneuron
Sensorneuron
Motoneuron
Eigenschaft
Verbindungselement
Strukturelement
Reizempfänger/Filter
Reizsender/Filter
Anwendung
Kommunikation
Strukturfilter
Signalaufnahme
Signalabgabe
Tabelle 3.1: Die wichtigsten Typen von Neuronen
diesem Abschnitt verwendete Unterteilung ist nur eine von mehreren möglichen Kategorien der Unterteilung. So werden Neuronen z.T. auch nach ihrer
Geometrie unterteilt oder nach ihrer Lage in den Hirnbereichen. Hier wurde sie gewählt, um eine besseres Verständnis für die Modelle von KNN in
nachfolgenden Kapiteln, ab Seite 41, zu erreichen. Mehr zur angeführten Unterteilung kann man in [THOMPSON94] oder [SpdW01] nachlesen. Neuere
Ergebnisse aus der Hirnforschung haben Spiegelneuronen belegt, welche sowohl an den sensorischen bzw. motorischen Funktionen beteiligt sind, aber
auch solche Vorgänge nur simulieren. Dies bedeutet, dass diese Art der Neuronen Vorgänge simuliert, die auf Grund der Wechselwirkung mit der Umwelt
auftreten könnten. Sie spiegeln somit das Verhalten von Neuronenvorgängen,
nachzulesen mit Literaturangabe in [SpdWGuG02/I].
32
KAPITEL 3. DIE NEURONEN
3.3
3.3.1
Die Wirkungsweise einer Neurone
Der prinzipielle innere Aufbau einer Neurone
Der Schwerpunkt dieser Abhandlung liegt zwar auf den Künstlichen Neuronalen Netzen, dennoch ist die Beschreibung der Funktion einer Neurone
sinnvoll für das Verständnis von der Dynamik von realen neuronalen Netzen
(vgl. [EDEL93]). Die Neuronen sind als Zellen spezialisiert um Informationen zu leiten und auf andere Zellen bzw. Neuronen zu übertragen. Die verschiedenen Typen von Neuronen wurden im letzten Abschnitt erwähnt. Jetzt
sollen die grundsätzlichen Wechselwirkungen, die Funktionen der Informationsübertragung und der innere Aufbau einer Neurone erläutert werden. Man
unterscheidet bei dem Aufbau und der Funktion der Neurone zwischen dem
Verhalten als Zelle und der Funktion, die diesem Neuron im System oder
Schaltwerk ausführt (vgl. [CALVIN2000]).
Neben dem Grundaufbau von Neuronen (vgl. Abschnitt 3.1 auf Seite 27) ist
die Struktur einer Neuronenzelle auf einen Informationsaustausch ausgelegt,
d.h. auf die Träger der Information. Die Zellwand bzw. Plasma-Membran
trennt das Neuron als Zelle von ihrer Umgebung. Die Dicke dieser Membran beträgt ca. 5. . .10 nm und besteht zum großen Teil aus Fettsäuren.
In diesen Fettsäuren sind Phospholipide und andere Lipide, Cholesterin und
weitere Proteinmoleküle enthalten. Weitere Details zum Aufbau einer Neurone findet man Buch von [THOMPSON94]4 und auch in [ECCLES00]
und [ECCLES99]. Einige der Proteinmoleküle in einer Nervenzelle haben
die Funktion von chemischen Rezeptoren. Damit werden chemische Botenstoffe identifiziert, deren Erkennung abhängig von der elektrischen Ladung
und der Molekülform ist.
In der Membranen sind selektiv durchlässigen Poren enthalten, die auch Ionenkanäle genannt werden. Diese bilden Kanäle für Ionen, wie Natrium, Kalium oder Chlorid. Für jede der Ionen gibt es eigene Kanäle. Über diese Kanäle
erfolgt ein Ladungsaustausch, was letztlich die Fortpflanzung der Potentiale
erlaubt (siehe auch Abschnitt 3.3.2). Die Aufrechterhaltung der unterschiedlichen Ionenkonzentrationen an der Zellmembran und im Zellinneren wird
durch einen molekularen Mechanismus umgesetzt, welcher ähnlich wie eine
Pumpe, Ionen gegen das natürliche Konzentrationsgefälle durch die Membran
transportiert. Die Funktion der Zellmembran einer Neurone zur Trennung der
jeweiligen Ionenkonzentration ist eine typische Zelleigenschaft.
Die Abbildung 3.3 zeigt in vereinfachter Darstellung die innere Struktur
4
Speziell im dortigenKapitel 3
3.3. INNERER AUFBAU
33
und verdeutlicht auch einige Wechselwirkungen in der Neurone. In der Nähe
des Zellkerns findet man das endoplasmatische Reticulum und den GolgiApparat. Mit Hilfe dieser Objekte ist das Neuron in der Lage chemische
Substanzen wie Proteine, Peptite oder Transmitter zu bilden und zu reproduzieren. Im Golgi-Apparat werden diese Substanzen in Vesikel untergebracht und innerhalb der Neurone als Botenstoff bereitgestellt (s.a [BILEX88]
und [ROBERT95]).
Zellkörper
Dendrit der
Folgeneurone
Golgi−Apparat
Mitochondrium
plurivesikuläres
Körperchen Mikrotubulus
Vesikel
Zellmembrane
Details der Zellmembrane
Axonquerschnitt
Ionenpumpe
Ionenkanäle
synaptischer
Spalt
Abbildung 3.3: Der innere Aufbau einer Neurone
Eine für den internen Transport wichtige Struktur in einer Zelle bilden die Mikrotubuli. Auf der Außenseite dieser Struktur bewegen sich die Vesikel oder
Bläschen sowohl in Richtung des Soma als auch zur Synapse. Dadurch findet
innerhalb der Neuronenzelle über das Axon und den Dendriten eine ständi. . . cm
) ist
ge Bewegung statt. Diese Geschwindigkeit (im Bereich von ca. mm
s
d
abhängig von der Funktion des Neurons. Dieser Transport hat den Zweck entsprechende Moleküle bzw. Enzyme für die Synthese vom Neurotransmittern
bereitzustellen.
Die Synapsen sind ein typisches Merkmal von Neuronen, da sie nur von diesen gebildet werden. An einer Synapse erfolgt der funktionelle Übergang zwischen einem Axon-Ende und der anderen Neurone. Man unterscheidet zwi-
34
KAPITEL 3. DIE NEURONEN
präsynaptischer Bereich
schen elektrischen und chemischen Synapsen. Bei den elektrischen Synapsen
ist die äußeren Membran des Axon-Endes sehr dicht mit der Membran der
Folgezelle verbunden. Über eine Plasmabrücke kann ein Signal sehr schnell
übertragen werden, da hier Ladungen der Ionen ausgetauscht werden können.
Bei dem meisten Wirbeltieren, also auch beim Menschen, dominieren aber
die chemischen Synapsen.
Axon
(der Neurone A)
Mitochondrium
Axonendigung
Vesikel
synaptischer Übergang
postsynaptischer Bereich
Neurotransmitter
Synaptischer Spalt
Dendrite
Rezeptoren
(der Neurone B)
Ionenkanal
(mit Rezeptor auf Oberseite)
Abbildung 3.4: Das Prinzip einer Synapse
In der Abbildung 3.4 ist das Prinzip einer chemischen Synapse dargestellt.
Merkmale sind die vielen Vesikel im präsynaptischen Axon-Ende, eine Art
Band am Dendrit der postsynaptischen Zelle und der synaptischen Spalt von
≈ 20nm. Auf dem Dendriten der postsynaptischen Zelle findet man Ionenkanäle und diverse Rezeptoren. An dieser Stelle finden die Reaktionen mit
den entsprechenden Neurotransmittern statt. Zum Beispiel bei der Verwendung von Medikamenten oder Rauschgiften werden bei Eintreffen des Aktionspotentials bestimmte Transmitter in dem präsynaptischen Neuron freigesetzt. Diese reagieren auf die entsprechenden Rezeptoren des postsynaptischen Neurons. Dies geschieht bei vielen Neuronenverbindungen gleichzeitig.
Damit kann dann in der entsprechenden Gehirnregion eine Reaktion erfolgen.
Eine genaue Beschreibung der hier angesprochenen Fakten findet man in der
Fachliteratur ([THOMPSON94], [SINAUER92] oder [ECCLES00]).
3.3. INNERER AUFBAU
3.3.2
35
Potentiale von Neuronen
In den letzten Abschnitten wurden die Potentiale von Neuronen erwähnt,
welche wichtig für die Informationsverarbeitung sind. Im Ruhezustand einer
Neurone besteht ein elektrisches Potential Ψ, welches eigentlich eine Differenz
darstellt, zwischen dem Inneren des Zellkörpers und dem äußeren Rand der
Zellmembrane.
∆ ΨR = Ψinnen − Ψaußen
(3.1)
Für diese Ruhepotentialdifferenz sind positive Natrium- und Kaliumionen
sowie negative Chloridionen und organische Anionen verantwortlich. Im Inneren der Neurone sind die positiven Chloridionen und die Anionen zu finden,
wohingegen die Umgebung an der äußeren Membranwand eher einer Natriumchloridlösung entspricht. Eine qualitative Beschreibung des Ruhepotentials kann mittels der Nernst-Gleichung erfolgen, mit der man Potentialunterschiede berechnen kann, wenn sich Ionen in einen Gleichgewichtszustand
befinden.
" #
RT
Ia
∆ ΨR =
log
(3.2)
kF
Ii
In der Gleichung 3.2 ist R die allgemeine Gaskonstante5 , F die FaradayKonstante6 , k die Ladung des Ions I und T die absolute Temperatur. Ia /Ii
kennzeichnet das Verhältnis äußerer und innerer Ionenkonzentration. Durch
die Berechnung der Konstanten und der Annahme von Raumtemperatur wird
Gleichung 3.2 zu
" #
Ia
∆ ΨR = 58mV log
.
(3.3)
Ii
Durch die unterschiedliche Konzentrationsverteilung diffundieren Kaliumionen durch die entsprechenden Ionenkanäle von innen nach außen und Chloridionen in der entgegengesetzten Richtung. Aus diesem Grund kommt es
zu einem Ladungsaustausch. Es bildet sich ein Membranpotentialdifferenz
∆ ΨR von ≈ -70mV. Wird diese Differenz größer, so wird es für die positiven Kaliumionen schwierig zu diffundieren, denn dies wird vom negativen Inneren der Neurone erschwert. Analog gilt dies auch für die äußeren
Chloridionen. Der ständige Ionentransport durch die Membran müsste eigentlich die Differenz ∆ ΨR abbauen. Dies ist aber nicht der Fall, denn die
in der Membran eingebauten Ionenpumpen (in Abbildung 3.3 und 3.5 angedeutet) bewirken einen Transport entgegen diesem Konzentrationsgefälle.
5
6
R = 8.31441 ·103
F = 9.64853 ·107
J
kmolK
C
kmol
36
KAPITEL 3. DIE NEURONEN
Details findet man in [THOMPSON94] und [ECCLES00]. Dabei bewegen
sich Na+ -Ionen nach außen und K+ -Ionen nach innen. Diese Pumpen bewirken letztlich einen Gleichgewichtszustand für eine Differenz ∆ ΨR , mit
der die bereits erwähnte Größe der Ruhepotentialdifferenz bestimmt werden
kann. Vereinfachend wird in der Literatur häufig von der Potentialdifferenz
als Potential gesprochen.
In der Gleichung 3.3 werden jedoch nicht alle Ionenverhältnisse berücksichtigt. Deshalb wurde diese Nernst-Gleichung erweitert. Mit der Gleichung 3.4
nach Goldmann wird das Ruhepotential beschrieben,, welches in Abbildung 3.5 angedeutet ist, unter Berücksichtigung der Ionendurchlässigkeit mit
"
#
RT
PK [K+ ]aussen + PN a [Na+ ]aussen + PCl [Cl− ]aussen
∆ ΨR =
log
kF
PK [K+ ]innen + PN a [Na+ ]innen + PCl [Cl− ]innen
(3.4)
wobei P die Permeabilität der Membran für die jeweiligen Ionen, also die
Diffusionsmöglichkeit, beschreibt. Bei Raumtemperatur folgt dann, analog
zu Gleichung 3.3
"
#
−
+
+
PK [K ]aussen + PN a [Na ]aussen + PCl [Cl ]aussen
∆ ΨR = 58mV log
.
PK [K+ ]innen + PN a [Na+ ]innen + PCl [Cl− ]innen
(3.5)
Eine genauere Ableitung der Ruhepotentialdifferenz und der Mechanismen
des Ionenaustausches sind in der Literatur wie in [ECCLES00], [SINAUER92]
oder in [THOMPSON94] beschrieben.
Die letzten Aussagen treffen eigentlich für alle biologischen Zellen zu. Bei den
Neuronen kommt aber jetzt ein entscheidender Unterschied hinzu. Für die
Informationsverarbeitung benötigen Neuronen aktive Mechanismen, um diese Übertragung zu ermöglichen. Neuronen kommunizieren untereinander daher nicht mit den bisher erläuterten Membranpotentialänderungen, sondern
mit Aktionspotentialen. Diese Aktionspotentiale sind fortlaufende Differenzen am Neuronzellkörper, sie beschreiben die räumliche Ausbreitung (vgl.
Abbildung 3.1). Durch das selektive Öffnen oder Schließen von Ionenkanälen
(vgl. Abbildung 3.3) kann ein Aktionspotential erzeugt werden. Diese Potentiale sind zeitabhängig. Dabei ist ∆ Ψ(t) < ∆ ΨR eine Hyperpolarisation
und ∆ Ψ(t) > ∆ ΨR eine Depolarisation. Es gilt ∆ Ψ(t) = ∆ΨA . Die Ionenkanäle werden entweder durch Spannungen oder über Transmitter geöffnet
bzw. geschaltet. Neuronen erzeugen ein Aktionspotential ∆ΨA , wenn die
postsynaptischen Potentiale am Zellkörper oder den Dendriten eines Neurons verarbeitet werden. Das Aktionspotential steht im Zusammenhang mit
den Ionenkanälen. Das Schließen oder Öffnen von vielen Ionenkanälen erfolgt
3.3. INNERER AUFBAU
37
Axonquerschnitt
++++++ −−−− ++++++ ++++++
−−−− ++++++ −−−− −−−−
Ausbreitungsrichtung des
Aktionspotentials
−−−− ++++++ −−−− −−−−
++++++ −−−− ++++++ ++++++
Ausbreitungsrichtung des
Aktionspotentials
+40mV Aktionspotential
0mV
(Ψ A )
−70mV
Ruhepotential (ΨR )
Abbildung 3.5: Das Ruhe- und Aktionspotentiale einer einzelnen Neurone
spannungsgesteuert, es muss eine Schwelle über- bzw. unterschritten (ca. 60mV. . .-40mV, je nach Ionen) werden, um diese Mechanismen zu aktivieren.
Eine starker Potentialänderung wird erreicht, wenn sich die Na+ -Ionenkanäle
öffnen. Dann wirken Diffusion und elektrische Kraft in die gleiche Richtung.
Somit strömen erheblich mehr Na+ -Ionen ins Zellinnere. Das Ruhepotential
wird depolarisiert. Es entsteht ein Gleichgewicht an Na+ -Ionen. Das Aktionspotential ∆ΨA erreicht seinen höchsten Wert bei ≈ +20mV. Aber dies
bewirkt auch ein Schließen dieser Kanäle, und die Zellmembran ist für Na+ Ionen nicht mehr durchlässig, ∆ΨA baut sich wieder ab. Ähnliches passiert
mit den K+ -Ionen. Nur ist die Anzahl der K+ -Ionenkanäle nicht so hoch.
Hierbei erreicht das Potential ∆ΨA fast den Wert von ∆ΨR . Die Konzentrationsverhältnisse sind aber noch nicht korrekt. Deshalb wird das Potential
38
KAPITEL 3. DIE NEURONEN
kurzzeitig hyperpolarisiert, ca. -80mV. . .-90mV. Jetzt werden wieder die Ionenpumpen aktiv. Erst wenn das Ruhepotential wieder erreicht ist, kann eine
Neurone wieder ein Aktionspotential generieren. Die Änderung des Potentials wirkt zunächst auf einen kleinen Bereich der Neuronmembran. Dies in
der Abbildung 3.5 als roter Bereich gekennzeichnet. Aktionspotentiale sind
letztlich Impulse, die immer eine ähnliche Form haben und sich längs der Zellmembran ausbreiten. Solche Potentiale werden vorwiegend am Axon-Hügel
gebildet. Axone können Aktionspotentiale weiterleiten und regenerieren.
3.4
Synaptischer Übergang und Informationsfluss
Die Aktionspotentialdifferenz ∆ΨA tritt immer an einen kleinen Abschnitt
der Neuronenzellmembran auf und ähnelt dem Verlauf her einer Spitze (engl.
Spike). Dieses Potential pflanzt sich bis zur synaptischen Endigung des Axons
fort. Die Geschwindigkeit beträgt ca. 1. . .100 ms−1 . Erreicht das ∆ΨA bei
ca. +20mV die maximale Spitze, depolarisiert sich das Membranenpotential
im nachfolgenden Abschnitt.
Während des Einströmens von Na+ -Ionen ins Neuroneninnere, meist in das
Axon, wird die Membran positiv und erreicht die Schwellenspannung für andere Kanäle. Diese öffnen sich jetzt und Na+ -Ionen können ausströmen. Es
hat sich ein elektrischer Kreislauf gebildet. In der Abbildung 3.5 wird der
Verlauf des Aktionspotential an einem symbolischen Querschitt eines Axons
gezeigt. An der benachbarten Membraninnenseite wird das Potential stark
positiv. Erreicht er das Schwellenpotential, öffnen sich jetzt hier die Ionenkanäle und das Aktionspotential kann sich hier entwickeln. Die Richtung des
Fortpflanzung des Aktionspotentials geht von dem Ort der ersten Bildung
am Zellkörper über das Axon zur Synapse.
Die eigentliche Kommunikation zwischen Nervenzellen ist aber nicht die Fortpflanzung des Aktionspotentials, sondern die synaptische Übertragung. Er+
reicht ein ∆ΨA das Ende des Axons, so gelangen Kalzium-Ionen (Ca2 ) durch
+
die an diesem Ende befindlichen Ca2 -Ionenkanäle in Innere des Axon-Endes.
Durch diese Ionen werden die Transmitter freigesetzt (vgl. Abbildung 3.3 und
+
3.5). Die Ca2 -Kanäle sind spannungsgesteuert und ohne das Aktionspotential geschlossen. Da das ∆ΨA die Membranenspannung verändert, öffnen sich
für kurze Zeit diese Kanäle, um dann die Neurotransmitter freizusetzen. Die
in den Vesikel befindlichen Transmitter diffundieren über den synaptischen
Spalt und binden sich nach ihrer Ausschüttung an die Rezeptoren der nachfol-
3.4. SYNAPSE
39
genden Neuronenmembran der Postneurone. Der Postneuronzellkörper, bzw.
die Membran wird dadurch leicht depolarisiert.
Dies bedeutet auch, dass die Ionenkanäle einer Postneuron an den Dendriten
und dem Zellkörper nicht spannungsgesteuert sind, sondern chemisch aktiviert werden. Der Austausch von Transmittern bewirkt in der Postneurone
letztlich, das dort sich die Verhältnisse so ändern, das hier dann ein Aktionspotential generiert wird (Die Neurone wird erregt oder gereizt) oder es ändert
sich nichts (Die Neuron ist gehemmt). In der Abbildung 3.4 wird der synaptische Übergang für eine einzelne Neurone gezeigt und in der Abbildung 3.6
wird der Ort dieses Übergangs angedeutet. Werden Motoneuronen aktiviert,
bewirken die Transmitter die Bildung von entsprechenden Stoffen. Die vom
Nervensystem gebildeten Stoffe werden als Neurohormone bezeichnet. Werden durch die Transmitter geeignete Rezeptoren aktiviert, so bilden sich entsprechende Hormone als Informationsüberträger, bzw. werden die jeweiligen
Drüsen aktiviert (z.B. Sexualhormone). Einzelheiten zu den Vorgängen bei
der synaptischen Übertragung sind im Kapitel 2 in [THOMPSON94], sowie
im Kapitel 9 von [SINAUER92] zu finden. Die hier beschriebenen Vorgänge
sind auch in [ECCLES00] und [EDEL93] beschrieben.
synapischer Übergang
Richtung
Aktions−
potential
Aktionspotentiale
Abbildung 3.6: Bewegungrichtung des Aktionspotential und synaptischer
Übergang
Während die Trennung der Ionen bzw. deren Austausch im Falle von Ruheund Aktionspotential die Wirkunsweise einer Neurone beschreiben, ist das
Vorhandensein und die Erklärung dieser Potentiale bzw. deren Unterschie-
40
KAPITEL 3. DIE NEURONEN
de auch ein Bestandteil des Informationsverarbeitungprozesses dieser Neurone. Die Beschreibung der Pulsfolge von Aktionspotentialen kann im Modell
mit einer Pulsfolge von binären Signalen an einem aktiven Schwellwertschalter verglichen werden (vgl. auch Bild 1.2 auf Seite 6 im Kapitel 1.2). Die
Abschnitte 3.1 bis 3.4 geben nur eine sehr oberflächige und unvollständige Übersicht über den Aufbau einer Neurone, deren Unterteilung und die
Vorgänge bei der Signalübertragung. Die Inhalte resultieren auf Forschungen und Erkenntnissen aus der Neurobiologie, der Neuroanatomie, der Molekularbiologie, anderer Wissenschaften und auch aus Bereichen der Medizin.
Weitere Einzelheiten zu der Beschreibung von Neuronen werden im Kapitel 8
erläutert. Dort werden Modelle von KNN für die Erklärung der Funktionsweise in Simulationssystem verwendet.
Genauere Erklärungen findet man in der hier schon mehrfach erwähnten
Fachliteratur. Beginnend mit dem folgenden Kapitel wird sich der Inhalt
dieser Abhandlung jetzt auf die Künstlichen Neuronalen Netze konzentrieren. Dabei werden die Grundprinzipien der Modellbildung erläutert und von
einzelnen Neuronenmodellen auf komplexere KNN übergegangen.
Kapitel 4
Beschreibungen, Modelle und
Systeme
4.1
4.1.1
Modellbildung und Betrachtung
Betrachtungsebenen
In dem Kapitel 2 und 3 wurde bereits versucht einige der Grundvorstellungen zum Gehirn und den Neuronen zu beschreiben. Die Erkenntnisse
zur Informationsverarbeitung im Gehirn basieren auf der Interpretation von
Modellen. Diese Modelle beschreiben verschiedene Betrachtungsebenen. Die
Erklärung der Funktionen eines Gehirns als ein informationsverarbeitendes
System erfolgt auf einer solchen Grundlage und in solchen Ebenen, vgl. Abbildung 2.3 auf Seite 18. Da dies hier eine Einführung in die KNN ist,
liegt ein Schwerpunkt der Ebenenbetrachtung auf bestimmten Analogien zu
Computermodellen. Diese Modelle besitzen dann meist selbst verschiedene
Interpretationsebenen.
Auf der der Ebene der Organisation ist es möglich die anatomische Sichtweise auf das Gehirns zu erklären. Die Bezeichnung der einzelnen Bereiche und
Abschitte, wie in der Abbildung 2.1 auf Seite 14, führt letztlich zu Strukturen und Funktionen. In der der Abbildung 2.4 auf Seite 19 wird am Beispiel
der Sprache der Zusammenhang zwischen der Betrachtung1 und er Funktion
dieser Segmente im Gehirn2 verdeutlicht. Ähnliches gilt für die angedeuteten
Beschreibungen in den vorangegangenen Kapiteln. Das Zusammenwirken der
1
2
anatomische Begriffe
Farbe und Sprache
41
42
KAPITEL 4. BESCHREIBUNGEN
Bereiche und Strukturen (z.B. das Sehsystem) wird auch als Verarbeitungsebene bezeichnet. Bei den Ebenen kommt es auf die jeweilige Betrachtung an,
Corpus geniculatum laterale
(CGL) im Thalamus
Abbilder im Hirn bewirken
über Motorik eine Reaktion
nach Aussen
Sehnervenkreuzung
Netzhaut
Impulse bewirken
Muster von Erregung oder Hemmung
in diesen Bereichen
Information von Aussen
Impulsmuster kommen von
Kreuzung bzw. Retina
Impulse als Folge
der Erregung der Retina
Abbildung 4.1: Modell des Sehsystems. Blaue Bezeichnungen kennzeichnen
die anatomische und die roten Bezeichnungen verdeutlichen die AnwendungEbene.
d.h. das Modell eines KNN ist eine andere Betrachtung als die Lösung eines
medizinischen Problems in den Bereichen des Gehirns. Aber alle Betrachtungen können einander ergänzen. Es ergibt sich somit auch eine analytische
Betrachtungsebene. Hier spielen Aufgabenstellung und Begriffsbildung eine
große Rolle.
Werden diese Vorstellungen auf das Sehsystem angewendet kann man zu
folgenden Überlegungen gelangen. Bei dem Sehsystem trifft die Information von einem Objekt aus der Natur auf die Netzhaut. Von dort werden die
Sehnervenimpulse über die Nervenbahnen in der Relaisstation CGL (Corpus geniculatum laterale) innerhalb des Thalamus (vgl. Abbildung 2.1 auf
Seite 14) zur Hirnrinde weitergeleitet. Dort bilden sie eine Repräsentation
des beobachteten Objekts, ähnlich der Abbildung 4.2. Die grobe Anatomie
des Sehsystems, die organisatorische Ebene, kann man in der Abbildung 4.1
an den blauen Bezeichungen erkennen. Zur Verarbeitungsebene gelangt man
4.1. BETRACHTUNG
43
über die konkrete Messung von Werten (z.B. Potential von Nerven an der
Retina oder Aktivierungsmessungen mittels EEG). Diese Werte können analytisch zur Interpretation der Aufgaben des Sehsystems verwendet werden
(z.B. Diagnose: Sehschärfe), vgl. auch die roten Anmerkungen in der Abbildung 4.1. Eine ausführlichere Beschreibung des Sehsystems und dessen
Betrachtungsweisen findet man in [CHURCHLAND97]3 .
Vektorpräsentation von Schaltkreis und Noten−
schlüssel
x1 .... xn
Prinzip des Sehsystems
?
Zum Auge, zur Netzhaut
Abbildung 4.2: Vektorkodierung mit Hilfe des Modells vom Sehsystem, Betrachtung erfolgt jetzt auf der Anwendungsebene.
Mit den Abbildungen 2.3 und 4.2 wird versucht deutlich zu machen, dass die
Unterteilung in verschiedene Ebenen immer bestimmte Aspekte einer Betrachtung hervorhebt. Man kann sowohl die Anatomie, als auch die Funktion
betrachten. Um einen Gedanken aus dem Abschnitt 2.1 wieder aufzunehmen, im Gehirn gibt es Strukturen. Noch sind nicht alle verstanden, aber
in den letzten Jahren wurden hier große Fortschritte erzielt. Die Bilder der
Abbildung 2.4 auf Seite 19 zeigen schematisch die Verknüpfung von Struktur4 und Funktion in einem menschlichen Gehirn, z.B. Hören. Die Strukturen, wie Thalamus oder Hypothalamus, sind an den Funktionen, wie Sehen,
3
4
Besonders im Kapitel 4 von [CHURCHLAND97].
als Anatomie
44
KAPITEL 4. BESCHREIBUNGEN
Hören oder Riechen, des Organismus maßgeblich beteiligt5 . Die Verbindung
der Strukturen im Hirn und deren Funktion führt zu den Neuronalen Netzen.
Bei der Erforschung des Gehirns wurden zwar einige Strukturen im Gehirn
determiniert, aber es ist keine eineindeutige Organisation bei der Aufgabenrealisierung nachzuweisen, d.h. die Funktionen werden unscharf auf diesen
Strukturen abgebildet.
Gehirn, Nervensystem
Funktionelle Zerlegung
Hörsystem
Sehsystem
Motorisches System
Strukturelle Zerlegung
Großhirnrinde
(Cortex cerebri)
Kleinhirn
(Cerebellum)
Rückenmark
Neuronale Netze
(Strukturen treffen auf Funktionen)
Modellieren von Neuronen oder Molekülniveau
Abbildung 4.3: Zusammenhang zwischen Struktur und Funktion bei der Betrachtung des Gehirns und der Ableitung von Modellen.
Dies ist auch verständlich, wenn man die hochgradige Verbindungsdichte innerhalb der einzelnen Strukturen betrachtet. So sind z. B. im Kleinhirn die
Neuronen so dicht und regelmäßig angeordnet, das sie einer Matrixstruktur (vgl. [SpdW01]) sehr ähnlich sind. Trotz der unscharfen Abbildung der
eigentlichen Funktion und deren Dynamik, kann man eben diese Funktion,
die diese Struktur oder Bereich bewirkt, mit Hilfe von Neuronalen Netzen
beschreiben (vgl. [EDEL93] und [EDEL95]). Die Funktionen innerhalb von
neuronalen Netzen lässt sich z.T. auch über das Modellieren der in diesem
5
vgl. Kapitel 2
4.1. BETRACHTUNG
45
Netz enthaltenen Neuronen bzw. Molekülstrukturen erklären. Diese Modellierung verknüpft die Ebenen der Betrachtung6 mit der Ebene Funktion, d.h.
Funktion basiert auf Strukturen.
Die KNN sind abstrakte Modelle der erwähnten neuronalen Netze, die die
Grundlage für die Beschreibung auf den verschiedenen Ebenen sind. Ein Modell ist eine Vorstellung, die die wichtigsten Funktionen, Strukturen oder
Bereiche der Realität widerspiegeln. Die hier vorkommenden Modelle von
KNNbasiern zu einem grossen Teil auf dem Vorstellungsmodell nach der
Abbildung 2.3 auf Seite 18, in diesem Abschnitt ein wenig präzisiert für ein
Modell des Sehsystems in der Abbildung 4.1.
Eigenschaften, Strukturen und physikalische Werte aus der Natur werden
über die Sensorik einem Künstlichen Neuronalen Netz zugeführt, ähnlich wie
die Transduktion7 dem neuronalen Netz im Gehirn. Dort bildet sich ein Modell dieses Naturobjektes (letztlich der Realität) ab, welches bewirkt, dass es
über die Sensor- oder Motorikebene wieder mit der realen Natur in Wechselwirkung tritt.
Analog gilt dies auch für ein künstliches Objekt8 , vgl. Abbildung 4.4 unterer
Teil hier in der Andeutung eines KNN. Von entsprechenden Sensoren, es
können in einem Modell Tast- oder Lichtsensoren sein, gelangen Informationen über Objekte aus der Natur, z.B. Abstand durch Berührung oder Reflektion von Licht, an bzw. in das Programm des implementierten KNN. Dort
werden diese Werte interpretiert. Das Programm, wobei ein KNN-Programm
z.T. anders funktioniert als ein einfaches Sensor-Abfrageprogramm und dies
auch von der Art und Weise der Programmierung abhängt, erstellt ein Modell der Wechselwirkung, die dann das künstliche Obkjekt anhand seiner
Konfiguration ausführen soll.
Die Organisation des KNN ergibt sich aus seinen realisierten Elementen,
welche in den nachfolgenden Abschnitten und Kapitel ausführlich behandelt
werden. Die technische Realisierung des KNN bilden das Funktionsmodell
und der dem Programm zugrunde liegende Algorithmus des KNN ergeben
ein Organisationsmodell. Die Informationsverarbeitung erfolgt über das Betreiben des Programms und aus der Analyse der Daten ergibt sich die jeweilige Wechselwirkung. Es gibt keine scharfen Grenzen zwischen diesen Ebenen,
sowohl im biologischen Sehmodell oder im KNN. Weitere Informationen zu
Details zu Robotern oder KNN und deren internen Modellebenen kann man
in [BRAITENBERG93] oder [ARIBIB95] nachlesen.
6
letztliche der Abstraktion
vgl. Kapitel 2 im Abschnitt 2.2
8
Es kann sowohl ein KNN oder ein Roboter sein.
7
46
KAPITEL 4. BESCHREIBUNGEN
Modell Sehsystem
( Anatomie und Funktion)
Abstraktion
Künstliches Neuronales Netz als
Dynamische System
Eingabe
Verdeckt
Ausgabe
Informationen zur Aussenwelt
Informationen von der Aussenwelt
− Modellbildung
− Berechnung
− Computer
Schichten (Layers)
Zusammenfassung von Neuronen (VE’s)
Abbildung 4.4: Anwendung des Modells aus Abbildung 2.3. Oben: Prinzip
des menschlichen Sehsystems Unten: Modell eines einfachen mehrschichtigen
KNN.
4.1. BETRACHTUNG
47
Roboter und KNN, oder Roboter welche KNN enthalten, sind sowohl Modelle einer Systembeschreibung als auch eigenständige Anwendungen. Dadurch kommt es zu möglichen Verknüpfungen der jeweiligen Betrachtungsebenen. Mit einem Robotermodell will man z.B. das Sehsystem simulieren
und auch verstehen. Dies wäre eine Anwendung der analytischen Ebene,
wo mit künstlichen Mitteln eine Verarbeitung erfolgt um die Korrektheit
der Ergebnisse auf der Organisationsebene zu verifizieren. Von der Seite der
Technologie betrachtet, nutzt man, z.B. für die Realisierung einer optischen
Erfassung, diese Methoden, welcher sich auch die Natur bedient. Aus der
Betrachtungsweise in Ebenen lassen sich Modelle ableiten, die die jeweiligen
Aufgaben beschreiben können. Was ein solches Modell leisten kann, hängt
letztlich von der genauen Aufgabenstellung ab.
Die nachfolgende Tabelle 4.1 fasst verschiedene neuronale Netze, ihre Eigenschaften und ihre Anwendung zusammen. Geht man vom biologischen
Original9 aus, so wird deutlich, dass die KNN nur Modelle der Organisationsstruktur sein können, welche eine konkrete Aufgabe simulieren sollen.
Andererseits können KNN auf der Basis des biologischen Vorbilds bestimmte
Aufgaben besser lösen, da ihre Organisation eine andere Struktur hat.
Art des neuronalen Netzwerkes
Biologische Neuronale Netze
Eigenschaft
organisch
Künstliche Neuronale Netze
Simulierte
Künstliche Neuronale Netze
elektronisch
Anwendung
Lebewesen
; “Mensch”
Roboter, Modell
algorithmisch
Software, Modell
Tabelle 4.1: Arten Neuronaler Netze
4.1.2
Berechnungsmodelle
Mit dem Wort Berechnungsmodelle assoziiert man die Vorstellung, dass das
Gehirn eine Art Computer darstellt. Die vielfältigen erfolgreichen Anwendungen, vgl. auch die späteren Ausführungen ab Seite 111 zum Programmieren
von KNN, unterstützen diese Auffassung. Jedem Computer liegt ein Berechnungsmodell zugrunde. Die Berechnungen eines Gehirns müssen die Interaktion mit der Welt, das Verstehen, das Lernen und jede andere Tätigkeit
und Eigenschaft in Zusammenhang mit dem jeweiligen Organismus leisten.
Wie bei einem Computer, kann bei einem Gehirn zwischen funktionaler und
struktureller Berechnung unterschieden werden.
9
Es muss nicht immer das menschliche Gehirn sein.
48
KAPITEL 4. BESCHREIBUNGEN
Mit der Aktion Verschiebe Bits in einem Register der arithmetischen Einheit einer CPU wird die Struktur zur Bitmodifizierung bereitgestellt. Durch
diese Struktur ist eine klassische CPU letztlich in der Lage die Funktion
Multiplikation von Zahlen zu realisieren. Die Funktion Sehen wird mit den
lichtempfindlichen Sensoren auf der Netzhaut (Retina), den Nervenbahnen,
einschließlich der Sehnervkreuzung, dem Thalamus und weiterer Hirnstrukturen realisiert.
Es wurde bereits erwähnt, dass die einzelnen Sinne bestimmte Bereiche im
Gehirn ansprechen. Diese Strukturen, bzw. die einzelnen Hirnbereiche, entsprechen mathematisch gesprochen Mengen, also eine Menge M Neuronaler
Netze, deren Elemente (z.B. Neuronen oder Netze) die jeweilige Funktionen
realisieren. Eine ausführlichere Anwendung der Modellbildung erfolgt ab dem
Kapitel 4.3, wo dann speziell auch einzelne KNN behandelt werden.
M{Neuronale Netze} ∈ Gehirn.
(4.1)
Die Erfassung der äußeren Welt, z.B. über das Sehsystem und der daran
beteiligten Hirnareale, kann man als eine Teilmenge des Gehirns betrachten,
man kann es ausdrücken als Teilmenegenbeziehung,
Sehsystem ⊆ Gehirn.
Diese Teilmenge Sehsystem enthält nach dieser Vorstellung auch Elemente,
die selbst eine Teilmenge bilden können,
Sehsystem = { Retina, Sehnervkreuzung, Thalamus, . . .}.
(4.2)
Damit ergibt sich die Funktion Sehen als Bestandteil aus Menge Sehsystem
als eine Relation oder Funktion des Sehsystem
Sehen ⊂ Sehsystem, f : Sehsystem 7→ Sehen.
(4.3)
Die sensorische Erfassung erfolgt über die jeweiligen Sensoren. Diese Transduktoren bilden ein internes Bild der Umgebung für das nachfolgende neuronale Netz. So trifft z.B. das Licht auf die Rezeptoren der Retina, welche
die Transduktoren im Sehsystem bilden und übermittelt die Informationen,
die Aktivierungen der Nervenzellen der Auges (vgl. Abbildung 4.4) in die
hinteren Hirnregionen, in die dortigen Netze, allgemein:
Sensor 7→ Transduktor ; Neuronales Netz.
Aus der obigen Aussage kann man für den unmittelbaren Eingang einer Neuronenschicht die folgende Gleichung
xin = f (xn ), mit in, n ∈ N
4.1. BETRACHTUNG
49
aufstellen. xin kennzeichnet den Eingangsvektor in eine Neurone (z.B. Dendriten) und f(xn ) ist die Funktion des Neuronenkörpers. N ist der Bereich
der natürlichen Zahlen. In der Abbildung 4.2 wird am Beispiel des Sehsystems für eine Mustererkennung diese Modellbildung deutlicher. Die Helligkeitswerte des Musters werden vom Auge über die Netzhaut aufgenommen.
Über die Nervenbahnen gelangt die Repräsentation in die für das Erkennen
von visuellen Eigenschaften zuständigen Hirnbereiche. Als Modell existiert
ein Helligkeitsvektor x = {x1 . . .xn }, der sich aus den Helligkeitswerten auf
der Retina ergibt. Dieser Vektor wird in der Folge der Verarbeitung in die
Teilvektoren für die Darstellung des Notenschlüssels und des Schaltkreises
verarbeitet. Diese Funktionalität liefert im Modell das Netz und in der Realität die Hirnbereiche (vgl. auch [CHURCHLAND97]).
Logikbaustein
Motor
(RCX von Lego)
Sensoreneinheit
c
Abbildung 4.5: Robotermodell (aus dem LEGO°
-Mindstormbausatz )
Eine grobe Skizzierung der erwähnten Strukturbereiche, nicht bloß für die
Sehfunktion, erkennt man in der Abbildung 2.4 auf Seite 19 und vor allem
in der Abbildung 4.1 auf Seite 42. Die Strukturen werden aktiviert, sobald
sich auf dem lichtempfindlichen Sensoren, Stäbchen und Zäpfchen, der Retina
ein Bild abzeichnet. Dort werden diese Informationen durch Aktivierung der
entsprechenden Nerven zu den inneren Strukturen des Gehirns weitergeleitet.
Das Auswerten bzw. Verarbeiten der Informationen aus dem Sehsystem, wobei eine Interaktion mit den anderen Sensorinformationen erfolgt, geschieht
über die Kanalisierung im Hypothalamus, der seinerseits die Erregung oder
Hemmung von Bereichen auf dem Cortex bewirkt. Das optische Bild auf der
Retina wird ein Erregungsmuster auf dem Cortex. Die Struktur trifft die
Funktion, wie es die Abbildung 4.3 auf Seite 44 zu verdeutlichen versucht.
Aus den bisherigen kurzen Ansätzen kann man erkennen, dass man die Berechnungsmodelle für das Gehirn auch bei der Simulation (Modellbildung)
oder bei der Realisierung von Funktionen (z.B. Sehen) auf der Basis der Neuronalen Netze verwenden kann. Der untere Teil der Abbildung 4.4 deutet ein
50
KAPITEL 4. BESCHREIBUNGEN
Modell
(Simulation, z.B. Tastsystem)
Anwendung
(Auswertung, z..B. CCD−Kamera)
Problemspezifikation
Struktur
Qualitative Beschreibung
Sensoren
Funktion
Quantitative Beschreibung
y=f(x 1,...x n )
x =f(Σ input)
Programm
KNN
Ausgabe ist eine Relation
der Eingabe
output
input
Aktion
Abbildung 4.6: Berechnungsmodell: Es existiert ein möglicher Regelkreis, welcher sich durch Systemfunktionen oder konkrete Objekte (Roboter, Mensch)
darstellen lässt.
solches Vorgehen an. Für diese Art der Berechnung bildet die Problemstellung den Ausgangs- und Ansatzpunkt für die Lösung. Ausgehend von der
Struktur und der Funktion des Sehens bei einem natürlichen Organismus
als Aufgabenstellung werden geeignete Strukturen für ein künstliches Modell, z.B. das Perzeptron im Kapitel 6.2, oder eine Anwendung entsprechend
der Problemlösung auf künstliche Art erzeugt. Dies sind bei KNN meist
Sensorelemente (z.B. CCD, IR-Dioden usw.) als Datenelemente für die Einbzw. Ausgabe und Computer (z.B. PCs, CPUs in eingebetteten Systemen
bzw. Hardware (im weitesten Sinne)) sowie geeignete Programme als aktive Verarbeitungseinheiten10 . Mit den jetzt vorhandenen Strukturen und
der Problemstellung kann man versuchen ein Problem zu lösen. Qualitativ
erkennt man die Strukturen in der Abbildung 4.5 auf der vorherigen Seite in einem Robotermodell. Man hat Sensoren, einen Logikbaustein, Motoren für die Aktion und im Logikbaustein ein Programm, welches durch das
Zusammenwirken aller Strukturen die jeweilige Problemlösungsfunktion be10
vgl. Abschnitt 4.3.1
4.2. VOM BIOLOGISCHEN ZUM ABSTRAKTEN MODELL
51
wirkt bzw. bewirken soll.
Quantitativ kann man das Problem, unabhängig ob es sich um eine Beschreibung der Gehirn- oder Roboterfunktionen handelt, mit Hilfe der Mathematik abbilden. Die Strukturen bilden eine Menge von Objekten, die in einem
funktionalen Zusammenhang stehen. Mathematische Methoden zur Beschreibung, z. B. unter Verwendung der Mengentheorie, der Verfahren der linearen
Algebra bzw. der Vektorrechnung u.a., werden zur Problemformulierung und
Lösung hierbei verwendet. Dabei ist die Funktion eine Abbildung der jeweiligen Eingangsgrößen auf bestimmte Ausgangsgrößen. Die Ausgabe einer
Funktion repräsentiert eine mögliche Relation zur Eingabe, je nach Art der
Informationen. Ebntsprechend der Leistungsfähigkeit der einzelnen Strukturen wird diese Beschreibung die jeweilige Funktion des Objektes charakterisieren. Für die Betrachtung des Gehirns geht es häufig um Näherungen und
bei konkreten Anwendungen um ein Berechnungsmodell für genau das eine
Problem. Wichtige Strukturen sind bei der Betrachtung von neuronalen Netzen die Sensoren und die Neuronen (vgl. Kapitel 3). Bei den KNN sind die
entsprechenden Programme, Simulationen von Neuronen oder Netzen, bzw.
die für sie entwickelten Robotermodelle die Strukturelemente. Man betrachtet das Gehirn oder ein Künstliches Neuronales Netz in diesen Fällen als ein
dynamisches System.
4.2
Vom biologischen zum abstrakten Modell
Neben den sicherlich interessanten Erkenntnissen über den Aufbau und die
Funktion des Gehirns, stellt sich im Rahmen der hier noch zu behandelten
Schwerpunkte die Frage: Wie verarbeitet ein Gehirn die Informationen aus
seiner Umwelt? Die Beantwortung dieser Frage war und ist ein wichtiger
Ausgangspunkt und eine bedeutende Motivation für die Entwicklung von
Neuronenmodellen und der KNN.
Das Gehirn bzw. das entsprechende Nervengewebe ist, wie schon in den vorangegangenen Kapiteln angedeutet, ein wesentlicher Bestandteil der Informationsverarbeitung in einem Lebewesen. Im Laufe der Evolution haben sich
die Neuronen, als biologische Zellen im Allgemeinen und die wichtigsten Zellen des Nervengewebes im Besonderen, auf diese Aufgabe spezialisiert. Die
Beschreibung der Neuronen als wichtige aktive Elemente bei der Betrachtung
der Informationsverarbeitung wurde von der Forschung bestätigt.
Man stellt sich, je nach Modell, die Potentiale als einen Träger von Informationen vor. Dieser Träger breitet sich als das Aktionspotential vom Zellkörper
Eingang
Eingang
Eingang
KAPITEL 4. BESCHREIBUNGEN
Eingang
52
Simulation des
Aktionspotentials
oder
Neuronenmodell
Ausgang
Ausgang = f(Simulation, Eingänge)
Neuron: Eingänge ➜ Ausgang
Abbildung 4.7: Der schematische Übergang von einem realen Neuronenmodell
zum einem künstlichen und abstrakten Neuronenmodell. Die Darstellung zeigt ein
resultierendes System mit einer symbolischen Übertragungsfunktion, abgeleitet aus
einem Neuronenverbund.
über das Axon zu einer Synapse hin aus. Am synaptischen Spalt bewirkt die
Übertragung von Transmittern bzw. deren Verhinderung eine Reaktion in der
Dendrite der Folgeneurone11 . Diese Art der Übertragung des Informationsflusses in einer Neurone kann man mit verschiedenen Modellen beschreiben.
Dies ist u.a. einer der Gründe, weshalb die Neuronen als Ausgangspunkt
für die Beschreibung entsprechender Modelle und Systeme (letztlich auch
der KNN) herangezogen werden. Die kurze Erläuterung der Neuronenpotentiale im Abschnitt 3.3.2 deutete diese Möglichkeit erstmals an. Mit Hilfe
der in diesen Abschnitt angeführten Gleichungen 3.2 bis 3.4 konnte man
einen ersten Einblick in die physikalische Funktionsweise des Informationstransports gewinnen. Die Gleichungen der Potentiale beschreiben das lineare
bzw. nichtlineare Verhalten der jeweiligen Neurone oder Neuronenverbundes.
In der Literatur ([CHURCHLAND97], [THOMPSON94] oder [SINAUER92])
wird dies ausführlicher behandelt.
Die Abstraktion, wie sie in der Abbildung 4.7 rechts gezeigt wird, der Funktion einer Neurone führt zu einem abstrakten Modell einer künstlichen Neurone. Ist die Vorstellung von Neuronen ähnlich der im Bild 4.7 links eine qualitative Interpretation, so kann man mit den abstrakten Modellen zu quantitativen Beschreibungen gelangen. Die Beschreibungen dieser Modellansätze
kann über dynamische Systeme erfolgen, welche letztlich zu den Ansätzen
11
Vgl. Abbildung 3.6 auf Seite 39
4.2. VOM BIOLOGISCHEN ZUM ABSTRAKTEN MODELL
53
und den Grundlagen für die KNN führen. Somit kann man diese Modelle
auch auf einen Rechner implementieren.
Mit der Ableitung solcher Neuronenmodelle, bzw. denen der auf ihnen basierenden Netze, kann ein Teil der Vorgänge der Informationsverarbeitung in
einem Gehirn beschrieben oder nachgebildet werden. Als dynamischen Systeme sind sie die Grundlagen für die Beschreibung vieler dieser Modelle. Bei
einer Modellneurone oder einem KNN existieren, wie bei jedem dynamischen
System, ein Eingang, ein Element der Verarbeitung und ein Ausgang, vgl. Abbildung 4.10. Solche Modellvorstellungen dienen in einer mehrfachen Hinsicht
als Werkzeug. Bei einer Simulation dienen sie dem Verstehen der Vorgänge
in einem Gehirn. Mit den Anwendungen von KNNs, welche auf einer weiteren Abstraktion solcher Modelle beruhen, automatisiert oder vereinfacht man
bestimmte technische Abläufe, z.B. Bildverarbeitung oder Klassifizierung.
Neuronales Netz
Gehirn
Modell Neuron
Verarbeitungselement (VE)
VE
Verbindungen (Wichtungsmatrix)
Schicht 1
Schicht 2
Schicht 3
Künstliches Neuronales Netz (KNN)
Dynamisches adapatives System
Abbildung 4.8: Eine schematische Darstellung des Übergang vom biologischen Vorbild über ein einzelnes Neuronenmodell hin zu einem, hier mehrschichtigen (vgl. Kapitel 5.1.2), KNN.
Die Beschreibung der KNN auf einer abstrakten Ebene erfolgt üblicherweise
mit den Darstellungsmitteln der Mathematik. Zur Realisierung der KNN als
Simulation oder als Anwendung wird der Computer verwendet. Ausgehend
von Gleichung 4.1 im Abschnitt 4.1.2 kann man den in diesen Denkansatz
über die Menge auch auf die abstrakten Modelle, also die KNN, übertragen.
54
KAPITEL 4. BESCHREIBUNGEN
Die künstlichen Neuronen sind
M{Neuronen} ∈ M{KNN} ⇐⇒ M{KNN} ∈ M{Neuronen} (4.4)
Elemente in einer Menge von KNN.
Diese Betrachtung gilt hier auch umgekehrt, da einige Neuronenmodelle, z.B.
das Perzeptron im Kapitel 5 im Abschnitt 6.2, auch als KNN betrachtet
werden. Im Allgemeinen versteht man unter einer Menge eine Gesamtheit
oder eine Zusammenfassung von Objekten mit bestimmten Eigenschaften.
Dieser Begriff geht auf den Mengenbegriff nach Cantor12 zurück.
In den Kapiteln 2 und 3 wurde zum Teil schon auf das Zusammenwirken
von Neuronen im Gehirn (vgl. Mustererkennung in Abbildung 4.2, Cortex in
Abbildung 2.4 oder Neurontypen in Abbildung 3.2) eingegangen. Diese zusammenwirkenden Bereiche wurden als neuronale Netze bezeichnet. Analog
gilt die Zusammenfassung von einzelnen abstrakten Neuronen auch bei den
KNN. Sie repräsentieren ähnliche dynamische Systeme wie in ([EDEL93])
und sind Bestandteile bzw. Beschreibungselemente des Gehirns (vgl. Gleichungen im Abschnitt 4.1 auf S.48). In der Abbildung 4.8 wird dieser Denkansatz verdeutlicht. Damit wird die Gleichung 4.4 zu
M{KNN} ∈ M{Dynamische Systeme(DS)},
(4.5)
bzw. wird ein einzelnes Neurone eine Teilmenge der dynamischen Systeme
(DS) sein. Es gilt
M{KNN} ⇐⇒ M{Neuronen} ⊆ M{DS},
(4.6)
d.h. die KNN sind eine Teilmenge der Neuronenmodelle, die ihrerseits eine Teilmenge der DS bilden. Da aber gleichartige Neuronen in einem Netz
zusammengefasst werden können, folgt
KNN ; Neuron
(4.7)
und für viele KNN-Modelle gilt
M{KNN} ⊆ M{Neuronen}
(4.8)
Aus den Aussagen von Gleichungen 4.7 und 4.8 lassen sich weitere Einzelheiten für eine mathematische Beschreibung einer abstrakten Neurone bzw.
eines KNN ableiten.
12
Vgl. [EBBINGHAUS94]
4.2. VOM BIOLOGISCHEN ZUM ABSTRAKTEN MODELL
55
Wenn die Modelle weiter vertieft, ergeben sich für die Elemente die Mengen
von Neuronen oder KNN ebenfalls Mengen. Mit diesen Elementen kann
dann eine Neurone oder ein KNN beschrieben werden. Elemente können die
Ein- und Ausgänge eines KNN, die Funktion des Netzes oder die Relation
zwischen Eingangs-und Ausgangsgrößen sein:
M{KNN} ∨ M{Neurone} = {Eingänge,
Funktionen
, Ausgänge, . . .}y
Relationen


M{Eingänge},






M{ Funktionen
},
Relationen
∈ (M{KNN} ∨ M{Neuronen}).
M{Ausgänge} 





...
(4.9)
Aus und mit solchen Mengen lassen sich die Funktionalitäten einer Modellneurone oder KNN ableiten.
In der Gleichung 4.9 existiert ein Term für die Menge M{ Funktionen
}, mit
Relationen
der es möglich ist die strukturellen Zusammenhänge in einer Neurone oder
einem KNN zu beschreiben. Es gilt
¾
½
µ
¶¾
½
Funktionen
f
; M{Ausgänge} =
M{Eingänge} .
M
Relationen
<
(4.10)
Aus den Mengen der Gleichungen 4.9 und 4.10 lassen sich weitere Darstellungmittel ableiten.
So könne die Mengen der Ein- und Ausgänge, M{Eingänge} und M{Ausgänge},
durch Vektoren dargestellt werden. Die Menge der Eingänge ergibt sich z.B.
aus einer Menge von Eingangsvektoren:
M{Eingänge} = {x1 , x2 , . . . , xn }
y
xn = {x1 , x2 , . . . , xm } n, m ∈ N
(4.11)
Die Eingabe in ein KNN setzt sich aus
M{XT ∨ XA } ; XInput = {{x1 , . . . , xi } ∨ XSInput },
(4.12)
einer Menge von Eingangansvektoren für das Lernen13 M{XT } oder einer
Menge von Vektoren von Anwendungsdaten14 M{XA } zusammen. Die Gewinnung der Menge von Vektoren für die Eingabe verdeutlicht die Abbildung 4.9a und b. Die Vektoren werden in ein KNN eingespeist. Dort gelangen sie auf die einzelnen Verarbeitungselemente (VE oder künstliche Neuronen) des KNN. Man die Gleichung 4.11 für die Eingabemenge sich auch
13
14
Vgl. auch Abschnitt 5.3
T steht für Training und
A
für Anwendung.
56
KAPITEL 4. BESCHREIBUNGEN
b)
x = { x =,{ ..., ...,,
6
x6
Input
x 16
x 26
101
106
x = { x , ... , x }
...
1
KNN
x 106
x 60
x
1
...
10
x 16} ,
x 10= { x , ... , x }
c)
x101
x11
1
x
KNN
...
...
...
...
2
x11
x 21
2
x1 x2
x1
VE
...
...
Zeile
1
Spalte
1
VE
x 10
VE
60
}
VE
60
1 Neuron
...
a)
Abbildung 4.9: Die mögliche Struktur eines Eingangsvektors.
erweitert vorstellen, als eine disjunkte Menge von Vektoren und skalaren
Größen.
M{Eingänge} = {x1 , x2 , . . . , xn } = M{Eingabevektor}
y
Skalar
M{Eingänge} = {M{Eingabevektor} ∨ M{xm
}} m ∈ N
Skalare Einzelgrößen können z.B. die Schwellenwerte von Übergangsfunktionen, vgl. Abschnitt 4.3.2, sein oder die aktive Teile eines Netzes werden
durch die Veränderung von zusammenhängenden Größen (z.B. Eingänge oder
Wichtungen) charakterisiert.
f
(x)
(4.13)
<
Mit der letzten Gleichung soll ausgedrückt werden, dass die jeweiligen Teilmengen nicht bloss in M{Neurone} oder M{KNN} enthalten sind, sondern
auch einen kausale Verknüpfung besitzen, da hier Beziehungen von Ein- und
Ausgängen auftreten. Diese Zusammenhänge ergeben die funktionelle und
strukturelle Beschreibung der Neurone oder eines KNN. Diese lassen sich
dann mittels einer Programmiersprache auch auf einem Rechner darstellen.
Die aus den Mengen abgeleiteten Werten besitzen auch einen funktionellen
Zusammenhang. Diese Relationen und Funktionen lassen sich mit Dynamischen Systemen abbilden.
y =
Die Vorstellungen über die Modellneuronen und der KNN werden, sowie
auch die dynamischen Systeme, unter anderem durch die Sprache der Mathematik beschrieben. Die Prinzipien und Algorithmen folgen dieser einheitlichen Symbolsprache. Sie ist deshalb ein geeignetes Werkzeug um die
4.2. VOM BIOLOGISCHEN ZUM ABSTRAKTEN MODELL
57
class Eingabewerte {
double
int
float
Xinp[200];
*INP;
theta;
···
Eingabevektor mit 200 Werten
Menge von Vektoren
Schellenwert Θ
···
};
Tabelle 4.2: Programmtechnische Umsetzung von Eingabewerten am Beispiel
der Sprache C++
KNN analytisch darzustellen. Auf dieser Grundlage werden die Vorgänge in
einer Neurone, in einem Gehirn oder deren Modelle über verschiedene Methoden und Verfahren auch auf einen Computer übertragen. Hat oder besitzt
man ein mathematisches Modell einer Neurone oder eines KNN, so ist dessen Umsetzung auf einen Computer nicht mehr schwierig und es lässt sich
die Korrektheit des Modellansatzes überprüfen.
Im letzten Abschnitt wurden als Mengen und Vektoren als Darstellungsmittel angeführt. Die funktionellen Zusammenhänge lassen sich über Funktionen
und Relationen darstellen. Natürlich werden auch Verfahren zur Lösung von
Differenzialgleichnungen, Methoden der Linearen Algebra oder Hilfsmittel
aus der Wahrscheinlichkeitsrechnung, Stochastik und vieles andere mehr angewendet. Bei der Darstellung der Nernst-Gleichungen auf S.35 wurde oder
bei den noch kommenden Gleichungen in dieser Abhandlung werden diese
mathematischen Methoden und Verfahren verwendet. Mit der Mathematik
des beschreibenden Systems bzw. aus den Schlussfolgerungen daraus, lassen
sich die einzelnen Parameter (z.B. Lernrate, Aktivierungsfunktion) für eine
spätere Programmierung, eventuell in einer Sprache der Objekt-orientierten
Programmierung (Object Oriented Programming OOP ; z.B. C++, vgl.
Tabelle 4.2) ableiten. Die Sprache der Mathematik ist in der Fachliteratur
anzutreffen, wobei es Unterschiede in den Bezeichnungen, aber nie im Inhalt
gibt.
Ein vielfach genutzes Werkzeug für die Behandlung und Beschreibung von
KNN sind Dynamische Systeme (DS). Mit ihnen wird der Zusammenhang
nach der Gleichung 4.13 verdeutlicht. Das Bild 4.10 zeigt eine solche Modellvorstellung für ein DS in diesem Zusammenhang.
Bevor auf die Neurone als Verarbeitungselement, vgl. Abschnitt 4.3.1, und
wichtigen aktiven Baustein im Detail eingegangen wird, soll die Möglichkeit
der Beschreibung als DS angeführt werden. Bei einem DS stehen nach der
Gleichung 4.13 der Eingang zu dem jeweiligen Ausgang in einer Beziehung.
58
KAPITEL 4. BESCHREIBUNGEN
Dynamisches System
Funktion
Modell/Beschreibung
einer
Neurone
Ausgang
Modell/Beschreibung
eines
KNN
Relation
Eingänge
Abbildung 4.10: Ein allgemeines dynamisches System für Modellneuron oder
KNN.
Deutlich wird dies in Abbildung 4.11 dargestellt. So wird die Wichtung als
Informationsbewertung realisiert, werden die Eingänge aufsummiert und es
gibt eine, meist nichtlineare, Funktion, die dieses System aktiviert. Mit dieser
Aktivierung wird letztlich die Information beeinflusst, die dieses DS verarbeitet. Man kann leicht erkennen, das dieses System nicht nur von einem
Neuron - Zellkörper
Modellneuron
Eingang
Eingang
ω1
Eingang
Simulation
des
Aktionspotentials
Eingang
Eingang
Ausgang
Dendriten
ω2
Ak
Wichtung
Axon
ru
ng
Σ
ω3
ti
vi
e
sf
un
kt
io
n
Ausgang
Summierung
ωn
Künstliche Neuronales Netz (KNN)
Eingang in das
Netz
X
...
...
...
Neuronenschicht
(Layer)
y
Abbildung 4.11: Eine Neurone als dynamisches System und der Übergang
von einer Modellneurone zum KNN.
Parameter abhängt. Gleichung 4.13 kann jetzt erweitert werden, es gilt:
y =
f
(x, t, Param),
<
wobei x und y den Eingangs- bzw. Ausgangsvektor15 beschreiben,
15
Es konnen auch skalare Größen sein.
(4.14)
f
<
die
4.2. VOM BIOLOGISCHEN ZUM ABSTRAKTEN MODELL
59
konkrete kausale Abhängigkeit des Ausgangs vom Eingang umfaßt, t steht für
die Zeit, in welcher ein solches System arbeitet, z.B. Zeit für Ladungsausgleich
oder den nächsten Computertakt und Param sind weitere noch zu erklärende
Parameter16 .
Betrachtet man den Term t als Zeit oder Schrittgröße, kann man sofort auf
eine Vielzahl von DS schliessen. Da wären im Bezug auf die KNN Netze mit
diskreten Zeiten oder Takten oder Netze in einem kontinuierlichen Zeit bzw.
Taktrahmen. Bei diskreter Zeit oder Takt sind vorangegangene Ereignisse
des konkreten Netze von Bedeutung, z.B. beim Lernen oder das System oder
KNN stellt sich mit jedem neuen Eingang pro Zeit bzw. Takt neu ein.
Es wurde bereits gesagt, dass die Anzahl der Neuronen sehr groß ist. Unter
dem Gesichtspunkt von Mengen ergibt sich hier eine große Menge von Objekten. Da es in dieser Abhandlung nur noch um künstliche Neuronen geht und
sich diese innerhalb von KNN in bestimmten Funktion wiederfinden, gibt es
natürlich auch eine Vielzahl von KNN-Modellen, in denen eine Menge von
Neuronenmodellen (kurz Neuronen, sowohl einfacher und komplexer Struktur) enthalten sind. Dabei ist der Begiff Gehirn selbst nur ein Oberbegriff,
vgl. S. 13, also eine zusammengefasste Menge von Objekten.
Die Interaktionen im Gehirn wird durch die Vernetzung von sehr vielen einzelnen Neuronen (≈1011 ) erreicht. Diese hochgradig parallelen Verbindungen, schätzungsweise ≈1024 , bilden Systeme mit sich durch gegenseitig beeinflussenden Parameteren. Da die Funktionalität einer Neurone, bzw. Neuronengruppe, in und mit einem bestimmten Hirnbereich meist gleichartig
ist, werden diese in Netzwerken17 zusammengefasst. Solche Netzwerke als
dynamische Systeme werden in [EDEL93] aus der Sicht der Hirnforschung
beschrieben. Der Ausgangspunkt für die mathematische Beschreibung ist in
den meisten Fällen eine Neurone, wie es in der Abbildung 4.7 dargestellt
ist. Die weitere Modellentwicklung kann über die mathematische Abstraktion bis hin zur Abbildung 4.12 verfolgen. Wie man bei einem natürlichen
Gehirn sich immer wiederholende Elemente gibt, so liegen dem Aufbau der
KNN-Modelle bestimmten Prinzipien zu Grunde.
16
17
z.B. Schwellenwert Θ oder Lernrate α
Superpositionsprinzip
60
KAPITEL 4. BESCHREIBUNGEN
4.3
4.3.1
Das Neuron als abstraktes Modell
Die Neurone als Verabeitungelement
Eine künstliche Neurone wird, wie im letzten Abschnitt angesprochen, als eine der aktiven Komponenten im Prozess der Informationsverarbeitung durch
die Beschreibung mit Hilfe der DS betrachtet. Mit den Neuronen als den aktiven Elementen in einem solchen System kann man sich leicht eine Analogie
zu einem Computer vorstellen. In einer, stark vereinfachten, Analogie bilden sich die Neuronen als Modell auf einem Zentralprozessor ab, bzw. auf
die Prozesse, die auf einem Rechner arbeiten. Der Computer als Werkzeug
der Informationsverarbeitung übernimmt die Funktion der Neurone oder des
KNN. Obwohl das Gehirn (vgl. [Ispec6/02]) in der Realität eine erheblich
andere Arbeitsweise besitzt als die meisten klassischen Rechner, wobei hier
auch die Implementierungen von KNN auf Parallelrechnern gemeint sind,
können diese abstrakte Modelle mit Hilfe der mathematischen Beschreibung
durch DS auf Rechnern realisiert werden.
Aus der Mengenbetrachung in den Gleichungen 4.9 und 4.10 kann man auch
die funktionellen Zusammenhänge herleiten. Die Modellneuronen bzw. die aktiven Elemente innerhalb eines KNN werden häufig als VE (VerabeitungsElemente) bezeichnet. Mit einer VE kann die Dynamik einer Modellneurone
oder eines KNN beschrieben werden.
Ähnlich wie bei einem dynamischen System die Eingangsgrößen X
X 7→ Y
auf die Ausgangsgrößen Y abbildet werden, bildet eine VE die Eingänge auf
den Ausgang oder auf mehrere Ausgänge, wie in Abbildung 4.12 dargestellt,
ab.
VE: Eingänge 7→ Ausgänge.
(4.15)
Die Abbildung 4.12 zeigt eine symbolische Übertragung dieser Modellbildung, wie sie mit der Abbildung 4.7 begonnen. Den Eingang in eine VE bildet
der Eingangsvektor. Dieser Vektor ergibt sich aus
XInput = {x1 , x2 , . . . , xn } ∨ M{x1 , x2 , . . . , xm } m, n ∈ N,
(4.16)
der Anzahl n der Eingängsgrößen, in diesem Fall stellen die xn skalare Größen
dar oder einer Menge aus Einzelvektoren xm . Letztere Möglichkeit tritt vor
allem bei der Fortführung der Modellentwicklung zu KNN auf, wie sie in
den Abbildungen 4.8 und 4.11 zu erkennen ist.
4.3. ABSTRAKTE NEURONE
61
x1
x2
xn
Ausgänge (A)
KNN oder Neuronenmodell
bzw.
Dynamisches System
Eingänge (E)
x0
x = { x 0 , x 1 , x 2 , ... , x n }
y0
R: E
Optionaler Ausgang
A
y
A = f(KNN, E)
ym Optionaler Ausgang
y = {y | y = {y0 , y1 , ... yn }, y = Ergebnis}
M{y}={ y , y0 , ..., ym }
Abbildung 4.12: Modellbildung nach Gleichung 4.9 und 4.15: Die Modellneurone ist auch ein Dynamisches System, vgl. auch Abbildung 4.10.
Entsprechend der Gleichung 4.15 und der Betrachtung als dynamisches System, so ergibt sich die folgende Möglichkeit der Beschreibung
X R Y 7→ Y = f (X) ; Y =
f ( f (VE) ),
(4.17)
wobei f (VE) die Funktion der VEs darstellt, bzw. R die Relation von Einund Ausgang bezeichnet. Gleichung 4.17 repräsentiert eine der allgemeinsten
mathematische Darstellungen des Verhaltens des Systems VE oder KNN.
Man kann sie auch als eine Übertragungsfunktion des Beschreibungssystems
ableiten. Ein Neuron oder ein Hirnbereich gilt als aktiviert oder erregt, sobald
er Informationen verarbeitet. Aus diesen Grund wird die Übertragungsfunktion einer VE oder eines KNN auch als Aktivierungsfunktion bezeichnet.
Ausgehend von der Modellvorstellung in der Abbildung 4.7 entsprechen die
Dendriten den möglichen Eingängen. Mit den Relationen oder Funktionen
nach Gleichung 4.17 werden die Beziehungen beschrieben, die den Informationsfluss bestimmen können, z.B. eingehend über die Dendriten bei der Aktivierung der Synapsen der Vorgängerneuronen und über die Bewegung des
Aktivierungspotential über das Axon hin zu der Synapse des jeweiligen Neurone. Die funktionelle Zustandsbeschreibung der Veränderungen am Neuronenzellkörper und der Ionenverteilung (vgl. die Gleichungen 3.2 bis 3.4 auf
Seite 36), sowie die Ruhepotentialdifferenz, bilden die funktionellen und relationalen Beziehungen, die den Ausgang einer Neurone determinieren18 . Der
18
vgl. auch Anhang 8.1
62
KAPITEL 4. BESCHREIBUNGEN
Ausgang einer Neurone ist, wenn auch stark vereinfacht, das Aktionspotential ∆ΨA auf dem Weg über das Axon, siehe Abschnitt zu Potentialen auf
S. 35, zur Synapse.
Im Unterschied zum biologischen Modell wird die Synapse nicht als Spalt
sondern wie in der Abbildung 4.7 als ein kleiner Kreis am Eingang symbolisiert oder wie in Abbildung 4.11 durch Kästchen mit dem Symbol ω verdeutlicht. Auf die Bewertung oder Wichtung ω eines Eingangs wird später
noch ausführlich eingegangen. Bei einer weiteren Verallgemeinerung kann
bei einem solchen Modellneuron den Zellkörper durch eine noch allgemeinere
Funktion, als die der Nernst-Gleichung, beschrieben werden, was der allgemeinen Ausgage in der Gleichung 4.17 nahekommt. Dies ist auch der Ansatz,
der reine Simulieren von Neuronen zuläßt oder das Ableiten entsprechender
Anwendungen erlaubt.
Dynamischen Systeme arbeiten als Regelwerke mit aktiven Verarbeitungselementen. Die Größe die geregelt wird ist die Information. In einem neuronalen Netzwerk übernimmt diese Funktion die Neurone bzw. deren Verbund. Natürliche Neuronen als dynamische Systeme werden in [EDEL93]
und [EDEL95] beschrieben. Mit diesen Modellsystemen sollen bei höheren
Lebewesen die Interaktionen mit der Umwelt, z.B. Erkennen eines Bildes, erklärt werden (s.a. Betrachtungsebenen im Abschnitt 4.1.1 auf Seite 41). Mit
einem KNN sollen aber auch bestimmte festgelegte Aufgaben gelöst werden. Ausgehend von der neuronalen Verarbeitung der Informationen durch
die Neuronen oder ihre entsprechenden Netze werden die Funktionalitäten
auf solche abstraktes Modelle wie eine VE übertragen. Die Funktion der
Erregung oder der Hemmung einer Neurone oder deren Fortpflanzung in einem System sind ein Teil dieser Beschreibung der Informationsverarbeitung.
Neben dem Verständnis der Funktionalität bei einem Lebewesen eignen sich
diese Systeme, wie bereits erwähnt, auch zur Implementierung von Anwendungen, welche nicht an Lebewesen gebunden sind. Durch die Vielzahl der
Neuronen in einem solchen Netzwerk entsteht ein hochgradiges paralleles dynamisches System. Bei einer künstlichen Realisierung bzw. Simulation muss
diesem Umstand Rechnung getragen werden, wenn man diesen Neuronenverbund oder dieses Netzwerk auf einen Rechner mit einer klassischen Architektur19 realisiert werden soll.
Der formalen Beschreibung eines KNN als dynamisches System liegt, wie
bereits häufiger erwähnt, das Modell eines Neurons zugrunde. Dabei wird
vom Aufbau einer Neurone meist nur deren Funktion zur Erregung oder
Hemmung bei der Realisierung der Systembeschreibung einer VE oder ei19
z.B. Von-Neumann-Architektur
4.3. ABSTRAKTE NEURONE
63
nes KNN herangezogen. Aus dem Modell in den Abbildungen 4.7 und 4.12
erkennt man für eine VE eine Anzahl von Eingängen, einen Ausgang und
eine Systemfunktion, die das Neuron simuliert. Da eine reale Neurone, wie
bereits versucht wurde deutlich zu machen, ein sehr komplexes Gebilde ist,
kann es sich bei einer VE nur um stark ein vereinfachtes Modell handeln. Eine VE nach Gleichungen 4.15 und 4.17 somit eine Abbildung von Relationen
vom Eingängen auf die Ausgänge
F:R
input
7→ R
output
.
(4.18)
Dabei handelt es sich im Fall eines biologischen Neuronenmodells nach Kapitel 3 bei R input


Ia
Ionenverteilung;


I




i


x1 , . . . , xn Eingänge in eine N eurone;
input
R
::=
(4.19)
..




.




Im
Eingangsvektor
um Komponenten des Eingangs des Neurons und analog bei R output


∆Ψ
Ruhe
−
oderAktionspotential;


R/A






y
Ausgang
einer
N
eurone;
output
(4.20)
R
::=
..




.




O
Ausgangsvektor
um den Ausgang wobei Im als der Eingang und O durchaus als Vektor beschrieben werden kann.
Aus der Menge nach Gleichung 4.10 definiert sich eine VE über die Funktionen bzw. Relationen. Aber es gibt immer nur eine VE oder KNN, hier mit
x indiziert, für das gilt:
VEE,x = {VE | VE ∈ x und die E treffen auf VE zu}
KNNE,x = {KNN | KNN ∈ x und die E treffen auf KNN zu}.
(4.21)
Die Gleichung 4.21 besagt, dass es immer nur ein spezielles System der Beschreibung aus der Menge M{ Funktionen
} nach Gleichung 4.10 geben kann.
Relationen
Je nach den Eigenschaften dieses Systems werden sich bestimmte Neuronenmodelle oder KNN durch bestimmte Funktionen abbilden bzw. beschreiben
lassen.
Mit der Gleichung 4.21 wird ausgedrückt, dass es immer nur ein spezielles
System der Beschreibung geben kann. Je nach den Eigenschaften des Systems
64
KAPITEL 4. BESCHREIBUNGEN
Modellübergang und Mathematische Hilfsmittel
A:Beispiel Neuron
Eingang
7→ Zellkörper 7→
Ausgang
Verteilungsrelation
Ausgangsskalar
Ia
Lösung Differentialgleichung
∆ΨR
I
i
" #
,→
∆ΨR = 58mV log IIa
←i
Nernst bzw. Goldmann-Gleichung
⇓
B:Beispiel Modellneuron
Eingang
7→ System1 7→
Menge der
Eingangswert2
M{x1 , . . ., xm }
Funktion f: x 7→ y
,→
y = f(xm , Θ4 )
Ausgang
Ausgangsskalar2
y
←-
wird durch die Aktivierungsfunktion(en) realisiert
⇓
C:Beispiel KNN
Eingang
7→ Neuronenschicht1 7→
Menge der
Eingangsvektoren
Im = e1 . . .en |= en ::= x1 . . . xm
M{I1 . . .In }
Gleichungssystem(e)
,→
O = f(In Θ4 )
Ausgang
Ausgangsvektor3
O
M{On }
←-
wird durch die Übertragungsfunktion(en) bestimmt
durch dynamische Systeme.
2 Können durch Vektoren dargestellt werden.
3 Kann auch eine Menge sein.
4 Θ steht als Stellvertreter für Parameter.
1 Beschreibung
Tabelle 4.3: Schematische Ableitung eines Modellbildung für Neurone und
KNN mit der Andeutung der verwendeten mathematischen Hilfsmittel.
werden sich bestimmte Neuronenmodelle oder KNN bilden bzw. beschreiben lassen. In Tabelle 4.3 wird noch einmal der Abstraktionsprozeß für die
Modellbildung gezeigt.
Im Bereich A der Tabelle wird die Simulation eines natürlichen Neurons, im
Bereich B wird ein allgemeineres Modellneuron und Bereich C eine symbolische Beschreibung eines KNN angedeutet. Da im Laufe der Zeit in
einem sehr großen Umfang für eine Vielzahl von möglichen Anwendungen
KNN entwickelt worden sind, gibt es viele Unterschiede in den Struktur,
Realisierung und dem Wirkprinzip.
4.3. ABSTRAKTE NEURONE
4.3.2
65
Aktivierung und die Funktion der VE
In einem üblichen KNN wird es meist mehrere VE geben. Da die Relation
oder die Funktion der VE das Verhalten bestimmt, muss diese Funktion bestimmte Eigenschaften erfüllen, zumal die VEs häufig mehrfach untereinander verbundenen sind. Diese hohe Verbindungdichte hat auch Konsequenzen
für komplexe Beschreibung der VE bzw.KNN. Diese Eigenschaften sind:
1. die Verarbeitung der Information erfolgt über die VEs in der gesamten
Struktur des KNN, eine konkrete Information kann in dieser Struktur
nicht unterschieden werden,
2. die VEs sind hochgradig untereinander vernetzt, z.B. kann bei einigen
Netzen jede VE mit jeder anderen Einheit im Netz verbunden sein, d.h.
der Zustand des jeweiligen Netzes ergibt sich aus denen der einzelnen
VE, vgl. Abschnitt 5.1.1 auf Seite 75,
3. die Wichtungen, d.h. die Bewetung der jeweiligen Informationen, sind
veränderlich bzw. anpassbar,
4. jede VE enthält eine nichtlineare Aktivierungsfunktion, d.h. jeder Zustands des Netzes ist das Ergebnis eines nichtlinearen Verhaltens der
VE und
5. trotz der Unschärfe bei den einzelnen Elementen, ist ein KNN durch
eine hohe Robustheit gegenüber dem Rauschen in den Eingangsinformationen gekennzeichnet und besitzt eine gute Fehlersicherheit durch
die hohe Redundanz der einzelnen VE im Netz.
In der Abbildung 4.10 wurde ein allgemeines System gezeigt, dessen Basis
solche VE sind. Jedes dynamische System besitzt ein Übertragungsverhalten, dass allgemein durch die Gleichung 4.17 ausgedrückt werden kann. Da
hier für die Information bei einem Neuronenmodell eigentlich nur die Aktivierung von Interesse ist, spricht man auch vom Aktivierungsverhalten. Somit kann man die Übertragungsfunktion des Systems, wie schon beschriebn,
als Aktivierungsfunktion bezeichnen. Weitere Informationen zu Eigenschaften und Strukturen von VE und KNN findet man in [MAREN90] und
[CICHOCKI93] und in weiterer Fachliteratur.
Abbildung 4.13 zeigt symbolisch eine Umsetzung der Gleichung 4.17. Die
Eingangsinformation, Vektor oder Skalare, wird gewichtet. Diese Wichtung
ω ist ein Ausdruck der Wichtigkeit diese informationsanteils bei der Verarbeitung dutrch diese VE. Bei der Aktivierung wird somit eine effektive, weil
KAPITEL 4. BESCHREIBUNGEN
ω
Summierungsfunktion
−
x1 ω 1
ω
xn
Σ( x
1
Σ
ω 1 + ... + x n ω n)
y = f(sum)
y
Ausgang
Eingang
x1
sum =
+
Aktivierungsfunktion
66
+
KNN = n Modellneuronen
−
xn ωn
Eingangsvektor
x = { x 1 , ..., x n }
Wichtung−, Summierungs−,
Aktivierungs−Funktion
Dynamisches System
Ausgangs−(Vektor)
y
KNN
Abbildung 4.13: Prinzipielle Aufbau einer VE, ähnlich wie in Abbildung 4.10
auf Seite 58.
jetzt gewichtete, Einganggröße verarbeitet. Der erste Schritt innerhalb der
VE ist die Bildung einer Summe der Eingangsinformationen,
sum =
n
X
n
X
xi ωi ∨ sum =
i=1
X i Ωi ,
(4.22)
i=1
wobei bei der Vektordarstellung für Xi Ωi gilt
Xi Ωi =
k
X
xi k ωi k .
i=1
Hierbei stellt xik den k-ten Wert eines Eingangsvektors Xi und ωik den k-ten
Wert eines Wichtungsvektor dar.
Um auch komplexere Vorgänge in einem KNN ausführen zu können, gibt
es an manchen VEs einen speziellen Eingang, welcher nicht gwichtet wird.
Mit diesem BIAS-Wert können bei einem möglichen inaktiven Eingang der
VE deren Nichtaktivierung bzw. die Aktivierung an Folge-VEs weitergeleitet werden. Dieser Eingang, der BIAS, resultiert aus der Erkenntnis, das in
einem realen neuronalen Netz die Hemmung oder Erregung ebenfalls übertragen werden, selbst wenn diese spezielle Neurone nicht beteiligt ist. Die
Gleichung 4.22 äandert sich dadurch in
sum =
n
X
i=1
xi ωi + xBias ∨ sum =
n
X
i=1
xBias ∨ xBias = 1 ∨ 0.
Xi Ωi + xBias mit
4.3. ABSTRAKTE NEURONE
67
Da die Verarbeitung des Eingangs der Aufgabe von Synapsen, vgl. Kapitel 3
ab S. 38, in einem realen Netz ähnlich ist, ist der einfachste Ansatz einer
Aktivierung der VE die Proportionalität zwischen der VE und dem Ausgang
Y ∝ VE.
Hieraus ergibt sich die einfachste Form der Aktivierungsfunktion, die Identität, mit
Y = sum.
Hier ist der Ausgang mit dem Eingang identisch. Es wird eigentlich die Information in einem solchen KNN zum Ausgang durchgereicht. Es erfolgt eigentlich keine Aktivierung. Eine Aktivierungsfunktion 4.17 für eine VE oder
ein KNN-System ergibt sich jetzt allgemein zu
Y =
f ( f (VE) )
=
f (sum).
(4.23)
Es gibt unterschiedliche Funktionen, die die nichlineare Aktivierung einer
VE beschreiben können. Man kann einige der wichtigsten Funktionen der
VE in
a) Schwellenwertfunktionen, z.B. Sprungfunktion,
b) Hartbegrenzte Funktionen, z.B. Rampenfunktion,
c) Sigmoidale Funktionen, z.B. Expotenialfunktion, und
d) Verteilungsfunktionen, z.B. Gauss-Verteilung
unterteilen.
Jetzt kann man Gleichung 4.23



a)







b)
Y =






c)



d)
zu
1 7→ sum > Θ
0 7→ sum ≤ Θ
1 7→ sum = Θ
sum
+ 12
(4.24)
2·Θ
0 7→ sum = −Θ
1
1+e−Θsum
2
exp(− sum
)
2Θ2
genauer formulieren. Die quantitative Ausformulierung der konkreten Funktion ist vom verwendeten KNN und seiner Anwendung abhängig. Die Aktivierung des VE bzw. des KNN bildet in vielen Fällen auch die Ausgangsinformation. Deshalb sollen diese Funktionen bei einer wachsender Aktivierung
68
KAPITEL 4. BESCHREIBUNGEN
a)
b)
1
1
x
0
x
0
y
Hartbegrenzte Funktion
Schwellenfunktion
c)
d)
1
1
x
0
y
Sigmodiale Funktion
x
0
y
Verteilungsfunktion
Abbildung 4.14: Die wichtigsten Aktivierungsfunktionen in einer qualitativen
Übersicht.
nicht abnehmen. Die Funktion sollte in dem interessierenden Wertebereich
monoton wachsend sein. Diese Monotonie sollte die Aktivierungsfunktion immer erfüllen. Die Abbildung 4.14 zeigt eine qualitative Übersicht einiger der
wichtigsten Aktivierungsfunktionen.
Die meisten Funktionen in der Gleichung 4.24 haben ein mehr oder weniger
nichtlineares Verhalten. Wo bei der Funktion in Gleichung 4.24 c und d eine
gewisse Stetigkeit gegeben ist, so kann dies bei den Funktion4.24 a und b nur
bedingt gelten. Da der Ausgangswert einer VE die direkte Folge der Werte
ist, die an seinem Eingang (vom Netz, zur Schicht) ankommen, muss er ein
gewisses Minimum für kleine Werten liefern und die Aktivierung bei gewissen
Einstellungen (z.B. Schellenwert Θ) erreichen. Durch Parametrisierung kann
die gewünschte Form der Aktivierungsfunktion erreicht werden.
Abbildung 4.15 zeigt zwei unterschiedliche Aktivierungsfunktionen mit möglichen Parameteren im Vergleich. Beide Funktionen basieren auf der Gleichung 4.24 c. Im Bild sind verschiedene Bereiche für das Bilden von Parameteren zu erkennen. Da ist der Schwellenwert Θ, der bei gleichen Eingangswert (im Bild ist die x = 0,5) eine anderen Startwert der Aktivierung
liefert, d.h. bei der zweiten Funktion wird der Ausgang bei einem niedrigeren Wert (Θ2 < Θ1 ) aktiviert. Man kann erkennen, da es sich um ähnliche
Funktionen handelt, dass der Anstieg der Aktivierungswerte unterschiedlich
ausfällt.
Der Winkel α kennzeichnet diesen Anstieg. Man kann leicht erkennen, wenn
Θ konstant bleibt, wird die Aktivierung bei einem größeren α schneller er-
4.3. ABSTRAKTE NEURONE
69
y
1,0
Θ2
α1
0
α2
Expotenieller Anteil
der Funktion
0,5
Linearer Anteil der Funktion
Θ1
0,5
1,0
x
Abbildung 4.15: Möglichen Parametereinstellungen für eine Aktivierungsfunktion.
reicht. Dies ist und wird bei der Zeitabhängigkeit der Funktionen berücksichtigt, da dies einen erheblichen Einfluss auf die Dynamik von VE und
KNN hat. Der im Bild angedeutete expotenielle Anteil der jeweiligen Funktion kann durch die Möglichkeiten von Expotenialfunktionen beschrieben.
Dadurch kann das Erreichen des Aktivierungswertes (im Bild ist dies y = 1)
beeinflusst werden. Dies ist besonders wichtig, da Schwellenfunktionen nur
mathematisch direkt von 0 auf 1 springen, was in der realen Welt, also auch
bei den VEs und KNN, nicht direkt möglich ist20 ist.
Da die Aktivierungsfunktionen z.T. die Ausgangsinformation eines KNN bestimmen und die KNN den Vorteil der Lernfähigkeit besitzen hat dies ebenfalls Einfluss auf die Parameter. Der zum Lernen verwendete Algorithmus21
muss die Art der Aktivierung berücksichtigen bzw. sollten die VE oder das
KNNdarauf abgestimmt werden. Bei der Entwicklung der KNN hat es viele
unterschiedliche Netze gegeben.
4.3.3
Verbindungen von VE
Trotz der hervorgehobenen Stellung, die die Abbleitung von künstlichen Neuronenmodellen in der bisherigen Abhandlung hatte, reicht diese nicht aus, um
die komplexe Funktion einer Neurone, eines VE oder eines KNN im Zusammenwirken mit einer Aufgabenstellung zu erklären. Wird nur die Neurone
oder das VE betrachtet, so beschreibt man lediglich eine Form einer Schaltfunktion. Im Abschnitt 4.3.2 wurde bereits gesagt, dass nur die hochgradige
20
21
Man bedenke Schaltzeiten in elektronischen Schaltungen.
Vgl. Ausführungen im Kapitel 6.2, 6.3 oder 7.
70
KAPITEL 4. BESCHREIBUNGEN
Vernetzung der Neuronen und der VE die Systeme zur Interaktion bilden.
Natürlich lassen sich auf einem Computer nicht solche komplexen Vernetzungsstrukturen erreichen, wie sie in einem realen Gehirn auftreten, aber
für kleine Netze22 , vgl. [EDEL93], [REILLY00] oder [GENESIS95]) ist dies
möglich.
Neuronenmodelle
Knoten
Eingänge
Σ
Ausgänge
Σ
Knoten
Σ
Σ
Knoten
Knoten
Ausgänge
Knoten
Σ
Eingänge
Σ
Abbildung 4.16: Modellbildung ausgehend von einer Neuronenverbindung.
Im der Abbildung 4.16 ist ein Modelle eines Neuronenverbundes mit vielen
Eingängen angedeutet und es wird deutlich, dass der Ausgang ebenfalls zu
vielen Folgeneuronen führen kann. Im abstrahierten Modell einer VE oder eines KNN23 kann man auch die Vorstellung eines Ausgangsvektors erkennen.
Eine weitere Verallgemeinerung kann erreicht werden, wenn sich das Modell
mit Hilfe der Graphentheorie darstellen lässt, wobei die Verbindungen die
Kanten und die jeweiligen Neuronenmodelle die Knoten darstellen.
Bei einer VE können die Eingänge in einem Fall mit einzelnen unterschiedlichen Größen bzw. Eingabewerten, also Skalaren, belegt sein oder, wie häufig
bei den KNN, die Eingangsgrößen beschreiben einen Eingangsvektor, ähnlich wie in Abbildung 4.12. Die Menge der möglichen Eingänge in eine VE oder
22
23
Immerhin lassen sich Hirnbereiche simulieren.
vgl. Perzeptron im Abschnitt 6.2
4.3. ABSTRAKTE NEURONE
71
KNN definiert sich über
n
M{Eingänge} ::=
{ x1 , . . . , xm }
{ inpn = x1 , . . . , xm }
∨
∨
o
(4.25)
{ In = inp1 , . . . , inpn } ∨ . . .
wobei x1 , . . ., xm skalare Größen beschreiben, inpn einen n-ten Vektor aus
diesen skalaren Größen xm , hierbei kennzeichnet m die Länge des Vektors
inpn und In eine Menge von Vektoren inpn bildet.
Abbildung 4.16 zeigt eine Modellbildung für ein KNN, auf der Grundlage
einer realen Neuronverknüpfung. Neben den möglichen skalaren Eingangsgrößen an den Eingängen der VE oder Knoten links im Bild, erkennt man
einen resultierenden Eingangsvektor, welcher sich aus den Ausgangswerten
der linken VE oder Knoten ergibt. Eine Menge von Ausgangsvektoren findet
man immer dann, wenn in einem KNN der Ausgang aus Vorgängerneuronen auf Nachfolge-VE trifft. Ausgangsvektoren werden bei mehrschichtigen KNN (vgl. Abschnitt 5.1.2) zur Beschreibung der Funktion des Netzes
benötigt. Zum Beispiel kann eine Eingabe in ein Netz durch die Funktion y
= x beschrieben werden, d.h. die Eingaben sind identisch mit der Ausgabe.
Dann wird nach der Tabelle 4.3 der Eingabevektor In gleich dem Ausgangsvektor Yvor = y1 . . .yn und es gilt
O = {y1 . . . yn } ≡ In .
Die Eingänge in ein KNN können aus äußeren Signalen (z.B. Sensoren) bestehen oder von anderen VE bzw. KNN-Schichten kommen, man bezeichnet
diese Art häufig auch als Eingangsneuronen. Die Ausgänge von KNN reagieren häufig durch diese Einflüsse der Umwelt (z.B. Aktoren, wie Muskeln
bei lebendigen Wesen, mechanischen Einrichtungen bei Robotern oder Speicherplatz von KNN bei Klassifikatoren). Diese direkten Ausgaben kennzeichnen Ausgabeneuronen. Neuronen bzw. Schichten zwischen solchen Einund Ausgabeneuronen sind meist verdeckt, man nennt sie häufig verdeckte
Neuronen bzw. Schichten. Die Schichtenunterteilung ist der Schwerpunkt im
Abschnitt 5.1.2. Analog zum biologischen Vorbild verknüpfen sich künstliche
Neuronen auch nur gerichtet. Ein Ausgang kann viele Eingänge von verschiedenen Folgeneuronen besitzen.
Nach der Abbildung 4.16 kann man dieses Strukturmerkmal auch mit Hilfe
der Graphentheorie, [Graph96], beschreiben. Ein formaler Ansatz ergibt sich
für ein KNN
Kanten ⊆ Knoten × Knoten.
(4.26)
72
KAPITEL 4. BESCHREIBUNGEN
Nach diesem Ansatz ergibt sich ein gerichteter Graph aus den Kanten bzw.
den Verbindungen und den Neuronen bzw. VE als den Knoten. Ein gerichteter Graph ist ein Tupel aus einer Menge von Knoten und Kanten. Mit
der Beschreibung des Informationsflusses vom Eingang zum Ausgang ist die
Graphentheorie ebenfalls ein Werkzeug zur Beschreibung der KNN, welches
sich auch in ständiger Entwicklung ([Graph96]) befindet, dar. Der Ansatz der
Graphentheorie kann gute Dienste bei der programmmtechnischen Realisierung24 von KNN leisten.
Wie bereits mehrfach angesprochen, entsteht ein KNN durch die Verbindungen von Ausgängen mit Eingängen von Neuronen oder VE (vgl. Abbildungen 4.11 oder 4.16). Die Muster dieser Verbindungen bestimmen z.T., was
das KNN als System ausmacht und wie es auf Ein- und Ausgaben reagiert.
Natürlich ergeben diese so entstehenden Netzstrukturen nur Sinn, wenn sie
Daten von der Außenwelt empfangen können bzw. eine Information an diese
abgeben können. Die Wahl und die Anzahl der Verbindungen bestimmen das
Netz, denn häufig ist diese Struktur nach ihrer Implementierung25 nicht mehr
zu verändern.
Bei der internen Verarbeitung in einem Netz gibt es zwei Unterscheidungen
für die Verbindungen der VE untereinander. Ihre Festlegung kann nach ihrer
Realisierung kaum verändert werden. Die Punkte haben mit der Aufteilung
oder Zusammenführung der Information in einem KNN zu tun.
FAN−OUT
Eingänge
Ausgang
FAN−IN
Eingang
Ausgänge
Abbildung 4.17: Beispiel für FAN-IN und FAN-OUT.
Die erste Verbindungsart ist gekennzeichnet durch die Verzweigung des Ausgangs einer einzelnen VE auf die Eingänge von folgenden Neuronen bzw.
Einheiten. Die Information oder das Signal eines Neurons fächert sich auf,
dieser Ausgang divergiert auf mehrere Eingänge von Folgeneuronen. Man
24
25
siehe auch Abschnitt 9
Beim biologischen Vorbild können sich Verbindungen neu bilden.
4.3. ABSTRAKTE NEURONE
73
bezeichnet dies auch als FAN-IN (vgl. Verbindungen von S- auf A-Einheiten
beim Perzeptron in der Abbildung 6.2 auf Seite 100). In der Abbildung 4.17
bedeutet dies, dass der Eingang mehrere Ausgänge besitzt. Diese Verbindungen legen den Schwerpunkt der Betrachtung auf die Eingänge, weil eine
VE hier aus vielen Eingängen bestimmt wird.
Bei der zweiten Möglichkeit werden die Ausgänge von Einheiten direkt mit
einem Eingang einer Folgeeinheit verbunden. Hier konvertiert die Information
bzw. das Signal an einer bestimmetn Verbindung. Man sagt hierzu auch
FAN-OUT (vgl. Verbindungen zwischen A-Einheiten und R-Einheit beim
Perzeptron in der Abbildung 6.2 auf Seite 100). Nach der Abbildung 4.17
heisst dies, dass mehrere Eingänge auf einen Eingang treffen. Dies ist für die
Betrachung von Ausgängen wichtig, da dieser die VE dominiert.
Man spricht von der Divergenz und der Konvergenz von neuronalen Verbindungen bei den KNN. Welches Verfahren sinnvoll ist wird auch im Abschnitt 5.1.2 eine Rolle spielen. Die Betrachtung ist notwendig, um die Bewegung der Information durch ein KNN zu verstehen. Einzelheiten zur Verbindungsstruktur kann man in [HOFFMANN93] und in [PDP89/I] nachlesen.
Durch die Verbindungsstruktur kann man die Neuronen, ähnlich dem realen
Gehirn in verschiedene Schichten unterteilen. In dieser Struktur können dann
Parameter so geändert werden, dass das KNNein gewünschtes Verhalten
bewirkt. Der Vorgang, der diese Struktur bewirkt und die Parameter modifiziert wird, heisst Lernen. Bei den VEs, als dem aktiven Teil des systems,
wird die Kontrolle der Aktivierung erreicht. Da KNN nicht explizit arbeiten,
wird es dieses Regelwerk lernen. Diese Lernfähigkeit ist eines der wichtigsten Eigenschaften von Neuronen bzw. von KNN. Die Veränderbarkeit der
Abbildungsfunktion ist innerhalb der Neuronenmodelle und Netzwerke unterschiedlich, sie wird in den nachfolgenden Abschnitten und Kapiteln noch
weiter vertieft.
74
KAPITEL 4. BESCHREIBUNGEN
Kapitel 5
Grundlagen von KNN
5.1
5.1.1
Eigenschaften von KNN
Von der VE zum KNN
Mit den bisherigen Ausführungen aus dem Abschnitt 4.3 kann man bereits
einige Gemeinsamkeiten von künstlichen Neuronen und KNN zusammenfassen. Bestimmet Eigenschaften wie:
- die einzelnen Produkte aus Information und Wichtung werden summiert,
- die Aktivierungsfunktion ist von einem Schwellwert abhängig,
- die Einstellung der Wichtung kann zufällig sein oder wird nach einer
Lernregel modifiziert,
- jede Eingangsinformation wird gewichtet,
- das Resultat der Summierung ist das Argument einer Aktivierungfunktion,
- jede Eingangsinformation wird gewichtet und
- mit einem BIAS können auch hemmende Ereignisse übertragen werden,
sind bei vielen KNN anzuteffen. Diese Aspekte der Modellbildungsansätze
stellen eine der Grundlagen für die Behandlung von KNN dar.
75
76
KAPITEL 5. GRUNDLAGEN VON KNN
In der Abbildung 4.8 auf Seite 53 wird noch einmal dieses Prinzip der Modellentwicklung von seinem biologischen Vorbild hin zum KNN verdeutlicht.
Ausgehend von einem Gehirn, speziell des Cortex, wird eine Struktur von
verbundenen Neuronen extrahiert, die ein natürliches Netzwerk bilden. Das
reale Neuron als das aktives Element dieses Netzes wird weiter abstrahiert.
Dadurch kommt es zu einem Modell dieser Neuronen. Diese Modellneuronen sind der aktive Bestandteil des KNN als dynamisches System. Im Bild
sind die Verbindungen der VE schematisch dargestellt. Die internen Struktur eines KNN wird durch farblich unterschiedliche Umrisse der Schichten1
verdeutlicht.
KNN := { Anzahl der Neuronen bzw. VEs pro Schicht ,
Anzahl der Verbindungen ,
Anzahl der Schichten und
Grad der Verbindungen }
Eingang
Ausgang
Input
Hidden
Output
Abbildung 5.1: Wichtige Eigenschaften in einem KNN. Die Schichten sind
farblich markiert, die VEs sind als Kreis gekennzeichnet und die Verbindungen sind als Pfeile realisiert.
Ein Ziel dieser Abhandlung ist die Beschreibung der KNN als dynamische
und adaptive, d.h. lernfähige, Systeme. Die Dynamik und Adaption der Information, welches diese Systeme verarbeiten, bilden die Grundlage für die
Beschreibung. Ein KNN kann durch die folgenden Merkmale charakterisiert
werden:
1
Vgl. Abschnitt 5.1.2
5.1. EIGENSCHAFTEN VON KNN
77
1. Mehrere künstliche Neuronen oder VE2 ,
2. Verbindungen zwischen den einzelnen VE bzw. zwischen den Schichten,
wobei die einzelnen Verbindungen mit Wichtungen3 belegt sind,
3. Zusammenfassung von VE in Schichten4 ,
4. durch Aktivierungswerte (Zustandswerte)5 der VE,
5. Signalausbreitung innerhalb der VE bzw. des jeweiligen Netzes6 ,
6. Aktivierungsfunktion, welche die VE oder das konkrete KNN beschreiben,
7. Ausgangsfunktion7 , die den Zweck des KNN bestimmt,
8. die Lernregel, die das Lernverhalten8 des KNN festlegt und
9. Netzwerk-Architektur und Umgebung9 .
Mit eben angeführten Merkmalen können die meisten KNN allgemein beschrieben werden. Bei einem konkreten KNN wird die Dynamik und die
Lernfähigkeit jedoch von Fall zu Fall unterschiedlich sein. Neben der Ableitung des Systemverhaltens, bieten die Merkmale auch eine Möglichkeit die
für eine Programmierung vom KNN notwendigen Zusammenhänge definieren. Für eine Darstellung von KNN im Fall einer objektorientierten Programmentwicklung, z.B. in C++, kann man sich ein KNN als abstraktes
Objekt darstellen, das in bestimmten Beziehungen oder Relationen zu anderen Programm-Objekten (z.B. eine abgeleitete Klasse Neuron, vgl. S. 115)
steht. Auf die Programmierung von KNN wird in den nächsten Abschnitten
und Kapiteln bei der geneueren Erläuterung der Merkmale näher eingegangen und im Kapitel 9 sowie im Anhang A sind Verweise auf KNN in C++
zu finden.
Es gibt Ähnlichkeiten zwischen dem Aufbau der Elemente eines KNN, wie
die VE und Verbindungen, und der beobachteten Matrixstruktur im Kleinhirn (vgl. [SpdW01]). Erfolgt die Informationsverarbeitung in einem Hirn in
2
processing units, processing elements
weights
4
layers
5
state of activation
6
Propagation rule
7
Zur Erinnerung: Aktivierungsfunktion kann auch die Ausgangsfunktion sein.
8
learning rule
9
architecture and enviroment
3
78
KAPITEL 5. GRUNDLAGEN VON KNN
bestimmten Bereichen, z.B. die Übermittlung der Retia-Information über die
Sehkreuzung in den Cortex, so ist die Verarbeitung auch bei den KNN an
verschiedene Strukturelemente gebunden. Die wichtigsten Elemente sind, wie
breits ausgeführt, die VE. Man unterscheidet zwischen der Simulation oder
der Anwendung einzelner Neuronen, wie im Kapitel 7 beschrieben wird oder
denen von Neuronenverbünden, d.h. komplexere KNN mit mehreren VE.
Architekturen von KNN können aber auch einzelne Neuronen sein10 oder
mehrere Neuronen enthalten. Am Modell des Perzeptrons, vgl. Kapitel 6.2,
wird man bereits erkennen, das Neuronen oder VE verschiedene Aufgaben
zukommen.
Mit einem KNN sollen Erkenntnisse überprüft werden, bzw. es sollen, motiviert durch das biologische Vorbild, bestimmte Anwendungen mit diesen
Systemen realisiert werden. Einige simulierte KNN können ausgefeilte Modellneuronen, vgl. [GENESIS95], enthalten. Mit solchen Netzen sollen die
Funktionsweise von realen Hirnbereichen bzw. das Nervensystem von einfachen Lebewesen simuliert und erforscht werden. Andere KNN enthalten sehr
viele einfache Modellneuronen, z.B. die Modellneuronen aus dem Vorgängerkapitel, die aber hier einen hohen Verbindungsgrad untereinander aufweisen,
um komplexe Anwendungen, z.B. Mustererkennung oder Klassifizierung, zu
realisieren.
Neben der Aktivierung der VE, vgl. Abschnitt 4.3, ist die umfangreiche Art
der Verbindungen zwischen den VE von Bedeutung. Sie bestimmen auch
viele Strukturmerkmale von KNN.
5.1.2
Das Schichtenmodell der KNN
Die Unterteilung der Struktur von KNN nach der Art der VEs und die
Unterteilung in Schichten hat eine Analogie bei den biologischen Vorbildern.
Die Neuronen haben innerhalb der Struktur eines Netze eine Funktion, vgl.
Tabelle 3.1 auf Seite 31 und bestimmte Bereiche werden als ein Netzwerk,
ähnlich der Abbildung 2.4 auf Seite 19 zusammengefasst. Diese Erkenntnisse
kann man bei dem Entwurf und der Entwicklung der KNN hinsichtlich ihrer
Architektur berücksichtigen.
Künstliche Neuronen oder besser VEs mit gleicher Funktion werden in Schichten (engl. Layers) zusammengefasst. So können, je nach Aufgabenstellung
oder zu lösenden Problem des KNN ein- und mehrschichtige Netze entstehen. So sind die historischen Modellneuronen, die ab dem Abschnitt 6
10
Eher selten bei techn. Anwendungen.
5.1. EIGENSCHAFTEN VON KNN
79
VE
Verbindungen (Wichtungsmatrix)
Schicht 1
Schicht 2
Schicht 3
Künstliches Neuronales Netz (KNN)
Dynamisches adapatives System
Abbildung 5.2: Ein einfaches Schichtenmodell für ein KNN, Bild ist eine
Vergrößerung des Modells aus Abbildung 4.8 auf Seite 53.
erläutert werden, nach dieser Betrachtungsweise einschichtige KNN und ein
klassisches Backpropagation-Netzwerk, vgl. Kapitel 7, ist ein mehrschichtiges
Netz, da es mindestens drei Schichten besitzt, die nach ihrer Lage in diesem
Netz bezeichnet werden.
Die Eingaben in ein KNN oder in eine VE erfolgt in Allgemeinen über die
Bewertung der jeweiligen Information. Diese Bewertung, besser Wichtung
der Größen wird nach Gleichung 4.22 addiert und bildet ein Argument für
die Aktivierungsfunktion. Die Wichtung Ω wird mit der konkreten Eingangsgröße X multipliziert
XΩ = {ω0 x0 , ω1 x1 , . . . , ωn xn }.
Erfolgt keine Eingabe in ein VE wird das Muster der Verbindungen maßgeblich durch den Wichtungsvektor
Ω = {ω0 , ω1 , . . . , ωn }
bestimmt. Eine positive Wichtung kennzeichnet die Reizung eines Neurons
oder die Aktivität einer Einheit. Eine negative Wichtung hingegen kann die
Hemmung oder Inaktivität einer Einheit repräsentieren. In einem KNN treten zwischen den VE Verbindungen auf. Fasst man die VEs zu Schichten
zusammen, so besitzen diese Strukturen, welche durch Matrizen beschreibar
sind. In den Abbildungen 5.2 und 5.1 auf Seite 76 erkennt man solch eine
Struktur in den Verbindungen. Geht man von der Annahme aus, dass keine
80
KAPITEL 5. GRUNDLAGEN VON KNN
Eingabe in ein KNN erfolgt, so sind die Wichtungen ein Maß für die Verbindungen. Die Verbindungen zwischenden VE, z.B. nach Abbildung 5.3,
ergeben somit eine Matrix.


ω0 1 , . . . , ω n 1


..
Ωnm =  . . .
(5.1)
. ... .
ω0 m , . . . , ω n m
In der Matrix Ωn m bezeichnet der Index n die Anzahl der Ausgänge und
der Index m die entsprechenden Eingänge von VE. Das Muster, dass der
(auch mehrdimensionale) Vektor Ω darstellt, führt zu den Regeln die in einem KNN wirken, es ist abhängig von den gewählten Verbindungen. Es
gibt KNN-Modelle bei denen Verbindungen zur Laufzeit des Modells gebildet werden, besser selektiert durch die jeweilige Wichtung11 . Die Wichtung
kennzeichnet die Verbindung, sie ist ein veränderbarer Parameter.
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
lE
lE
lE
lE
lE
lE
lE
lE
lE
lE
lE
lkfebalkjifedcbalkfea "#$%
kjifedcbakjiedcbE
kjifedcbakjiedcbE
kjifedcbakjiedcbE
kjifedcbakjiedcbE
kjifedcbakjiedcbE
kjifedcbakjiedcbE
kjifedcbakjiedcbE
kjifedcbakjiedcbE
kjifedcbakjiedcbE
kjifedcbakjiedcbE
kjifedcbakjiedcbE
lkfealkjifedcaEhE
lkfealE
lkfealE
lkfealE
lkfealE
lkfealE
lkfealE
lkfealE
lkfealE
b
a
a
a
a
a
a
a
a
fbalkfealE
fbalkfealE
f
f
f
f
f
f
f
f
lfbaE
lg E
lg E
E
l
E
l
E
l
E
l
E
l
E
l
E
l
E
l
b
b
b
b
b
b
b
b
ghE
ghE
g
g
g
g
g
g
g
g
g
hkjifedcba E
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
cg balE
c
c
c
c
c
c
c
c
c
ihE
i
i
i
i
i
i
i
i
i
d
d
d
d
d
d
d
d
d
d
j
j
j
j
j
j
j
j
j
j
e
e
e
e
e
e
e
e
e
e
k
k
k
k
k
k
k
k
k
k
a
a
a
a
a
a
a
a
a
f
f
f
f
f
f
f
f
f
f
blkjiifedccbaE
b
b
b
b
b
b
b
b
b
ggg lE
ggg lE
ggg lE
ggg lE
ggg lE
ggg lE
ggg lE
ggg lE
ggg lkjifedcbalkjifedcbalkjiifedccbablkjfeda hghhggg &'
hE
hE
hE
hE
hE
hE
hE
hE
hE
jiifedccbajE
jiifedccbajE
jiifedccbajE
jiifedccbajE
jiifedccbajE
jiifedccbajE
jiifedccbajE
jiifedccbajE
kjiifedccbajE
k
k
k
k
k
k
k
k
lE
ghE
hfeba E
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
ig cjE
d
d
d
d
d
d
d
d
d
j
j
j
j
j
j
j
j
j
e
e
e
e
e
e
e
e
e
k
k
k
k
k
k
k
k
k
a
a
a
a
a
a
a
a
a
f
f
f
f
f
f
f
f
f
lkjjE
l
l
l
l
l
l
l
l
l
bTS lkjfedalkkE
b
b
b
b
b
b
b
b
b
ghE
g
hjifeedcbaaHGFDqlfb E
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
c
c
c
c
c
c
c
c
c
c
iNMEfeddcbalkkE
i
i
i
i
i
i
i
i
i
i
d
d
d
d
d
d
d
d
d
d
jidclkfeba hg
lkjifeedcbaaHGFD€E
lkjifeedcbaaHGFD€E
lkjifeedcbaaHGFD€E
lkjifeedcbaaHGFD€E
lkjifeedcbaaHGFD€E
lkjifeedcbaaHGFD€E
lkjifeedcbaaHGFD€E
lkjifeedcbaaHGFD€E
lkjifeedcbaaHGFD€E
gTShE
gTShE
gTShE
gTShE
gTShE
gTShE
gTShE
gTShE
gTShE
gTShE
hE
hE
hE
hE
hE
hE
hE
hE
hE
hE
g`_TShE
g`_TShE
g`_TShE
g`_TShE
g`_TShE
g`_TShE
g`_TShE
g`_TShE
g`_TShE
g`_TShE
g`_TShE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
hE
NNMME
|{rlkjifedcPOJIHGFD€E
|{rqllkjiffedcbPOJIHGFD€E
|{rqllkjiffedcbPOJIHGFD€E
|{rqllkjiffedcbPOJIHGFD€E
|{rqllkjiffedcbPOJIHGFD€E
|{rqllkjiffedcbPOJIHGFD€E
|{rqllkjiffedcbPOJIHGFD€E
|{rqllkjiffedcbPOJIHGFD€E
|{rqllkjiffedcbPOJIHGFD€E
|{rqllkjiffedcbPOJIHGFD€E
|{rqllkjiffedcbPOJIHGFD€E
€E
gg`_TSg`_TSRQ NE
g|{lkjfedPOJIHG g`_TSg`_TSRQ NE
g|{lkjfedPOJIHG g`_TSg`_TSRQ NE
g|{lkjfedPOJIHG g`_TSg`_TSRQ NE
g|{lkjfedPOJIHG g`_TSg`_TSRQ NE
g|{lkjfedPOJIHG g`_TSg`_TSRQ NE
g|{lkjfedPOJIHG g`_TSg`_TSRQ NE
g|{lkjfedPOJIHG g`_TSg`_TSRQ NE
g|{lkjfedPOJIHG g`_TSg`_TSRQ NE
g|{lkjfedPOJIHG g`_TSg`_TSRQ NE
g|{lkjfedPOJIHG g`_TSg`_TSRQ NE
qqlkjiifedccPOJIHG€E
qqlkjiifedccPOJIHG€E
qqlkjiifedccPOJIHG€E
qqlkjiifedccPOJIHG€E
qqlkjiifedccPOJIHG€E
qqlkjiifedccPOJIHG€E
qqlkjiifedccPOJIHG€E
qqlkjiifedccPOJIHG€E
qqlkjiifedccPOJIHG€E
MMM jiedcaHGFD€E
Mq MM kE
Mq MM kE
Mq MM kE
Mq MM kE
Mq MM kE
Mq MM kE
Mq MM kE
Mq MM kE
Mq MM kE
Mq MM kjiedcaHGFD€|{rqllkjiffedcbPOJIHGFD€|{rrqqlkjiifedccPOJIHG€|{qlkjfedPOJIHG hTShg`_TShhgg`_TSg`_TSRQ NMNNMMM
rhErqqlkjiifedccPOJIHG€E
r
r
r
r
r
r
r
r
r
NME|{rrqqlkjiifedccPOJIHG€E










{
{
{
{
{
{
{
{
{
{
|
|
|
|
|
|
|
|
|
|
hM |{rqlkjjifeddcPOJIHG€E
E
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
r
r
r
r
r
r
r
r
r
E
E
N
E
N
E
N
E
N
E
N
E
N
E
N
E
N
E
N
E
N
E
N
hE
hE
hE
hE
hE
hE
hE
hE
hE
hE
rjidc€E
rjidc€E
rjidc€E
rjidc€E
rjidc€E
rjidc€E
rjidc€E
rjidc€E
rjidc€E
rjidc€E
rjidc€|qlfPJ{keOIHG hg`_TSRQ N
NE
NE
NE
NE
NE
NE
NE
NE
NE
NE
NE
g``_TSRQ_TSRQ`E
g``_TSRQ_TSRQ`E
g``_TSRQ_TSRQ`E
g``_TSRQ_TSRQ`E
g``_TSRQ_TSRQ`E
g``_TSRQ_TSRQ`E
g``_TSRQ_TSRQ`E
g``_TSRQ_TSRQ`E
g``_TSRQ_TSRQ`E
g``_TSRQ_TSRQ`E
g``_TSRQ_TSRQ`E
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
hE
NE
||{rqlkjifedcPPOJJIHG{keOIHG€E
||{rqlkjifedcPPOJJIHG{keOIHG€E
||{rqlkjifedcPPOJJIHG{keOIHG€E
||{rqlkjifedcPPOJJIHG{keOIHG€E
||{rqlkjifedcPPOJJIHG{keOIHG€E
||{rqlkjifedcPPOJJIHG{keOIHG€E
||{rqlkjifedcPPOJJIHG{keOIHG€E
||{rqlkjifedcPPOJJIHG{keOIHG€E
||{rqlkjifedcPPOJJIHG{keOIHG€E
||{rqlkjifedcPPOJJIHG{keOIHG€E
||{rqlkjifedcPPOJJIHG{keOIHG€E
MUNMME€E
MUNE
MUNE
MUNE
MUNE
MUNE
MUNE
MUNE
MUNE
MUNE
MUNE
MUNE
NE
_jdOHG TRhgSQhhE
_TRhgSQhhE
_TRhgSQhhE
_TRhgSQhhE
_TRhgSQhhE
_TRhgSQhhE
_TRhgSQhhE
_TRhgSQhhE
_TRhgSQhhE
_TRhgSQhhE
_TRhgSQhhE
|{lkfePOJIHrqljifdcG€E
|{lkfePOJIHrqljifdcG€E
|{lkfePOJIHrqljifdcG€E
|{lkfePOJIHrqljifdcG€E
|{lkfePOJIHrqljifdcG€E
|{lkfePOJIHrqljifdcG€E
|{lkfePOJIHrqljifdcG€E
|{lkfePOJIHrqljifdcG€E
|{lkfePOJIHrqljifdcG€E
|{lkfePOJIHrqljifdcG€E
|{lkfePOJIHrqljifdcG€E
g€|{lkfePK g`_TSRQg`_TSRQ NE
gg`_TSRQg`_TSRQ NE
gg`_TSRQg`_TSRQ NE
gg`_TSRQg`_TSRQ NE
gg`_TSRQg`_TSRQ NE
gg`_TSRQg`_TSRQ NE
gg`_TSRQg`_TSRQ NE
gg`_TSRQg`_TSRQ NE
gg`_TSRQg`_TSRQ NE
gg`_TSRQg`_TSRQ NE
gg`_TSRQg`_TSRQ NE
qqlkjiifedccPOLKJIHG€|{qlkjfedPOKHG hE
qqlkjiifedccPOLKJIHG€|{qlkjfedPOKHG hE
qqlkjiifedccPOLKJIHG€|{qlkjfedPOKHG hE
qqlkjiifedccPOLKJIHG€|{qlkjfedPOKHG hE
qqlkjiifedccPOLKJIHG€|{qlkjfedPOKHG hE
qqlkjiifedccPOLKJIHG€|{qlkjfedPOKHG hE
qqlkjiifedccPOLKJIHG€|{qlkjfedPOKHG hE
qqlkjiifedccPOLKJIHG€|{qlkjfedPOKHG hE
qqlkjiifedccPOLKJIHG€|{qlkjfedPOKHG hE
qqlkjiifedccPOLKJIHG€|{qlkjfedPOKHG hE
Mq MUM €E
MMUM €E
MMUM €E
MMUM €E
MMUM €E
MMUM €E
MMUM €E
MMUM €E
MMUM €E
MMUM €E
MMUM €|{rkjiedcPOJIHG€|{lkfePOJIHrqljifdcG€|{rrqqlkjiifedccPOLKJIHG€|{qlkjfedPOKHG h`_TSRQ`_TRhgSQhhgg`_TSRQg`_TSRQ NMNMVUNNMMUM
r
r
r
r
r
r
r
r
r
r
VUNME










{
{
{
{
{
{
{
{
{
{
|ZY {rrqqlkjiifedccPOLKJIHGˆE
|
|
|
|
|
|
|
|
|
|
VNE
E
V
E
V
E
V
E
V
E
V
E
V
E
V
E
V
E
V
E
V
E
V
r
r
r
r
r
r
r
r
r
r
N
N
N
N
N
N
N
N
N
N
N
VE
VE
VE
VE
VE
VE
VE
VE
VE
VE
VE
hE
hE
hE
hE
hE
hE
hE
hE
hE
hE
hE
NZE
NZE
NZE
NZE
NZE
NZE
NZE
NZE
NZE
NZE
NZE
‡zyvurji\[L€E
‡zyvurji\[L€E
‡zyvurji\[L€E
‡zyvurji\[L€E
‡zyvurji\[L€E
‡zyvurji\[L€E
‡zyvurji\[L€E
‡zyvurji\[L€E
‡zyvurji\[L€E
‡zyvurji\[L€E
‡zyvurji\[L€E
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆ‡zyvurji\[L€|{poePOˆ‡€|{zyvurqpojife\[POˆ‡yvurqif\[ h`_TRhg`_TSSRQQhg VNZZYYVUNMVUNM
ZYYVUNM†E
ZYYVUNM†E
ZYYVUNM†E
ZYYVUNM†E
ZYYVUNM†E
ZYYVUNM†E
ZYYVUNM†E
ZYYVUNM†E
ZYYVUNM†E
ZYYVUNM†E
ZYYVUNM†E
YVUNM†E
ZE
_TRhg`_TSSRQQhg`E
_TRhg`_TSSRQQhg`E
_TRhg`_TSSRQQhg`E
_TRhg`_TSSRQQhg`E
_TRhg`_TSSRQQhg`E
_TRhg`_TSSRQQhg`E
_TRhg`_TSSRQQhg`E
_TRhg`_TSSRQQhg`E
_TRhg`_TSSRQQhg`E
_TRhg`_TSSRQQhg`E
_TRhg`_TSSRQQhg`E
|{poePOˆ‡€|{zyvurqpojife\[POˆ‡€E
|{poePOˆ‡€|{zyvurqpojife\[POˆ‡€E
|{poePOˆ‡€|{zyvurqpojife\[POˆ‡€E
|{poePOˆ‡€|{zyvurqpojife\[POˆ‡€E
|{poePOˆ‡€|{zyvurqpojife\[POˆ‡€E
|{poePOˆ‡€|{zyvurqpojife\[POˆ‡€E
|{poePOˆ‡€|{zyvurqpojife\[POˆ‡€E
|{poePOˆ‡€|{zyvurqpojife\[POˆ‡€E
|{poePOˆ‡€|{zyvurqpojife\[POˆ‡€E
|{poePOˆ‡€|{zyvurqpojife\[POˆ‡€E
|{poePOˆ‡€|{zyvurqpojife\[POˆ‡€E
`E
`E
`E
`E
`E
zj
…ZYVUNMZVUNME
…ZYVUNMZE
…ZYVUNMZE
…ZYVUNMZE
…ZYVUNMZE
…ZYVUNMZE
…ZYVUNMZE
…ZYVUNMZE
…ZYVUNMZE
…ZYVUNMZE
…ZYVUNMZE
…ZYVUNMZE
_tspojO TSRQhE
_tspojO TSRQhE
_tspojO TSRQhE
_tspojO TSRQhE
_tspojO TSRQhE
_TSRQhE
_TSRQhE
_TSRQhE
_TSRQhE
_TSRQhE
_TSRQhE
|{zyvutsrqpojiffe\[POˆE
…ZY |{zyvutsrqpojiffe\[POˆE
…ZY |{zyvutsrqpojiffe\[POˆE
…ZY |{zyvutsrqpojiffe\[POˆE
…ZY |{zyvutsrqpojiffe\[POˆE
…ZY |{zyvutsrqpojiffe\[POˆE
…ZY |{zyvutsrqpojiffe\[POˆE
…ZY |{zyvutsrqpojiffe\[POˆE
…ZY |{zyvutsrqpojiffe\[POˆE
…ZY |{zyvutsrqpojiffe\[POˆE
…ZY |{zyvutsrqpojiffe\[POˆE
qU ji\[€|{tsqpojfePO `E
qU ji\[€|{tsqpojfePO `E
qU ji\[€|{tsqpojfePO `E
qU ji\[€|{tsqpojfePO `E
qU ji\[€|{tsqpojfePO `E
qU ji\[€|{tsqpojfePO `E
Vg`_TSRQ UNM†E
Vg`_TSRQ UNM†E
Vg`_TSRQ UNM†E
Vg`_TSRQ UNM†E
Vg`_TSRQ UNM†E
Vg`_TSRQ UNM†E
Vg`_TSRQ UNM†E
h€|{qfeP gSQhE
hVM gSQhE
hVM gSQhE
hVM gSQhE
hVM gSQhE
hVM gSQhE
hVM gSQhE
r
r
r
r
r
r
‡
‡
‡
‡
‡
‡
y
y
y
y
y
y
ˆVUNM ‡zytsrqji\[ˆE
ˆ
ˆ
ˆ
ˆ
ˆ
ˆ
z
z
z
z
z
z
…
…
…
…
…
…
…
s
s
s
s
s
s
†…YVUNM††……ZYVUNME
†g`_TSRQ …YVUNM†E
†g`_TSRQ …YVUNM†E
†g`_TSRQ …YVUNM†E
†
†
†
†
†
†
†
t
t
t
t
t
t
Y
Y
Y
Y
Y
Y
Y
o…VUNMY ife\[POˆ‡zytsrqji\[ˆE
oSQ †E
o
o
o
o
o
o
TZ ‡€|{zytsrqjife\[Po RhgSQhE
R
T
R
T
R
T
R
T
R
T
R
T
R
T
pTSRQ †E
p
p
p
p
p
p
p
O
O
O
O
O
O
O
_‡€|{zytsrqjife\[PpoO TRhgSQhE
_
_
_
_
_
_
_
_
…VUNMZY |{zyrqpoife\[POˆ‡zytsrqji\[ˆE
_TSRQ †E








{…VUNMZY zyrqpoife\[POˆ‡zytsrqji\[ˆE
{
{
{
{
{
{
{
{
e
e
e
e
e
e
e
P
P
P
P
P
P
P
`‡€|{zytsrqjife\[P{poePO _TRhgSQhE
`
`
`
`
`
`
`
`
`
€ZY |{zyrqpoife\[POˆ‡zytsrqji\[ˆE
۠E
€
€
€
€
€
€
€
€
€
|
|
|
|
|
|
|
|
|
f
f
f
f
f
f
f
Ug`_TSRQ`_TSRQ NM†…YVUNM†E
U
U
U
U
U
U
U
U
U
U
gU ‡€|{zytsrqjife\[P€|{pofeXWPO `_TRhgSQhE
g
g
g
g
g
g
g
g
g
g
q
q
q
q
q
q
q
q
M
M
M
M
M
M
M
M
M
M
V
V
V
V
V
V
V
V
V
V
V
r
r
r
r
r
r
r
r
N
N
N
N
N
N
N
N
N
N
[
[
[
[
[
[
[
‡E
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
y
y
y
y
y
y
y
y
i
i
i
i
i
i
i
\
\
\
\
\
\
\
z
z
z
z
z
z
z
z
……ZYVUNM…ZYVUNM €|{tspofePOˆ‡€|{zyrqpoife\[POˆ‡zytsrqji\[ˆ‡€|{zyttssrqpojjife\[POˆ‡€|{zyrqpojife\[XWPO `_TSRQhg`_TRhgSQhg`_TSRQhg`_TSRQ †…ZYZVUNM†…YVUNM††……ZYVUNM…ZYVUNM
‡VUNM zytsrji\[ˆE
‡zytsrji\[ˆE
‡zytsrji\[ˆE
‡zytsrji\[ˆE
‡zytsrji\[ˆE
‡zytsrji\[ˆE
‡zytsrji\[ˆE
ˆVUNM E
ˆVUNM E
ˆVUNM E
ˆVUNM E
ˆVUNM E
ˆVUNM E
…hg †E
…N†E
…N†E
…N†E
…N†E
…N†E
…N†E
†hg E
†hg E
†hg E
†hg E
†hg E
†hg E
†hg E
g`_TSRQ`E
g``_TSRQ`E
g``__TSRQ`E
g``__TTSRRQ`E
g``__TTSSRRQQ`E
g``__TTSSRRQQ`E
g``__TTSSRRQQ`E
g``__TTSSRRQQ`E
g``__TTSSRRQQ`E
g``__TTSSRRQQ`E
g``__TTSSRRQQ`E
h|{pofeXWPOˆ‡zytsrqjif\[XWq E
h|{pofeXWPOˆ‡zytsrqjif\[XWq E
h|{pofeXWPOˆ‡zytsrqjif\[XWq E
h|{pofeXWPOˆ‡zytsrqjif\[XWq E
h|{pofeXWPOˆ‡zytsrqjif\[XWq E
h|{pofeXWPOˆ‡zytsrqjif\[XWq E
h|{pofeXWPOˆ‡zytsrqjif\[XWq E
h|{pofeXWPOˆ‡zytsrqjif\[XWq E
h|{pofeXWPOˆ‡zytsrqjif\[XWq E
h|{pofeXWPOˆ‡zytsrqjif\[XWq E
h|{pofeXWPOˆ‡zytsrqjif\[XWq E
‡YVUNM~} €|{zytsrqpojie\[PO€E
‡€€||{zytsrqpojife\[XWPO€E
‡€€||{{zytsrqpojifee\[XWPPO€E
‡€€||{{zytsrqppojifee\[XWPPOO€E
‡†…Y~} €€||{{zytsrqppoojifee\[XWPPOO€E
‡†…Y~} €€||{{zytsrqppoojifee\[XWPPOO€E
‡†…Y~} €€||{{zytsrqppoojifee\[XWPPOO€E
‡†…Y~} €€||{{zytsrqppoojifee\[XWPPOO€E
‡†…Y~} €€||{{zytsrqppoojifee\[XWPPOO€E
‡†…Y~} €€||{{zytsrqppoojifee\[XWPPOO€E
‡†…Y~} €€||{{zytsrqppoojifee\[XWPPOO€E
ˆ†…ZE
E
ˆ†…YVUNM~} E
ˆ†…YVUNM~} E
ˆ†…YVUNM~} E
…ˆ‡zyrji\[ _TRhgSQhg ZYVUNMZE
…ˆ‡zyrji\[ _TRhgSQhg ZYVUNMZE
…ˆ‡zyrji\[ _TRhgSQhg ZYVUNMZE
…ˆ‡zyrji\[ _TRSQhg ZZYYVUNMZE
…ˆ‡zyrji\[ _TRSQhg ZZYYVUNMZE
…ˆ‡zyrji\[ _TRSQhg ZZYYVUNMZE
…ˆ‡zyrji\[ _TRSQhg ZZYYVUNMZE
…ˆ‡zyrji\[ _TRSQhg ZZYYVUNMZE
…ˆ‡zyrji\[ _TRSQhg ZZYYVUNMZE
…ˆ‡zyrji\[ _TRSQhg ZZYYVUNMZE
† …ZYVNME
E
†
E
†
E
†
E
†
Y
Z
†…YVUNM~~E
}}nm}nm €|{tspoePO€|{pofeXWPOˆ‡zytsrqjif\[XWˆˆ‡‡€|{zzyytsrrqqpojii\\[[XW„ƒ€|{poXWtsj `_TSRQ`_TRhgSQhhgg`_TSRQ`_TRSQ †ZY†…ZYVUNM~~}}nm}nm
gg`_TSRQg`_TRSQ ZE
‡‡€|{zzyytsrrqpojii\\[[XW‡„ƒ€|{rqpo[XWtsj _TRSQhhE
ˆˆE
}nm~E
}nm~E
}nm~E
}nm~E
}nm~E
}nm~E
}nm~E
}nm~E
}nm~E
}nm~E
}nm~E
g`_TSRQhE
g`_TSRQhE
g`_TSRQhE
g`_TSRQhE
g`_TSRQhE
g`_TSRQhE
g`_TSRQhE
g`_TSRQhE
g`_TSRQhE
g`_TSRQhE
~E
~g`_TSRQ E
~g`_TSRQ E
~g`_TSRQ E
~g`_TSRQ E
~g`_TSRQ E
~g`_TSRQ E
~g`_TSRQ E
~g`_TSRQ E
~g`_TSRQ E
~g`_TSRQ E
h„ƒ€|{qXW E
h„ƒ€|{qXW E
h„ƒ€|{qXW E
h„ƒ€|{qXW E
h„ƒ€|{qXW E
h„ƒ€|{qXW E
h„ƒ€|{qXW E
h„ƒ€|{qXW E
h„ƒ€|{qXW E
h„ƒ€|{qXW E
‡€|{zytsrqpoi\[XWˆE
‡€|{zytsrqpoi\[XWˆE
‡€|{zytsrqpoi\[XWˆE
‡€|{zytsrqpoi\[XWˆE
‡€|{zytsrqpoi\[XWˆE
‡€|{zytsrqpoi\[XWˆE
‡€|{zytsrqpoi\[XWˆE
‡€|{zytsrqpoi\[XWˆE
‡€|{zytsrqpoi\[XWˆE
‡€|{zytsrqpoi\[XWˆE
ˆ} E
ˆ} E
ˆ} E
ˆ} E
ˆ} E
ˆ} E
ˆ} E
ˆ} E
ˆ} E
ˆ} E
nm~E
nm~E
nm~E
nm~E
nm~E
nm~E
nm~E
nm~E
nm~E
T‡zytsrji\[ RSQhE
T‡zytsrji\[ RSQhE
T‡zytsrji\[ RSQhE
T‡zytsrji\[ RSQhE
T‡zytsrji\[ RSQhE
T‡zytsrji\[ RSQhE
T‡zytsrji\[ RSQhE
pTSRQ nm oji\[XWtsjˆE
pTSRQ nm oji\[XWtsjˆE
pTSRQ nm oji\[XWtsjˆE
pTSRQ nm oji\[XWtsjˆE
pTSRQ nm oji\[XWtsjˆE
pTSRQ nm oji\[XWtsjˆE
pTSRQ nm oji\[XWtsjˆE
_‡zytsrji\[ TRSQhE
_
_
_
_
_
_
_
_TSRQ nm |{zytsrqpoji\[XWtsjˆE







{
{
{
{
{
{
{
`‡{zytsrji\[ _TRSQhE
`
`
`
`
`
`
`
`
€
€
€
€
€
€
€
€
|
|
|
|
|
|
|
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
„ƒ€|{zytsrqpoji\[XWtsjˆE
„nm ƒ€|{zytsrqpoji\[XWtsjˆE
„
„
„
„
„
„
„
„
}nmnm~E
}_TSRQ` nmnm~E
}
}
}
}
}
}
}
}
}
g} ‡{zytsrji\[„ƒ€|XW `_TRSQhE
g
g
g
g
g
g
g
g
g
q
q
q
q
q
q
q
E
h
r
r
r
r
r
r
r
‡nm~E
‡
‡
‡
‡
‡
‡
‡
‡
‡
y
y
y
y
y
y
y
y
i
\
E
ˆ
ˆ‡zytsrqji\[„ƒ€|{XW hg`_TSRQ ~nm
z
z
z
z
z
z
z
z
j
m
m
s
m
s
m
s
m
s
m
s
m
s
m
s
m
s
n
n
t
n
t
n
t
n
t
n
t
n
t
n
t
n
t
nm~E
}}nm} ˆE
}nm~E
g`_TSRQg``_TSRQg ~E
hE
‡„ƒ€|{{zytsrqji\[XWˆE
}nm}~E
}nm}~E
}nm}~E
}nm}~E
}nm}~E
}nm}~E
}nm}~E
}nm}~E
}nm}~E
}nm}~E
g`_TSRQg`_TRhE
g``_TSRQg`_TRhE
g``_TSRQg`_TRhE
g``_TSRQg`_TRhE
g``_TSRQg`_TRhE
g``_TSRQg`_TRhE
g``_TSRQg`_TRhE
g``_TSRQg`_TRhE
g``_TSRQg`_TRhE
g``_TSRQg`_TRhE
hE
‡„ƒ€|{zytsrqji\[W‡„ƒ€|{rq[XWˆE
‡„„ƒƒ€€||{zytsrqji\[XWW‡„ƒ€|{rq[XWˆE
‡„„ƒƒ€€||{zytsrqji\[XWW‡„ƒ€|{rq[XWˆE
‡„„ƒƒ€€||{zytsrqji\[XWW‡„ƒ€|{rq[XWˆE
‡„„ƒƒ€€||{zytsrqji\[XWW‡„ƒ€|{rq[XWˆE
‡„„ƒƒ€€||{zytsrqji\[XWW‡„ƒ€|{rq[XWˆE
‡„„ƒƒ€€||{zytsrqji\[XWW‡„ƒ€|{rq[XWˆE
‡„„ƒƒ€€||{zytsrqji\[XWW‡„ƒ€|{rq[XWˆE
‡„„ƒƒ€€||{zytsrqji\[XWW‡„ƒ€|{rq[XWˆE
‡„„ƒƒ€€||{zytsrqji\[XWW‡„ƒ€|{rq[XWˆE
‡„„ƒƒ€€||{zytsrqji\[XWW‡„ƒ€|{rq[XWˆE
nm~E
}nm}nm ˆE
}nm}nm ˆE
}nm}nm {ˆE
}nm}nm {ˆE
}nm}nm {ˆE
}nm}nm {ˆE
}nm}nm {ˆE
}nm}nm {ˆE
}nm}nm {ˆE
}nm}nm {ˆE
}`_TSRQ nm}nm ˆ‡{zytsrqji\[ˆ‡„„ƒƒ€€||{zytsrqji\[XWWˆ‡„ƒ€|{zyrqi\[XWˆ‡zytsrqji\[X„ƒ€|{tsjXW hg_TSRQhg``_TSRQhg`_TRhgSQ`_TSRQ ~}nm~}nm~~}}nm}nm
gSQg`_TSRQ ~E
gSQg`_TSRQ ~E
gSQg`_TSRQ ~E
gSQg`_TSRQ ~E
gSQg`_TSRQ ~E
gSQg`_TSRQ ~E
gSQg`_TSRQ ~E
gSQg`_TSRQ ~E
gSQg`_TSRQ ~E
gSQg`_TSRQ nm~E
~E
hE
r}nm qji\[X„ƒ€|{tsrqjXW _TSRQhE
‡~Ezytsrqji\[X‡„ƒ€|{tsrqjXW hE
‡hE~Ezytsrqji\[X‡„ƒ€|{tsrqjXW _hE
‡hE~Ezytsrqji\[X‡„ƒ€|{tsrqjXW _hE
‡hE~Ezytsrqji\[X‡„ƒ€|{tsrqjXW _hE
‡hE~Ezytsrqji\[X‡„ƒ€|{tsrqjXW _hE
‡hE~Ezytsrqji\[X‡„ƒ€|{tsrqjXW _hE
‡hE~Ezytsrqji\[X‡„ƒ€|{tsrqjXW _hE
‡hE~Ezytsrqji\[X‡„ƒ€|{tsrqjXW _hE
‡hE~Ezytsrqji\[X‡„ƒ€|{tsrqjXW _TSRQhE
‡hE~E
y
z
m
s
n
t
Q
S
R
T
_
`
}~E
}
g
~hE
E
E
~
E
~
E
~
E
~
E
~
E
~
E
~
E
~
E
~
E
~
h‡„ƒ€|{zyttssrqjjiXW‚€|{xq^w] E
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
y} i\‡zytsrqji\[XˆE
y
y
y
y
y
y
y
y
y
y
i
i
i
i
i
i
i
i
i
i
\
\
\
\
\
\
\
\
\
\
ˆ~E
E
E
ˆ
E
ˆ
E
ˆ
E
ˆ
E
ˆ
E
ˆ
E
ˆ
E
ˆ
E
ˆ
E
ˆ
znm
~E
z
z
z
z
z
z
z
z
z
z
g`__E
~E
‡zytsji‡‚€|{{zyxxwrq^^]w]‡€| hE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆ‡zytsrqji‚€|{x^w] hg`_ ~nm
zytsji‡‚€|{{zyxxwrq^^]w]ˆE
zytsji‡‚€|{{zyxxwrq^^]w]ˆE
zytsji‡‚€|{{zyxxwrq^^]w]ˆE
zytsji‡‚€|{{zyxxwrq^^]w]ˆE
zytsji‡‚€|{{zyxxwrq^^]w]ˆE
zytsji‡‚€|{{zyxxwrq^^]w]ˆE
zytsji‡‚€|{{zyxxwrq^^]w]ˆE
zytsji‡‚€|{{zyxxwrq^^]w]ˆE
zytsji‡‚€|{{zyxxwrq^^]w]ˆE
nm}~E
nm}~E
nm}~E
nm}~E
nm}~E
nm}~E
nm}~E
nm}~E
nm}~E
nm}~E
nm}~E
`__E
`__E
`__E
`__E
`__E
`__E
`__E
`__E
`__E
`__E
‡{zyxwr^]ˆE
``E
``E
``E
``E
``E
``E
``E
``E
``E
``E
``E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
~E
‡€€||{zyxw^]ˆE
‡€€||{zyxw^]ˆE
‡€€||{zyxw^]ˆE
‡€€||{zyxw^]ˆE
‡€€||{zyxw^]ˆE
‡€€||{zyxw^]ˆE
‡€€||{zyxw^]ˆE
‡€€||{zyxw^]ˆE
‡€€||{zyxw^]ˆE
‡€€||{zyxw^]ˆE
ˆE
_xˆzw ~E
_xˆzw ~E
_xˆzw ~E
_xˆzw ~E
_xˆzw ~E
_xˆzw ~E
_xˆzw ~E
_xˆzw ~E
_xˆzw ~E
_xˆzw ~E
_xˆzw ~E
€|{zyxw^]ˆE
}}} ˆE
}€|{ }} ˆE
}€|{ }} ˆE
}€|{ }} ˆE
}€|{ }} ˆE
}€|{ }} ˆE
}€|{ }} ˆE
}€|{ }} ˆE
}€|{ }} ˆE
}€|{ }} ˆE
}€|{ }} ˆE
}€|{ }} ˆ‡{zyxwrq^]ˆ‡€€||{zyxw^]ˆ‡‡€|{zyyxw€|{xˆzw _``_ ~}~}~~}}}
‡~E‡E
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
y
y
y
y
y
y
y
y
y
y
z
z
z
z
z
z
z
z
z
z
w
w
w
w
w
w
w
w
w
w
x
x
x
x
x
x
x
x
x
x










{
{
{
{
{
{
{
{
{
{
€|{zyyxwˆE
€
€
€
€
€
€
€
€
€
€
|
|
|
|
|
|
|
|
|
|
~E
E
~
E
~
E
~
E
~
E
~
E
~
E
~
E
~
E
~
E
~
E
~
E
‡
E
‡
E
‡
E
‡
E
‡
E
‡
E
‡
E
‡
E
‡
E
‡
y
y
y
y
y
y
y
y
y
y
‡zy{xˆ‡€|{zyxww‡€| ~E
‡zy{xˆ‡€|{zyxww‡€| ~E
‡zy{xˆ‡€|{zyxww‡€| ~E
‡zy{xˆ‡€|{zyxww‡€| ~E
‡zy{xˆ‡€|{zyxww‡€| ~E
‡zy{xˆ‡€|{zyxww‡€| ~E
‡zy{xˆ‡€|{zyxww‡€| ~E
‡zy{xˆ‡€|{zyxww‡€| ~E
‡zy{xˆ‡€|{zyxww‡€| ~E
‡zy{xˆ‡€|{zyxww‡€| ~E
‡zy{xˆ‡€|{zyxww‡€| ~E
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆ‡zy€|{xw ~
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
~E
~E
~E
~E
~E
~E
~E
~E
~E
~E
~E
~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
ˆ€E
ˆ€E
ˆ€E
ˆ€E
ˆ€E
ˆ€E
ˆ€E
ˆ€E
ˆ€E
ˆ€E
ˆ€E
zyxw€E
zyxw€E
zyxw€E
zyxw€E
zyxw€E
zyxw€E
zyxw€E
zyxw€E
zyxw€E
zyxw€E
zyxw€E
}} E
}} E
}xw } E
}xw } E
}xw } E
}xw } E
}xw } E
}xw } E
}xw } E
}xw } E
}xw } E
}xw } {xˆ‡zywˆ‡€€|zyxw€zyxw€xw ()!~}~}~~}}
zyxw€E
zyxw€E
zyxw€E
zyxw€E
zyxw€E
zyxw€E
zyxw€E
zyxw€E
zyxw€E
zyxw€E
zyxw€E










~E
~xwxE
E
E
~
E
~
E
~
E
~
E
~
E
~
E
~
E
~
E
~
E
~
w xE
w xE
w xE
w xE
w xE
w xE
w xE
w xE
w xE
w xE
w xw *+
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
23 E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
 Š‰ŠŠ‰Š‰
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
 ‰ŠE
 ‰ŠE
 ‰ŠE
 ‰ŠE
 ‰ŠE
 ‰ŠE
 ‰ŠE
 ‰ŠE
 ‰ŠE
 ‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
E
ŠEE
E

E

E

E

E

E

E

E

‰E
‰
‰
‰
‰
‰
‰
‰
‰
‰
E
E

E

E

E

E

E

E

E

E

 Š‰‰Š‰Š
‰E
‰
‰
‰
‰
‰
‰
‰
‰
‰
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
¢E
¢E
¢E
¢E
¢E
¢E
¢E
¢E
¢E
‰¢¡’‘ Œ‹ŠE
‰
‰
‰
‰
‰
‰
‰
‰
‰


















¡’‘E
¡
¡
¡
¡
¡
¡
¡
¡
¡
‘
‘
‘
‘
‘
‘
‘
‘
‘
‹
‹
‹
‹
‹
‹
‹
‹
‹
’
’
’
’
’
’
’
’
’
Œ
Œ
Œ
Œ
Œ
Œ
Œ
Œ
Œ
‰¢E
‰
‰
‰
‰
‰
‰
‰
‰
‰
E
Š
E
Š
E
Š
E
Š
E
Š
E
Š
E
Š
E
Š
E
Š
45 ¢E
E

E

E

E

E

E

E

E

E

¡¡’’‘‘¡ ŒŒE
¡¡’’‘‘¡ ŒŒE
¡¡’’‘‘¡ ŒŒE
¡¡’’‘‘¡ ŒŒE
¡¡’’‘‘¡ ŒŒE
¡¡’’‘‘¡ ŒŒE
¡¡’’‘‘¡ ŒŒE
¡¡’’‘‘¡ ŒŒE
¡¡’’‘‘¡ ŒŒE
‹‹Š‰‰‹Š ¢¢E
‹‹Š‰‰‹Š ¢¢E
‹‹Š‰‰‹Š ¢¢E
‹‹Š‰‰‹Š ¢¢E
‹‹Š‰‰‹Š ¢¢E
‹‹Š‰‰‹Š ¢¢E
‹‹Š‰‰‹Š ¢¢E
‹‹Š‰‰‹Š ¢¢E
‹‹Š‰‰‹Š ¢¢E
‹‹Š‰‰‹Š ¢¡’‘¢¢¡¡’’‘‘¡‘ Š‰Œ‹Š‰ŒŒ‹‹Š‰‰‹Š
ŒŒE
¡’‘¢E
¡’‘¢E
‘
‘
‘
‘
‘
‘
‘
‘
¢‹ŠŠ‰‹ E
E
¢
E
¢
E
¢
E
¢
E
¢
E
¢
E
¢
E
¢
¢’¢¡’‘¢¡‘ Œ‰Œ‹ŠŠ‰‹
’‘¢E
’
’
’
’
’
’
’
’
Œ¡’‘¢E
E
E
Œ
E
Œ
E
Œ
E
Œ
E
Œ
E
Œ
E
Œ
E
Œ
‰¡’‘ ŒE
‰
‰
‰
‰
‰
‰
‰
‰
‰ŒE
¡‘¡’‘E
¡’‘¢E
¡’‘¢E
¡’‘¢E
¡’‘¢E
¡’‘¢E
¡’‘¢E
¡’‘¢E
¡’‘¢E
‹ŠŠ‰ŒE
‹ŠŠ‰ŒE
‹ŠŠ‰ŒE
‹ŠŠ‰ŒE
‹ŠŠ‰ŒE
‹ŠŠ‰ŒE
‹ŠŠ‰ŒE
‹ŠŠ‰ŒE
‹ŠŠ‰ŒE
¢E
¢E
¢E
¢E
¢E
¢E
¢E
¢E
¢¡’‘ ŒE
¢¡’‘ ŒE
¢¡’‘ ŒE
¢¡’‘ ŒE
¢¡’‘ ŒE
¢¡’‘ ŒE
¢¡’‘ ŒE
¢¡’‘ ŒE
¢¡’‘ ŒE
¡’‘E
¡’‘E
¡’‘E
¡’‘E
¡’‘E
¡’‘E
¡’‘E
¡’‘E
‹Š‰‹ŒE
‹Š‰‹ŒE
‹Š‰‹ŒE
‹Š‰‹ŒE
‹Š‰‹ŒE
‹Š‰‹ŒE
‹Š‰‹ŒE
‹Š‰‹ŒE
‹Š‰‹ŒE
’ Œ‰
ŒE
Š‰ŒE
E
‹Š‰‹Š ’¢E
¡’‘¢¡’‘¢E
¡‰Ž ’‘¢E
¡’‘¢E
¡’‘¢E
¡’‘¢E
¡’‘¢E
¡’‘¢E
¡’‘¢E
¡’‘¢E
¡’‘¢E
‹¡’‘¦E
¢67 E
¢ŒE
E
¢‹Š‰Ž E
¢‹Š‰Ž E
¢‹Š‰Ž E
¢‹Š‰Ž E
¢‹Š‰Ž E
¢‹Š‰Ž E
¢‹Š‰Ž E
¢‹Š‰Ž E
Œ¡’‘¦E
E
Œ¡’‘¦E
E
Œ¡’‘¦E
E
Œ¡’‘¦E
E
Œ¡’‘¦E
E
Œ¡’‘¦E
E
Œ¡’‘¦E
E
Œ¡’‘¦E
E
Œ¡’‘¦E
E
‰¥¢¡”“’‘ ŒE
‰¥¢¡”“’‘ ‹Š‰ŒE
‰¥¢¡”“’‘ ‹Š‰ŒE
‰¥¢¡”“’‘ ‹Š‰ŒE
‰¥¢¡”“’‘ ‹Š‰ŒE
‰¥¢¡”“’‘ ‹Š‰ŒE
‰¥¢¡”“’‘ ‹Š‰ŒE
‰¥¢¡”“’‘ ‹Š‰ŒE
‰¥¢¡”“’‘ ‹Š‰ŒE
‰¥¢¡”“’‘ ‹Š‰ŒE
Š‰Ž ¢¡’‘¢¡’‘¢¡’‘¦¥¢¡”“’‘ ŠŒ‹‰Œ‹Š‰Œ‹Š‰Ž BC
‹
¥¥¤£¢¡”““’‘¥¤£’‘ ¦E
¥¥¤£¢¡”““’‘¥¤£’‘ ¦E
¥¥¤£¢¡”““’‘¥¤£’‘ ¦E
¥¥¤£¢¡”““’‘¥¤£’‘ ¦E
¥¥¤£¢¡”““’‘¥¤£’‘ ¦E
¥¥¤£¢¡”““’‘¥¤£’‘ ¦E
¥¥¤£¢¡”““’‘¥¤£’‘ ¦E
¥¥¤£¢¡”““’‘¥¤£’‘ ¦E
¥¥¤£¢¡”““’‘¥¤£’‘ ¦E
¥¥¤£¢¡”““’‘¥¤£’‘ ¦”¦¥¥¤£¢¡”““’‘¥¤£’‘ >?@A
¦E
”¦E
”¦E
”¦E
”¦E
”¦E
”¦E
”¦E
”¦E
”¦E
”¦E
•–E
•–E
•–E
•–E
•–E
•–E
•–E
•–E
•–E
••• ¦š™˜—”“’‘¦¤£š˜”’‘¥¤£™—“¥“ –•–••
¦E
¦E
¦E
¦E
¦E
¦E
¦E
¦E
¦E
¦E
–E
–E
–E
–E
–E
–E
–E
–E
–E
–E
š™˜—”“’‘¦E
š™˜—”“’‘¦E
š™˜—”“’‘¦E
š™˜—”“’‘¦E
š™˜—”“’‘¦E
š™˜—”“’‘¦E
š™˜—”“’‘¦E
š™˜—”“’‘¦E
š™˜—”“’‘¦E
š™˜—”“’‘¤£š˜”’‘¥¤£™—“¦E
¤£™—“¦E
¤£™—“¦E
¤£™—“¦E
¤£™—“¦E
¤£™—“¦E
¤£™—“¦E
¥¤£™—“¦E
¥
¥
¥
¥
¥
¥
•¥“ –E
•¥“ –E
•
•
•
•
•
•
•
”
”
”
”
”
”
”
˜
˜
˜
˜
˜
˜
˜
š
š
š
š
š
š
š







‘
‘
‘
‘
‘
‘
‘
’
’
’
’
’
’
’
£
£
£
£
£
£
£
¤£š˜”’‘¥¤£™—“¦E
¤• £š˜”’‘¥¤£™—“¦E
¤
¤
¤
¤
¤
¤
¤
¥¤£š™˜—”“’‘¦E
¥¤£š™˜—”“’‘¦E
¥
¥
¥
¥
¥
¥
¥
¥¤£š™˜—”“’‘¦E
•¥¤£š™˜—”“’‘ –E
•
“
•
“
•
“
•
“
•
“
•
“
•
“
•
—
—
—
—
—
—
—
™
™
™
™
™
™
™







”
E
–
”
E
–
”
E
–
”
E
–
”
E
–
”
E
–
”
E
–
–E
˜
˜
˜
˜
˜
˜
˜
š
š
š
š
š
š
š







‘
‘
‘
‘
‘
‘
‘
’
’
’
’
’
’
’
£
£
£
£
£
£
£
¤
¤
¤
¤
¤
¤
¤
¥¥¤£šš™™˜˜——””““’‘¨§¥¤£œ›’‘ –E
¥¥¤£šš™™˜˜——””““’‘¨§¥¤£œ›’‘ –E
¥¥¤£šš™™˜˜——””““’‘¨§¥¤£œ›’‘ –E
¥¥¤£šš™™˜˜——””““’‘¨§¥¤£œ›’‘ –E
¥¥¤£šš™™˜˜——””““’‘¨§¥¤£œ›’‘ –E
¥¥¤£šš™™˜˜——””““’‘¨§¥¤£œ›’‘ –E
¥¥¤£šš™™˜˜——””““’‘¨§¥¤£œ›’‘ –E
¥¥¤£šš™™˜˜——””““’‘¨§¥¤£œ›’‘ –E
•• ¦E
•• ¦E
•• ¦E
•• ¦E
•• ¦E
•• ¦E
•• ¦E
•• ¦E
•• ¦¤£š™˜—”’‘¦¦¥¥¤£šš™™˜˜——””““’‘¨§¥¤£œ›’‘ –––•• :;
–¨§¥¤£œ›™—’‘ E
–E
¥¤£šš™™˜˜——””“’‘¦E
• ¦E
¦01 E
¦E
E
¦
E
¦
E
¦
E
¦
E
¦
E
¦
E
¦
–š˜¨§¥¤£œ›™—’‘¨§¤£œ›™— E
–š˜¨§¤£œ›™— E
–¦E
E
E
–
E
–
E
–
E
–
E
–
E
–
–E
š™˜—”¦E
—
—
—
—
—
—
—
—
™
™
™
™
™
™
™
™
E
¦
E
¦
E
¦
E
¦
E
¦
E
¦
E
¦
¦š˜™—¤£¨§¤£œ›š™˜—œ›™— <=
˜
˜
˜
˜
˜
˜
˜
˜
š
š
š
š
š
š
š
š
£
£
£
£
£
£
£
£
§
§
§
§
§
§
§
§
¤
¤
¤
¤
¤
¤
¤
¤
¨
¨
¨
¨
¨
¨
¨
¨
›
›
›
›
›
›
›
›
œ
œ
œ
œ
œ
œ
œ
œ
—
—
—
—
—
—
—
—
™
™
™
™
™
™
™
™
˜
˜
˜
˜
˜
˜
˜
˜
˜
š
š
š
š
š
š
š
š
š
£š˜¤E
£
£
£
£
£
£
£
£
£
¤E
E
¤
E
¤
E
¤
E
¤
E
¤
E
¤
E
¤
E
¤
E
¤
œ›š™˜—¤E
œ›š™˜—¤E
œ›š™˜—¤E
œ›š™˜—¤E
œ›š™˜—¤E
œ›š™˜—¤E
œ›š™˜—¤E
£žœ›š™˜—¤E
£žœ›š™˜—¤E
£žœ›š™˜—¤E

£

£

£

£

£

£

£
ž
E
¤
ž
E
¤
ž
E
¤
ž
E
¤
ž
E
¤
ž
E
¤
ž
E
¤
¤£žš˜¤£žš™™˜——¤£žš˜ ŸŸ 89
ŸŸŸ ¤E
ŸŸŸ ¤E
Ÿ¤E
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
£žš˜ E
£žš˜ E
E
E
E
E
E
E
E
E
—
—
—
—
—
—
—
—
™
™
™
™
™
™
™
™
˜
˜
˜
˜
˜
˜
˜
˜
š E™™˜——¤E
š
š
š
š
š
š
š
š
£žš™™˜——¤E

£

£

£

£

£

£

£

£

£
ž
ž
ž
ž
ž
ž
ž
ž
ž
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
š™˜—¤E
E
E
E
E
E
E
E
E
E
E
—
—
—
—
—
—
—
—
™
™
™
™
™
™
™
™
£žšš™˜˜—¤E
£žšš™˜˜—¤E
£žšš™˜˜—¤E
£žšš™˜˜—¤E
£žšš™˜˜—¤E
£žšš™˜˜—¤E
£žšš™˜˜—¤E
£žšš™˜˜—¤E
¤E
¤E
¤E
¤E
¤E
¤E
¤E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
™Ÿ ˜—¤E
š E
š™˜—¤£ž Ÿ
££žžš™˜—£š™˜— E
££žžš™˜—£š™˜— E
Ÿ š™˜—£š™˜— E
£ E
Ÿ š™˜—£š™˜— E
£ E
Ÿ š™˜—£š™˜— E
£ E
Ÿ š™˜—£š™˜— E
£ E
Ÿ š™˜—£š™˜— E
£ E
Ÿ š™˜—£š™˜— E
£ E
Ÿ š™˜—£š™˜— E
£ E
Ÿ š™˜—£š™˜— E
£ E
ž
ž
ž
ž
ž
ž
ž
ž
Ÿ¤E
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
E
£
£
£
£
£
£
£
£
¤./ E
E
¤
ž
E
¤
ž
E
¤
ž
E
¤
ž
E
¤
ž
E
¤
ž
E
¤
ž
E
¤
ž
E
¤
Ÿ E
E
žš™™E
žš™™E
žš™™E
žš™™E
žš™™E
žš™™E
žš™™E
žš™™E
žš™™E
žš™™E
ŸŸŸ ¤E
Ÿš ŸŸ ¤E
Ÿš ŸŸ ¤E
Ÿš ŸŸ ¤E
Ÿš ŸŸ ¤E
Ÿš ŸŸ ¤E
Ÿš ŸŸ ¤E
Ÿš ŸŸ ¤E
Ÿš ŸŸ ¤E
Ÿš ŸŸ ¤£žš™˜—¤£žš™˜—š™™š Ÿ Ÿ ŸŸŸ
š E
E
E
E
E
E
E
E
E
šE
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
šE
šE
šE
šE
šE
šE
šE
šE
šE
š™š™š™ Ÿ Ÿ
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
E
E
E
E
E
E
E
E
E
E
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™,- ™E
™Ÿ ™E
™Ÿ ™E
™Ÿ ™E
™Ÿ ™E
™Ÿ ™E
™Ÿ ™E
™Ÿ ™E
™Ÿ ™E
™Ÿ ™E
Ÿ™ Ÿ E
Ÿ™ Ÿ E
Ÿ™ Ÿ E
Ÿ™ Ÿ E
Ÿ™ Ÿ E
Ÿ™ Ÿ E
Ÿ™ Ÿ E
Ÿ™ Ÿ E
Ÿ™ Ÿ E
Ÿ™ Ÿ E
ššE
E
ššE
E
ššE
E
ššE
E
ššE
E
ššE
E
ššE
E
ššE
E
ššE
E
ššE
E
Ÿ š™™šš™ ŸŸ Ÿ
Abbildung 5.3: Dreischichtiges KNN mit einer willkürlich gewählten Verbindungsstruktur. Das Netz im Bild enthält 12 Eingänge und zwei Ausgänge.
Indizierungen im Bild weggelassen.
Das Schichtenlayout, vgl. Aufzählung im Abschnitt 5.1.1, lässt in Bezug auf
den Informationsfluss von einem Eingang zu einem Ausgang verallgemeinern. Dabei kann bereits innerhalb der Schichten eine Verarbeitung mittels
VE stattfinden, wie es in mehrschichtigen Netzen oder dem Perzeptron, vgl.
Abschnitt 6.2, geschieht.
Die erste Schicht nennt man die Eingabeschicht (Input Layer), gefolgt
von einer als verdeckten Schicht (Hidden Layer) bezeichneten Anordnung. Diese Schicht hat diese Bezeichnung aus dem Grund, da die Eingangs11
vgl. Kapitel 7 und die Ausführungen im Kapitel 9
5.1. EIGENSCHAFTEN VON KNN
81
und die Ausgangsinformationen dieser Schicht nicht mit der ins Netz einbzw herausgehenden Information direkt im Bezug steht. Bestimmte Netze
enthalten mehrere verdeckte Schichten. Die dritte und letzte Schicht ist
die Ausgabeschicht (Output Layer). Mit dieser Schicht wird das Ergebnis
der Informationsverarbeitung eines KNN aus dem Netz herausgeführt.
Eine Eingangsschicht kann mehrere Aufgaben haben. Abbildung 4.9 auf
Seite 56a zeigt eine typische Situation für einen Eingangsvektor XInput , im
~ Input . Dieser kann das eigentliche KNN von der ankommenden InBild X
formation entkoppeln, z.B. durch Signalumsetzung (z.B. D/A-Wandler) oder
geeignete Normierung der ankommenden Informationgröße und bewertet die
eingehende Information xi durch die Wichtung, ωi xi . Durch die Bewertung
macht auch die Normierung der Eingabeinformation Sinn, denn damit wird
Wertebereich vernünftig eingegrenzt und es erleichtert die Wichtung von
binären Größen. Die Aufgabe der Signalanpassung als symbolische Eingangsschicht, da keine VE direkt daran beteiligt sind, ist bei häufig bei einschichtigen Netzen zu finden.
XInput = {xi ωi } ∨
XInput
| xSkal |
(5.2)
Gleichung 5.2 fasst die Funktion einer Eingangsschicht, wie die Wichtung
bei skalaren Größen oder die Normierung des Eingabevektor, zusammen. Aus
der Menge der Trainingsdaten XT oder der Menge der Anwendungsdaten XA
werden dieser Schicht die Informationen XInput zugeführt, die entweder gewichtet oder mit einen Faktor bzw. Betrag einer Skalierungsgröße | xSkal |
normiert werden. Eine andere Funktion der Schicht ist die Verarbeitung, ähnlich wie bei den schon betrachteten Modellneuronen. In Gleichung 5.3 ähnelt
die Funktion der Eingangsschicht denen dieser, je nach der im KNN verwendeten, Modellneuronen:
YInput = f (XInput , Θ, α, . . .).
(5.3)
Bei einer Eingangsschicht kann man sich auch vorstellen, dass man die
Funktionen, die sich aus den Gleichungen 5.2 und 5.3 ergeben, zusammenfasst. Dies geschieht häufig bei der Betrachtung von einschichtigen Netzen.
Eine verdeckte Schicht empfängt Informationen, die das Resultat der Verarbeitung in den vorangegangenen Schichten Yn−1 ist. Dies ist häufig der
Ausgangsvektor der Eingabeschicht YInput , es gilt:
YInput ∨ Yn−1 ::= XHidden .
(5.4)
82
KAPITEL 5. GRUNDLAGEN VON KNN
Die Eingangsinformation ist vom direkten Eingang entkoppelt, da es keine
direkte Abbildung dieses Eingangs auf den Ausgang des Netzes gibt.
XInput 6= XHidden ∧ YHidden 6= YOutput ;
XInput 7→ YOutput 6= XHidden 7→ YHidden falls Anzahl der Schichten ≥ 3.
Verdeckte Schichten sind ein wichtiges Merkmal von mehrschichtigen Netzen. Die allgemeine Funktion einer solchen Schicht lautet:
YHiddenn = f (XHiddenn−1 , Θ, α, . . .).
(5.5)
Sie bestimmen z.T. wesentlich die Funktion die Wirkungsweise des KNN, da
hier hier die gleichen Parameteren auftreten, wie sie bei den einzelnen VEs
und z.T. in den anderen Schichten vorkommen. n ist der Index für mehrere
verdeckte Schichten. Diese Schicht bzw. Schichten führen letztlich eine
Vorverarbeitung der Information vom Eingang aus. Eine Analogie findet sich
bei der Verarbeitung der visuellen Information im Gehirn. Die Bilder, deren
man sich durch den Cortex bewusst wird, entsprechen nicht der Information,
wie sie an der Retina generiert wird.
Die Ausgabeschicht übergibt das Ergebnis der Informationsverarbeitung
eines KNN an die Außenwelt. In Abbildung 5.2 ist dies leicht erkennen.
In dieser Schicht werden die Ergebnisse aus einer oder mehreren verdeckten
Schichten verarbeitet oder es erfolgt die Verarbeitung der Information bei
einem einschichtigen Netz. Wie bei der Verdeckten Schicht ergibt sich der
Eingang, analog der Gleichung 5.4, zu:
YInput ∨ YHidden ::= XOutput .
Das Resultat der Ausgabeschicht bildet sich auch auf der Grundlage der
in der Schicht enthaltenen Funktion der jeweiligen VEs und lautet:
YOutput = f (XOutput , Θ, α, . . .).
(5.6)
Analog zum Eingang bei einschichtigen Netzen können in dieser auch hier
wieder die Signale umgesetzt bzw. die Informationen in den entsprechenden
Wertebereiche transformiert werden. In Bezug auf Gleichung 5.2 ergibt sich
für die Ausgabeschicht
YOutputReal = YOutput · | xSkal |
(5.7)
Mit der Gleichung 5.7 wird der Ausgang eines KNN wieder in den Wertebereich übertragen, in welchen er am Eingang normiert oder übertragen
wurde.
5.1. EIGENSCHAFTEN VON KNN
83
Man kann leicht erkennen, dass die Gleichungen 5.3, 5.5 und 5.6 sehr ähnlich
sind. Es wurde bereits erwähnt, dass die Schichten die Zusammenfassung
von gleichartigen Modellneuronen oder VEs, vgl. Abbildung 5.2, sind. Dies
ist der Grund für die verwendete Vektorschreibweise bei der Erläuterung der
jeweiligen Ein- und Ausgangswerte. Betrachtet man jetzt die Schichten im
Zusammenhang, so führt dies zu einem weiteren Merkmal der KNN, den
Verbindungen.
Über die Verbindungen ist ein Netz in der Lage die Informationen aus der
Umwelt zu empfangen und Informationen an diese abzugeben. Ähnlich wie
Verbindungen zwischen realen Neuronen, vgl. auch Abbildung 4.16, sind die
Ausgänge von Schichten mit den Eingängen der Folgeschichten, besonders bei
mehrschichtigen Netzen, verbunden. Im Abschnitt 5.1.1, bei der Aufzählung
der KNN-Merkmale darauf hingewiesen, dass die Bedeutung der Verbindungen in der Bewertung der Information, der Wichtung Ω, bzw. ihrer Veränderbarkeit (z.B. durch Lernen) liegt.
In einem Netz lassen sich eine Vielfalt von möglichen Verbindungen realisieren. In der Abbildung 4.9c ist der Eingang in ein einzelnes Neuron und in
ein KNN angedeutet. Bei einer Eingabeschicht ist der Eingangsvektor12 im
Allgemeinen XInput , vor der Summierung,
XInput = X(T ∨A) Ω = {x(T ∨A)1 ω1 , x(T ∨A)2 ω2 , . . . , x(T ∨A)n ωn },
(5.8)
das Produkt aus Wichtung ω und dem konkreten Eingangwert x(T ∨A) bzw. die
Verknüpfung der entsprechenden Vektoren X(T ∨A) und Ω . Der Index (T ∨A)
drückt aus, dass es hier keine Rolle spielt, ob es sich hier um Trainings- oder
Anwendungsdaten handelt.
Untersucht man nun die Verbindungen zwischen den Schichten, so wird der
Eingang einer Schicht durch das FAN IN der Ausgänge der Vorgängerschicht
und deren Bewertung gebildet. Geht man von Abbildung 5.3 aus, so erhält
man eine Matrix, die der in Gleichung 5.1 auf Seite 80 ähnlich ist. Man
kann die Wichtungsmatrix (engl. connection matrix oder weightd matix)
jetzt auch genauer bestimmen. Jetzt gilt, nach der eben gemachten Aussage
Yn−1 = Xn und da ja die Eingänge einer Wichtung Ω unterliegen, für die
Wichtungsmatrix zwischen zwei Schichten Ωn :


xn−1 1 ω1 , . . . , xn−1 m ω1


..
(5.9)
Ωn = Xn−1 ΩT
,
.
...
...
X = 
xn−1 m ωm , . . . , xn−1 m ωm
12
Normierung und Anpassung wird jetzt nicht betrachtet.
84
KAPITEL 5. GRUNDLAGEN VON KNN
wobei ΩT
X den transponierten Wichtungsvektor für die Eingangvektor Xn−1
darstellt. Nach den Gesetzen der Vektorrechnung ergibt das Produkt Xn−1 ΩT
X
eine m×n Matrix. In Gleichung 5.9 ist eine solche Matrix dargestellt. Im Prozess der Verarbeitung der Information in einem Netz kann über die Werte
einer Matrix das Verhalten eines KNN mit Hilfe der Lernregel bestimmt
werden.
Allgemeine Funktion des KNN
y l3 = f(x ,
l1
l9kfebal9kfebakjifedca l9kfebal9kfebakjifedca l9kfebal9kfebakjifedca l9kfebal9kfebakjifedca l9kfebal9kfebakjifedca l9kfebal9kfebakjifedca l9kfebal9kfebakjifedca l9kfebal9kfebakjifedca l9kfebal9kfebakjifedca l9kfebal9kfebakjifedca l9kfebal9kfebakjifedca lkfebalkfebakjifedca "#
licb9lkjjifeddcba9lkfea9hg l9icbl9kjjifeddcbal9kfea hg l9icbl9kjjifeddcbal9kfea hg l9icbl9kjjifeddcbal9kfea hg l9icbl9kjjifeddcbal9kfea hg l9icbl9kjjifeddcbal9kfea hg l9icbl9kjjifeddcbal9kfea hg l9icbl9kjjifeddcbal9kfea hg l9icbl9kjjifeddcbal9kfea hg l9icbl9kjjifeddcbal9kfea hg l9icbl9kjjifeddcbal9kfea hg licblkjjifeddcbalkfea hg $%&'
L1 = Eingabeschicht
jidcbllkkjiffeedcbb9aa9jidc hghghg jidcbb9l9lkkjiffeedcbaajidc hghghg jidcbb9l9lkkjiffeedcbaajidc hghghg jidcbb9l9lkkjiffeedcbaajidc hghghg jidcbb9l9lkkjiffeedcbaajidc hghghg jidcbb9l9lkkjiffeedcbaajidc hghghg jidcbb9l9lkkjiffeedcbaajidc hghghg jidcbb9l9lkkjiffeedcbaajidc hghghg jidcbb9l9lkkjiffeedcbaajidc hghghg jidcbb9l9lkkjiffeedcbaajidc hghghg jidcbb9l9lkkjiffeedcbaajidc hghghg jidcbbllkkjiffeedcbaajidc hghghg
l9kfebajidc hg l9kfebajidc hg l9kfebajidc hg l9kfebajidc hg l9kfebajidc hg l9kfebajidc hg l9kfebajidc hg l9kfebajidc hg l9kfebajidc hg l9kfebajidc hg l9kfebajidc hg lkfebajidc hg
N9MN9M l9fbake€9|{lkjjiifeddccbaPOJIHGFE€|{rqlkjifedcPOJIHGGFE€|{rqlkjifedcPOJIH hghg`_TSh9g`_TSSQhg`_TR N9MN9M l9fbake€9|{lkjjiifeddccbaPOJIHGFE€|{rqlkjifedcPOJIHGGFE€|{rqlkjifedcPOJIH hghg`_TSh9g`_TSSQhg`_TR N9MN9M l9fbake€9|{lkjjiifeddccbaPOJIHGFE€|{rqlkjifedcPOJIHGGFE€|{rqlkjifedcPOJIH hghg`_TSh9g`_TSSQhg`_TR N9MN9M l9fbake€9|{lkjjiifeddccbaPOJIHGFE€|{rqlkjifedcPOJIHGGFE€|{rqlkjifedcPOJIH hghg`_TSh9g`_TSSQhg`_TR N9MN9M l9fbake€9|{lkjjiifeddccbaPOJIHGFE€|{rqlkjifedcPOJIHGGFE€|{rqlkjifedcPOJIH hghg`_TSh9g`_TSSQhg`_TR N9MN9M l9fbake€9|{lkjjiifeddccbaPOJIHGFE€|{rqlkjifedcPOJIHGGFE€|{rqlkjifedcPOJIH hghg`_TSh9g`_TSSQhg`_TR N9MN9M l9fbake€9|{lkjjiifeddccbaPOJIHGFE€|{rqlkjifedcPOJIHGGFE€|{rqlkjifedcPOJIH hghg`_TSh9g`_TSSQhg`_TR N9MN9M l9fbake€9|{lkjjiifeddccbaPOJIHGFE€|{rqlkjifedcPOJIHGGFE€|{rqlkjifedcPOJIH hghg`_TSh9g`_TSSQhg`_TR N9MN9M l9fbake€9|{lkjjiifeddccbaPOJIHGFE€|{rqlkjifedcPOJIHGGFE€|{rqlkjifedcPOJIH hghg`_TSh9g`_TSSQhg`_TR N9MN9M l9fbake€9|{lkjjiifeddccbaPOJIHGFE€|{rqlkjifedcPOJIHGGFE€|{rqlkjifedcPOJIH hghg`_TSh9g`_TSSQhg`_TR N9MN9M l9fbake€9|{lkjjiifeddccbaPOJIHGFE€|{rqlkjifedcPOJIHGGFE€|{rqlkjifedcPOJIH hghg`_TSh9g`_TSSQhg`_TR N9MN9M lfbake€|{lkjjiifeddccbaPOJIHGFE€|{rqlkjifedcPOJIHGGFE€|{rqlkjifedcPOJIH hghg`_TShg`_TSSQhg`_TR NMNM
N9MN9MN9M €|PJ{keOIHG€|{rqllkjiffedcPOJIHG€|{rqlkjifedcPOJIHGrq `9_TSRQhg`9_TSRQg`_TSRQhg N9MN9MN9M €|PJ{keOIHG€|{rqllkjiffedcPOJIHG€|{rqlkjifedcPOJIHGrq `9_TSRQhg`9_TSRQg`_TSRQhg N9MN9MN9M €|PJ{keOIHG€|{rqllkjiffedcPOJIHG€|{rqlkjifedcPOJIHGrq `9_TSRQhg`9_TSRQg`_TSRQhg N9MN9MN9M €|PJ{keOIHG€|{rqllkjiffedcPOJIHG€|{rqlkjifedcPOJIHGrq `9_TSRQhg`9_TSRQg`_TSRQhg N9MN9MN9M €|PJ{keOIHG€|{rqllkjiffedcPOJIHG€|{rqlkjifedcPOJIHGrq `9_TSRQhg`9_TSRQg`_TSRQhg N9MN9MN9M €|PJ{keOIHG€|{rqllkjiffedcPOJIHG€|{rqlkjifedcPOJIHGrq `9_TSRQhg`9_TSRQg`_TSRQhg N9MN9MN9M €|PJ{keOIHG€|{rqllkjiffedcPOJIHG€|{rqlkjifedcPOJIHGrq `9_TSRQhg`9_TSRQg`_TSRQhg N9MN9MN9M €|PJ{keOIHG€|{rqllkjiffedcPOJIHG€|{rqlkjifedcPOJIHGrq `9_TSRQhg`9_TSRQg`_TSRQhg N9MN9MN9M €|PJ{keOIHG€|{rqllkjiffedcPOJIHG€|{rqlkjifedcPOJIHGrq `9_TSRQhg`9_TSRQg`_TSRQhg N9MN9MN9M €|PJ{keOIHG€|{rqllkjiffedcPOJIHG€|{rqlkjifedcPOJIHGrq `9_TSRQhg`9_TSRQg`_TSRQhg N9MN9MN9M €|PJ{keOIHG€|{rqllkjiffedcPOJIHG€|{rqlkjifedcPOJIHGrq `9_TSRQhg`9_TSRQg`_TSRQhg N9MN9MN9M €|PJ{keOIHG€|{rqllkjiffedcPOJIHG€|{rqlkjifedcPOJIHGrq `_TSRQhg`_TSRQg`_TSRQhg NMNMNM
V9UNMV9UNMUM €|{rqlkjjiifeddccPOLKJIHGˆ‡€|{zyvurqlkjifedc\[POLKJIHG€|{rqlkfePOLKHG h9h9g`_TSRQh9g`_TSRQg`_TSRQ V9UNMV9UNMUM €|{rqlkjjiifeddccPOLKJIHGˆ‡€|{zyvurqlkjifedc\[POLKJIHG€|{rqlkfePOLKHG h9h9g`_TSRQh9g`_TSRQg`_TSRQ V9UNMV9UNMUM €|{rqlkjjiifeddccPOLKJIHGˆ‡€|{zyvurqlkjifedc\[POLKJIHG€|{rqlkfePOLKHG h9h9g`_TSRQh9g`_TSRQg`_TSRQ V9UNMV9UNMUM €|{rqlkjjiifeddccPOLKJIHGˆ‡€|{zyvurqlkjifedc\[POLKJIHG€|{rqlkfePOLKHG h9h9g`_TSRQh9g`_TSRQg`_TSRQ V9UNMV9UNMUM €|{rqlkjjiifeddccPOLKJIHGˆ‡€|{zyvurqlkjifedc\[POLKJIHG€|{rqlkfePOLKHG h9h9g`_TSRQh9g`_TSRQg`_TSRQ V9UNMV9UNMUM €|{rqlkjjiifeddccPOLKJIHGˆ‡€|{zyvurqlkjifedc\[POLKJIHG€|{rqlkfePOLKHG h9h9g`_TSRQh9g`_TSRQg`_TSRQ V9UNMV9UNMUM €|{rqlkjjiifeddccPOLKJIHGˆ‡€|{zyvurqlkjifedc\[POLKJIHG€|{rqlkfePOLKHG h9h9g`_TSRQh9g`_TSRQg`_TSRQ V9UNMV9UNMUM €|{rqlkjjiifeddccPOLKJIHGˆ‡€|{zyvurqlkjifedc\[POLKJIHG€|{rqlkfePOLKHG h9h9g`_TSRQh9g`_TSRQg`_TSRQ V9UNMV9UNMUM €|{rqlkjjiifeddccPOLKJIHGˆ‡€|{zyvurqlkjifedc\[POLKJIHG€|{rqlkfePOLKHG h9h9g`_TSRQh9g`_TSRQg`_TSRQ V9UNMV9UNMUM €|{rqlkjjiifeddccPOLKJIHGˆ‡€|{zyvurqlkjifedc\[POLKJIHG€|{rqlkfePOLKHG h9h9g`_TSRQh9g`_TSRQg`_TSRQ V9UNMV9UNMUM €|{rqlkjjiifeddccPOLKJIHGˆ‡€|{zyvurqlkjifedc\[POLKJIHG€|{rqlkfePOLKHG h9h9g`_TSRQh9g`_TSRQg`_TSRQ V9UNMV9UNMUM €|{rqlkjjiifeddccPOLKJIHGˆ‡€|{zyvurqlkjifedc\[POLKJIHG€|{rqlkfePOLKHG hhg`_TSRQhg`_TSRQg`_TSRQ VUNMVUNMUM
Z9YVNZ9†…YVUNM†9…ZYVUNM ˆ‡{zyvupojie\[O€|{pfePOˆ‡€|zyvutsrqojif\[Pˆ‡zyvutsrqpoji\[ _9TSRQh`9_TSRQhg`hgSQ Z9YVNZ9†…YVUNM†9…ZYVUNM ˆ‡{zyvupojie\[O€|{pfePOˆ‡€|zyvutsrqojif\[Pˆ‡zyvutsrqpoji\[ _9TSRQh`9_TSRQhg`hgSQ Z9YVNZ9†…YVUNM†9…ZYVUNM ˆ‡{zyvupojie\[O€|{pfePOˆ‡€|zyvutsrqojif\[Pˆ‡zyvutsrqpoji\[ _9TSRQh`9_TSRQhg`hgSQ Z9YVNZ9†…YVUNM†9…ZYVUNM ˆ‡{zyvupojie\[O€|{pfePOˆ‡€|zyvutsrqojif\[Pˆ‡zyvutsrqpoji\[ _9TSRQh`9_TSRQhg`hgSQ Z9YVNZ9†…YVUNM†9…ZYVUNM ˆ‡{zyvupojie\[O€|{pfePOˆ‡€|zyvutsrqojif\[Pˆ‡zyvutsrqpoji\[ _9TSRQh`9_TSRQhg`hgSQ Z9YVNZ9†…YVUNM†9…ZYVUNM ˆ‡{zyvupojie\[O€|{pfePOˆ‡€|zyvutsrqojif\[Pˆ‡zyvutsrqpoji\[ _9TSRQh`9_TSRQhg`hgSQ Z9YVNZ9†…YVUNM†9…ZYVUNM ˆ‡{zyvupojie\[O€|{pfePOˆ‡€|zyvutsrqojif\[Pˆ‡zyvutsrqpoji\[ _9TSRQh`9_TSRQhg`hgSQ Z9YVNZ9†…YVUNM†9…ZYVUNM ˆ‡{zyvupojie\[O€|{pfePOˆ‡€|zyvutsrqojif\[Pˆ‡zyvutsrqpoji\[ _9TSRQh`9_TSRQhg`hgSQ Z9YVNZ9†…YVUNM†9…ZYVUNM ˆ‡{zyvupojie\[O€|{pfePOˆ‡€|zyvutsrqojif\[Pˆ‡zyvutsrqpoji\[ _9TSRQh`9_TSRQhg`hgSQ Z9YVNZ9†…YVUNM†9…ZYVUNM ˆ‡{zyvupojie\[O€|{pfePOˆ‡€|zyvutsrqojif\[Pˆ‡zyvutsrqpoji\[ _9TSRQh`9_TSRQhg`hgSQ Z9YVNZ9†…YVUNM†9…ZYVUNM ˆ‡{zyvupojie\[O€|{pfePOˆ‡€|zyvutsrqojif\[Pˆ‡zyvutsrqpoji\[ _9TSRQh`9_TSRQhg`hgSQ Z9YVNZ9†…YVUNM†9…ZYVUNM ˆ‡{zyvupojie\[O€|{pfePOˆ‡€|zyvutsrqojif\[Pˆ‡zyvutsrqpoji\[ _TSRQh`_TSRQhg`hgSQ ZYVNZ†…YVUNM†…ZYVUNM
UM†9…ZYVVUNNM†9…ZYUM €|{qfePOˆˆ‡‡€|{zzyytsrrqpojjiife\\[[PO€|{tsqpofePO g9`_TRhh9g`_TSRQ`_TSRQ UM†9…ZYVVUNNM†9…ZYUM €|{qfePOˆˆ‡‡€|{zzyytsrrqpojjiife\\[[PO€|{tsqpofePO g9`_TRhh9g`_TSRQ`_TSRQ UM†9…ZYVVUNNM†9…ZYUM €|{qfePOˆˆ‡‡€|{zzyytsrrqpojjiife\\[[PO€|{tsqpofePO g9`_TRhh9g`_TSRQ`_TSRQ UM†9…ZYVVUNNM†9…ZYUM €|{qfePOˆˆ‡‡€|{zzyytsrrqpojjiife\\[[PO€|{tsqpofePO g9`_TRhh9g`_TSRQ`_TSRQ UM†9…ZYVVUNNM†9…ZYUM €|{qfePOˆˆ‡‡€|{zzyytsrrqpojjiife\\[[PO€|{tsqpofePO g9`_TRhh9g`_TSRQ`_TSRQ UM†9…ZYVVUNNM†9…ZYUM €|{qfePOˆˆ‡‡€|{zzyytsrrqpojjiife\\[[PO€|{tsqpofePO g9`_TRhh9g`_TSRQ`_TSRQ UM†9…ZYVVUNNM†9…ZYUM €|{qfePOˆˆ‡‡€|{zzyytsrrqpojjiife\\[[PO€|{tsqpofePO g9`_TRhh9g`_TSRQ`_TSRQ UM†9…ZYVVUNNM†9…ZYUM €|{qfePOˆˆ‡‡€|{zzyytsrrqpojjiife\\[[PO€|{tsqpofePO g9`_TRhh9g`_TSRQ`_TSRQ UM†9…ZYVVUNNM†9…ZYUM €|{qfePOˆˆ‡‡€|{zzyytsrrqpojjiife\\[[PO€|{tsqpofePO g9`_TRhh9g`_TSRQ`_TSRQ UM†9…ZYVVUNNM†9…ZYUM €|{qfePOˆˆ‡‡€|{zzyytsrrqpojjiife\\[[PO€|{tsqpofePO g9`_TRhh9g`_TSRQ`_TSRQ UM†9…ZYVVUNNM†9…ZYUM €|{qfePOˆˆ‡‡€|{zzyytsrrqpojjiife\\[[PO€|{tsqpofePO g9`_TRhh9g`_TSRQ`_TSRQ UM†9…ZYVVUNNM†9…ZYUM €|{qfePOˆˆ‡‡€|{zzyytsrrqpojjiife\\[[PO€|{tsqpofePO g`_TRhhg`_TSRQ`_TSRQ UM†…ZYVVUNNM†…ZYUM
†9…VNZY ˆ‡zytsrji\[po h9gTRSQ †9…VNZY ˆ‡zytsrji\[po h9gTRSQ †9…VNZY ˆ‡zytsrji\[po h9gTRSQ †9…VNZY ˆ‡zytsrji\[po h9gTRSQ †9…VNZY ˆ‡zytsrji\[po h9gTRSQ †9…VNZY ˆ‡zytsrji\[po h9gTRSQ †9…VNZY ˆ‡zytsrji\[po h9gTRSQ †9…VNZY ˆ‡zytsrji\[po h9gTRSQ †9…VNZY ˆ‡zytsrji\[po h9gTRSQ †9…VNZY ˆ‡zytsrji\[po h9gTRSQ †9…VNZY ˆ‡zytsrji\[po h9gTRSQ †9…VNZY ˆ‡zytsrji\[po hgTRSQ †…VNZY
†9…ZYVUNMZ9†…YVUNM~}}9nm~nm ˆ‡€|{zytsrqpojife\[PO€|{pfePOˆ‡€|{zytsrqojife\[XWPOˆ‡„ƒ€|{zytsrqqpoji\[XXWWˆ‡zytsrpoji\[ h9g`_TSRQ`9_TRhg`_SQhg`9_TSRQhgTSRQ †9…ZYVUNMZ9†…YVUNM~}}9nm~nm ˆ‡€|{zytsrqpojife\[PO€|{pfePOˆ‡€|{zytsrqojife\[XWPOˆ‡„ƒ€|{zytsrqqpoji\[XXWWˆ‡zytsrpoji\[ h9g`_TSRQ`9_TRhg`_SQhg`9_TSRQhgTSRQ †9…ZYVUNMZ9†…YVUNM~}}9nm~nm ˆ‡€|{zytsrqpojife\[PO€|{pfePOˆ‡€|{zytsrqojife\[XWPOˆ‡„ƒ€|{zytsrqqpoji\[XXWWˆ‡zytsrpoji\[ h9g`_TSRQ`9_TRhg`_SQhg`9_TSRQhgTSRQ †9…ZYVUNMZ9†…YVUNM~}}9nm~nm ˆ‡€|{zytsrqpojife\[PO€|{pfePOˆ‡€|{zytsrqojife\[XWPOˆ‡„ƒ€|{zytsrqqpoji\[XXWWˆ‡zytsrpoji\[ h9g`_TSRQ`9_TRhg`_SQhg`9_TSRQhgTSRQ †9…ZYVUNMZ9†…YVUNM~}}9nm~nm ˆ‡€|{zytsrqpojife\[PO€|{pfePOˆ‡€|{zytsrqojife\[XWPOˆ‡„ƒ€|{zytsrqqpoji\[XXWWˆ‡zytsrpoji\[ h9g`_TSRQ`9_TRhg`_SQhg`9_TSRQhgTSRQ †9…ZYVUNMZ9†…YVUNM~}}9nm~nm ˆ‡€|{zytsrqpojife\[PO€|{pfePOˆ‡€|{zytsrqojife\[XWPOˆ‡„ƒ€|{zytsrqqpoji\[XXWWˆ‡zytsrpoji\[ h9g`_TSRQ`9_TRhg`_SQhg`9_TSRQhgTSRQ †9…ZYVUNMZ9†…YVUNM~}}9nm~nm ˆ‡€|{zytsrqpojife\[PO€|{pfePOˆ‡€|{zytsrqojife\[XWPOˆ‡„ƒ€|{zytsrqqpoji\[XXWWˆ‡zytsrpoji\[ h9g`_TSRQ`9_TRhg`_SQhg`9_TSRQhgTSRQ †9…ZYVUNMZ9†…YVUNM~}}9nm~nm ˆ‡€|{zytsrqpojife\[PO€|{pfePOˆ‡€|{zytsrqojife\[XWPOˆ‡„ƒ€|{zytsrqqpoji\[XXWWˆ‡zytsrpoji\[ h9g`_TSRQ`9_TRhg`_SQhg`9_TSRQhgTSRQ †9…ZYVUNMZ9†…YVUNM~}}9nm~nm ˆ‡€|{zytsrqpojife\[PO€|{pfePOˆ‡€|{zytsrqojife\[XWPOˆ‡„ƒ€|{zytsrqqpoji\[XXWWˆ‡zytsrpoji\[ h9g`_TSRQ`9_TRhg`_SQhg`9_TSRQhgTSRQ †9…ZYVUNMZ9†…YVUNM~}}9nm~nm ˆ‡€|{zytsrqpojife\[PO€|{pfePOˆ‡€|{zytsrqojife\[XWPOˆ‡„ƒ€|{zytsrqqpoji\[XXWWˆ‡zytsrpoji\[ h9g`_TSRQ`9_TRhg`_SQhg`9_TSRQhgTSRQ †9…ZYVUNMZ9†…YVUNM~}}9nm~nm ˆ‡€|{zytsrqpojife\[PO€|{pfePOˆ‡€|{zytsrqojife\[XWPOˆ‡„ƒ€|{zytsrqqpoji\[XXWWˆ‡zytsrpoji\[ h9g`_TSRQ`9_TRhg`_SQhg`9_TSRQhgTSRQ †9…ZYVUNMZ9†…YVUNM~}}9nm~nm ˆ‡€|{zytsrqpojife\[PO€|{pfePOˆ‡€|{zytsrqojife\[XWPOˆ‡„ƒ€|{zytsrqqpoji\[XXWWˆ‡zytsrpoji\[ hg`_TSRQ`_TRhg`_SQhg`_TSRQhgTSRQ †…ZYVUNMZ†…YVUNM~}}nm~nm
~9}~9}nnmm~9} ˆ‡„ƒ€|{zyrqi\[XWˆ‡„ƒ€|{zytssrqjji\[XW„ƒ€|{qXWt h9g`_h9g`_TSRQg`_TRSQ ~9}~9}nnmm~9} ˆ‡„ƒ€|{zyrqi\[XWˆ‡„ƒ€|{zytssrqjji\[XW„ƒ€|{qXWt h9g`_h9g`_TSRQg`_TRSQ ~9}~9}nnmm~9} ˆ‡„ƒ€|{zyrqi\[XWˆ‡„ƒ€|{zytssrqjji\[XW„ƒ€|{qXWt h9g`_h9g`_TSRQg`_TRSQ ~9}~9}nnmm~9} ˆ‡„ƒ€|{zyrqi\[XWˆ‡„ƒ€|{zytssrqjji\[XW„ƒ€|{qXWt h9g`_h9g`_TSRQg`_TRSQ ~9}~9}nnmm~9} ˆ‡„ƒ€|{zyrqi\[XWˆ‡„ƒ€|{zytssrqjji\[XW„ƒ€|{qXWt h9g`_h9g`_TSRQg`_TRSQ ~9}~9}nnmm~9} ˆ‡„ƒ€|{zyrqi\[XWˆ‡„ƒ€|{zytssrqjji\[XW„ƒ€|{qXWt h9g`_h9g`_TSRQg`_TRSQ ~9}~9}nnmm~9} ˆ‡„ƒ€|{zyrqi\[XWˆ‡„ƒ€|{zytssrqjji\[XW„ƒ€|{qXWt h9g`_h9g`_TSRQg`_TRSQ ~9}~9}nnmm~9} ˆ‡„ƒ€|{zyrqi\[XWˆ‡„ƒ€|{zytssrqjji\[XW„ƒ€|{qXWt h9g`_h9g`_TSRQg`_TRSQ ~9}~9}nnmm~9} ˆ‡„ƒ€|{zyrqi\[XWˆ‡„ƒ€|{zytssrqjji\[XW„ƒ€|{qXWt h9g`_h9g`_TSRQg`_TRSQ ~9}~9}nnmm~9} ˆ‡„ƒ€|{zyrqi\[XWˆ‡„ƒ€|{zytssrqjji\[XW„ƒ€|{qXWt h9g`_h9g`_TSRQg`_TRSQ ~9}~9}nnmm~9} ˆ‡„ƒ€|{zyrqi\[XWˆ‡„ƒ€|{zytssrqjji\[XW„ƒ€|{qXWt h9g`_h9g`_TSRQg`_TRSQ ~9}~9}nnmm~9} ˆ‡„ƒ€|{zyrqi\[XWˆ‡„ƒ€|{zytssrqjji\[XW„ƒ€|{qXWt hg`_hg`_TSRQg`_TRSQ ~}~}nnmm~}
nm~9}nm~9}nm ˆ‡zytsrji\[€|{ˆ‡„ƒ€|{zytsrqji\[XWˆ‡„ƒzysrqji\[XW h9TSRQ`9_TRhg`_SQhg nm~9}nm~9}nm ˆ‡zytsrji\[€|{ˆ‡„ƒ€|{zytsrqji\[XWˆ‡„ƒzysrqji\[XW h9TSRQ`9_TRhg`_SQhg nm~9}nm~9}nm ˆ‡zytsrji\[€|{ˆ‡„ƒ€|{zytsrqji\[XWˆ‡„ƒzysrqji\[XW h9TSRQ`9_TRhg`_SQhg nm~9}nm~9}nm ˆ‡zytsrji\[€|{ˆ‡„ƒ€|{zytsrqji\[XWˆ‡„ƒzysrqji\[XW h9TSRQ`9_TRhg`_SQhg nm~9}nm~9}nm ˆ‡zytsrji\[€|{ˆ‡„ƒ€|{zytsrqji\[XWˆ‡„ƒzysrqji\[XW h9TSRQ`9_TRhg`_SQhg nm~9}nm~9}nm ˆ‡zytsrji\[€|{ˆ‡„ƒ€|{zytsrqji\[XWˆ‡„ƒzysrqji\[XW h9TSRQ`9_TRhg`_SQhg nm~9}nm~9}nm ˆ‡zytsrji\[€|{ˆ‡„ƒ€|{zytsrqji\[XWˆ‡„ƒzysrqji\[XW h9TSRQ`9_TRhg`_SQhg nm~9}nm~9}nm ˆ‡zytsrji\[€|{ˆ‡„ƒ€|{zytsrqji\[XWˆ‡„ƒzysrqji\[XW h9TSRQ`9_TRhg`_SQhg nm~9}nm~9}nm ˆ‡zytsrji\[€|{ˆ‡„ƒ€|{zytsrqji\[XWˆ‡„ƒzysrqji\[XW h9TSRQ`9_TRhg`_SQhg nm~9}nm~9}nm ˆ‡zytsrji\[€|{ˆ‡„ƒ€|{zytsrqji\[XWˆ‡„ƒzysrqji\[XW h9TSRQ`9_TRhg`_SQhg nm~9}nm~9}nm ˆ‡zytsrji\[€|{ˆ‡„ƒ€|{zytsrqji\[XWˆ‡„ƒzysrqji\[XW h9TSRQ`9_TRhg`_SQhg nm~9}nm~9}nm ˆ‡zytsrji\[€|{ˆ‡„ƒ€|{zytsrqji\[XWˆ‡„ƒzysrqji\[XW hTSRQ`_TRhg`_SQhg nm~}nm~}nm
}9~~9}nm
} „ƒ€|{tXWˆ‡‡‚€|{zyyxwtsrrqqji^]ˆ€|{zxw^] `9_TSRQhg`9_`9_ }9~~9}nm} „ƒ€|{tXWˆ‡‡‚€|{zyyxwtsrrqqji^]ˆ€|{zxw^] `9_TSRQhg`9_`9_ }9~~9}nm} „ƒ€|{tXWˆ‡‡‚€|{zyyxwtsrrqqji^]ˆ€|{zxw^] `9_TSRQhg`9_`9_ }9~~9}nm} „ƒ€|{tXWˆ‡‡‚€|{zyyxwtsrrqqji^]ˆ€|{zxw^] `9_TSRQhg`9_`9_ }9~~9}nm} „ƒ€|{tXWˆ‡‡‚€|{zyyxwtsrrqqji^]ˆ€|{zxw^] `9_TSRQhg`9_`9_ }9~~9}nm} „ƒ€|{tXWˆ‡‡‚€|{zyyxwtsrrqqji^]ˆ€|{zxw^] `9_TSRQhg`9_`9_ }9~~9}nm} „ƒ€|{tXWˆ‡‡‚€|{zyyxwtsrrqqji^]ˆ€|{zxw^] `9_TSRQhg`9_`9_ }9~~9}nm} „ƒ€|{tXWˆ‡‡‚€|{zyyxwtsrrqqji^]ˆ€|{zxw^] `9_TSRQhg`9_`9_ }9~~9}nm} „ƒ€|{tXWˆ‡‡‚€|{zyyxwtsrrqqji^]ˆ€|{zxw^] `9_TSRQhg`9_`9_ }9~~9}nm} „ƒ€|{tXWˆ‡‡‚€|{zyyxwtsrrqqji^]ˆ€|{zxw^] `9_TSRQhg`9_`9_ }9~~9}nm} „ƒ€|{tXWˆ‡‡‚€|{zyyxwtsrrqqji^]ˆ€|{zxw^] `9_TSRQhg`9_`9_ }9~~9}nm} „ƒ€|{tXWˆ‡‡‚€|{zyyxwtsrrqqji^]ˆ€|{zxw^] `_TSRQhg`_`_ }~~}nm}
~9~9}~9} ˆ‡zyˆ‡€|{zyxxw^w]€|{ `9_ ~9~9}~9} ˆ‡zyˆ‡€|{zyxxw^w]€|{ `9_ ~9~9}~9} ˆ‡zyˆ‡€|{zyxxw^w]€|{ `9_ ~9~9}~9} ˆ‡zyˆ‡€|{zyxxw^w]€|{ `9_ ~9~9}~9} ˆ‡zyˆ‡€|{zyxxw^w]€|{ `9_ ~9~9}~9} ˆ‡zyˆ‡€|{zyxxw^w]€|{ `9_ ~9~9}~9} ˆ‡zyˆ‡€|{zyxxw^w]€|{ `9_ ~9~9}~9} ˆ‡zyˆ‡€|{zyxxw^w]€|{ `9_ ~9~9}~9} ˆ‡zyˆ‡€|{zyxxw^w]€|{ `9_ ~9~9}~9} ˆ‡zyˆ‡€|{zyxxw^w]€|{ `9_ ~9~9}~9} ˆ‡zyˆ‡€|{zyxxw^w]€|{ `9_ ~9~9}~9} ˆ‡zyˆ‡€|{zyxxw^w]€|{ `_ ~~}~}
~9}~9}} €|{xwˆ‡zyˆ‡€|{zyxwˆ‡€|{zyxw ~9}~9~9}} €|{xwˆ‡zyˆ‡€|{zyxwˆ‡€|{zyxw ~9}~9~9}} €|{xwˆ‡zyˆ‡€|{zyxwˆ‡€|{zyxw ~9}~9~9}} €|{xwˆ‡zyˆ‡€|{zyxwˆ‡€|{zyxw ~9}~9~9}} €|{xwˆ‡zyˆ‡€|{zyxwˆ‡€|{zyxw ~9}~9~9}} €|{xwˆ‡zyˆ‡€|{zyxwˆ‡€|{zyxw ~9}~9~9}} €|{xwˆ‡zyˆ‡€|{zyxwˆ‡€|{zyxw ~9}~9~9}} €|{xwˆ‡zyˆ‡€|{zyxwˆ‡€|{zyxw ~9}~9~9}} €|{xwˆ‡zyˆ‡€|{zyxwˆ‡€|{zyxw ~9}~9~9}} €|{xwˆ‡zyˆ‡€|{zyxwˆ‡€|{zyxw ~9}~9~9}} €|{xwˆ‡zyˆ‡€|{zyxwˆ‡€|{zyxw ~9}~9~9}} €|{xwˆ‡zyˆ‡€|{zyxwˆ‡€|{zyxw ~}~~}}
x l1 y~9
~9}~9} ‡yˆ€zzyxwxw€xw€ l1~9}~9} ‡yˆ€zzyxwxw€xw€ ~9}~9} ‡yˆ€zzyxwxw€xw€ ~9}~9} ‡yˆ€zzyxwxw€xw€ ~9}~9} ‡yˆ€zzyxwxw€xw€ ~9}~9} ‡yˆ€zzyxwxw€xw€ ~9}~9} ‡yˆ€zzyxwxw€xw€ ~9}~9} ‡yˆ€zzyxwxw€xw€ ~9}~9} ‡yˆ€zzyxwxw€xw€ ~9}~9} ‡yˆ€zzyxwxw€xw€ ~9}~9} ‡yˆ€zzyxwxw€xw€ ~9}~9} ‡yˆ€zzyxwxw€xw€ ()!~}~}
x9w x9w x9w x9w x9w x9w x9w x9w x9w x9w x9w xw *+
xl2
y := x
l1
l2
Ω l12
... )
L2 = verdeckte Schicht
23 99 Š‰‰Š 99 Š‰‰Š 99 Š‰‰Š 99 Š‰‰Š 99 Š‰‰Š 99 Š‰‰Š 99 Š‰‰Š 99 Š‰‰Š 99 Š‰‰Š 99 Š‰‰Š  Š‰‰Š
999 ‰ŠŠ‰Š‰ 999 ‰ŠŠ‰Š‰ 999 ‰ŠŠ‰Š‰ 999 ‰ŠŠ‰Š‰ 999 ‰ŠŠ‰Š‰ 999 ‰ŠŠ‰Š‰ 999 ‰ŠŠ‰Š‰ 999 ‰ŠŠ‰Š‰ 999 ‰ŠŠ‰Š‰ 999 ‰ŠŠ‰Š‰  ‰ŠŠ‰Š‰
Š‰ Š‰ Š‰ Š‰ Š‰ Š‰ Š‰ Š‰ Š‰ Š‰ Š‰
45 99¢9¡’‘¢9¡’‘ Š‰‰Œ‹Š‰Œ‹ŠŠ‰ 99¢9¡’‘¢9¡’‘ Š‰‰Œ‹Š‰Œ‹ŠŠ‰ 99¢9¡’‘¢9¡’‘ Š‰‰Œ‹Š‰Œ‹ŠŠ‰ 99¢9¡’‘¢9¡’‘ Š‰‰Œ‹Š‰Œ‹ŠŠ‰ 99¢9¡’‘¢9¡’‘ Š‰‰Œ‹Š‰Œ‹ŠŠ‰ 99¢9¡’‘¢9¡’‘ Š‰‰Œ‹Š‰Œ‹ŠŠ‰ 99¢9¡’‘¢9¡’‘ Š‰‰Œ‹Š‰Œ‹ŠŠ‰ 99¢9¡’‘¢9¡’‘ Š‰‰Œ‹Š‰Œ‹ŠŠ‰ 99¢9¡’‘¢9¡’‘ Š‰‰Œ‹Š‰Œ‹ŠŠ‰ 99¢9¡’‘¢9¡’‘ Š‰‰Œ‹Š‰Œ‹ŠŠ‰ ¢¡’‘¢¡’‘ Š‰‰Œ‹Š‰Œ‹ŠŠ‰
¢9¡’‘¡‘¢9¡’‘ Œ‹Š‰‹ŠŒ‹‰ ¢9¡’‘¡‘¢9¡’‘ Œ‹Š‰‹ŠŒ‹‰ ¢9¡’‘¡‘¢9¡’‘ Œ‹Š‰‹ŠŒ‹‰ ¢9¡’‘¡‘¢9¡’‘ Œ‹Š‰‹ŠŒ‹‰ ¢9¡’‘¡‘¢9¡’‘ Œ‹Š‰‹ŠŒ‹‰ ¢9¡’‘¡‘¢9¡’‘ Œ‹Š‰‹ŠŒ‹‰ ¢9¡’‘¡‘¢9¡’‘ Œ‹Š‰‹ŠŒ‹‰ ¢9¡’‘¡‘¢9¡’‘ Œ‹Š‰‹ŠŒ‹‰ ¢9¡’‘¡‘¢9¡’‘ Œ‹Š‰‹ŠŒ‹‰ ¢9¡’‘¡‘¢9¡’‘ Œ‹Š‰‹ŠŒ‹‰ ¢¡’‘¡‘¢¡’‘ Œ‹Š‰‹ŠŒ‹‰
¢9’¢9¡’‘ ŒŒ‹Š‰‰ ¢9’¢9¡’‘ ŒŒ‹Š‰‰ ¢9’¢9¡’‘ ŒŒ‹Š‰‰ ¢9’¢9¡’‘ ŒŒ‹Š‰‰ ¢9’¢9¡’‘ ŒŒ‹Š‰‰ ¢9’¢9¡’‘ ŒŒ‹Š‰‰ ¢9’¢9¡’‘ ŒŒ‹Š‰‰ ¢9’¢9¡’‘ ŒŒ‹Š‰‰ ¢9’¢9¡’‘ ŒŒ‹Š‰‰ ¢9’¢9¡’‘ ŒŒ‹Š‰‰ ¢’¢¡’‘ ŒŒ‹Š‰‰ L3 = Ausgabeschicht
67 ¢9¡’‘¦9¥¢¡”“’‘¦9¥¤£¢¡”“’‘¤£¦9¥¢¡”“’‘ Œ‹Š‰ŽŒ‹Š ¢9¡’‘¦9¥¢¡”“’‘¦9¥¤£¢¡”“’‘¤£¦9¥¢¡”“’‘ Œ‹Š‰ŽŒ‹Š ¢9¡’‘¦9¥¢¡”“’‘¦9¥¤£¢¡”“’‘¤£¦9¥¢¡”“’‘ Œ‹Š‰ŽŒ‹Š ¢9¡’‘¦9¥¢¡”“’‘¦9¥¤£¢¡”“’‘¤£¦9¥¢¡”“’‘ Œ‹Š‰ŽŒ‹Š ¢9¡’‘¦9¥¢¡”“’‘¦9¥¤£¢¡”“’‘¤£¦9¥¢¡”“’‘ Œ‹Š‰ŽŒ‹Š ¢9¡’‘¦9¥¢¡”“’‘¦9¥¤£¢¡”“’‘¤£¦9¥¢¡”“’‘ Œ‹Š‰ŽŒ‹Š ¢9¡’‘¦9¥¢¡”“’‘¦9¥¤£¢¡”“’‘¤£¦9¥¢¡”“’‘ Œ‹Š‰ŽŒ‹Š ¢9¡’‘¦9¥¢¡”“’‘¦9¥¤£¢¡”“’‘¤£¦9¥¢¡”“’‘ Œ‹Š‰ŽŒ‹Š ¢9¡’‘¦9¥¢¡”“’‘¦9¥¤£¢¡”“’‘¤£¦9¥¢¡”“’‘ Œ‹Š‰ŽŒ‹Š ¢9¡’‘¦9¥¢¡”“’‘¦9¥¤£¢¡”“’‘¤£¦9¥¢¡”“’‘ Œ‹Š‰ŽŒ‹Š C9?9¢¡’‘¦¥¢¡”“’‘¦¥¤£¢¡”“’‘¤£¦¥¢¡”“’‘ Œ‹Š‰ŽŒ‹Š CD?@
¦9¥”“‘¦9”’‘¥¤£š™˜—“’¦9¥¤£š™˜—“ –•–• ¦9¥”“‘¦9”’‘¥¤£š™˜—“’¦9¥¤£š™˜—“ –•–• ¦9¥”“‘¦9”’‘¥¤£š™˜—“’¦9¥¤£š™˜—“ –•–• ¦9¥”“‘¦9”’‘¥¤£š™˜—“’¦9¥¤£š™˜—“ –•–• ¦9¥”“‘¦9”’‘¥¤£š™˜—“’¦9¥¤£š™˜—“ –•–• ¦9¥”“‘¦9”’‘¥¤£š™˜—“’¦9¥¤£š™˜—“ –•–• ¦9¥”“‘¦9”’‘¥¤£š™˜—“’¦9¥¤£š™˜—“ –•–• ¦9¥”“‘¦9”’‘¥¤£š™˜—“’¦9¥¤£š™˜—“ –•–• ¦9¥”“‘¦9”’‘¥¤£š™˜—“’¦9¥¤£š™˜—“ –•–• ¦9¥”“‘¦9”’‘¥¤£š™˜—“’¦9¥¤£š™˜—“ –•–• A9¦¥”“‘¦”’‘¥¤£š™˜—“’¦¥¤£š™˜—“ –•–• AB
¤£”’‘¦9¥š™˜—”“ –• ¤£”’‘¦9¥š™˜—”“ –• ¤£”’‘¦9¥š™˜—”“ –• ¤£”’‘¦9¥š™˜—”“ –• ¤£”’‘¦9¥š™˜—”“ –• ¤£”’‘¦9¥š™˜—”“ –• ¤£”’‘¦9¥š™˜—”“ –• ¤£”’‘¦9¥š™˜—”“ –• ¤£”’‘¦9¥š™˜—”“ –• ¤£”’‘¦9¥š™˜—”“ –• ¤£”’‘¦¥š™˜—”“ –•
01 ¤£’‘¦9¥¤£œ9›š™˜—”“’‘¨§¦¦9¥¤£œ›š™˜—”’‘¥š™˜—“š9˜¨§¤£œ›™— –•–• ¤£’‘¦9¥¤£œ9›š™˜—”“’‘¨§¦¦9¥¤£œ›š™˜—”’‘¥š™˜—“š9˜¨§¤£œ›™— –•–• ¤£’‘¦9¥¤£œ9›š™˜—”“’‘¨§¦¦9¥¤£œ›š™˜—”’‘¥š™˜—“š9˜¨§¤£œ›™— –•–• ¤£’‘¦9¥¤£œ9›š™˜—”“’‘¨§¦¦9¥¤£œ›š™˜—”’‘¥š™˜—“š9˜¨§¤£œ›™— –•–• ¤£’‘¦9¥¤£œ9›š™˜—”“’‘¨§¦¦9¥¤£œ›š™˜—”’‘¥š™˜—“š9˜¨§¤£œ›™— –•–• ¤£’‘¦9¥¤£œ9›š™˜—”“’‘¨§¦¦9¥¤£œ›š™˜—”’‘¥š™˜—“š9˜¨§¤£œ›™— –•–• ¤£’‘¦9¥¤£œ9›š™˜—”“’‘¨§¦¦9¥¤£œ›š™˜—”’‘¥š™˜—“š9˜¨§¤£œ›™— –•–• ¤£’‘¦9¥¤£œ9›š™˜—”“’‘¨§¦¦9¥¤£œ›š™˜—”’‘¥š™˜—“š9˜¨§¤£œ›™— –•–• ¤£’‘¦9¥¤£œ9›š™˜—”“’‘¨§¦¦9¥¤£œ›š™˜—”’‘¥š™˜—“š9˜¨§¤£œ›™— –•–• ¤£’‘¦9¥¤£œ9›š™˜—”“’‘¨§¦¦9¥¤£œ›š™˜—”’‘¥š™˜—“š9˜¨§¤£œ›™— –•–• ;9=9¤£’‘¦¥¤£œ›š™˜—”“’‘¨§¦¦¥¤£œ›š™˜—”’‘¥š™˜—“š˜¨§¤£œ›™— –•–• ;<=>
¤££9žœ›š™˜—¤¤9£žš™˜— Ÿ Ÿ ¤££9žœ›š™˜—¤¤9£žš™˜— Ÿ Ÿ ¤££9žœ›š™˜—¤¤9£žš™˜— Ÿ Ÿ ¤££9žœ›š™˜—¤¤9£žš™˜— Ÿ Ÿ ¤££9žœ›š™˜—¤¤9£žš™˜— Ÿ Ÿ ¤££9žœ›š™˜—¤¤9£žš™˜— Ÿ Ÿ ¤££9žœ›š™˜—¤¤9£žš™˜— Ÿ Ÿ ¤££9žœ›š™˜—¤¤9£žš™˜— Ÿ Ÿ ¤££9žœ›š™˜—¤¤9£žš™˜— Ÿ Ÿ ¤££9žœ›š™˜—¤¤9£žš™˜— Ÿ Ÿ 89¤££žœ›š™˜—¤¤£žš™˜— Ÿ Ÿ 8:
¤9£žš™˜—š˜™— ŸŸ ¤9£žš™˜—š˜™— ŸŸ ¤9£žš™˜—š˜™— ŸŸ ¤9£žš™˜—š˜™— ŸŸ ¤9£žš™˜—š˜™— ŸŸ ¤9£žš™˜—š˜™— ŸŸ ¤9£žš™˜—š˜™— ŸŸ ¤9£žš™˜—š˜™— ŸŸ ¤9£žš™˜—š˜™— ŸŸ ¤9£žš™˜—š˜™— ŸŸ ¤£žš™˜—š˜™— ŸŸ
./ ¤9£žš™˜—š9˜¤£ž™—¤£žš9™š9™ Ÿ Ÿ Ÿ Ÿ ¤9£žš™˜—š9˜¤£ž™—¤£žš9™š9™ Ÿ Ÿ Ÿ Ÿ ¤9£žš™˜—š9˜¤£ž™—¤£žš9™š9™ Ÿ Ÿ Ÿ Ÿ ¤9£žš™˜—š9˜¤£ž™—¤£žš9™š9™ Ÿ Ÿ Ÿ Ÿ ¤9£žš™˜—š9˜¤£ž™—¤£žš9™š9™ Ÿ Ÿ Ÿ Ÿ ¤9£žš™˜—š9˜¤£ž™—¤£žš9™š9™ Ÿ Ÿ Ÿ Ÿ ¤9£žš™˜—š9˜¤£ž™—¤£žš9™š9™ Ÿ Ÿ Ÿ Ÿ ¤9£žš™˜—š9˜¤£ž™—¤£žš9™š9™ Ÿ Ÿ Ÿ Ÿ ¤9£žš™˜—š9˜¤£ž™—¤£žš9™š9™ Ÿ Ÿ Ÿ Ÿ ¤9£žš™˜—š9˜¤£ž™—¤£žš9™š9™ Ÿ Ÿ Ÿ Ÿ x¤£žš™˜—š˜¤£ž™—¤£žš™š™ Ÿ Ÿ Ÿ Ÿ
š9™šš9™™ ŸŸ9 Ÿ š9™šš9™™ ŸŸ9 Ÿ š9™šš9™™ ŸŸ9 Ÿ š9™šš9™™ ŸŸ9 Ÿ š9™šš9™™ ŸŸ9 Ÿ š9™šš9™™ ŸŸ9 Ÿ š9™šš9™™ ŸŸ9 Ÿ š9™šš9™™ ŸŸ9 Ÿ š9™šš9™™ ŸŸ9 Ÿ š9™šš9™™ ŸŸ9 Ÿ š™šš™™ ŸŸ Ÿ l3 y l3
,- š9™š9™š9™ Ÿ Ÿ Ÿ š9™š9™š9™ Ÿ Ÿ Ÿ š9™š9™š9™ Ÿ Ÿ Ÿ š9™š9™š9™ Ÿ Ÿ Ÿ š9™š9™š9™ Ÿ Ÿ Ÿ š9™š9™š9™ Ÿ Ÿ Ÿ š9™š9™š9™ Ÿ Ÿ Ÿ š9™š9™š9™ Ÿ Ÿ Ÿ š9™š9™š9™ Ÿ Ÿ Ÿ š9™š9™š9™ Ÿ Ÿ Ÿ š™š™š™ Ÿ Ÿ Ÿ
y
l2
y := x l3
l2
Ω l23
Abbildung 5.4: Symbolische Erläuterung der Schichten und der Verbindungen
in einem einfachen dreischichtigen KNN. Weitere Erläuterungen zu dem
Netz werden im Text gegeben.
In einem einfachen KNN, wie in der Abbildung 5.4 dargestellt, gibt es je
eine Eingabe-, eine verdeckte und eine Ausgabeschicht. Wendet man die
Gleichungen 5.8 und 5.9 auf diese KNN an, so erhält man einen Eingangsvektor XInput , im Bild ~xl1 und die Wichtungsmatrix ΩInHid der Verbindungen zwischen den Ausgängen der Eingabe- und den Eingängen der verdeck~ L12 . Die Verbindungen des Ausgangs der verdeckten
ten Schicht, im Bild Ω
Schicht mit den Eingängen der Ausgabeschicht ergeben die Wichtungsmatrix
~ L23 . Den Ausgang bildet der Vektor YOutput bzw. ~yL13 .
ΩHidOut , im Bild Ω
5.2. DYNAMIK UND NETZWERKSTRUKTUREN
5.2
Dynamik und Netzwerkstrukturen
5.2.1
Strukturen und Abbildung der Dynamik
85
Bei der Beschreibung von KNN sind einige Strukturelemente notwendig.
Solche Elemente sind der Typ und die Art der VE, die Vernetzung der VEs
oder deren Schichten. Einiges wurde bereits in den Vorgängerabschnitten
aufgezählt. Ein KNN kann mitüber diese Struktur abgebildet werden, d.h.
die diese Struktur bestimmt das Verhalten am Ein- und Ausgang des jeweiligen Netzes. Nach ihrer Festlegung wird die Struktur eines KNN selten
verändert.
Jedes System lässt sich durch bestimmte Zustände über diesen Struktur beschreiben. Die Zustände eines KNN lassen sich über die Information am Eingang, deren Verarbeitung im Netz13 und am Ausgang abbilden. Die Zustände
werden als durch die konkreten Werte, z.B. eines Eingangsvektors, XInp , repräsentiert. Die Dynamik des System entfaltet sich über die Änderung dieser
Werte bzw. über die Realisierung und Umsetzung der Übertragungs-, d.h.
Aktivierungsfunktion.
Eingang
XInp
&-
Netz
7→ f(net) 7→
Ausgang
YOut
.%
fIn (netIn ) 7→ fHidden (netHidden ) 7→ fOut (netOut )
%.
-&
XInp (t0 ) 7→
f(net, t0 )
7→ YOut (t1 )
Eingangsvektor XInp (t0 ) bewirkt eine Zustandsänderung
von YOut (t0 ) auf YOut (t1 )
XInp (t1 ) 7→
f(net, t1 )
7→ YOut (t2 )
Eingangsvektor XInp (t1 ) bewirkt eine Zustandsänderung
von YOut (t1 ) auf YOut (t2 )
...
XInp (tn ) 7→
f(net, tn )
7→ YOut (tn+1 )
Eingangsvektor XInp (tn ) bewirkt eine Zustandsänderung
von YOut (tn ) auf YOut (tn+1 )
Tabelle 5.1: Sympolische Darstellung von Strukturelementen und zeitlichen
Abhängingkeiten in KNN.
13
Welches auch eine einzelne VE sein kann.
86
KAPITEL 5. GRUNDLAGEN VON KNN
In der Abbildung 5.5 werden die Strukturen eines KNN anhand einer Fortführung einer Vorstellung aus dem Kapitel 2 angedeutet. Mit den Erkenntnissen nach der Abbildung 5.4 auf Seite 84 und die symbolischen Andeutung
der Stukturelemente eines KNN in der Tabelle 5.1 kann man jetzt die Abbildung eines KNN als eine exemplarische Umsetzung der Gleichung 4.18 auf
Seite 63 betrachten. Dabei steht der Ausdruck
XInp (tn ) 7→ f (net, tn ) 7→ YOut (tn+1 )
mit f (net, tn ) für die Realisierung eines Netzes14 . Die zeitliche Veränderung,
ausgedrückt durch tn 7→ tn+1 , kennzeichnet die Veränderung, sie motiviert
die Dynamik des Netzes. Allerding steht sie nicht unbedingt nur für eine zeitliche Größe, sie kann auch nur die Werteänderung von X oder Y bedeuten.
Künstlicher Körper
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
lE
lE
kjifedcbaljifdcbE
kfebajifdcbkea lE
kfebajifdcbkea lE
kfebajifdcbkea lE
kfebajifdcbkea lE
kfebajifdcbkea lE
kfebajifdcbkea lE
kfebajifdcbkea lE
kfebajifdcbkea lE
kfebajifdcbkea lE
kfebajifdcbkea lE
kfebajifdcbkea "#$% lkfebalkjifedcbaljifdcbkea
keajidc hE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
kfebalE
lkfebaE
lE
lE
lE
lE
lE
lE
lE
lE
lE
lE
lE
gg jidclE
gg jidclE
gg jidclE
gg jidclE
gg jidclE
gg jidclE
gg jidclE
gg jidclE
gg jidclE
gg jidclE
gg jidclE
hkfeba E
hkfeba E
hkfeba E
hkfeba E
hkfeba E
hkfeba E
hkfeba E
hkfeba E
hkfeba E
hkfeba E
hg &' lkfebakjiedca
cg cbalE
ihE
cg cbalE
ihE
cg cbalE
ihE
cg cbalE
ihE
cg cbalE
ihE
cg cbalE
ihE
cg cbalE
ihE
cg cbalE
ihE
cg cbalE
ihE
jg jiifeddccbalE
d
j
d
j
d
j
d
j
d
j
d
j
d
j
d
j
d
j
e
e
e
e
e
e
e
e
e
khE
k
k
k
k
k
k
k
k
k
kjjiifeddccbalE
f
f
f
f
f
f
f
f
f
lkjifedcbaE
hlkjifedcbaE
E
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
i
i
i
i
i
i
i
i
i
d
j
d
j
d
j
d
j
d
j
d
j
d
j
d
j
d
j
kjifedcbalE
ghE
ig dclE
ig dclE
ig dclE
ig dclE
ig dclE
ig dclE
ig dclE
ig dclE
ig dclE
jg idclE
jhE
jhE
jhE
jhE
jhE
jhE
jhE
jhE
jhE
eg_TS edcbbaaHGFD{jidcOIHGFD hghghgTShg_TS ljifdcblkjifedcballkkjiffeedcbbaaHGFD{jidcOIHGFD
kkjiffeedcbbaaHGFD{jidcPOIHGFD hE
k`_TS kjiffeedcbbaaHGFD{jidcPOIHGFD hE
k`_TS kjiffeedcbbaaHGFD{jidcPOIHGFD hE
k`_TS kjiffeedcbbaaHGFD{jidcPOIHGFD hE
k`_TS kjiffeedcbbaaHGFD{jidcPOIHGFD hE
k`_TS kjiffeedcbbaaHGFD{jidcPOIHGFD hE
k`_TS kjiffeedcbbaaHGFD{jidcPOIHGFD hE
k`_TS kjiffeedcbbaaHGFD{jidcPOIHGFD hE
k`_TS kjiffeedcbbaaHGFD{jidcPOIHGFD hE
k`_TS kjiffeedcbbaaHGFD{jidcPOIHGFD hE
k`_TS kjiffeedcbbaaHGFD{jidcPOIHGFD hE
khE
f
lE
g€E
gM €E
g
g
g
g
g
g
g
g
g
i
j
S
S
S
S
S
S
S
S
S
S
T |rqlkfebaJjidcGD ShE
T
T
T
T
T
T
T
T
T
T
k
f
lNME
E
E
l
E
l
E
l
E
l
E
l
E
l
E
l
E
l
E
l
E
l
E
l
|rqlkfebaJ€E
|rqlkfebaJ€E
|rqlkfebaJ€E
|rqlkfebaJ€E
|rqlkfebaJ€E
|rqlkfebaJ€E
|rqlkfebaJ€E
|rqlkfebaJ€E
|rqlkfebaJ€E
|rqlkfebaJ€E
|rqlkfebaPJ€E
€E
€E
€E
€E
€E
€E
€E
€E
€E
€E
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
NE
NE
NE
NE
NE
NE
NE
NE
NE
NE
NE
ghE
ghE
ghE
ghE
ghE
ghE
ghE
ghE
ghE
ghE
g`hE
|{rqlkjifedcPOJIHF€E
|{rqlkjjiifeddccPOJIHGFD€E
|{rqlkjjiifeddccPOJIHGFD€E
|{rqlkjjiifeddccPOJIHGFD€E
|{rqlkjjiifeddccPOJIHGFD€E
|{rqlkjjiifeddccPOJIHGFD€E
|{rqlkjjiifeddccPOJIHGFD€E
|{rqlkjjiifeddccPOJIHGFD€E
|{rqlkjjiifeddccPOJIHGFD€E
|{rqlkjjiifeddccPOJIHGFD€E
|{rqlkjjiifeddccPOJIHGFD€E
|{rqlkjjiifeddccPOJIHGFD€E
€E
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
NME
NE
g`_TShE
g`_TShE
g`_TShE
g`_TShE
g`_TShE
g`_TShE
g`_TShE
g`_TShE
g`_TShE
g`_TShE
g`_TShE
||{{rqlkjifedcPPOOJJIIHHGGrqjidcHGlkfe hE
||{{rqlkjifedcPPOOJJIIHHGGrqjidcHGlkfe hE
||{{rqlkjifedcPPOOJJIIHHGGrqjidcHGlkfe hE
||{{rqlkjifedcPPOOJJIIHHGGrqjidcHGlkfe hE
||{{rqlkjifedcPPOOJJIIHHGGrqjidcHGlkfe hE
||{{rqlkjifedcPPOOJJIIHHGGrqjidcHGlkfe hE
||{{rqlkjifedcPPOOJJIIHHGGrqjidcHGlkfe hE
||{{rqlkjifedcPPOOJJIIHHGGrqjidcHGlkfe hE
||{{rqlkjifedcPPOOJJIIHHGGrqjidcHGlkfe hE
||{{rqlkjifedcPPOOJJIIHHGGrqjidcHGlkfe hE
||{{rqlkjifedcPPOOJJIIHHGGrqjidcHGlkfe hE
||{{rqlkjifedcPPOOJJIIHHGGrqjidcHGlkfe hg`hg`_TShg``__TTSSRQhgTSRQ NMNMNMNM €|rqlkfebaPJ€|{rqlkjjiifeddccPOJIHGFD€€||{{rqlkjifedcPPOOJJIIHHGGrqlkjifedcHG
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
MNE
NME
g``__TTSSRQhE
g``__TTSSRQhE
g``__TTSSRQhE
g``__TTSSRQhE
g``__TTSSRQhE
g``__TTSSRQhE
g``__TTSSRQhE
g``__TTSSRQhE
g``__TTSSRQhE
g``__TTSSRQhE
g``__TTSSRQhE
€N E
€N E
€g_TSRQ N E
E
€
E
€
E
€
E
€
E
€
E
€
E
€
E
€
E
€
MME
Mg_TSRQ ME
M|lkfePJ{rjidcOIHG `hE
M€E
M
M
M
M
M
M
M
M
NE
g|qlkfePJ{rjidcOIHG `_TSRQ`hE
gM €E
g
g
g
g
g
g
g
g
g
Q
Q
Q
Q
Q
Q
Q
Q
Q
Q
S
S
S
S
S
S
S
S
S
S
R
R
R
R
R
R
R
R
R
R
T
T
T
T
T
T
T
T
T
T
O
_
O
_
O
_
O
_
O
_
O
_
O
_
O
_
O
_
O
_
I
I
I
I
I
I
I
I
I
I
{
{
{
{
{
{
{
{
{
{
|{qlkfePOJI€E










|{qlkfePOJI€E
P
`
P
`
P
`
P
`
P
`
P
`
P
`
P
`
P
`
P
`
J
J
J
J
J
J
J
J
J
J
|
|
|
|
|
|
|
|
|
|
€NMEE
E
€
E
€
E
€
E
€
E
€
E
€
E
€
E
€
E
€
E
€
€E
e
e
e
e
e
e
e
e
e
e
k
k
k
k
k
k
k
k
k
k
f
f
f
f
f
f
f
f
f
f
l
l
l
l
l
l
l
l
l
l
E
M
E
M
E
M
E
M
E
M
E
M
E
M
E
M
E
M
E
M
q
q
q
q
q
q
q
q
q
q
g_TSRQ`_TSRQ NE
g_TSRQ`_TSRQ NE
g_TSRQ`_TSRQ NE
g_TSRQ`_TSRQ NE
g_TSRQ`_TSRQ NE
g_TSRQ`_TSRQ NE
g_TSRQ`_TSRQ NE
g_TSRQ`_TSRQ NE
g_TSRQ`_TSRQ NE
|rqlkjifedcPJ{rjidcOIHG€E
|rqlkjifedcPJ{rjidcOIHG€E
|rqlkjifedcPJ{rjidcOIHG€E
|rqlkjifedcPJ{rjidcOIHG€E
|rqlkjifedcPJ{rjidcOIHG€E
|rqlkjifedcPJ{rjidcOIHG€E
|rqlkjifedcPJ{rjidcOIHG€E
|rqlkjifedcPJ{rjidcOIHG€E
|rqlkjifedcPJ{rjidcOIHG€E
|rqlkjifedcPJ{rjidcOIHG€E
€E
€E
€E
€E
€E
€E
€E
€E
MNE
MNNE
MNNE
MNNE
MNNE
MNNE
MNNE
MNNE
MNNE
MNNE
NE
NE
ghE
ghE
g`hE
g`hE
g`hE
g`hE
g`hE
g`hE
g`hE
g`hE
g`hE
rjidc€E
rqjidc€E
GG€|{rqlkjifedcPOLKJI hE
GG€|{rqlkjifedcPOLKJI hE
GG€|{rqlkjifedcPOLKJI hE
GG€|{rqlkjifedcPOLKJI hE
GG€|{rqlkjifedcPOLKJI hE
GG€|{rqlkjifedcPOLKJI hE
GG€|{rqlkjifedcPOLKJI hE
GG€|{rqlkjifedcPOLKJI hE
GG€|{rqlkjifedcPOLKJI hE
GG€|{rqlkjifedcPOLKJI hE
GG€|{rqlkjifedcPOLKJI hE
GG€|{rqlkjifedcPOLKJI `_hg`hg_TSRQhg`_TTSSRRQQhg`_Q MNMNNMVUNM €|{qlkfePOJI€|rqlkjifedcPJ{rjidcOIHG€|{rqlkjifedcPOJIHHGG€|{rqlkjifedcPOLKJI
|{rqlkjifedcPOJIHHE
|{rqlkjifedcPOJIHHE
|{rqlkjifedcPOJIHHE
|{rqlkjifedcPOJIHHE
|{rqlkjifedcPOJIHHE
|{rqlkjifedcPOJIHHE
|{rqlkjifedcPOJIHHE
|{rqlkjifedcPOJIHHE
|{rqlkjifedcPOJIHHE
|{rqlkjifedcPOJIHHE
|{rqlkjifedcPOJIHHE
|{rqlkjifedcPOJIHHE
MVE
MVE
MVE
MVE
MVE
MVE
MVE
MVE
MVE
MVE
MVE
NME
NE
g‡yuq[L `_TTSSRRQQhE
gVM ‡yuq[L `_TTSSRRQQhE
gTSRQhE
gTSRQhE
gTSRQhE
gTSRQhE
gTSRQhE
gTSRQhE
gTSRQhE
gTSRQhE
gTSRQhE
hVNM ˆ‡zyvurq\[L E
hVNM ˆ‡zyvurq\[L E
hVNM ˆ‡zyvurq\[L E
hVNM ˆ‡zyvurq\[L E
hVNM ˆ‡zyvurq\[L E
hVNM ˆ‡zyvurq\[L E
hVNM ˆ‡zyvurq\[L E
hVNM ˆ‡zyvurq\[L E
hVNM ˆ‡zyvurq\[L E
UgTSRQ UE
UgTSRQ UE
UgTSRQ UE
UgTSRQ UE
UgTSRQ UE
UgTSRQ UE
UgTSRQ UE
UgTSRQ UE
UgTSRQ UE
UgTSRQ UE
UgTSRQ UE
VUUNME
NMVE
NMVE
NMVE
NMVE
NMVE
NMVE
NMVE
NMVE
NMVE
NMVE
NMVE
g‡€|{yuqfe[POˆzvrpoji\ ``__TSRQ`_hE
gUMZYN ‡€|{yuqfe[POˆzvrpoji\ ``__TSRQ`_hE
gUMZY ‡€|{yuqfe[POpoji ``__TSRQ`_hE
gUMZY ‡€|{yuqfe[POpoji ``__TSRQ`_hE
gUMZY ‡€|{yuqfe[POpoji ``__TSRQ`_hE
gUMZY ‡€|{yuqfe[POpoji ``__TSRQ`_hE
gUMZY ‡€|{yuqfe[POpoji ``__TSRQ`_hE
gUMZY ‡€|{yuqfe[POpoji ``__TSRQ`_hE
gUMZY ‡€|{yuqfe[POpoji ``__TSRQ`_hE
gUMZY ‡€|{yuqfe[POpoji ``__TSRQ`_hE
gUMZY ‡€|{yuqfe[POpoji ``__TSRQ`_hE
G
G
G
G
G
G
G
G
G
G
H
H
H
H
H
H
H
H
H
H
O
O
O
O
O
O
O
O
O
O
{
{
{
{
{
{
{
{
{
{
UNNMMZY |{lkfePOKHGˆE










|{lkfePOKHGˆE
`_TSRhg`_hgTSRQ_TSRQ UVUNMZYVNMZY €|{lkfePOKHGˆˆ‡‡€|{zzyyvvuurrqqpojife\\[[POL{pojiO
P
P
P
P
P
P
P
P
P
P
|
|
|
|
|
|
|
|
|
|
€ZYVVE
E
E
€
E
€
E
€
E
€
E
€
E
€
E
€
E
€
E
€
E
€
€E
e
e
e
e
e
e
e
e
e
e
k
k
k
k
k
k
k
k
k
k
f
f
f
f
f
f
f
f
f
f
l
l
l
l
l
l
l
l
l
l
E
K
K
K
K
K
K
K
K
K
K
UNMZYVNM†E
‡€|{zyvurqfe\[POˆ‡zyvurqpoji\[LˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
N†E
N†E
N†E
N†E
N†E
N†E
N†E
N†E
N†E
N†E
ghE
ghE
ghE
ghE
ghE
ghE
ghE
ghE
ghE
ghE
ghE
zvr\ˆE
zvr\ˆE
zvr\ˆE
zvr\ˆE
zvr\ˆE
zvr\ˆE
zvr\ˆE
zvr\ˆE
zvr\ˆE
zvr\ˆE
zvr\ˆE
hE
hE
hE
hE
hE
hE
hE
hE
hE
hE
hE
VU†…ZYVUNME
‡VU zyvutsrqpoji\[€|{pojifePOˆE
‡VU zyvutsrqpoji\[€|{pojifePOˆE
‡VU zyvutsrqpoji\[€|{pojifePOˆE
‡VU zyvutsrqpoji\[€|{pojifePOˆE
‡VU zyvutsrqpoji\[€|{pojifePOˆE
‡VU zyvutsrqpoji\[€|{pojifePOˆE
‡VU zyvutsrqpoji\[€|{pojifePOˆE
‡VU zyvutsrqpoji\[€|{pojifePOˆE
‡VU zyvutsrqpoji\[€|{pojifePOˆE
‡VU zyvutsrqpoji\[€|{pojifePOˆE
‡VU zyvutsrqpoji\[€|{pojifePOˆE
‡VU zyvutsrqpoji\[€|{pojifePOˆE
g‡yqfe[ `_TSRQhE
g‡yqfe[ `_TSRQhE
g‡yqfe[ `_TSRQhE
g‡yqfe[ `_TSRQhE
g‡yqfe[ `_TSRQhE
g‡yqfe[ `_TSRQhE
g‡yqfe[ `_TSRQhE
g‡yqfe[ `_TSRQhE
g‡yqfe[ `_TSRQhE
g‡yqfe[ `_TSRQhE
g‡yqfe[ `_TSRQhE
hg`hg``__TTSSRRQQg †…ZYNMVU†…ZYVUNMVUNM ˆ‡zyvutsrqpoji\[€|fePˆ‡€€||{{zytsrqpojife\[PPOOˆ‡zyrqfe\[
…g ZYNMZYVU†E
…g ZYNMZYVU†E
…g ZYNMZYVU†E
…g ZYNMZYVU†E
…g ZYNMZYVU†E
…g ZYNMZYVU†E
…g ZYNMZYVU†E
…g ZYNMZYVU†E
…g ZYNMZYVU†E
…g ZYNMZYVU†E
…g ZYNMZYVU†E
†…ZYNME
`{ztsrpoji\O `__TTSSRRQQhE
`{ztsrpoji\O `__TTSSRRQQhE
`{ztsrpoji\O `__TTSSRRQQhE
`{ztsrpoji\O `__TTSSRRQQhE
`{ztsrpoji\O `__TTSSRRQQhE
`{ztsrpoji\O `__TTSSRRQQhE
`{ztsrpoji\O `__TTSSRRQQhE
`{ztsrpoji\O `__TTSSRRQQhE
`{ztsrpoji\O `__TTSSRRQQhE
`{ztsrpoji\O `__TTSSRRQQhE
`{ztsrpoji\O `__TTSSRRQQhE
V€|feP `_TSRQ UNM†E
V€|feP `_TSRQ UNM†E
V€|feP `_TSRQ UNM†E
V€|feP `_TSRQ UNM†E
V€|feP `_TSRQ UNM†E
V€|feP `_TSRQ UNM†E
V€|feP `_TSRQ UNM†E
V€|feP `_TSRQ UNM†E
V€|feP `_TSRQ UNM†E
V€|feP `_TSRQ UNM†E
V€|feP `_TSRQ UNM†E
‡†…ZYVUNME€€||{{zytsrqpojife\[PPOOˆE
‡…ZYVUNM €€||{{zytsrqpojife\[PPOOˆE
‡…ZYVUNM €€||{{zytsrqpojife\[PPOOˆE
‡…ZYVUNM €€||{{zytsrqpojife\[PPOOˆE
‡…ZYVUNM €€||{{zytsrqpojife\[PPOOˆE
‡…ZYVUNM €€||{{zytsrqpojife\[PPOOˆE
‡…ZYVUNM €€||{{zytsrqpojife\[PPOOˆE
‡…ZYVUNM €€||{{zytsrqpojife\[PPOOˆE
‡…ZYVUNM €€||{{zytsrqpojife\[PPOOˆE
‡…ZYVUNM €€||{{zytsrqpojife\[PPOOˆE
‡…ZYVUNM €€||{{zytsrqpojife\[PPOOˆE
‡…ZYVUNM €€||{{zytsrqpojife\[PPOOˆE
gM ‡E
g
g
g
g
g
g
g
g
g
g
…
…
…
…
…
…
…
…
…
…
…
Y
Y
Y
Y
Y
Y
Y
Y
Y
Y
Y
Z
Z
Z
Z
Z
Z
Z
Z
Z
Z
Z
h`_TSRQghg`_TSRQ †…ZYVUMVNM†…ZYUN ‡€|{ytsqpojife[POˆˆ‡€|{zzytsrrqpojife\\[PO
€|{zyytsrqqpojiffee\[[POˆE
y~}ZYVU q[ˆE
yq[ˆE
yq[ˆE
yq[ˆE
yq[ˆE
yq[ˆE
yq[ˆE
yq[ˆE
yq[ˆE
yq[ˆE
yq[ˆE
g`_TSRQ`_TSRQ M†E
g`_TSRQ`_TSRQ M†E
g`_TSRQ`_TSRQ M†E
g`_TSRQ`_TSRQ M†E
g`_TSRQ`_TSRQ M†E
g`_TSRQ`_TSRQ M†E
g`_TSRQ`_TSRQ M†E
g`_TSRQ`_TSRQ M†E
g`_TSRQ`_TSRQ M†E
g`_TSRQ`_TSRQ M†E
g`_TSRQ`_TSRQ M†E
……ZYVUNNME
…ZYUNmN~}ZYVUM ‡E
…ZYUNmN~}ZYVUM ‡E
…ZYUNmN~}ZYVUM ‡E
…ZYUNmN~}ZYVUM ‡E
…ZYUNmN~}ZYVUM ‡E
…ZYUNmN~}ZYVUM ‡E
…ZYUNmN~}ZYVUM ‡E
…ZYUNmN~}ZYVUM ‡E
…ZYUNmN~}ZYVUM ‡E
…ZYUNmN~}ZYVUM ‡E
…ZYUNmN~}ZYVUM ‡‡E
††E
VgTSRQ`_ NM†E
VhE
VhE
VhE
VhE
VhE
VhE
VhE
VhE
VhE
VhE
‡ †…nmZYNE
‡†E
‡†E
‡†E
‡†E
‡†E
‡†E
‡†E
‡†E
‡†E
‡†E
‡†E
NgTSRQ`_ M†E
NgTSRQ`_ M†E
NgTSRQ`_ M†E
NgTSRQ`_ M†E
NgTSRQ`_ M†E
NgTSRQ`_ M†E
NgTSRQ`_ M†E
NgTSRQ`_ M†E
NgTSRQ`_ M†E
NgTSRQ`_ M†E
g‡€|{yq[XWPO hE
gztsrpoji\‡€|{yqpofe[XWPO‡€|{yq[XWPO hE
gztsrpoji\‡€|{yqpofe[XWPO‡€|{yq[XWPO hE
gztsrpoji\‡€|{yqpofe[XWPO‡€|{yq[XWPO hE
gztsrpoji\‡€|{yqpofe[XWPO‡€|{yq[XWPO hE
gztsrpoji\‡€|{yqpofe[XWPO‡€|{yq[XWPO hE
gztsrpoji\‡€|{yqpofe[XWPO‡€|{yq[XWPO hE
gztsrpoji\‡€|{yqpofe[XWPO‡€|{yq[XWPO hE
gztsrpoji\‡€|{yqpofe[XWPO‡€|{yq[XWPO hE
gztsrpoji\‡€|{yqpofe[XWPO‡€|{yq[XWPO hE
gztsrpoji\‡€|{yqpofe[XWPO‡€|{yq[XWPO hE
zM~} ytsrqji\[ˆ€|{ztsrpojife\POˆE
z…nZY~} ytsrqji\[ˆ€|{ztsrpojife\POˆE
z…nZY~} ytsrqji\[ˆ€|{ztsrpojife\POˆE
z…nZY~} ytsrqji\[ˆ€|{ztsrpojife\POˆE
z…nZY~} ytsrqji\[ˆ€|{ztsrpojife\POˆE
z…nZY~} ytsrqji\[ˆ€|{ztsrpojife\POˆE
z…nZY~} ytsrqji\[ˆ€|{ztsrpojife\POˆE
z…nZY~} ytsrqji\[ˆ€|{ztsrpojife\POˆE
z…nZY~} ytsrqji\[ˆ€|{ztsrpojife\POˆE
z…nZY~} ytsrqji\[ˆ€|{ztsrpojife\POˆE
z…nZY~} ytsrqji\[ˆ€|{ztsrpojife\POˆE
z…nZY~} ytsrqji\[ˆ€|{ztsrpojife\POˆE
hm ztsrpoji\‡€|{yqpofe[XWPOˆE
E
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
hhgTSRQ`_TSRQg`_ †…†…nmZYN~}ZYVUM~}m tsjiˆztsrpoji\‡€|{yqpofe[XWPOˆ‡€|{zyrq\[XWPO
…zr\ hE
…
…
…
…
…
…
…
…
…
…
ztsrpoji\‡€|{yqpofe[XWPOˆE
‡}nm €€||{{zytsrqpoji\[XXWWPOˆE
ˆ}nm E
ˆ}nm E
ˆ}nm E
ˆ}nm E
ˆ}nm E
ˆ}nm E
ˆ}nm E
ˆ}nm E
ˆ}nm E
ˆ}nm E
g‡‡„ƒ€|{zyytsrqqpoji\[[XW `_TSRQhE
g‡‡„ƒ€|{zyytsrqqpoji\[[XW `_TSRQhE
g‡‡„ƒ€|{zyytsrqqpoji\[[XW `_TSRQhE
g‡‡„ƒ€|{zyytsrqqpoji\[[XW `_TSRQhE
g‡‡„ƒ€|{zyytsrqqpoji\[[XW `_TSRQhE
g‡‡„ƒ€|{zyytsrqqpoji\[[XW `_TSRQhE
g‡‡„ƒ€|{zyytsrqqpoji\[[XW `_TSRQhE
g‡‡„ƒ€|{zyytsrqqpoji\[[XW `_TSRQhE
g‡‡„ƒ€|{zyytsrqqpoji\[[XW `_TSRQhE
g‡‡„ƒ€|{zyytsrqqpoji\[[XW `_TSRQhE
g‡‡„ƒ€|{zyytsrqqpoji\[[XW `_TSRQhE
ztsrpoji\XWˆE
ztsrpoji\XWˆE
ztsrpoji\XWˆE
ztsrpoji\XWˆE
ztsrpoji\XWˆE
ztsrpoji\XWˆE
ztsrpoji\XWˆE
ztsrpoji\XWˆE
ztsrpoji\XWˆE
hˆE
E
hˆE
E
hm ˆE
E
hm ˆE
E
hm ˆE
E
hm ˆE
E
hm ˆE
E
hm ˆE
E
hm ˆE
E
hm ˆE
E
hm ˆE
E
h`_TSRQhgg`_TSRQ ~}n~}nmm €|{tspojiXWˆˆ‡‡„ƒ€|{zzyytsrrqqpoji\\[[XW
ngg`_TSRQ m~E
nzr\ gg`_TSRQ m~E
nzr\ gg`_TSRQ m~E
nzr\ gg`_TSRQ m~E
nzr\ gg`_TSRQ m~E
nzr\ gg`_TSRQ m~E
nzr\ gg`_TSRQ m~E
nzr\ gg`_TSRQ m~E
nzr\ gg`_TSRQ m~E
nzr\ gg`_TSRQ m~E
nzr\ gg`_TSRQ m~E
{
{
{
{
{
{
{
{
{
n |{tspojiXWˆE









|
|
|
|
|
|
|
|
|
€~}nmmE
€_TSRQ mn |{ztsrpoji\XWˆE
€
€
€
€
€
€
€
€
€
}zr\„ƒ{tsjiXW hE
}
}
}
}
}
}
}
}
}
}
~}nE
E
~
E
~
E
~
E
~
E
~
E
~
E
~
E
~
E
~
E
~
E
~
[
‡
q
y
\
r
z
s
i
t
j
o
p
ƒ
W
{

„
X
|
€
[
‡
q
y
\
E
ˆ
r
z
m
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
E
h
hhg`_TSRQg`_TSRQ nm~}n~}m ˆ‡„ƒ€|{zyttssrqjjii\[XWˆ‡„ƒ€|{zyrq\[XW
~}nE
‡zytsrqji\[€|„E
‡zytsrqji\[„ƒ€|{tsjiXW„E
‡zytsrqji\[„ƒ€|{tsjiXW„E
‡zytsrqji\[„ƒ€|{tsjiXW„E
‡zytsrqji\[„ƒ€|{tsjiXW„E
‡zytsrqji\[„ƒ€|{tsjiXW„E
‡zytsrqji\[„ƒ€|{tsjiXW„E
‡zytsrqji\[„ƒ€|{tsjiXW„E
‡zytsrqji\[„ƒ€|{tsjiXW„E
‡zytsrqji\[„ƒ€|{tsjiXW„E
‡zytsrqji\[„ƒ€|{tsjiXW„E
‡zytsrqji\[„ƒ€|{tsjiXW„E
g`hE
g`_TSRQhE
g`_TSRQhE
g`_TSRQhE
g`_TSRQhE
g`_TSRQhE
g`_TSRQhE
g`_TSRQhE
g`_TSRQhE
g`_TSRQhE
g`_TSRQhE
mnE
m~}nE
m~}nnE
m~}nnE
m~}nnE
m~}nnE
m~}nnE
m~}nnE
m~}nnE
m~}nnE
m~}nnE
m~}nnE
hzyrq\[ E
hzyrq\[ E
hzyrq\[ E
hzyrq\[ E
hzyrq\[ E
hzyrq\[ E
hzyrq\[ E
hzyrq\[ E
hzyrq\[ E
hzyrq\[ E
hzyrq\[ E
ng E
ng E
ng E
ng E
ng E
ng E
ng E
ng E
ng E
ng E
ng E
~}m~}}nm ˆE
~`_TSRQ }m~}}nm ˆE
~`_TSRQ }m~}}nm ˆE
~`_TSRQ }m~}}nm ˆE
~`_TSRQ }m~}}nm ˆE
~`_TSRQ }m~}}nm ˆE
~`_TSRQ }m~}}nm ˆE
~`_TSRQ }m~}}nm ˆE
~`_TSRQ }m~}}nm ˆE
~`_TSRQ }m~}}nm ˆE
~`_TSRQ }m~}}nm ˆE
~`_TSRQ }m~}}nm ˆE
h`_TSRQhg`_TSRQ n~}}nm „ƒ€|{tsjiXWˆ‡„ƒ€|{zytsrqji\[XW
sm jiXWˆ‡„ƒ€|{zyrq\[XWˆ‡‡E
sg ~E
sg ~E
sg ~E
sg ~E
sg ~E
sg ~E
sg ~E
sg ~E
sg ~E
tg ~E
thE
thE
thE
thE
thE
thE
thE
thE
thE
jnm iXWˆ‡„ƒ€|{zyrq\[XWˆ‡‡E
jnm iXWˆ‡„ƒ€|{zyrq\[XWˆ‡‡E
jnm iXWˆ‡„ƒ€|{zyrq\[XWˆ‡‡E
jnm iXWˆ‡„ƒ€|{zyrq\[XWˆ‡‡E
jnm iXWˆ‡„ƒ€|{zyrq\[XWˆ‡‡E
jnm iXWˆ‡„ƒ€|{zyrq\[XWˆ‡‡E
jnm iXWˆ‡„ƒ€|{zyrq\[XWˆ‡‡E
jnm iXWˆ‡„ƒ€|{zyrq\[XWˆ‡‡E
jnm iXWˆ‡„ƒ€|{zyrq\[XWˆ‡‡E
Qn „ƒ€|{ytsqji[XWˆztsrji\ g`_TSRQhE
Q„ƒ€|{ytsqji[XWˆztsrji\ g`_TSRQhE
Q„ƒ€|{ytsqji[XWˆztsrji\ g`_TSRQhE
Q„ƒ€|{ytsqji[XWˆztsrji\ g`_TSRQhE
Q„ƒ€|{ytsqji[XWˆztsrji\ g`_TSRQhE
Q„ƒ€|{ytsqji[XWˆztsrji\ g`_TSRQhE
Q„ƒ€|{ytsqji[XWˆztsrji\ g`_TSRQhE
Q„ƒ€|{ytsqji[XWˆztsrji\ g`_TSRQhE
Q„ƒ€|{ytsqji[XWˆztsrji\ g`_TSRQhE
S
S
S
S
S
S
S
S
S
R
R
R
R
R
R
R
R
R
ƒ~E
ƒhE
ƒhE
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
T
T
T
T
T
T
T
T
T
_„ƒ€|{ytsqji[XWˆztsrji\ TSRQg`_TSRQhE
_
_
_
_
_
_
_
_
_
{nm tsjiXWˆ‡„ƒ€|{zyrq\[XWˆ‡‡E
{
{
{
{
{
{
{
{
{
{
gTSRQ ~E










`„ƒ€|{ytsqji[XWˆƒ{ztsrji\W _TSRQg`_TSRQhE
`
`
`
`
`
`
`
`
`
`
|
|
|
|
|
|
|
|
|
|
|
€nm |{tsjiXWˆ‡„ƒ€|{zyrq\[XWˆ‡‡E
€
€
€
€
€
€
€
€
€
€
€
[
q
y
\
r
z
s
i
t
j
ƒ
W
{

„
X
|
€
[
q
y
ˆˆE
„ƒ‚€|{zzyxwtsrrqji^]\XWˆE
}nm
~E
}nm~E
}nm~E
}nm~E
}nm~E
}nm~E
}nm~E
}nm~E
}nm~E
}nm~E
}nm~E
}nm~E
~E
~_ E
~_ E
~_ E
~_ E
~_ E
~_ E
~_ E
~_ E
~_ E
~_ E
~_ E
‡„‚€|zyxwrq^]XˆE
‡} „ƒ‚€|{zyxwrq^]XWˆE
‡} „ƒ‚€|{zyxwrq^]XWˆE
‡} „ƒ‚€|{zyxwrq^]XWˆE
‡} „ƒ‚€|{zyxwrq^]XWˆE
‡} „ƒ‚€|{zyxwrq^]XWˆE
‡} „ƒ‚€|{zyxwrq^]XWˆE
‡} „ƒ‚€|{zyxwrq^]XWˆE
‡} „ƒ‚€|{zyxwrq^]XWˆE
‡} „ƒ‚€|{zyxwrq^]XWˆE
‡} „ƒ‚€|{zyxwrq^]XWˆE
‡~E
ˆ} E
ˆ~E
E
ˆ~E
E
ˆ~E
E
ˆ~E
E
ˆ~E
E
ˆ~E
E
ˆ~E
E
ˆ~E
E
ˆ~E
E
ˆ~E
E
g`_`_`E
g`_TSRQ`_`E
g`_TSRQ`_`E
g`_TSRQ`_`E
g`_TSRQ`_`E
g`_TSRQ`_`E
g`_TSRQ`_`E
g`_TSRQ`_`E
g`_TSRQ`_`E
g`_TSRQ`_`E
g`_TSRQ`_`E
hˆ‡€|{zy E
€_ |{y{ˆ‡€|{zyxw^] hE
€_ |{y{ˆ‡€|{zyxw^] hE
€_ |{y{ˆ‡€|{zyxw^] hE
€_ |{y{ˆ‡€|{zyxw^] hE
€_ |{y{ˆ‡€|{zyxw^] hE
€_ |{y{ˆ‡€|{zyxw^] hE
€_ |{y{ˆ‡€|{zyxw^] hE
€_ |{y{ˆ‡€|{zyxw^] hE
€_ |{y{ˆ‡€|{zyxw^] hE
€_ |{y{ˆ‡€|{zyxw^] hE
€_ } |{y{ˆ‡€|{zyxw^] hhgg`_TSRQ`__`_ ~~}nnmm~}~} ‡yq[ˆˆ‡„ƒ‚€|{zzyxwtsrrqji^]\XWˆ‡€|{zyxw^]{ˆ‡€|{zyxw^]
}~E
}{xw^] `E
}`E
}`E
}`E
}`E
}`E
}`E
}`E
}`E
}`E
}`E
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
‡
z~E
z
z
z
z
z
z
z
z
z
z
z
w
w
w
w
w
w
w
w
w
w
w
]
]
]
]
]
]
]
]
]
]
]
x} w^]‡€|{y€E
x
x
x
x
x
x
x
x
x
x
x
^
^
^
^
^
^
^
^
^
^
^
|ˆ‡‡€|{zzyyxww{x ~E
|ˆ‡‡€|{zzyyxww{x ~E
|ˆ‡‡€|{zzyyxww{x ~E
|ˆ‡‡€|{zzyyxww{x ~E
|ˆ‡‡€|{zzyyxww{x ~E
|ˆ‡‡€|{zzyyxww{x ~E
|ˆ‡‡€|{zzyyxww{x ~E
|ˆ‡‡€|{zzyyxww{x ~E
|ˆ‡‡€|{zzyyxww{x ~E
|ˆ‡‡€|{zzyyxww{x ~E
|ˆ‡‡€|{zzyyxww{x ~E
|ˆ‡‡€|{zzyyxww{x ` ~}~} €|ˆˆ‡‡€|{zzyyxww{x
€E
€E
€E
€E
€E
€E
€E
€E
€E
€E
€E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
}~E
~}}~} () ˆ‡€|zyxwˆ‡€€||{{zyxw
‡€|zyxw€E
‡€|zyxw€E
‡€|zyxw€E
‡€|zyxw€E
‡€|zyxw€E
‡€|zyxw€E
‡€|zyxw€E
‡€|zyxw€E
‡€|zyxw€E
‡€|zyxw€E
‡€|zyxw€E
‡€|zyxw€E
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
ˆE
}~ ˆE
}~ ˆE
}~ ˆE
}~ ˆE
}~ ˆE
}~ ˆE
}~ ˆE
}~ ˆE
}~ ˆE
}~ ˆE
}~ ˆE
}~ ˆE
~E
~E
~E
~E
~E
~E
~E
~E
~E
~E
~E
|{ˆ‡€|{zyxw€E
|} {ˆ‡€|{zyxw€E
|} {ˆ‡€|{zyxw€E
|} {ˆ‡€|{zyxw€E
|} {ˆ‡€|{zyxw€E
|} {ˆ‡€|{zyxw€E
|} {ˆ‡€|{zyxw€E
|} {ˆ‡€|{zyxw€E
|} {ˆ‡€|{zyxw€E
|} {ˆ‡€|{zyxw€E
|} {ˆ‡€|{zyxw€E
|} {ˆ‡€|{zyxw€E
}E
}yˆ‡zyxwzxw E
}yˆ‡zyxwzxw E
}yˆ‡zyxwzxw E
}yˆ‡zyxwzxw E
}yˆ‡zyxwzxw E
}yˆ‡zyxwzxw E
}yˆ‡zyxwzxw E
}yˆ‡zyxwzxw E
}yˆ‡zyxwzxw E
}yˆ‡zyxwzxw E
}yˆ‡zyxwzxw E
~ ˆ‡zyxw
ˆ‡zyxw€E
}
E
~
y
z
w
x

€E
E
€
E
€
E
€
E
€
E
€
E
€
E
€
E
€
E
€
E
€
w
w
w
w
w
w
w
w
w
w
w
xw€E
x
x
x
x
x
x
x
x
x
x
x
 €E
 €E
 €E
 €E
 €E
 €E
 €E
 €E
 €E
 €E
 €E
 ~} !*+ €y€zxxww€
Informationsfluß
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
E
 ŠŠ‰
23 E
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
E
E
E
E
E
E
E
E
E
E
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
‰ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
ŠE
E
E
E
E
E
E
E
E
E
E
E
E
ŠEE
ŠEE
ŠEE
ŠEE
ŠEE
ŠEE
ŠEE
ŠEE
 Š‰‰
‰ ‰ŠE
‰ ‰ŠE
‰ ‰ŠE
‰ ‰ŠE
‰ ‰ŠE
‰ ‰ŠE
‰ ‰ŠE
‰ ‰ŠE
‰ ‰ŠE
‰ ‰ŠE
E
ŠE








‰ ŠE
‰
‰
‰
‰
‰
‰
‰
‰
‰
‰‹Š‰ E
‰‹Š‰ E
‰‹Š‰ E
‰‹Š‰ E
‰‹Š‰ E
‰‹Š‰ E
‰‹Š‰ E
‰‹Š‰ E
‰‹Š‰ E
‰‹Š‰ ¡‘ Š‰ŠŠ‰‹Š‰
ŠE
 ŠE
 ŠE
 ŠE
 ŠE
 ŠE
 ŠE
 ŠE
 ŠE
 ŠE
¡’‘E
¡’‘E
¡’‘E
¡’‘E
¡’‘E
¡’‘E
¡’‘E
¡’‘E
¡’‘E
¡’‘E
¢45 E
¢‹‰Š‹Š E
¢‹‰Š‹Š E
¢‹‰Š‹Š E
¢‹‰Š‹Š E
¢‹‰Š‹Š E
¢‹‰Š‹Š E
¢‹‰Š‹Š E
¢‹‰Š‹Š E
¢‹‰Š‹Š E
‰¡’‘¡‘ ŒE
‰¡’‘¡‘ ŒE
‰¡’‘¡‘ ŒE
‰¡’‘¡‘ ŒE
‰¡’‘¡‘ ŒE
‰¡’‘¡‘ ŒE
‰¡’‘¡‘ ŒE
‰¡’‘¡‘ ŒE
‰¡’‘¡‘ ŒE
‰¡’‘¡‘ ŒE
΢E
E
΢E
E
΢E
E
΢E
E
΢E
E
΢E
E
΢E
E
΢E
E
΢E
E
΢E
E
‹‰Š‹ŠŠ‰ ¢’¢¡’‘¢¡’‘ Œ‰Œ‹‰ŠŒ‹ŠŠ‰
’¢E
’¢E
’¢E
’¢E
’¢E
’¢E
’¢E
’¢E
’¢E
’¢E
¢E
Š‰ŒE
Š‰ŒE
Š‰ŒE
Š‰ŒE
Š‰ŒE
Š‰ŒE
Š‰ŒE
Š‰ŒE
Š‰ŒE
¡¡E
¡¡E
¡¡E
¡¡E
¡¡E
¡¡E
¡¡E
¡¡E
¡¡E
¡¡E
‹‹E
‹‹E
‹‹E
‹‹E
‹‹E
‹‹E
‹‹E
‹‹E
‹‹E
‹‹E
’‘‘¡‘¢’ ŒE
’‘‘¡‘¢’ ŒE
’‘‘¡‘¢’ ŒE
’‘‘¡‘¢’ ŒE
’‘‘¡‘¢’ ŒE
’‘‘¡‘¢’ ŒE
’‘‘¡‘¢’ ŒE
’‘‘¡‘¢’ ŒE
’‘‘¡‘¢’ ŒE
’‘‘¡‘¢’ ŒE
¢¡¡’‘‘¡‘¢’ Œ‹‹Š‰Œ‹Š‰
‰‹ŒŠ‰ ¢E
‰‹ŒŠ‰ ¢E
‰‹ŒŠ‰ ¢E
‰‹ŒŠ‰ ¢E
‰‹ŒŠ‰ ¢E
‰‹ŒŠ‰ ¢E
‰‹ŒŠ‰ ¢E
‰‹ŒŠ‰ ¢E
‰‹ŒŠ‰ ¢E
ŒE
Š¢E
Š
Š
Š
Š
Š
Š
Š
Š
Š‰ŒE
‹‰ŒŠ‰ŒE
’¢E
’¢E
’¢E
’¢E
’¢E
’¢E
’¢E
’¢E
’¢E
’¢E
¢E
¢E
¢E
¢E
¢E
¢E
¢E
¢E
¢E
¢’¢’¡‘¡‘ Œ‰Œ‰‹Š‹Š
‰ŒE
‰ŒE
‰ŒE
‰ŒE
‰ŒE
‰ŒE
‰ŒE
‰ŒE
‰ŒE
ŒE
ŒE
ŒE
ŒE
ŒE
ŒE
ŒE
ŒE
ŒE
’¡‘¦E
’‹ ¡‘¦E
’‹ ¡‘¦E
’‹ ¡‘¦E
’‹ ¡‘¦E
’‹ ¡‘¦E
’‹ ¡‘¦E
’‹ ¡‘¦E
’‹ ¡‘¦E
’‹ ¡‘¦E
‰¡‘ ‹ŠŒE
‰¡‘ ‹ŠŒE
‰¡‘ ‹ŠŒE
‰¡‘ ‹ŠŒE
‰¡‘ ‹ŠŒE
‰¡‘ ‹ŠŒE
‰¡‘ ‹ŠŒE
‰¡‘ ‹ŠŒE
‰¡‘ ‹ŠŒE
‰¡‘ ‹ŠŒE
‘¦E
‘¦E
‘¦E
‘¦E
‘¦E
‘¦E
‘¦E
‘¦E
‘¦E
¡Œ‰ E
¡Œ‰ E
¡Œ‰ E
¡Œ‰ E
¡Œ‰ E
¡Œ‰ E
¡Œ‰ E
¡Œ‰ E
¡Œ‰ E
‹¥¢”“’ ŠŠ‰ŽE
‹¥¢”“’ ŠŠ‰ŽE
‹¥¢”“’ ŠŠ‰ŽE
‹¥¢”“’ ŠŠ‰ŽE
‹¥¢”“’ ŠŠ‰ŽE
‹¥¢”“’ ŠŠ‰ŽE
‹¥¢”“’ ŠŠ‰ŽE
‹¥¢”“’ ŠŠ‰ŽE
‹¥¢”“’ ŠŠ‰ŽE
‹¥¢”“’ ŠŠ‰ŽE
’
’
’
’
’
’
’
’
’
¢
¢
¢
¢
¢
¢
¢
¢
¢
“
“
“
“
“
“
“
“
“
¥67 ¢¡E
¥
¥
¥
¥
¥
¥
¥
¥
¥
”“’‘¦E
”
”
”
”
”
”
”
”
”
¦¥¢”“’¦¥¢¢¡¡”“’’‘‘¥“ ŒŠ‰ŽŒ‹‰ BC
‹
‰
Œ


‘

‘

‘

‘

‘

‘

‘

‘

‘
¡
¡
¡
¡
¡
¡
¡
¡
¡

’

’

’

’

’

’

’

’

’
¢¡’‘¤E
¢
¢
¢
¢
¢
¢
¢
¢
¢
£¢¡’‘¦¥”“¦¥¤E
£¢¡’‘¦¥”“¦¥¤E
£¢¡’‘¦¥”“¦¥¤E
£¢¡’‘¦¥”“¦¥¤E
£¢¡’‘¦¥”“¦¥¤E
£¢¡’‘¦¥”“¦¥¤E
£¢¡’‘¦¥”“¦¥¤E
£¢¡’‘¦¥”“¦¥¤E
£¢¡’‘¦¥”“¦¥¤E
£¢¡’‘¦¥”“¦¥¤E
¤– E
¤– E
¤– E
¤– E
¤– E
¤– E
¤– E
¤– E
¤– E
¤£¢¡’‘¦”¦¥¤£™—”“’‘¦¥£š˜”“’‘ •– >?@A
£™—”“’‘¦¦E
£–E
£–E
£–E
£–E
£–E
£–E
£–E
£–E
£–E
™• —”“’‘¦¦E
™• —”“’‘¦¦E
™• —”“’‘¦¦E
™• —”“’‘¦¦E
™• —”“’‘¦¦E
™• —”“’‘¦¦E
™• —”“’‘¦¦E
™• —”“’‘¦¦E
™• —”“’‘¦¦E
•¥¥¤£šš™˜˜—””““’‘‘¤£’ E
•¥¥¤£šš™˜˜—””““’‘‘¤£’ E
•¥¥¤£šš™˜˜—””““’‘‘¤£’ E
•¥¥¤£šš™˜˜—””““’‘‘¤£’ E
•¥¥¤£šš™˜˜—””““’‘‘¤£’ E
•¥¥¤£šš™˜˜—””““’‘‘¤£’ E
•¥¥¤£šš™˜˜—””““’‘‘¤£’ E
•¥¥¤£šš™˜˜—””““’‘‘¤£’ E
•¥¥¤£šš™˜˜—””““’‘‘¤£’ E
•¥¥¤£šš™˜˜—””““’‘‘¤£’ E
––E
•–E
¦¥¤š™˜—”“‘¤£™—’ –••
•–E
•–E
•–E
•–E
•–E
•–E
•–E
•–E
•–E
•§¦¥¤£š™˜—”“’‘ –E
–§¦¥¤£š™˜—”“’‘™— E
–§¦¥¤£š™˜—”“’‘™— E
–§¦¥¤£š™˜—”“’‘™— E
–§¦¥¤£š™˜—”“’‘™— E
–§¦¥¤£š™˜—”“’‘™— E
–§¦¥¤£š™˜—”“’‘™— E
–§¦¥¤£š™˜—”“’‘™— E
–§¦¥¤£š™˜—”“’‘™— E
–§¦¥¤£š™˜—”“’‘™— E
¥¤£š™˜—”“’‘¨E
¥•• ¤£š™˜—”“’‘¨E
¥•• ¤£š™˜—”“’‘¨E
¥•• ¤£š™˜—”“’‘¨E
¥•• ¤£š™˜—”“’‘¨E
¥•• ¤£š™˜—”“’‘¨E
¥•• ¤£š™˜—”“’‘¨E
¥•• ¤£š™˜—”“’‘¨E
¥•• ¤£š™˜—”“’‘¨E
¥•• ¤£š™˜—”“’‘¨E
¦01 E
E
¦
E
¦
E
¦
E
¦
E
¦
E
¦
E
¦
E
¦
E
¦
• ¦¥¤£š˜”“’‘¨§¦¥¤£š™˜—”“’‘¦¥š™˜—¨§¦¥¤£œ›š™˜—”“’‘¨§¤£œ› ––•–• :;<=
¦¥¤£œ›š˜”“’‘E
¦¥¤£œ›š˜”“’‘E
¦¥¤£œ›š˜”“’‘E
¦¥¤£œ›š˜”“’‘E
¦¥¤£œ›š˜”“’‘E
¦¥¤£œ›š˜”“’‘E
¦¥¤£œ›š˜”“’‘E
¦¥¤£œ›š˜”“’‘E
¦¥¤£œ›š™˜—”“’‘E
¨§¤£œ›š™˜— –E¦E
¨§¤£œ›š™˜— –E¦E
¨§¤£œ›š™˜— –E¦E
¨§¤£œ›š™˜— –E¦E
¨§¤£œ›š™˜— –E¦E
¨§¤£œ›š™˜— –E¦E
¨§¤£œ›š™˜— –E¦E
¨§¤£œ›š™˜— –E¦E
¨§¤£œ›š™˜— –E¦E
¨§¤£œ›š™˜— •–E
§
§
§
§
§
§
§
§
§
¨
¨
¨
¨
¨
¨
¨
¨
¨
™
™
™
™
™
™
™
™
™
—
—
—
—
—
—
—
—
—
š
š
š
š
š
š
š
š
š
˜
˜
˜
˜
˜
˜
˜
˜
˜
¥š™˜—¨§¦¥¤£œ›š˜”“’‘E
¥
¥
¥
¥
¥
¥
¥
¥
¥
¦E
¤¤E
¤¤E
¤¤E
¤¤E
¤¤E
¤¤E
¤¤E
¤¤E
¤¤E
¤¤E
žE
žE
žE
žE
žE
žE
žE
žE
žE
žE
žš™˜—¤¤££žœ›š™˜—š™˜— Ÿ 89
££žœ›š™˜—žš™˜— ŸE
££žœ›š™˜—žš™˜— ŸE
££žœ›š™˜—žš™˜— ŸE
££žœ›š™˜—žš™˜— ŸE
££žœ›š™˜—žš™˜— ŸE
££žœ›š™˜—žš™˜— ŸE
££žœ›š™˜—žš™˜— ŸE
££žœ›š™˜—žš™˜— ŸE
££žœ›š™˜—žš™˜— ŸE
££žœ›š™˜—žš™˜— ŸE
E
Ÿ¤£ž E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
™E
™Ÿ E
™ E
E
™ E
E
™ E
E
™ E
E
™ E
E
™ E
E
™ E
E
™ E
E
™—¤£ž¤£žš˜ ŸŸ
—¤£¤£žššE
—¤£¤£žššE
—Ÿ ¤£¤£žššE
—Ÿ ¤£¤£žššE
—Ÿ ¤£¤£žššE
—Ÿ ¤£¤£žššE
—Ÿ ¤£¤£žššE
—Ÿ ¤£¤£žššE
—Ÿ ¤£¤£žššE
—Ÿ ¤£¤£žššE
˜˜—™—¤£ž E
˜˜—™—¤£ž E
˜˜—™—¤£ž E
˜˜—™—¤£ž E
˜˜—™—¤£ž E
˜˜—™—¤£ž E
˜˜—™—¤£ž E
˜˜—™—¤£ž E
˜˜—™—¤£ž E
Ÿ£žš™˜— E
Ÿ¤E
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
™˜˜—¤E
™ E
™
™
™
™
™
™
™
™
Ÿ E
£žš˜¤E
£žš˜¤E
£žš˜¤E
£žš˜¤E
£žš˜¤E
£žš˜¤E
£žš˜¤E
£žš˜¤E
ŸŸ £žš˜¤E
ŸŸ ¤E
ŸŸ ¤E
ŸŸ ¤E
ŸŸ ¤E
ŸŸ ¤E
ŸŸ ¤E
ŸŸ ¤E
ŸŸ ¤E
ŸŸ š™˜—¤£žš™˜—¤£ž¤£žš™˜—š™ Ÿ ŸŸ
™ E
™ E
™ E
™ E
™ E
™ E
™ E
™ E
™ E
—Ÿ š™ E
—Ÿ š™ E
—Ÿ š™ E
—Ÿ š™ E
—Ÿ š™ E
—Ÿ š™ E
—Ÿ š™ E
—Ÿ š™ E
š
š
š
š
š
š
š
š
˜
˜
˜
˜
˜
˜
˜
˜
./ ¤E








žŸ š™˜—ššE
ž
ž
ž
ž
ž
ž
ž
ž
£žš™˜—ššE
£ E
£
£
£
£
£
£
£
£
™™ E
E
E
E
E
E
E
E
E
E
Ÿ E
E
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
šE
šE
šE
šE
šE
šE
šE
šE
š™š™™ Ÿ Ÿ Ÿ
ŸŸ ™šE
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
E
E
E
E
E
E
E
E
E
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
šE
ŸŸE
ŸŸE
ŸŸE
ŸŸE
ŸŸE
ŸŸE
ŸŸE
ŸŸE
ŸŸE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
™šE
šš™ Ÿ Ÿ
ŸE
E
™™ E
™ E
™
™
™
™
™
™
™
™
ŸšE
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
Ÿ
E
E
E
E
E
E
E
E
E
™
™
™
™
™
™
™
™
™
š,- E
E
š
E
š
E
š
E
š
E
š
E
š
E
š
E
š
E
š
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
Ÿ E
™ Ÿ E
™ E
™ E
™ E
™ E
™ E
™ E
™ E
™ E
™ E
Ÿ šE
Ÿ šE
Ÿ šE
Ÿ šE
Ÿ šE
Ÿ šE
Ÿ šE
Ÿ šE
Ÿ šE
Ÿ š™š™ Ÿ Ÿ
Sensorik
Ausgang
Eingang
Reale Welt, Umwelt, Natur, ...
KNN
Funktioneller Zusammenhang y = f (x)
Eingang
Ausgang
Künstlicher Körper ist Struktur aus Sensorik und KNN
KNN ist Struktur aus VEs und Verbindungen
Abbildung 5.5: Weiterentwicklung des Ebenen-Modells nach der Abbildung 2.3 auf Seite 18, bezogen auf die KNN und deren mögliche Struktur.
14
Sowohl als einzelne Modellneurone oder als mehrschichtiges Netz.
5.2. DYNAMIK UND NETZWERKSTRUKTUREN
5.2.2
87
Zustände eines KNN
Der Zustand, den ein KNN annehmen kann, ergibt sich meist aus einer,
häufig zeitlichen, Abfolge von Prozessen, die sich in diesem Netz in seinen
VEs abspielen. Einen Prozess kann man im wesentlichen in vier Zustände
unterteilen, in welchen
- er nicht existent ist, d.h. es gibt den Prozess noch nicht,
- er bereit ist, d.h. der Prozess ist für Aktionen bereit,
- er wartend ist, d.h. der Prozess bestimmte Parameter zum Fortgang
benötigt und
- er aktiv ist, d.h. der Prozess seine Verarbeitung vornimmt.
Von diesem allgemeinen Zustandsmodell für Prozesse ausgehend, können diese Zustände und deren Änderung auch auf die KNN übertragen werden.
Abbildung 5.6 verdeutlicht einen solchen Übertragungsschritt.
Einen Zustand des KNN als nicht existent“ gibt es nicht, da die VEs
”
des jeweiligen KNN vorhanden sind und ihre Beschreibung den Prozess
bereits verdeutlichen. Die Zustände eines KNN sind somit entweder aktiv,
d.h. das Netz liefert ein Ergebnis oder nicht aktiviert, d.h. es reagiert nicht.
Die Zustände bereit und wartend gehen von früheren Aktivierungen aus und
sind im Allgemeinen abhängig von den Eingangsdaten. Zur Zustandänderung
kommt es bei einer Variierung der Werte von bestimmten Strukturlementen.
Der Anfangszustand eines Netzes oder einer VE wird sich häufig zufällig
einstellen. Dieser ergibt dadurch ist dadurch, dass die Größen, wie z.B. die
Wichtungen Ω, zufällig sind, weil am Anfang15 der Eingabevektor XIn noch
nicht die Folge eines angelegten Signals oder Wertes ist. Ebenso stellt sich der
Ausgangvektor YOut nur auf der Grundlage der zu diesen Zeitpunkt internen
Were ein. Mit dem Anfangszustand ist das KNN ist jetzt bereit. Man spricht
auch von einer Initialisierung. Legt man nun einen Wert an den Eingang, so
wird KNN oder die VE, als eine Folge der Gleichung 4.17 auf Seite 61,
einen neuen Ausgang bilden. Hier seien z.B. auch auf die noch folgenden
Ausführungen zum Perzeptron im Abschnitt 6.2, speziell die Gleichung 6.9,
verwiesen. Die dortigen Erkenntnisse des Perzeptrons lassen sich auf viele
KNN verallgemeinern.
15
Zum Zeitpunkt t=0.
88
KAPITEL 5. GRUNDLAGEN VON KNN
KNN−Zustände
nicht
existent
KNN−VE Zustände sind nicht existent, sondern nicht aktiv
bereit
nicht
aktiv
wartend
x i = x i+1
ω i = ω i+1
aktiv
Aktivierungsfkt.
n
f (Σ x ω )
f (Σ x ω )
i=1
∆ω
0 ∆x 0
∆ω 0
0
∆ω 0 ∆x 0
x i = x i+1 ω i = ω i+1
∆x
bereit
i=1
n
x i = x i+1
ω i = ω i+1
i
i
i
i
xi
ω i ∆x i
∆ω i
ω i+1
x i+1
x i+1 ω i
ω i ω i+1
xi
wartend
x i+1
ω i+1
∆ x=0
∆ ω =0
aktiv
Abbildung 5.6: Mögliche Zustände in einem KNN, wobei diese auch für die
einzelnen VE zutriffen. Die Abbildung wurde durch das Zustandsdiagramm
eines Prozesses nach [KALFA88] inspiriert.
Die Zustandsänderung erfolgen bei einem KNN je nach der Veränderung
der Größen. In der Abbildung 5.6 sind einige Zustandsänderungen am Beispiel der Wichtung- und des Eingangsvektor gekennzeichnet. Meist wird der
Anfangs- oder Initalisierungszustand auch als wartend bezeichnet. Nach dem
Anlegen eines definierten Eingangvektors wird durch das Netz eine Reaktion bewirkt, d.h das KNN ist entweder bereit, wird aktiv oder verbleibt
wartend. Jede Reaktion kann eine weitere Zustandsänderungen bewirken.
Eine Zustandsänderung in einem KNN wird im wesentlichen in zwei unterscheidbaren Schritten oder Abschnitten, der Reproduktion und dem Lernen,
erreicht. Man unterscheidet diese Schritte, da die Konsequenzen für einen
Ausgang unterschiedlich sind. Ändert sich ein Zustand durch das Lernen, hat
dies Rückwirkungen auf die weitere Dynamik. Bei der Reproduktion stellen
sich lediglich die Werte neu ein.
Während einer Reproduktion wird an das KNN der jeweilige Eingangsvektor XIn angelegt. Dadurch verändern sich die Zustände der einzelnen VE,
5.3. LERNEN ALS DYNAMIK IN EINEM KNN
89
also des Netzes ingesamt, im Rahmen einer gewählten Aufgabenstellung. Es
stellt sich möglicherweise bereits ein neuer Ausgangsvektor YOut ein. Die
anderen Kennwerte des KNN, wie die Wichtung ω, der Schwellenwert Θ,
der Lernfortschritt α u.v.a. mehr, sind in dieser Phase noch nicht betroffen.
Bezogen auf ein mehrschichtiges Netz werden die Ein- und Ausgangsvektoren modifiziert, falls sich die Werte geändert haben sollten. Die Reproduktion eines KNN ist somit eine Phase der Einstellung auf die aktuellen
Werte. Da die KNN meist auf einem Computer umgesetzt werden, kann
die Reproduktion nur zu bestimmten Zeitpunkten erfolgen. Ein KNN arbeitet somit also zeidiskret. Genauso wie die Hardware bestimmt die Art
des KNN die Reproduktion. Da die Reproduktion die Werteeinstellung betrifft, so kann man folgern, das dies vor allem bei den Zuständen nicht
”
aktiv“ , wartend“ und bereit“ auftritt. Eine Werteveränderung durch
”
”
eine aktive VE eines KNN oder ein aktives KNN selbst wird eine Folge
des Lernens sein.
5.3
Lernen als Dynamik in einem KNN
5.3.1
Lernen in biologischen neuronalen Netzen
Um das Lernen in einem KNN zu verstehen, ist es sinnvoll sich das Lernverhalten in einem realen, d.h. biologischen, Neuronennetz zu verdeutlichen.
Dort ist Lernen ein sehr komplexer Prozess. Zu einem ist die Funktion beistimmer solcher Netzes genetisch vorgegeben, z.B. die Hirnbereiche für Atmen und z.T. der Motorik. Zu anderen werden diese Netze durch die Interaktion mit der Umwelt und aus der Erfahrung geprägt. Sie lernen bzw. sie passen sich an. In den Vorgängerkapiteln wurde bereits die Verwendung von Dynamischen System (DS) für solche möglichen Beschreibungen (vgl. [EDEL93]
oder [CHURCHLAND97]) angesprochen.
Die biologischen neuronalen Netze in einem Hirn sind, als DS betrachtet, in
der Lage eine Informationen zu verarbeiten, sie zu speichern oder sich an sie
zu erinnern oder mit Informationen aus anderen Netzen zu verknüpfen. Die
VEs in diesem System sind die Neuronen16 . Die hochgradige Parallelität und
hohe Verbindungsdichte bewirken eine sehr komplexe Struktur. Die Funktion einer einzelnen Neurone lässt keine Schlussfolgerung auf den eigentlichen
”
Gedanken“ zu, aber sie ist notwendig, um auf den diesen Gedanken zu kommen. Nach dem Modell, wie es in Abbildung 4.2 auf Seite 43 dargestellt ist,
16
vgl. Kapitel 3
90
KAPITEL 5. GRUNDLAGEN VON KNN
setzen sich die Informationen aus Erregungs- oder Hemmungsmuster17 zusammen, die von der Gesamtanzahl der Neuronen und deren Verknüpfungen
in diesem jeweiligen Netzwerk abhängig sind.
Lernen ist für diese DS18 eine Form, diese Erregungs- oder Hemmungsmuster
mit den Verhalten des Körpers19 oder der jeweiligen Funktion20 in Übereinstimmung mit dem Gesamtverhalten des Organismus zu bringen. Das Lernen oder die Anpassung erfolgt im Rahmen der Interaktion mit der Umwelt.
Dabei werden bei den biologischen Netzen Verbindungen geprägt oder ein
internes Schema als Abbild dieser Realität geschaffen. So werden Neuronen
schneller aktiv oder gehemmt, welche bereits vorher für eine Erregung oder
Hemmung mit verantwortlich waren. Details für das Lernen in konkreten neuronalen Netzen findet man in [EDEL93], [CHURCHLAND97], [PDP89/II]
oder in [CALVIN2000].
Diese allgemeinen Anmerkungen verdeutlichen, dass das Lernen von dem
Standpunkt der Betrachtung abhängig ist. Da hat man das Lernen als Wissensbzw. Fähigkeitserwerb des Systems auf der einen Ebene und die Anpassung
der Parameter, z.B. Aktivierungsmuster oder Ausschüttung von Neurotransmittern, eines solchen Systems auf der anderen Ebene. Man kann kann eine
Kette von Abstraktionen durchführen. Dies ist auch bei den KNN möglich.
Man hat ein KNN für eine gewisse Funktionalität. Diese soll das KNN erwerben bzw. lernen oder muss daruf angepasst werden. Das KNN vollzieht
ein Lernprozess. An diesem Lernprozess sind die bereits angesprochenen
Strukturelememte, wie die VEs, die Verbindungsmatrix zwischen verschiedenen Schichten oder die Wichtungen der Eingänge zu dem Netz oder den
VEs, beteiligt. Sie werden in diesem Prozess modifiziert.
So wie man bei den biologischen Vorbildern Lernzustände kennt, findet man
diese auch bei den KNN. Diese Zustände kennzeichnen sich häufig durch
eine zeitliche Abhängigkeit aus. Ein System ist in einem Anfangszustand, die
Parameter sind willkürlich. Jetzt muss sich das System auf die Zielstellung
einstellen. Dabei verändern sich schrittweise die Einstellungen, d.h. in einem
Hirnbereich treten verstärkt Aktivierungen auf oder es werden entsprechende
Hormone generiert. Je nach der Art des Lernens bewirkt dies eine entsprechende Reproduktion der Werte eines Netzes. Da die einzelnen Parameter
eine Beschreibung besitzen, kann das Lernen als eine Eigenschaft der biologischen neuronalen Netze betrachten, die aus der Beschreibung der Dynamik
folgt. Diese Schlussfolgerung kann man auch auf die KNN übertragen.
17
Zusammenfassung der Ruhe- oder Aktivierungspoteniale, vgl. S. 35 ff.
biologischen Netze
19
Motorik
20
z.B. Pupillenerweiterung bei Lichteinfall.
18
5.3. LERNEN ALS DYNAMIK IN EINEM KNN
5.3.2
91
Lernen in einem KNN als DS
Während man die Reproduktion in einem KNN bzw. in der entsprechenden
Beschreibung des DS als ein Update der einzelen Werte des Netzes, z.B. des
Ausgangsvektors YOut , verstehen kann, so sind die Zustandsveränderungen,
die durch das Lernen bewirkt werden ein komplexerer Vorgang. Das Lernen
ist eine der wichtigsten Eigenschaften von KNN. Da bei einer Aufgabenstellung für ein KNN als DS kein expliziter Lösungsweg für das Problem
angeboten wird oder implemtiert ist, muss sich dieser in einem Netz in Laufe
der Informationverarbeitung selbst einstellen. Damit ist das Lernen letztlich
auch eine Ursache für eine gewünschte Reproduktion.
Man kann das Lernen in zwei Gruppen unterteilen. In der ersten Gruppe
wird die Struktur eine KNN modifiziert und in der zweiten Gruppe werden
die Parameter der jeweiligen Struktur eines KNN verändert. In einer Anwendung von KNN ist die Struktur, z.B. Anzahl der VE und die Schichten
mit deren Verbindungen, vorgegeben und kann nur schwer einen Beitrag zum
Lernen liefern. So werden bei einem KNN die Parameter der Struktur, als
Variablen der konkreten Beschreibung, z.B. Wichtungen, Eingangswerte oder
die Anstiege von Aktivierungsfuntionen, modifiziert.
In ein KNN erfolgt eine Eingabe, z.B. durch den XIn . Die Informationen
dieses Vektors werden gewichtet. Je nach der Funktion der VE in dem Netz
wird sich dessen Zustand verändern. Dieser Zudstandswechsel bewirkt in einem nächsten Schritt der Prozessverarbeitung die Änderung von internen
Einstellungen des Netzes, z.B Modifikationen im Wichtungsvektor ω oder in
der entsprechenden Matrix Ω. Dies bedeutet, dass die KNN21 , in Abhängigkeit von Aufbau und Anwendung, sich auf den Ablauf der Informationsverarbeitung einstellen bzw. anpassen, oder Lernen.
Die Abbildung 5.7 zeigt eine Blockübersicht über das Lernen in einem KNN.
Die Informationverarbeitung beginnt bei einem KNN, wie bei einem dynamischen System, mit dem Anlegen der Information. Die Information wird sich
dann im Netz ausbreiten. Wie bereits gesagt, werden sich die VE22 entsprechend einstellen. Die Veränderungen basieren meist auf einem Vergleich von
Sollvorgaben und dem konkreten Iststand. Der Sollzustand wird von Aussen an ein Netz herangetragen, wobei im Moment die konkrete Unsetzung
nicht berücksichtigt werden soll. Der Vergleich ergibt meist eine Fehlergröße
ε. Diese Größe wird im Netz ein Maß in welchem Umfang eine Veränderung
der Netzparameter erfolgt, also wie die Zustandsänderung aussieht.
21
22
Ähnlich wie die Menschen oder Tiere.
Ein KNN kann auch aus einer VE bestehen, vgl. Kap 6.
92
KAPITEL 5. GRUNDLAGEN VON KNN
Sollvorgaben
ω
KNN oder VE
Σ
X
Y
Adaption
Anpassung
Lernen
Fehlerbestimmung
ε
Dynamisches System
Abbildung 5.7: Schematische vereinfachte Darstellung des Lernen in einem
KNN, betrachtet als Dynamisches System.
Für das Lernen in einem KNN gilt:
ε = SOLL − IST ; ∆ε = min .
Dabei ist es gewünscht, dass die Differenz ein Minimum erreicht, also das
KNN die gewünschte Information liefert oder in einer Anwendung die erwartete Reaktion bringt. Dieser sehr allgemeine Ausdruck kann, nach den
in dieser Abhandlung aufgeführten Fakten, jetzt schon auch genauer gefasst
werden, er wird für viele KNN zu
ε = YSoll − YIst = YSoll − f(XInp ) ; ∆ε = min .
(5.10)
Die Behandlung des Fehlers ist die Realisierung der Adaption bzw. Anpassung und des Lernens. Sie wird in bei jedem konkreten KNN variieren und
anders gestaltet sein. In dem nachfolgenden Kapiteln werden vor allem die
Zusammenhänge zwischen dem Fehlermass und den Netzwerkparametern genauer erläutert. Wichtig ist, dass es häufig in den KNN nicht nur ein Mass für
Fehler gibt. So könenn die Eingänge, Wichtungen, Ausgänge oder andere intere Parameter einen Fehler haben, der je nach Anwendung des KNN berücksichtigt wird.
Betrachtet man das Fehlermass als Information, so wird sich diese innerhalb
eines KNN in entgegengesetzter Richtung zur eigentlichen Information oder
Signal im Netz ausbreiten. Man spricht auch von einer Fehlerrückführung
und Signalausbreitung. Diese Grössen sind auch ein wichtiges Kriterium zur
Unterteilung der KNN. In der Abbildung 5.8 wird dieser Prozess für ein
einfaches Netz angedeutet. In diesem KNN wird eine Eingangsgrösse, XIn ,
einer Klasse aus dem Ausgangsvektor YOut zugeordnet, also klassifiziert. Aus
5.3. LERNEN ALS DYNAMIK IN EINEM KNN
93
dem Bild kann man leicht ableiten, dass die Verbindungen, die die VE miteinander verbinden, sich als Matrizen, genauer als die Wichtungsmatrizen,
z.B. ΩHidden Out als die Matrix der gewichteten Information zwischen den
VE der Verdeckten und der Ausgabe-Schicht, darstellen lassen.
Klasse 2
yOut
Klasse 3
#
$# )*
%&
% '(
-.
)*
% '(
-.
)*
% '(
-.
)*
% '(
-.
)*
% '(
-.
)*
% '(
-.
)*
% '(
-.
) '(
+,
-.
'(
/ +,
-.
'(
/ +,
-.
'(
/ +,
-.
'(
/ +,
-.
'(
/ +,
-.
'(
/ +,
-.
' / + - 21
#&
%&
)*
'(
-.
)*
'(
-.
)*
'(
-.
)*
'(
-.
)*
'(
-.
)*
'(
-.
)*
'(
-.
'(
+,
-.
'(
+,
-.
'(
+,
-.
'(
+,
-.
'(
+,
-.
'(
+,
-.
'(
+,
-.
#
%% $#$#$#$# *
))&&%&&%% (
'' .
-- *
))&&%&&%% (
'' .
-- *
))&&%&&%% (
'' .
-- *
))&&%&&%% (
'' .
-- *
))&&%&&%% (
'' .
-- *
))&&%&&%% (
'' .
-- *
))&&%&&%% (
'' .
-- **)**)) (
'' ,
++ .
-- (
'' 00/00// ,
++ .
-- (
'' 00/00// ,
++ .
-- (
'' 00/00// ,
++ .
-- (
'' 00/00// ,
++ .
-- (
'' 00/00// ,
++ .
-- (
'' 00/00// ,
++ .
-- (('(('' 00/00// ,,+,,++ ..-..-- 21212121
#
&
*
(
.
*
(
.
*
(
.
*
(
.
*
(
.
*
(
.
*
(
.
(
,
.
(
,
.
(
,
.
(
,
.
(
,
.
(
,
.
(
,
.
##
%
)
%
'
)
%
'
)
%
'
)
%
'
)
%
'
)
%
'
)
%
'
)
'
+
'
/
+
'
/
+
'
/
+
'
/
+
'
/
+
'
/
+
&
*
&
(
.
*
&
(
.
*
&
(
.
*
&
(
.
*
&
(
.
*
&
(
.
*
&
(
.
*
(
,
.
(
0
,
.
(
0
,
.
(
0
,
.
(
0
,
.
(
0
,
.
(
0
,
.
('' 0// ,++ .-- 21
#
$
%
)
%
'
)
%
'
)
%
'
)
%
'
)
%
'
)
%
'
)
%
'
)
'
+
'
/
+
'
/
+
'
/
+
'
/
+
'
/
+
'
/
+
&
*
&
(
.
*
&
(
.
*
&
(
.
*
&
(
.
*
&
(
.
*
&
(
.
*
&
(
.
*
(
,
.
(
0
,
.
(
0
,
.
(
0
,
.
(
0
,
.
(
0
,
.
(
0
,
.
#
%&
)*
'(
-.
)*
'(
-.
)*
'(
-.
)*
'(
-.
)*
'(
-.
)*
'(
-.
)*
'(
-.
'(
+,
-.
'(
+,
-.
'(
+,
-.
'(
+,
-.
'(
+,
-.
'(
+,
-.
'(
+,
-.
&
#
%% $$##$##$ *
))&%&&%% (
'' .
-- *
))&%&&%% (
'' .
-- *
))&%&&%% (
'' .
-- *
))&%&&%% (
'' .
-- *
))&%&&%% (
'' .
-- *
))&%&&%% (
'' .
-- *
))&%&&%% (
'' .
-- *)**)) (
'' ,
++ .
-- (
'' 0/00// ,
++ .
-- (
'' 0/00// ,
++ .
-- (
'' 0/00// ,
++ .
-- (
'' 0/00// ,
++ .
-- (
'' 0/00// ,
++ .
-- (
'' 0/00// ,
++ .
-- (('(('' 00/00// ,,+,,++ ..-..-- 22112112
##
&
*
(
.
*
(
.
*
(
.
*
(
.
*
(
.
*
(
.
*
(
.
(
,
.
(
,
.
(
,
.
(
,
.
(
,
.
(
,
.
(
,
.
%
)
%
'
)
%
'
)
%
'
)
%
'
)
%
'
)
%
'
)
%
'
)
'
+
'
/
+
'
/
+
'
/
+
'
/
+
'
/
+
'
/
+
&
*
&
(
.
*
&
(
.
*
&
(
.
*
&
(
.
*
&
(
.
*
&
(
.
*
&
(
.
*
(
,
.
(
0
,
.
(
0
,
.
(
0
,
.
(
0
,
.
(
0
,
.
(
0
,
.
(('' 00// ,,++ ..-- 21
#
#
$
%
)
%
'
)
%
'
)
%
'
)
%
'
)
%
'
)
%
'
)
%
'
)
'
+
'
/
+
'
/
+
'
/
+
'
/
+
'
/
+
'
/
+
&
*
&
(
.
*
&
(
.
*
&
(
.
*
&
(
.
*
&
(
.
*
&
(
.
*
&
(
.
*
(
,
.
(
0
,
.
(
0
,
.
(
0
,
.
(
0
,
.
(
0
,
.
(
0
,
.
&
##
%% $#$#$# *
))&&%% (
'' .
-- *
))&&%% (
'' .
-- *
))&&%% (
'' .
-- *
))&&%% (
'' .
-- *
))&&%% (
'' .
-- *
))&&%% (
'' .
-- *
))&&%% (
'' .
-- **)) (
'' ,
++ .
-- (
'' 00// ,
++ .
-- (
'' 00// ,
++ .
-- (
'' 00// ,
++ .
-- (
'' 00// ,
++ .
-- (
'' 00// ,
++ .
-- (
'' 00// ,
++ .
-- ((''(' 00//0/ ,,++,+ ..--.- 221121
#
)&% (
' .
- *
)&% (
' .
- *
)&% (
' .
- *
)&% (
' .
- *
)&% (
' .
- *
)&% (
' .
- *
)&% (
' .
- *) (
' ,
+ .
- (
' 0/ ,
+ .
- (
' 0/ ,
+ .
- (
' 0/ ,
+ .
- (
' 0/ ,
+ .
- (
' 0/ ,
+ .
- (
' 0/ ,
+ .
- &% *
*
(
.
*
(
.
*
(
.
*
(
.
*
(
.
*
(
.
*
(
.
(
,
.
(
,
.
(
,
.
(
,
.
(
,
.
(
,
.
(
,
.
&
"
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! ""!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "!"! "
"
"
"
"
"
"
"
"
"
"
"
"
"
!"
!"
!"
!"
!"
!"
!"
!"
!"
!"
!"
!"
!"
!"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
"!!"! "
! "
! "
! "
! "
! "
! "
! "
! "
! "
! "
! "
! "
! "
!
!
!
!
!
!
!
!
!
!
!
!
!
!!"
"
"
"
"
"
"
"
"
"
"
"
"
"
!
!
!
!
!
!
!
!
!
!
!
!
!
!"
"
"
"
"
"
"
"
"
"
"
"
"
"
"
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! "
!! ""!""!! "
"
"
"
"
"
"
"
"
"
"
"
"
"
"
! "
! "
! "
! "
! "
! "
! "
! "
! "
! "
! "
! "
! "
! "!"!"! !"
! !"
! !"
! !"
! !"
! !"
! !"
! !"
! !"
! !"
! !"
! !"
! !"
! !"
! "
"
"
"
"
"
"
"
"
"
"
"
"
"
Ausgabe−Schicht
Ω Hidden_Out
Verdeckte Schicht
Ω In_Hidden
Eingabe−Schicht
y
x In
34 <==<<=8 ?>>?: @@@
56 <78=7 >9:?9 ;;
x
Vorwärtsverkettete Signalausbreitung
Rückgekoppelte Fehlerausbreitung
Klasse 1
Abbildung 5.8: Signalausbreitung und Fehlerrückführung in einem einfachen
dreischichtigen KNN. Bild leicht verändert nach [DECO96]
Jeder unterscheidbare Vektor oder Matrix in einem KNN kann durch die
Fehlergrössen beeinflusst werden. Je nachdem ob die gewünschte Information
sich geeignet klassifizieren lässt, wird sich Information ausbreiten und eine
Fehler bilden, den sich immer mehr verkleinert.
Die gegensätzlichen Flussrichtungen von Information und Fehler machen
deutlich, dass die Dynamik eines KNN dadurch erheblich beeinflussbar ist.
Dieses Verhalten, das Lernen, wird als ein zusätzlicher Parameter auf die Aktivierungfunktion des Netzes einfliessen. Nach den Information zu den Verbindungen, Aktivierungsfunktionen der VE und der Möglichkeit des Lernen,
kann man jetzt die Gleichung 4.17 auf Seite 61 modifizieren:
Y =
f ( f (VE) )
=
f ( f (VE),
net, Ω, ε ),
(5.11)
wobei f (VE) die Funktion der VE darstellt, die man auch auf ein Netz
übertragen kann, Ω ist die Wichtungsmatrix und ε ist der Fehler als ein
Umschreibung für Lernen und net repräsentiert die Netzgrößen, welche in der
Vielzahl der KNN auftreten können. Wie im Abschnitt 5.2.2 dargestellt, ist
auch das Lernen mit einer Änderung der Zustände eines KNN verbunden. Da
94
KAPITEL 5. GRUNDLAGEN VON KNN
die Simulationen oder Anwendungen eines KNN meist auf einen Computer
laufen, erfolgen diese Änderungen schrittweise. Jeder Schritt beim Lernen
basiert auf einer Regel, welche letztlich von der Art des Lernens bestimmt
wird.
Es gibt aber noch einen anderen Gesichtspunkt, welcher bei einem KNN als
DS eine Rolle spielt. Ein Netzwerk kann nicht beliebig viele Dinge, im allgemeinen als Muster repräsentiert, lernen. Die Anzahl der zu lernenden Einzelheiten drückt sich in der Plastizität des KNN wieder. Bei Ähnlichkeiten
werden eventuell bereits gelernte Dinge wieder vergessen. Ein Netz ist damit nicht mehr stabil. Bei bestimmten Versionen des Lernens wird bei den
KNN ein Problem hinsichtlich der Plastizität und der Stabilität auftreten.
Hier seien als Parameter auch an die Stabiltitätskriterien von DS23 erinnert.
Mit der Gleichung 5.11 soll die relativ unspezifische Betrachtung von KNN abgeschlossen und es werden nachfolgend konkrete Modelle und KNN, sowie
deren Anwendungen behandelt. Viele der hier gemachten Ausagen werden
sich z.T. in konkreter Form wiederholen oder machen deutlich, dass die
KNN ein sehr mächtige Werkzeuge darstellen können.
Jetzt kann man das Lernen als Eigenschaft der KNN als DS verstehen. Aber
wie kommen sie zum Lernen, denn nur die Differenz zwischen einem Soll- und
Istzustand erklärt dies nicht ausreichend. Es wird, so wie es eine Vielzahl von
KNN gibt, auch verschiedene Arten des Lernen geben.
5.3.3
Arten des Lernens
5.3.3.1
Beobachtetes Lernen
Ab hier gehts weiter.< 21. Dezember 2004 >
Beobachtetes Lernen = Überwachtes Lernen
Verhalten des KNN ist bekannt, Fehlerkorrektur gezielt möglich.
Xinp , Yout y Xinp → YOut ≡ YSoll
(5.12)
YIst = f (Xinp ) → ε = YIst − YSoll
(5.13)
∆ε ∝ Y =
23
f ( f (VE) )
DS als Schwingkreis.
=
f ( f (VE),
net, Ω, ε
)
(5.14)
5.3. LERNEN ALS DYNAMIK IN EINEM KNN
5.3.3.2
Unbeobachtetes Lernen
5.3.3.3
Andere Arten des Lernens
95
96
KAPITEL 5. GRUNDLAGEN VON KNN
Kapitel 6
Einfache und historische
Neuronen- und KNN-Modelle
6.1
Das Modell nach McCulloch und Pitts
6.2
Das Perzeptron
6.2.1
Das Prinzip des Perzeptron
Ab hier gehts weiter.< 05. November 2004 >
Neben den Vorstellungen von McCulloch und Pitts und dem Adaline nach
Hopf und Widrow hat das nachfolgende künstliche Neuronenmodell die
Vorstellung über die Arbeitsweise des Gehirns und der KNN wesentlich mit
geprägt. Das von Rosenblatt im Jahr 1958 vorgeschlagene Modell des Perceptron, im Deutschen Perzeptron genannt ([ROJAS93]), begründete mit die
gegenwärtige Auffassung der menschlichen Informationsverarbeitung als ein
dynamisches, sich selbst organisierendes und interaktives System. Im Unterschied zu den Vorgängermodellen, wie dem MP-VE und dem Adaline, steht
hier nicht die einzelne Neurone im Mittelpunkt, sondern es wird mit der Hilfe von mehreren MP-VE in einem Netzwerk ein ganzer Neuronenkomplex
simuliert. Dieser Komplex stellt das ein Gesamtmodell dar.
Ausgangspunkt für die Entwicklung des Perzeptron war die biologische Sinneswahrnehmung, speziell die Verarbeitung der optischen Wahrnehmung. Optische Reize fallen auf die Retina. Die dortigen lichtempfindlichen Sensoren
bilden ein Reizmuster, welches über die Sehnerven in die Bereiche des Cortex
97
98
KAPITEL 6. NEURONEN UND KNN-MODELLE
transportiert werden. Dort bewirken diese Muster Assoziationen und letztlich
Reaktionen. Dieses Modell setzt also einige der in den Kapiteln 2 und 3 angedeuteten Erkenntnisse um. Dabei wird einem Muster-Assoziator ein vorverarbeitetes Eingangsmuster zur Bearbeitung angeboten. Ein Perzeptron ist in
diesem Sinn kein einzelnes Neuronenmodell, man kann es als ein einfaches
KNN betrachten.
S-Einheiten
M
A-Einheiten
R-Einheit/en
BIAS
Muster
Vorverarbeitung
Muster-Assoziator
Abbildung 6.1: Das Perzeptron nach Rosenblatt
Die Abbildung 6.1 zeigt die Struktur des Perzeptrons nach Rosenblatt. Die
Neuronen bzw. VE im Modell eines Perzeptrons werden als Einheiten bezeichnet. Ein Eingangsmuster gelangt an die S-Einheiten (engl. S-Units oder
die Stimulus-Zellen). Diese verteilen das Muster durch zufällige Verbindungen auf die A-Einheiten (engl. A-Units oder die Assoziations-Zellen). Eine
S-Einheit nimmt das Eingangssignal (je nach Sensor) aus der Umgebung
auf und übergibt eine binäre Antwort, deren Wert durch einen Schwellenwert
bestimmt wird. Die binäre Antwort der S-Einheiten wird fest gewichtet und
bildet den Eingang der A-Einheit. Diese Wichtung erfolgt am Anfang zufällig,
ähnlich wie bei dem MP-VE, da typischerweise die A-Einheiten eines Perzeptrons nach dem Modell nach McCulloch und Pitts, vgl. Abschnitt 6.1,
funktionieren. Bei einem einfachen Perzeptron bilden alle Ausgänge der AEinheiten den Eingang der R-Einheit (engl. R-Unit oder response cell). Im
diesem Sinne repräsentiert die R-Einheit das eigentliche Perzeptron. Diese
Aussage gilt natürlich nur in Bezug auf die Funktion als System. Die Werte
der Eingänge der R-Einheit sind veränderlich und sind entsprechend einer
Perzeptron-Lernregel modifizierbar.
6.2. DAS PERZEPTRON
99
Im Unterschied zu den Vorgängermodellen wird die Information oder das Signal vom Eingang nicht direkt verarbeitet, sonder es wird ein Zwischenmuster, bestehend aus den Reaktionen aus den S- und A-Einheiten, dem eigentlichen Modell zugeführt. Es findet also eine Vorverarbeitung des Eingangsmusters statt, welches dann von Perzeptron bearbeitet wird, d.h. als Muster
assoziiert wird. Der Begriff Perzeptron hat sich aber auf den gesamten hier
angedeuteten Prozess eingebürgert. Diese Vorverarbeitung wird bei den mehrschichtigen Modellen wieder auftreten.
Ähnlich wie beim Adaline aus dem letzten Abschnitt gibt es auch auch beim
Perzeptron eine Eingangsmenge. Die Menge der Eingangsmuster wird durch
eine Menge von Vektoren beschrieben. Für einen einzelnen Eingangsvektor,
entsprechend Abbildung 6.2, gilt:
E = {E0 , E1 , . . . , En }.
Der Vektor gelangt an die S-Einheiten, für die gilt,
½
1 wenn En > Θ
.
yS =
0 wenn En ≤ Θ
(6.1)
Der Ausgang aus der S-Einheit yS ist 1, wenn der Teil der Eingangsinformation En größer als der Schwellenwert Θ ist, ansonsten wird 0 an die AEinheiten weitergeleitet. Für die Eingangsvektoren kann man zwecks des besseren Verständnisses die Annahme
E ≡ XInp
gelten lassen, wobei XInp im allgemeinen den Eingangsvektor ins System bzw.
KNN umschreibt.
Die Eingänge der A-Einheiten ergeben sich aus den zufälligen Verbindungen
zu den Ausgängen der S-Einheiten. Details zu den möglichen Verbindungen
zwischen den Einheiten eines KNN, hier dem Perzeptron, wurden im Abschnitt 4.3.3 behandelt. Der Eingangsvektor der A-Einheit setzt sich wie folgt
zusammen
XA = {xA 0 , xA 1 , . . . , xA m , } = {yS 0 , yS 1 , . . . , yS m , }.
Da die A-Einheiten sich wie ein MP-VE (vgl. Abschnitt 6.1) verhalten, wird
Gleichung ?? angepasst zu
sA = XA ΩA =
m
X
i=1
yS i ωi A =
m
X
i=1
xA i ωi A .
(6.2)
100
KAPITEL 6. NEURONEN UND KNN-MODELLE
S-Einheiten
R-Einheit
A-Einheiten
(eigentliches Perzeptron)
E0
A0
S0
E1
w0
S1
E2
S2
w1
E3
S4
A1
A2
w2
Am
wm
En
ω0
R
ω1
y
1
ω2
x
0
ωm
BIAS
Sn
Vorverarbeitung
Muster-Assoziator
Abbildung 6.2: Der prinzipielle Aufbau eines Perzeptrons
In dieser Gleichung ist yS i die i-te Verbindung zu einer vorangehenden SEinheit und ωiA die Wichtung dieser Information in der A-Einheit, sie entspricht dem wm in der Abbildung 6.2. Die eingehenden Verbindungen und
Wichtungen sind zufällig. Die Funktion einer A-Einheit wird, analog zur Gleichung ?? und der Abbildung 6.2, zu

m
P

yS i ωi A
 1 mit
i=0
yA =
m
P

 0 mit
yS i ωi A
i=0
bzw.
bzw.
m
P
i=0
m
P
i=0
xA i ωi A > Θ
(6.3)
xA i ωi A ≤ Θ.
Mit den Gleichungen 6.3 und 6.3 ist die Vorverarbeitung in einem Perzeptron
abgeschlossen. Der Ausgang yA bildet jetzt einen Teil des Eingangsmusters
des eigentlichen Perzeptron.
Nach den bisherigen scheint ein Perzeptron nicht anders zu funktionieren wie
die Modelle in den vorangegegangenen Abschnitten. Dennoch gibt es einen
wichtigen Unterschied, die Wichtungen der R-Einheit werden nur am Anfang vom Zufall, wie beim Adaline, eingestellt. Die Wichtungen sind nach
der zufälligen Anfangseinstellung jetzt mit dem Lernalgorithmus des Perzeptrons veränderbar, wie es in der Abbildung 6.3 als Rückführung eines Fehler,
einer bereits angesprochenen Abweichung von Soll und Ist, und Lernregel
zu erkennen ist. Der Eingangsvektor XR setzt sich nach der Abbildung aus
Ausgängen der A-Einheit yA m und dem BIAS,
XR = {yA 0 , yA 1 , . . . , yA m }, { BIAS} = {xR 0 , xR 1 , . . . , xR m , BIAS},
6.2. DAS PERZEPTRON
R-Einheit (Perzeptron)
BIAS
A0
A1
A2
Am
101
Σ
ω0
ω1
f(*)
y
R
Aktuell
y
*= X Ω
ω2
1
x
yR
0
Aktivierungsfunktion
Summierung
ωm
X=A
Information
∆ω m
Lernregel
Modifikation von
Fehler
∆ω m
über Fehleranalyse von
∆ yR
yR
Ziel
yR
y
R
Aktuell
Ziel
Abbildung 6.3: Abhängigkeit des Ausgangs einer R-Einheit zu der Wichtung
der Eingangsinformation
zusammen. Eine Vereinfachung, analog zu dem Modell aus Abschnitt 6.1,
ist BIAS ≡ xn = xBias . Genau wie in den Vorgängermodellen gibt es eine
Summierung. Bei der R-Einheit des Perzeptrons wird Gleichung ?? zu
sR = XA ΩR =
m
X
yA i ωi R =
i=1
m
X
xR i ωi R , wenn xBias 6= 0.
(6.4)
i=1
und die Aktivierungsfunktion nach Gleichung ?? wird zu

m
P

yA i ωi R
 1 mit
i=0
yR =
m
P

 0 mit
yA i ωiR
i=0
bzw.
bzw.
m
P
i=0
m
P
xR i ωi R > Θ
(6.5)
xRi ωiR ≤ Θ.
i=0
Doch jetzt wird diese Information, entweder yR oder der Vektor YR , nach bestimmten Regeln zum Eingang zurückgegeben. In der Abbildung 6.3 erkennt
man eine Fehlerbildung und eine Lernregel. Ähnlich wie beim Adaline ist
diese Rückführung keine Rückkopplung. Es wird aus der aktuellen Information yR Aktuell eine Differenz zu dem gewünschten Wert yR Ziel gebildet. Diese
Differenz ergibt sich für ein einzelnes Perzeptron zu
∆yR = yR Aktuell − yR Ziel ,
102
KAPITEL 6. NEURONEN UND KNN-MODELLE
oder für die Anwendung des Perzeptron in einem komplexeren KNN als
Differenzvektor
∆YR = YR Aktuell − YR Ziel .
In den eben angeführten Differenzen zwischen dem aktuellen Ausgang YR Aktuell
und dem gewünschten Ziel YRZiel kann man leicht den Fehler ε aus der Gleichung ?? erkennen, welche schon beim Adaline eine Rolle spielte. Damit gelten beim Perzeptron auch die gleichen Lernregeln. Analog zu dem Vorgängermodell gilt, abgewandelt nach den Gleichungen ?? und ??:
∆ΩR bzw. ∆ωR ∝ ∆YR ; YRZiel bzw. ∆yR ; yR Ziel ,
(6.6)
Ähnlich wie beim Adaline kommt es zu einer Veränderung der Wichtung der
Elemente der Eingänge der R-Einheit des Perzeptrons. Mit dieser Änderung
der Wichtungen besteht die Möglichkeit ein Perzeptron so einzustellen, das es
in der Lage ist Muster zuerkennen bzw. sich das Muster einzuprägen. Ähnlich ist es beim Sehprozeß, hier erreicht ein Muster die Retina. Die Stäbchen
und Zäpfchen bilden ein Zwischenmuster, wie es hier die S- und A-Einheiten
generieren. Das Ergebnis dieses Zwischenschritts wird über die entsprechenden Nervenbahnen in die höheren Hirnbereiche, den Cortex weitergeleitet.
Die dort wirkenden Vorstellungen sind jetzt ein Bild bzw. Muster, welches
ein Mensch oder Lebewesen wahrnimmt.
Die R-Einheit ordnet hier ebenfalls ein Muster zu. Deshalb spricht man auch
vom einem Muster-Assoziator (vgl. Abbildung 6.1 auf Seite 98). Die Veränderung der Wichtungen der R-Einheit soll bewirken, dass sich das Perzeptron
nach einem gewünschten Muster einstellt. Reagieren die Wichtungen der SEinheit, wie beim MP-VE, noch zufällig oder z.T. willkürlich, können die
Verbindungen zur R-Einheit gezielt geändert werden, hier kann ein Lernprozess erfolgen. Entsprechend dem Ansatz aus Gleichung ?? und der DeltaLernregel aus Gleichung ?? gilt für das Perzeptron, bei einem Eingangsvektor mit E = {e1 , e2 , . . . , en } oder XA R = {xA 1 , xA 2 , . . . , xA n } für eine
Verbindung zur R-Einheit,
∆ωR m = α(yS n ± yA n )en = α(yS n ± yA n )xA n ,
(6.7)
wobei ∆ωR m der zu modifizierende Betrag einer Wichtung des n-ten Eingangs
der R-Einheit ist, α die Lernrate, yS n der Ausgangswert der jeweilig zuzuordneten S-Einheit, yA n ein Wert aus einer entsprechenden A-Einheit und
en oder xA n einen konkreter Eingangswert in ein Perzeptron (R-Einheit) darstellen.
6.2. DAS PERZEPTRON
6.2.2
103
Lernen mit dem Perzeptron
Lernen ist bei dem Adaline bereits schon einmal angesprochen worden. Das
Konzept der Größenänderungen, speziell der Wichtungen wird immer wieder auftauchen. In Abbildung 6.3 auf Seite 101 ist der Lernalgorithmus des
Perzeptrons in einer sehr allgemeinen Form in der Rückführung dargestellt.
Auf der Grundlage der Delta-Lernregel, die schon beim Adaline verwendet
worden ist, wird sich ein Perzeptron in einer definierten Schrittfolge auf ein
gewünschtes Ziel hin einstellen. Bei der Erklärung des Lernen wird auf das
bereits bekannte beobachtete Lernen1 zurückgegriffen. Bei der Erläuterung
des vorliegenden Lernalgorithmus wird die Vorverarbeitung durch die S- und
A-Einheiten nicht berücksichtigt, d.h. sie gilt als bereits erfolgt.
Der Algorithmus wird mit einer Initialisierung im Schritt 1 der betreffenden
Werte beginnen, das Perzeptron wird gewisse Anfangszustände einnehmen.
1. Der Wichtungsvektor ΩR der R-Einheit wird zu einem Zeitpunkt t = 0
mit Zufallswerten initialisiert.
2. Man bestimme eine Menge von m × Eingangvektoren XT einer Trainingsmenge und die jeweiligen Ausgangsreferenzvektoren YR Ref . Entsprechend der obigen Vereinfachung, dass die S- und A-Einheiten vernachlässigt werden, gilt En = XR n mit n6=0. Für ein einzelnes Perzeptron wird YR Ref zu yR Ref . Desweiteren bestimme man eine geeignete
Lernrate α und die Anzahl der Teilschritte t. Günstig hat sich für t der
Wert t=2m bewährt. Die Größe entspricht der doppelten Anzahl von
Trainingsvektoren. Die Anzahl der Schritte t ist ein Abbruchkriterium.
3. Anlegen des ersten Referenzmusters zum Zeitpunkt t=1 und m=1 für
das gilt E0 7→ YRRef = YR und Berechnung von ∆ΩR nach Gleichung 6.7, jetzt in Vektorschreibweise
∆ΩR = α(YS Ref − XR )E1
Danach erfolgt das Einstellen der Gewichte. Gehe zu Schritt 5.
4. Anlegen eines beliebigen Eingangsmusters bei t=1 und ebenfalls Berechnung von ∆ΩR mit
∆ΩR = α(YS Ref − XR m )Em
1
Vgl. Ausführungen ab der Seite ??
104
KAPITEL 6. NEURONEN UND KNN-MODELLE
5. Vergleich der Ausgangsvektoren YR m als Folge auf die Eingabe von
XR m
Ist YR m = YS Ref 7→ Gehe zu Schritt 8.
Ist YR m < YS Ref 7→ Gehe zu Schritt 6.
Ist YRm > YS Ref 7→ Gehe zu Schritt 7.
6. Setze die Wichtungen entsprechend
ΩR t+1 = ΩR t − ∆ΩR t ,
erhöhe t um t+1 und gehe zu Schritt 5 oder bei t=2m gehe zu Schritt 9.
7. Setze die Wichtungen entsprechend
ΩR t+1 = ΩR t + ∆ΩR t ,
erhöhe t um t+1 und gehe zu Schritt 5 oder bei t=2m gehe zu Schritt 9.
8. Da das laufende Muster der Referenz entspricht, beende den LernAlgorithmus. Bei einer Anwendung des jetzt trainierten Perzeptrons
gehe zu Schritt 4.
9. Da kein stabiler Zustand erreicht wird, beende den Algorithmus.
Für das Perzeptron wird sich bei vorgegebenen Trainingsmustern und einer
geeigneten Anfangseinstellung nach einer bestimmten Anzahl von Schritten,
vgl. Schritt 2 im Lern-Algorithmus, ein stabiler Zustand einstellen, d.h. es
wird nichts mehr Neues (andere Muster) lernen oder es wird die bereits gelernten Einstellungen wieder überschreiben. Mit dem Überschreiben von gelernten Zuständen geht die Plastizität des Perzeptron verloren. Mit Plastizität
ist die Fähigkeit des Perzeptrons oder auch des Adaline bzw. eines KNN gemeint, sich auf ein ∆ωm einzustellen, ohne die gewünschte Funktion oder das
eingestellte Verhalten zu verlassen. Die Stabilität kennzeichnet einen Lernerfolg nach einer vernünftigen Anzahl von Schritten. Dies kann zu Problemen
bei der gewünschten Plastizität führen. Plastizität und Stabilität werden bei
komplexeren Netzen, wie im Folgekapitel oder bei den Anwendungen genauer
erläutert.
Bei der Darstellung der Lernalgorithmus wurde durch die Verwendung der
Trainingsmenge als Referenz
XT 7→ YS Ref ; True/Wahr
6.3. DAS ADALINE
105
das Perzeptron auf diese Menge M{XT } eingestellt. In der folgenden Anwendung kann das Perzeptron z.B. als Klassifizierer für diese Muster arbeiten,
XA 7→ YS ∈ M{XT },
(6.8)
denn nach dem Lernen wird jedes Muster der Anwendungsdaten XA , dass
die Parametern verändern will, als Falsch erkannt. Die Gleichung 6.8 führt
zu
a) XA ≈ XT 7→ YS Ref ; True/Wahr
(6.9)
b) XA 6= XT 7→ YS Ref ; False/Falsch.
Die Relationszeichen in der Gleichung 6.9 verdeutlichen die Stärken des Perzeptrons, letztlich auch anderer KNN, auch nicht nur eindeutige Muster sondern auch relativ ähnliche Muster als richtig zu erkennen. Deshalb wird in
Gleichung 6.9a das Approximationssymbol ≈ verwendet. Natürlich kann man
das Perzeptron oder ein KNN auch auf die Gleichung
a) XA ≡ XT →
7
YS Ref ; True/Wahr
b) XA 6= XT →
7
YS Ref ; False/Falsch
trainieren.
Mit dem Modell nach McCulloch und Pitt, dem Adaline und dem Perzeptron sind relativ einfache und die historisch bedeutsamen Modelle für künstliche Neuronen und KNN vorgestellt worden. Im Lauf der Entwicklung hat
es noch viele andere Modelle gegeben, aber für das grundlegende Verständnis sind die aufgeführten Modelle ausreichend. Alle möglichen Modelle aufzuführen würde den Rahmen dieser Abhandlung deutlich überschreiten. Über
weitere Modelle, Prinzipien und Methoden kann man in der umfangreichen
Fachliteratur, wie sie z.T. im Literaturverzeichnis ab S. 131 aufgeführt ist,
nachlesen.
6.3
Das Adaline
106
KAPITEL 6. NEURONEN UND KNN-MODELLE
Kapitel 7
Weitere Bausteine aus der
KNN-Theorie
107
108
KAPITEL 7. WEITERE BAUSTEINE AUS DER KNN-THEORIE
Kapitel 8
Simulationssysteme
8.1
PDP++-Software
Abbildung 8.1: Simulation einer Neurone
109
110
8.2
8.2.1
KAPITEL 8. SIMULATIONSSYSTEME
Andere Systeme
GENESIS
GENESIS ist eine Abkürzung für GEneral NEural SImulation System
Kapitel 9
Programmierung von
Neuronenmodellen und KNN
9.1
Objekt-Orientierte Programmierung von
KNN
Bei der Erklärung des allgemeinen Aufbaus von KNN wurde bereits auf die
Möglichkeit der Umsetzung dieser Modelle mit Mitteln der Objekt-orientierten
Programmierung (OOP) hingewiesen. Hier im Anhang werden nun einige
of
>>
>>
of
<<instance of>>
of
ce
an
ce
st
ce
an
in
ta
n
st
<<
in
s
in
Perzeptron
<<
<<
>>
KNN
Hopfield-Net
ART-Nets
BPN
Abbildung 9.1: Betrachtet man die KNN als ein Objekt von allgemeiner
Natur, so erkennt man im Sinne von OOP, dass die einzelnen Netzarten in
einer Beschreibung des Obkjets KNN enthalten (instance of) sind.
Modelle von KNN mit Hilfe der OOP-Sprache C++ umgesetzt und die
Erkenntnisse der Kapitel ?? bis 7 vertieft werden. Viele KNN-Programme
entstehen durch eine Verallgemeinerung und Formalisierung von entsprechen111
112
KAPITEL 9. PROGRAMMIERUNG
den KNN-Modellen, vgl. Gleichung ?? auf S. ?? am Beispiel des Adaline.
In [ROGERS97] wird eine gute Einführung in die OOP für KNN gegeben.
Da es eine Vielzahl von KNN gibt, müssen bei einer Realisierung in einer OOP-Sprache die Eigenschaften festgelegt werden, welche viele dieser
Modelle gemeinsam besitzen. Man kann sich leicht vorstellen , dass es die
Neurone, bzw. das VE, einen Ansatz zu einer Formalisierung von Objekten
in Basisklassen ergibt. Achitekturspezifische Merkmale lassen sich dann aus
diesen Basisklassen ableiten bzw. vererben. Ein weiteres Merkmal sind die
Verbindungen der Neuronen, zumindest bei mehrschichtigen Netzen, die Informationsverarbeitung1 oder der Durchlauf der Information durch ein Netz.
Wenn also die VE, deren Verbindungen und die damit verbundene Informationsverarbeitung die zugrunde liegenden Merkmale für eine OOP sind, so
kann man die Gleichung ??, welche für das Adaline aufgestellt wurde, auch
verallgemeinern, sie wird zu
ADALINE = {IN I, P ara, T opo} ; KNN = {IN I, P ara, T opo}.
Diese Verallgemeinerung trifft natürlich auch auf die Aussagen der Gleiclass KNN
class Matrix
# input: Vektor
# output1: Vektor
# output2: Single Value
# value_0: Vektor
# value_1: Vektor
# value_n: Matrix
+ Function()
+ Function()
// Inneres Produkt
// Lernfkt.
class BPN
class Perceptron
# input: Vektor
# output1: Vektor
+ Function()
// Lernfkt.
# input: Vektor
# output2: Single Value
+ Function()
// Lernfkt.
Abbildung 9.2: Schematische Darstellung einer Klassenbildung für KNN in
C++.
chung ?? auf S. ?? zu. Aus dieser Gleichung lassen sich Datenstrukturen für
eine OOP, in diesem Fall für C++, ableiten. IN I bildet die Grundlage für
die Größen von Ein- ind Ausgang eines KNN oder einerKNN-Schicht, somit
1
Aktivierungsfunktion und Vektorbildung
9.1. OOP
113
sind Vektoren2 als Datenstruktur geeignet. Für die internen Verbindungen,
resultierend nach T opo, in einem, häufig mehrschichtigen, Netz können dann
noch Matrizen (vgl. Wichtungsmatrix) abgeleitet werden. Funktionsparameter und die Aktivität des VE in einem Netz können über P ara bestimmt
werden. In der Abbildung 9.2 wurde diese Erkenntnisse für die Objektbildung, die Klassen, für C++ schematisch angedeutet.
Ein
dreischichtiges
KNN
einfaches
Link
CC
C
EEE FFEEE
DD
D
C
D
F
C DC F
D
FF
?@
AB
@
?? @?@@?? AAB BABBAA
@
B
!!! ""!!!
"
"
"
"
--- ..--.
.
.
.
,++
,,+,++,,+
Basis: Knoten
(Node)
Basis: Verbindung
(Link)
class BaseLink
Node oder VE
class BaseNode
%%% &&%%%
&
&
&
&#
$$##
$#$$#$#
))) **)))
*
*
*
*
(''
(('(''(('
/// 00/// 1121 22111
0
0
00 2
2 2
G
III JJIII
HHGG
H
G
H
J
G HG J
H
JJ
KL
MN
L
KK LKLLKK MMN NMNNMM
L
N
33
555 66555
44
6
3 434343 6
4
66
999 ::999
:
:
:
:7
8877
8788787
Objekt von class BaseNode
=== >>===
>
>
>
>
<;;
<<;<;;<<;
Objekt von class BaseLink
Abbildung 9.3: Schematische Darstellung von Objekten mittels zweier Basisklassen in C++. Bild ist den Darstellungen in [ROGERS97] auf Seite 41 nachempfunden.
class InputNode
class BaseNetwork
class BaseNode
class BiasNode
Weitere
abgeleitete
Klassen
class FeedForwardNode
Basisklassen
Abgeleitete Klassen
class ADALINE_Link
class BaseLink
class BP_Link
Weitere
abgeleitete
Klassen
Abbildung 9.4: Darstellung von von Basisklassen und abgeleiteten Klassen
in C++. Bild ist den Darstellungen in [ROGERS97] auf Seite 38 nachempfunden.
Es gibt eine sehr umfangreiche Literatur zu C++, aus der beispielhaft der
2
XD oder YD
114
KAPITEL 9. PROGRAMMIERUNG
Versuch eine OOP-Gerüstes von [BLUM92] angeführt oder die C++ Umsetzung in [MASTERS94] und [MASTERS93] erwähnt seien. Am Anfang
wurde bereits auf die Einführung in [ROGERS97] verwiesen. Da einige der
nachfolgenden Modelle auf dieser Grundlage basieren, sollten einige der Basisobjekte dieses Konzepts kurz erläutert werden. Erkenntnisse, die sich aus
Abbildung 9.2 sind in diesen Konzept ebenfalls enthalten.
Der Grundgedanke des [ROGERS97]-Konzeptes ist die Implementierung von
Basisobjekten, welche in einer Vielzahl von KNN auftreten und die Realisierung einer nachvollziehbaren Datenstrukturierung. Nach der verallgemeinerten Gleichung ?? können mit den Parametern IN I Vektoren, oder allgemein Matrizen die Platzhalter für die Daten des jeweiligen KNN sein. Mit
T opo kommt man auf die Architektur des konkrten Netzes. Als Basisobjekte
findet man also die Knoten3 , also die VE und die Kanten bzw. Verbindungen. Ein Verbindung führt in einen Knoten, kann gewichtet werden bzw. sie
übernimmt das Resultat der Verarbeitung des Knotens. Die Werte der Verbindung entsprechen letztlich einem Vektor. Mit einer Darstellung als Vektor
kann man aber programmtechnisch nicht so effizient arbeiten, deshalb führt
die Vektordarstellung zu einer verketteten Liste. In Abbildung 9.3 findet
man eine schematische Darstellung dieser Objekte, in C++ als Basisklasse
BaseNode und BaseLink implementiert.
Viele Netzwerk lassen sich aus diesem Ansatz ableiten. Die Eigenschaften dfer
Basisklassen werden an nachfolgende Klassen mit spezifischen Implementierungen vererben. In Abbildung 9.3 wird die Fortführung des Klassenkonzepts
angedeutet. Auf Details wird bei der Erläuteruung der einzelnen Netzwerke
noch eingegangen.
9.2
9.2.1
Neuronenmodelle in C++
McCulloch-Pitt Neuron
Das im Abschnitt 6.1 beschriebene Modell nach McCulloch-Pitt wurde für
Test z.T. als C++-Programm entwickelt. Auf die speziellen Eigenschaften
der Sprache, wie Datenverdeckung oder Vererbung wurde jedoch verzichtet.
Das Modell wird als Klasse (jw ltg) betrachtet, deren Elemente alle öffentlich (public) sind. Als Datenstrukturen existieren die Größe (size) dieser
Neurone, der Eingangsvektor (inp), der Wichtungsvektor (weights) und das
innere Produkt nach Gleichung ?? auf Seite ??. Neben dem Standardkon3
Ähnlich wie bei einer Beschreibung durch die Graphentheorie.
9.2. NEURONENMODELLE IN C++
115
struktor (jw ltg()) gibt es Konstruktoren die für das Modell entsprechende
Daten wie Eingabe- und Wichtungsvektor mit initialisieren.
In der Klasse jw ltg gibt es drei Funktionen. Mit der Funktion length()
wird die Größe des Eingabevektors bestimmt. Die Aktivierungsfunktionen
sind nach Gleichung ?? auf Seite ?? implementiert. Bei der Funktion act1()
wird der xBias direkt übergeben und in der Funktion act2() ist der Biaswert
ein Bestandteil des Eingangsvektors (inp). Im folgenden Auszug aus der Datei jw mcculloch pitt.h der Klassendefinition von jw ltg sind alle angeführten
Fakten nochmals im Detail zu erkennen.
class jw_ltg
{
public:
//Size of input and weights vector
int size;
//Input vector to the McCulloch-Pitt neuron
int *inp;
//Weights vector
double *weights;
//result of the inner product of input and weights vector
double sum;
//------------------------------------------------//Constructors and Destructors
//------------------------------------------------//Default constructor without initializing of datas
jw_ltg() {};
//Constructor creates a ltg with initializing
//the input and weights vector without value
jw_ltg(int);
//Constructor creates a ltg with initializing
//the input and weights vector with values
jw_ltg(int, const int*, const double*);
//Constructor creates a ltg with initializing
//the input and weights vector with values and
//check if the length of vectors is ok
jw_ltg(int,int,int,const int*,const double*);
//Copyconstructor
jw_ltg(const jw_ltg&);
//Destructor
~jw_ltg(){};
//--------------------------------------//Functions
//--------------------------------------//Number of inputs of a ltg
int length();
//Activation function, with external bias
116
KAPITEL 9. PROGRAMMIERUNG
int act1(int, double);
//Activation function, with internal bias,
//inp[size-1] is bias
int act2(double);
}
Anhang A
Ergebnisse der
Programmierung von
Neuronenmodellen und KNN
A.1
A.1.1
Ergebnisse von Neuronenmodellen
McCulloch-Pitt-Neuron
Für den Test wurde eine Aktivierungsfunktion in act1() und act2() analog
zur Gleichung ?? auf Seite ??

n
P

xi ωi ≥ Θ
 1 mit
i=1
y=
n
P

 0 mit
xi ωi < Θ
(A.1)
i=1
implementiert. Es wurde ein Neuron mit drei Eingängen, wobei der letzte
Eingang den Bias repräsentierte, programmiert.
Zuerst wurde die Abhängigkeit einer veränderlichen Schwelle Θ bei einer konstanten Wichtung ω der Eingänge getestet. Dabei gilt die Annahme, dass die
Wichtungen für alle Eingänge gleich sind. Die Ergebnisse basieren auf 50
Durchgängen (epoch). Die Schrittweite der Schwellenerhöhung betrug 0,01
und der Wichtungswert für ω1 . . . ω3 war 0,1. Das Programm hat folgende Ergebnisse gebracht. Für die Testdurchläufe 1 bis 16 ist das Neuron permanent
aktiv, sofern der Bias nicht geändert wird.
Test configuration of a McCulloch-Pitt neuron
Test the threshold, value fom 0.0 to 0.49 !
117
118
ANHANG A. ERGEBNISSE
-------------------------------------------------------------------------------Weights -> w1 = w2 = w3 = 0.1 Epoch 1 Bias is x2 = 0 then
x0 = 0 x1 = 0 theshold = 0 inner product = 0.15 ltg mccp003 = 1
x0 = 0 x1 = 1 theshold = 0 inner product = 0.25 ltg mccp003 = 1
x0 = 1 x1 = 0 theshold = 0 inner product = 0.25 ltg mccp003 = 1
x0 = 1 x1 = 1 theshold = 0 inner product = 0.35 ltg mccp003 = 1
Bias is x2 = 1 theshold = 0 inner product = 0 then ltg mccp003 = 0
-------------------------------------------------------------------------------***
-------------------------------------------------------------------------------Weights -> w1 = w2 = w3 = 0.1 Epoch 16 Bias is x2 = 0 then
x0 = 0 x1 = 0 theshold = 0.15 inner product = 0.15 ltg mccp003 = 1
x0 = 0 x1 = 1 theshold = 0.15 inner product = 0.25 ltg mccp003 = 1
x0 = 1 x1 = 0 theshold = 0.15 inner product = 0.25 ltg mccp003 = 1
x0 = 1 x1 = 1 theshold = 0.15 inner product = 0.35 ltg mccp003 = 1
Bias is x2 = 1 theshold = 0.15 inner product = 0 then ltg mccp003 = 0
--------------------------------------------------------------------------------
Für die Durchläufe 17 bis 25 kann man die Ergebnisse des Programms, bzw.
der Aktivierung als eine ODER-Funktion interpretieren.
-------------------------------------------------------------------------------Weights -> w1 = w2 = w3 = 0.1 Epoch 17 Bias is x2 = 0 then
x0 = 0 x1 = 0 theshold = 0.16 inner product = 0.15 ltg mccp003 = 0
x0 = 0 x1 = 1 theshold = 0.16 inner product = 0.25 ltg mccp003 = 1
x0 = 1 x1 = 0 theshold = 0.16 inner product = 0.25 ltg mccp003 = 1
x0 = 1 x1 = 1 theshold = 0.16 inner product = 0.35 ltg mccp003 = 1
Bias is x2 = 1 theshold = 0.16 inner product = 0 then ltg mccp003 = 0
-------------------------------------------------------------------------------***
-------------------------------------------------------------------------------Weights -> w1 = w2 = w3 = 0.1 Epoch 25 Bias is x2 = 0 then
x0 = 0 x1 = 0 theshold = 0.24 inner product = 0.15 ltg mccp003 = 0
x0 = 0 x1 = 1 theshold = 0.24 inner product = 0.25 ltg mccp003 = 1
x0 = 1 x1 = 0 theshold = 0.24 inner product = 0.25 ltg mccp003 = 1
x0 = 1 x1 = 1 theshold = 0.24 inner product = 0.35 ltg mccp003 = 1
Bias is x2 = 1 theshold = 0.24 inner product = 0 then ltg mccp003 = 0
--------------------------------------------------------------------------------
Zwischen den Durchläufen 26 bis 35 reagiert das Modell als eine UNDFunktion.
-------------------------------------------------------------------------------Weights -> w1 = w2 = w3 = 0.1 Epoch 26 Bias is x2 = 0 then
x0 = 0 x1 = 0 theshold = 0.25 inner product = 0.15 ltg mccp003 = 0
x0 = 0 x1 = 1 theshold = 0.25 inner product = 0.25 ltg mccp003 = 0
x0 = 1 x1 = 0 theshold = 0.25 inner product = 0.25 ltg mccp003 = 0
x0 = 1 x1 = 1 theshold = 0.25 inner product = 0.35 ltg mccp003 = 1
A.1. ERGEBNISSE VON NEURONENMODELLEN
119
Bias is x2 = 1 theshold = 0.25 inner product = 0 then ltg mccp003 = 0
-------------------------------------------------------------------------------***
-------------------------------------------------------------------------------Weights -> w1 = w2 = w3 = 0.1 Epoch 35 Bias is x2 = 0 then
x0 = 0 x1 = 0 theshold = 0.34 inner product = 0.15 ltg mccp003 = 0
x0 = 0 x1 = 1 theshold = 0.34 inner product = 0.25 ltg mccp003 = 0
x0 = 1 x1 = 0 theshold = 0.34 inner product = 0.25 ltg mccp003 = 0
x0 = 1 x1 = 1 theshold = 0.34 inner product = 0.35 ltg mccp003 = 1
Bias is x2 = 1 theshold = 0.34 inner product = 0 then ltg mccp003 = 0
--------------------------------------------------------------------------------
In den restlichen Durchläufen reagiert das Programm, bzw. das Neuron mit
n
P
xi ωi immer kleiner als die Schwelle Θ
Hemmung, da das inner Produkt aus
i=1
war.
Im zweiten Teil des Tests wurde die Schwelle Θ konstant gehalten und die
Wichtung ω verändert. Es wurden wieder 50 Durchläufe ausgeführt, die
Schrittweite war ebenfalls 0,01 und es galt die Annahme einer gleichen Wichtung für alle Eingänge. Der Schwellenwert Θ ist 0,1. Für die ersten drei Testdurchläufe ist das Neuron nicht aktiv, sofern der Bias nicht geändert wird.
Test configuration of a McCulloch-Pitt neuron
Test the weights, value fom 0.0 to 0.49 !
-------------------------------------------------------------------------------Weights -> w1 = w2 = w3 = 0 Epoch 1 Bias is x2 = 0 then
x0 = 0 x1 = 0 theshold = 0.1 inner product = 0 ltg mccp003 = 0
x0 = 0 x1 = 1 theshold = 0.1 inner product = 0 ltg mccp003 = 0
x0 = 1 x1 = 0 theshold = 0.1 inner product = 0 ltg mccp003 = 0
x0 = 1 x1 = 1 theshold = 0.1 inner product = 0 ltg mccp003 = 0
Bias is x2 = 1 theshold = 0.1 inner product = 0 then ltg mccp003 = 0
-------------------------------------------------------------------------------***
-------------------------------------------------------------------------------Weights -> w1 = w2 = w3 = 0.02 Epoch 3 Bias is x2 = 0 then
x0 = 0 x1 = 0 theshold = 0.1 inner product = 0.03 ltg mccp003 = 0
x0 = 0 x1 = 1 theshold = 0.1 inner product = 0.05 ltg mccp003 = 0
x0 = 1 x1 = 0 theshold = 0.1 inner product = 0.05 ltg mccp003 = 0
x0 = 1 x1 = 1 theshold = 0.1 inner product = 0.07 ltg mccp003 = 0
Bias is x2 = 1 theshold = 0.1 inner product = 0 then ltg mccp003 = 0
--------------------------------------------------------------------------------
Für den Durchlauf 4 reagiert das Program, bzw. das Neuron als eine UNDFunktion.
-------------------------------------------------------------------------------Weights -> w1 = w2 = w3 = 0.03 Epoch 4 Bias is x2 = 0 then
x0 = 0 x1 = 0 theshold = 0.1 inner product = 0.045 ltg mccp003 = 0
120
ANHANG A. ERGEBNISSE
x0 = 0 x1 = 1 theshold = 0.1 inner product = 0.075 ltg mccp003 = 0
x0 = 1 x1 = 0 theshold = 0.1 inner product = 0.075 ltg mccp003 = 0
x0 = 1 x1 = 1 theshold = 0.1 inner product = 0.105 ltg mccp003 = 1
Bias is x2 = 1 theshold = 0.1 inner product = 0 then ltg mccp003 = 0
--------------------------------------------------------------------------------
Für die Durchläufe 5 bis 7 reagiert das Program, bzw. das Neuron wie eine
ODER-Funktion.
Weights -> w1 = w2 = w3 = 0.04 Epoch 5 Bias is x2 = 0 then
x0 = 0 x1 = 0 theshold = 0.1 inner product = 0.06 ltg mccp003 = 0
x0 = 0 x1 = 1 theshold = 0.1 inner product = 0.1 ltg mccp003 = 1
x0 = 1 x1 = 0 theshold = 0.1 inner product = 0.1 ltg mccp003 = 1
x0 = 1 x1 = 1 theshold = 0.1 inner product = 0.14 ltg mccp003 = 1
Bias is x2 = 1 theshold = 0.1 inner product = 0 then ltg mccp003 = 0
-------------------------------------------------------------------------------***
-------------------------------------------------------------------------------Weights -> w1 = w2 = w3 = 0.06 Epoch 7 Bias is x2 = 0 then
x0 = 0 x1 = 0 theshold = 0.1 inner product = 0.09 ltg mccp003 = 0
x0 = 0 x1 = 1 theshold = 0.1 inner product = 0.15 ltg mccp003 = 1
x0 = 1 x1 = 0 theshold = 0.1 inner product = 0.15 ltg mccp003 = 1
x0 = 1 x1 = 1 theshold = 0.1 inner product = 0.21 ltg mccp003 = 1
Bias is x2 = 1 theshold = 0.1 inner product = 0 then ltg mccp003 = 0
--------------------------------------------------------------------------------
Ab Druchlauf 8 ist das Programm, bzw. Neuron stänig aktiv, da das inner
n
P
xi ωi immer jetzt immer größer als die Schwelle Θ ist.
Produkt aus
i=1
Die Testläufe zeigen, dass das implementierte Neuron in der Lage ist die
logischen Elementarfunktionen UND, ODER und NICHT zu realisieren. So
zeigt sich bei dem Neuron mit einem veränderlichen Θ zuerst eine Aktivierung, dann eine ODER-Funktion, welche in eine UND-Funktion übergeht,
um abschließend ständig gehemmt bzw. nicht aktiv zu sein. Im Falle eines
veränderlichen ω ist das Verhalten entgegengesetzt. Zusammenfassend kann
man sagen, dass das Modell nach McCulloch-Pitt bei entsprechender Konfiguration der Parameter geeignet ist, um logische Funktion zu implementieren.
A.1.2
Adaline
A.1. ERGEBNISSE VON NEURONENMODELLEN
a)
b)
Trainingsmenge (Lernen)
Arbeitsmenge
Abbildung A.1: Adaline-Simulation
Diese Verteilung lernt das Adaline auszusondern
Auf diese Verteilung lernt das Adaline
Abbildung A.2: Adaline-Simulationsverteilung
121
122
ANHANG A. ERGEBNISSE
Trainingsmenge
Arbeitsmenge
(Work−)
Abbildung A.3: Adaline-Simulationsverteilung
Anhang B
Begriffserläuterungen
A
- Adaline ; Adaptive linear neuron ⇒ Neuron, mit der Fähigkeit
einiges seiner Parameter linear anzupassen, d.h. das Modell ist
lernfähig.
- ANN ; Artifical Neural Network ⇒ Künstliche Neuronale Netze
- Architektur ; Anzahl und Art von Verarbeitungseinheiten in einem KNN, Struktur des neuronalen Netze.
- Axon ; manchmal auch als Neurit bezeichnet; Fortsatz des Neurons , der das Aktionspotenial vom Perikaryon zu den AxonEnden und Synapsen weiterleitet.
B
- Bewußtsein ; Philosophischer Begriff, der die Bewußtheit einer
Person als Ding bezeichnet.
C
- Cerebellum ; Kleinhirn, Struktur hinter der Brücke (Pons) und
dem Hirnstamm.
Cerebrum ; Großhirn, gebildet aus zwei Hälften (Hemisphären)
des Cortex cerebri
- Cortex ; (auch Neocortex, Isocortex ) Zwei bis drei Millimeter
gefaltete dicke Schicht an der Oberfläche des Großhirns, welche
mit Furchen bzw. Windungen (Gyrus ) durchsetzt ist. Bereich
der bewußten Informationsverarbeitung im Gehirn.
D
- Demirug ; Aus dem Griechischen und bedeutet soviel wie Handwerker oder Schöpfer.
- Dendrit ; Zellfortsatz zur Aufnahme von synaptisch übertragenen Informationen.
123
124
ANHANG B. BEGRIFFSERLÄUTERUNGEN
E
- efferent ; von einer Struktur wegführend.
- endokrin ; ausschüttent in den Blutkreislauf (z.B. Hypophyse).
- exokrine Drüsen ; ausschüttent auf Körper, Organe oder Holorgane (z.B.Tränendrüse).
F
- Fehlerrückführungs-Netz ; (engl. Backpropagation network) Netz,
welches nach einer Lernregel Informationen über einen Fehler am
Ausgang an den Eingang gibt. es tritt keine Rückkopplung auf.
- fMRT ; funktionelle Magnetresonanztomografie, zeigt das sauerstoffhaltige Blut, welches verstärkt durchaktivierte Hirnareale
fließt.
G
- Ganglion ; Ansammlung von Neuronen, bei wirbellosen Tieren
Bestandteil des ZNS, bei Wirbeltieren in sensorischen Bereich des
ZNS zu finden.1
- Griechische Philosophie ; Nach [KROENER91] gleichbedeutend
mit der Philosopie als Wissenschaft. Im antiken Griechenland liegen die Wurzeln der Wissenschaft.
H
- Hemisphären ; Großhirnhälften
- Homunkulus ; Ein künstlich erzeugter Mensch.
- Hypothalamus ; Gruppe von Kernregionen, die sich in der unteren Hälfte des Gehirns, an der Grenze von Mittelhirn und Thalamus, befinden.
- Hypophyse ; Hirnanhangsdrüse, die vom Hypothalamus gesteuert
wird. Es handelt sich um eine Hormodrüse.
I
- Ion ; Elektrich geladenes Teilchen.
J
K
- KI ; Künstliche Intelligenz ⇒ Artificial Intelligence
L
- Läsion (engl. lesion) ; durch Unfall oder Krankheit bedingte
Schädigung von Hirngewebe. Durch Läsionen konnten am Gehirn
Erkenntnisse über die Struktur und Funktion gewonnen werden.
- Lipide ; Fette bzw. fettähnliche Stoffe, welche schwer im Wasser
löslich sind, aber durch organische Substanzen aufgelöst werden
können.
1
s.a. [SINAUER92]
125
M
- Mikrotubulus ; intrazellulär gelegener Hohlzylinder mit ca. 20. . .30nm
Durchmesser. Diese aus dem Protein Tubulin bestehende Gebilde
spielen eine Rolle beim axonalen Transport.
- Mitochondrium ; Organelle im Inneren einer Zelle. Zuständig für
die Energie der jeweiligen Zelle
- Myelin ; Fetthaltige dünne Substanz der Scheidewand, welche
Nervenfasern bzw. Axone umgibt.
N
- Neurotransmitter ; Substanz, welche im Bereich der Synapse eines Neurons bei Eintreffen des Aktionspotenials gebildtet wird.
Rezeptoren in der anliegenden Folge-Neurone reagieren mit diesen Neurotransmittern, dies bewirkt Hemmung oder Erregung.
O
- Objekt-Orientierte Programmierung (OOP) ; Kurz programmiertechnische Umsetzung mittles der Abstraktion von Daten,
den dazugehörigen Funktionen, Datenkapselung und Vererbung
von Eigenschaften.
P
- Perikaryon ; Gesamter Zellkörper einer Nervenzelle und ist meist
rund, oval, spindel- oder pyramidenförmig. (vgl. auch Soma)
- Permeabilität ; Größe für die Durchlässigkeit von Ionen durch
eine Zellmembran. auch Leitfähigkeit
- PET (engl. positron emission tomography) ; Bei der Positronenemissionstomographie wird dem Körper ein Radioisotop zugeführt.
Diese emittiert Positronen. Beim Zusammentreffen mit Elektronen
entsteht eine meßbare Gammastrahlung. Dieses erlaubt die Herstellung von Schichtenabbildungen von Durchblutung- und Stoffwechselvorgängen, die mit modernen Computern zu 3D-Modellen
erweitert werden können.
- Perzeptron ; (engl. Perceptron) Klassisches Modell eines neuronales Netz. Wird bei KNN auch als Neuron bezeichnet. Manchmal auch Fehlerrückführungs-Netz.
- Plastizität ; (engl. plasticity or Hebbian plasticity) Kennzeichnet
einen Einfluß auf die Verbindungsgrößen (Wichtungen) gegenüber
Änderungen bei neuen Eingaben.
- Phospholipide ; Phosphorglycerid, Molekül aus Alkoholgruppe,
Phosphorsäure, Glycerin und anderen Fettsäuren
Q
126
R
ANHANG B. BEGRIFFSERLÄUTERUNGEN
- Rezeptor (engl. receptor) ; Allgemein ein Empfänger für Signale
und Reize. Speziell z.T. für Reizaufnahme zuständige Teile von
Zellen oder molekulare Strukturen, welche bei Aktivierung mit
anderen molekularen Strukturen reagieren.
- Roboter ; Der Begriff (Tschechisch: Robot - Frondienst) entstammt der Erzählung R.U.R von Karel Capek aus dem Jahr
1920.
S
- Synapse ; Chem. Verbindungsstelle zwischen Neuronen für die
Informationsübertragung.
- Soma ; Ausgedehnter Teil des Neuronzellkörpers, der dem Kern
umgibt und von denen die Axone und Dendriten abzweigen.
T
- Thalamus ; Ansammlung von Kernregionen vor und über dem
Mittelhirn.
U
V
- Vesikel ; Membrangebundenens Bläschen zum Transport von
Neurontransmittern
W
- Wichtung ; Größe, welche die Wichtigkeit einer Information bestimmt oder ein Maß für die Bedeutung einer Information.
X
Y
Z
Anhang C
Mathematische Symbole
Symbol
∆ ΨR
∆ΨA
X
x
Y
y
M{Begriff }
Θ
ω
Ω
1
Alternative
~
X
Y~
ω
~
Bedeutung
Ruhepotentialdifferenz1
Aktionspotentialdifferenz1
Eingangsvektor in ein System
Skalare Eingangsgröße
Ausgangsvektor aus einem System
Skalare Ausgangsgröße
Ist Menge aus Begriff
Schwellenwert
Wichtung einer Verbindung
Wichtungsvektor
auch nur Aktions- bzw. Ruhe-Potential
Tabelle C.1: Wichtige mathematische Symbole
127
128
ANHANG C. MATHEMATISCHE SYMBOLE
Anhang D
Abkürzungen
Abkürzung
ANN
ART
BPN
CT
EEG
ERP
GENESIS
FA
fMRT
KNN
MEG
MRI
MP-VE
PDP
PET
UML
VE
ZNS
1
Bedeutung
Artifical Neural Network
Adaptive Resonance Theory
Backpropagation Network
Fehlerrückführungsnetz
Computertomographie
Elektroenzophalogramm
event-related potential
GEneral NEural SImulation System
Fourier-Analyse
Funktionale Magnetresonanztomograpfie
Künstliche Neuronale Netze1
Magnetoenzephalogramm
Magnetic Resonance Imaging
McCulloch Pitts-Verarbeitungselement
Parallel Distributed Processing
Verteilte parallele Verarbeitung
Positronenemissionstomographie
Unified Modeling Language
Verarbeitungseinheit oder künstliches Neuron im KNN
Zentralnervensystem
Manchmal als auch für künstliches Neuronenmodell verwendet.
Tabelle D.1: Wichtige Abkürzungen
129
130
ANHANG D. ABKÜRZUNGEN
Bildquellennachweis
• Abbildung 1.4 auf Seite 10 wurde im Internet gefunden.
• Abbildung 2.1 auf Seite 14 nach Abbildung 1.4 Seite 23 in [THOMPSON94]
• Abbildung 2.4 auf Seite 19 nach Abbildung 1.8 Seite 34 in [THOMPSON94]
Literaturverzeichnis
[EDEL93] Gerald M. Edelman. Unser Gehirn-Ein dynamisches System.
Piper–Verlag, München, 1993
[EDEL95] Gerald M. Edelman. Göttliche Luft, vernichtendes Feuer. Piper–
Verlag, München, 1995
[BILEX88] Gerhard Wolf. BI–LEXIKON Neurobiologie. Biliographisches Institut, Leipzig, 1988
[CHURCHLAND97] Patricia S. Churchland, Terrence J. Sejnowski. Grundlagen zur Neuroinformatik und Neurobiologie. Vieweg & Sohn, Braunschweig/Wiesbaden, 1997
[THOMPSON94] Richard F. Thompson. Das Gehirn. Spektrum Akademischer Verlag, Heidelberg, Berlin, Oxford, 1994
[BRAITENBERG93] Valentin Braitenberg. Vehikel Experimente mit kybernetischen Wesen. Rowohlt Taschenbuchverlag GmbH, Reinbek bei
Hamburg, 1993
[Nørretraders97] Tor Nørretraders. Spüre die Welt Die Wissenschaft des Bewußtseins. Rowohlt Taschenbuchverlag GmbH, Reinbek bei Hamburg,
1997
[ARIBIB95] Michael A. Arbib (editor). The Handbook of Brain Theory and
Neural Networks. MIT Press, Cambridge, London, 1995
[Spektrum92/1] Reihe Verständliche Forschung mit Einführung von Wolf
Singer. Gehirn und Kognition. Spektrum Akademie Verlag, Heidelberg,
Berlin, New York 1992
[KURZWEIL99] Ray Kurzweil. Homo s@apiens. Econ Ullstein List Verlag
& Co. KG, München, 3. Auflage 2001
131
132
LITERATURVERZEICHNIS
[SINAUER92] John G. Nicholls, A. Robert Martin, Bruce G. Wallace. From
Neuron to Brain. Sinauer Associates Inc., Sunderland, Massachusetts
U.S.A., Third Edition 1992
[POEPPEL94] Ernst Pöppel, Anna-Lydia Edinghaus. Geheimnisvoller Kosmos Gehirn. C. Bertelsmann Verlag GmbH, München, 1. Auflage 1994
[ECCLES00] John C. Eccles. Das Gehirn des Menschen. Seehamer Verlag
GmbH, Weyarn, Genehmigte Lizenzausgabe 2000
[ECCLES99] John C. Eccles. Die Evolution des Gehirns - die Erschaffung
des Selbst. Piper Verlag GmbH, München, 3. Auflage Mai 1999
[ELLACOTT96] Steve Ellacott, Deb Bose. Neural Networks: Deterministic
Methods of Analysis. International Thomson Computer Press, London
UK, Boston U.S.A., First Printed 1996
[Spektrum92/2] Spezial 1: Gehirn und Geist. Spektrum der Wissenschaft,
Spektrum Akademie Verlag, Heidelberg, Berlin, New York 1992
[Spektrum01] Digest 2/2001: Rätsel Gehirn. Spektrum der Wissenschaft,
Spektrum Akademie Verlag, Heidelberg, Berlin, New York 2001
[SpdW01] Detlef Heck und Fahad Sultan. Das unterschätzte Kleinhirn. Spektrum der Wissenschaft Heft Oktober 10/2001, S. 36. . .44, Spektrum
Akademie Verlag, Heidelberg, Berlin, New York 2001
[ROBERT95] Jacques-Michel Robert. Nervenkitzel - Den grauen Zellen auf
der Spur. Spektrum Akademischer Verlag, Heidelberg, Berlin, Oxford,
1995
[CAJAL1889] Ramón y Cajal. Textura del sistema nervioso del hombre y de
los vertebrados. 1889-1904, Madris, Moya
[ROJAS93] Raúl Rojas.Theorie der neuronalen Netze. Springer-Verlag, Berlin, Heidelberg, New York 1993
[BOTHE98] Hans-Heinrich Bothe. Neuro-Fuzzy-Methoden. Springer-Verlag,
Berlin, Heidelberg, New York 1998
[DECO96] Gustavo Deco, Dragan Obradovic. An Information-Theoretic Approach to Neural Computing. Springer-Verlag, Berlin, Heidelberg, New
York 1996
LITERATURVERZEICHNIS
133
[MATECKI99] Ute Matecki. Automatische Merkmalsauswahl für Neuronale
Netze mit Anwendung in der pixelbezogenen Klassifikation von Bildern.
Shaker-Verlag, Aachen, 1999
[KULKARNI94] Arun D. Kulkarni. Artificial Neural Networks for Image Understanding. Van Nostrand Reinhold, New York, 1994
[PDP89/I] David E. Rumelhart, James L. McClelland and PDP Research
Group. Parallel Distributed Processing - Explorations in the Microstructure of Cognition , Volume I: Foundations. MIT Press Cambridge, Massachusetts, London, Ninth Printing, 1989
[PDP89/II] James L. McClelland, David E. Rumelhart and PDP Research Group. Parallel Distributed Processing - Explorations in the Microstructure of Cognition, Volume II: Psychological and Biological Models. MIT Press Cambridge, Massachusetts, London, Ninth Printing,
1989
[CALVIN2000] William H. Calvin. The Cerebral Code. MIT Press Cambridge, Massachusetts, London, Third Printing, 2000
[HOFFMANN93] Norbert Hoffmann. Kleines Handbuch Neuronale Netze.
Vieweg & Sohn, Braunschweig/Wiesbaden, 1993
[KHANNA90] Tarun Khanna. Foundations of Neural Networks. AddisonWesley Publishing Company Inc., New York, 1990
[PERETTO94] Pierre Peretto. An Introduction to the Modeling of Neural
Networks. Cambridge University Press 1992, Reprinted 1994
[GENESIS95] James M. Bower, David Beemann. The Book of GENESIS.
Springer-Verlag, Berlin, Heidelberg, New York, Second edition, 1995
[SpdWGuG02/I] Hubert Breuer. Zellen, die Gedanken lesen. Spektrum der
Wissenschaft: Geist & Gehirn Heft 02/2002, S. 70. . .71, Spektrum Akademie Verlag, Heidelberg, Berlin, New York 2002
[SpdWGuG02/II] Manfred Spitzer. Denkende Autofahrer und andere Mythen. Spektrum der Wissenschaft: Geist & Gehirn Heft 02/2002,
S. 54. . .78, Spektrum Akademie Verlag, Heidelberg, Berlin, New York
2002
[EBBINGHAUS94] Heinz-Dieter Ebbinghaus. Einführung in die Mengenlehre. B·I·Wissenschaftverlag Mannheim, Leipzig, Wien, Zürich, 3. vollst.
überarb. Auflage 1994
134
LITERATURVERZEICHNIS
[EDEL02] Gerald M. Edelmann, Giulio Tononi. Gehirn und Geist. Verlag
C.H. Beck oHG, München 2002
[BROOKS02] Rodney Brooks. Menschmaschinen. Campus Verlag GmbH,
Frankfurt/Main 2002
[SpdWGuG/I/II] Robert-Benjamin Illing. Die Ideengeschichte der Gehirnforschung, Vom Loch im Kopf zum Neuron, Teil 1 - Von der Hirnkarte
zum Roboter, Teil 2. Spektrum der Wissenschaft: Geist & Gehirn Heft
01/2002, S. 64. . .71, Spektrum der Wissenschaft: Geist & Gehirn Heft
02/2002, S. 62. . .67, Spektrum Akademie Verlag, Heidelberg, Berlin,
New York 2002
[REILLY00] Randall C. O´ Reilly and Yuko Munakata. Computational Explorations in Cognitive Neuroscience. A Bradford Book, MIT Press,
Cambridge, London 2000
[KOEHLE90] Monika Köhle. Neurale Netze. Springer-Verlag, Berlin, Heidelberg, New York 1990
[SpdWGuG02/IV] Olaf Schmidt. Nachwuchs im Gehirn. Spektrum der Wissenschaft: Geist & Gehirn Heft 04/2002, S. 86. . .87, Spektrum Akademie Verlag, Heidelberg, Berlin, New York 2002
[Ispec6/02] Ernst Pöppel. Informationsverarbeitung im menschlichen Gehirn. Informatik Spektrum, Band 25, Heft 6 Dezember 2002,
S. 427. . .437, Springer-Verlag, Berlin, Heidelberg, New York 2002
[Graph96] Nirmal K. Bose, Ping Liang. Neural Network Fundamentals with
Graphs, Algorithms and Applications. McGraw-Hill series in eletrical and computer engineering. Communications and siganl processing.
McGraw-Hill Inc. New York 1996
[FREEMANN92] James A. Freemann, David M. Skapura. Neural Networks
Algorithms, Applications and Programming Techniques. AddisonWesley Publishing Company Inc., New York, 1991, Reprinted with
corrections July 1992
[ROGERS97] Joey Rogers. Object-Oriented Neural Networks in C++. Academic Press Inc., San Diego, London, Boston, New York, Sydney, Tokyo, Toronto. 1997
[LaMetterie88] Julien Offay de La Mettrie. Der Mensch als Maschine. LSRVerlag Nürnberg, 2. Auflage 1988
LITERATURVERZEICHNIS
135
[MAREN90] Alianna Maren, Craig Harston, Robert Pap. Handbook of
Neural Computing Applications. Academic Press Inc., San Diego, London, Boston, New York, Sydney, Tokyo, Toronto. 1990
[CICHOCKI93] A. Cichocki, R. Unbehauen. Neural Networks for Optimization and Singnal Processing. B.G. Teubner, Stuttgart, JOHN WILEY
& SONS, Chichester, New York, Bisbane, Toronto, Singapore. 1993
[STANLEY91] Jeannette Stanley, Evan Bate. Neuronale Netze. Systhema
GmbH München. 1991
[PATTERSON96] Dan W. Patterson. ARTIFICAL NEURAL NETWORKS.
Prentice Hall, Singapore, New York, London, Toronto, Sydney, Tokyo.
1996
[WIENHOLT96] Willfried Wienholt. Entwurf neuronaler Netze. Reihe Physik Bd. 59, Verlag Harry Deutsch, Thun, Frankfurt am Main. 1996
[RUEGER97] Stefan M. Rüger. Zur Theorie künstlicher neuronaler Netze.
Reihe Physik Bd. 71, Verlag Harry Deutsch, Thun, Frankfurt am Main.
1997
[KALFA88] Winfried Kalfa. Betriebssysteme. Akademie-Verlag der DDR,
Berlin. 1988
[CALLAN03] Robert Callan. Neuronale Netze. Pearson Studium, Imprint
der Person Education Deutschland GmbH, München, 2003
[CALVIN2004] William H. Calvin. Wie das Gehirn denkt - Die Evolution
des Gehirns. Elsevier GmbH, München, 2004, Spektrum Akademischer
Verlag ist ein Imprint der Elsevier GmbH
[MASTERS94] Timothy Masters.Signal an Image Processing with Neural
Network. A C++ Sourcebook. John Wiley & Sons Inc., New York,
Chichester, Brisbane, Toronto, Singapore. 1994
[MASTERS93] Timothy Masters. Practical Neural Network Recipes in
C++. Academic Press Inc., San Diego, London, Boston, New York,
Sydney, Tokyo, Toronto. 1993
[BLUM92] Adam Blum. Neural Networks in C++. John Wiley & Sons Inc.,
New York, Chichester, Brisbane, Toronto, Singapore. 1992
136
LITERATURVERZEICHNIS
[HARRIS98] John W. Harris, Horst Stocker. Handbook of Mathematics and
Computational Science. Springer-Verlag, Berlin, Heidelberg, New York
1998
[Lernen83] Werner Schoenborn, Klaus Fritzsch, Gerd Stanke. Lernverfahren
für technische Systeme. Akademie-Verlag der DDR 1983, Reihe : Wissenschaftliche Taschenbücher, Band 138
[DynSys94] D.K. Arrowsmith, C.M. Place. Dynamische Systeme. Spektrum
Akademischer Verlag, Heidelberg, Berlin, Oxford, 1994
[Bronstein01] I.N. Bronstein, K.A. Semendjajew, G. Musiol, H.
Mühlig.Taschenbuch der Mathematik. Verlag Harri Deutsch, Frankfurt
am Main, 5. unver. Auflage 2001
[DIETZ03] Peter Dietz. Menschengleiche Maschinen - Wahn und Wirklichkeit der kümstlichen Inelligenz. Bühler & Heckel Verlag für Kunst und
Wissenschaft, Berlin 2003
[KROENER91] Georgi Schischkoff. Philosophisches Wörterbuch. Alfred
Kröner Verlag Stuttgart, 22. Auflage 1991
[ROTH03] Gerhard Roth. Aus der Sicht des Gehirns. Suhrkamp Verlag
Frankfurt am Main2003
[GEB88] Douglas R. Hofstadter. Gödel, Escher, Bach - ein endlos geflochtnes
Band. Verlag Klett-Cotta Stuttgart, 11. Auflage 1988
[SpdW09/04] R. Douglas Fields.Die unbekannte Seite des Gehirns. Spektrum der Wissenschaft September 2004, S. 46. . .56, Spektrum Akademie Verlag, Heidelberg, Berlin, New York 2004