Neuronale Netze
Inhalt
•
•
•
•
•
•
Einführung
Das menschliche Gehirn
Das Neuron
Gehirn vs. Computer
Eigenschaften Neuronaler Netze
Modelle Neuronaler Netze
Das menschliche Gehirn
Golgi und Ramon y Cayal
Neocortex (Hirnrinde)
• 0,2m² groß
• 2-3mm dick
• Besteht aus einem Netz
von Nervenzellen – den
Neuronen – welche
miteinander Signale
austauschen
Das Neuron
•
•
•
•
Dendritenbaum
Zellkern (Soma)
Axon
Synapsen
(Exitatorisch und Inhibitorisch)
• Neuronenklassen
Gehirn vs Computer
Gehirn
Rechner
# Verarbeitungselemente
ca. 1011 Neuronen
ca. 109 Transistoren
Art
massiv parallel
im allg. seriell
Speicherung
assoziativ
adressbezogen
Schaltzeit eines Elements
ca. 1 ms (10-3 s)
ca. 1 ns (10-9 s)
„Schaltvorgänge“ /s
ca. 103/s
ca. 109/s
#“Schaltvorgänge“ theor.
ca. 1013/s
ca. 1018/s
#“Schaltvorgänge“ tats.
ca. 1012/s
ca. 1010/s
Eigenschaften Neuronaler Netze
Vorteile
• Lernfähigkeit
• Parallelität
• Globales Wissen
• höhere Fehlertoleranz
• Assoziative Speicherung von Information
• Entrauschen von Daten
• Default-Werte
• aktive Repräsentation
Eigenschaften Neuronaler Netze
Nachteile
• kaum programmierbares Wissen
• keine Introspektion möglich
• Logisches sequenzielles Schließen ist
schwer
• Lernen dauert lange
Modelle Neuronaler Netze
•
•
•
•
McCulloch und Pitts: „Logisches Schwellwertelement“
Hebb: „Lernen durch plastische Synapsenstärken“
Rosenblatt: „Lernen durch Musterklassen“
Willshaw, Bunemann und Longuet-Higgins:
„Matrixmodelle assoziativer Speicher“
• Hopfield: „Autoassoziation durch Hopfield-Netze“
McCulloch und Pitts
• logisches Schwellwertelement mit L
Eingangsleitungen und einer Ausgangsleitung
• Überschreitet die Summe der Eingangswerte einen
Schwellwert, so feuert das Neuron
• Durch Kombination lässt sich jede logische
Funktion aufbauen
• Aber kein Lernen und keine Fehlertoleranz
möglich
Hebb
• Eine durch eine Synapse bewirkte
Verschaltung zwischen zwei Neuronen
ist plastisch und ändert sich
proportional zur korrelierten Aktivität
vor und hinter der Synapse
• Wenn Zelle j eine Eingabe von Zelle i erhält und
beide gleichzeitig stark aktiviert sind, dann erhöht
sich das Gewicht wij (die Stärke der Verbindung
von i nach j)
Rosenblatt
Perzepton Lernalgorythmus
• Perzepton besteht aus N Elementen
denen über L Leitungen Eingabemuster zugeführt werden
• Die Zuordnung der Muster zu Klassen wird
trainiert, so dass sich auch neue Muster
klassifizieren lassen
• Wenn eine Aufgabe eine Lösung besitzt, so findet
der Lernalgorythmus eine Lösung nach endlich
vielen Schritten
Willshaw et al.
Matrixmodell assoziativen Speichers
• x (Eingabemuster) und y (Ausgabemuster) werden als
binäre Vektoren dargestellt
• N McCulloch-Pitts-Neuronen berechnen aus L
Eingabemustern x die Komponenten yr des
Ausgabemusters y
• Die Informationsspeicherung geschieht in der Matrix der
L x N „Synapsenstärken“ wir
• Dadurch wird die Information über das System verteilt,
und Teile davon dürfen ausfallen, ohne das für die
richtigen Muster das Erreichen der Schwelle gefährdet
wird
Hopfield
• Eingabemuster ist gleich dem
Ausgabemuster (Autoassoziation)
• Abruf des vollen Musters aus
unvollständigen Eingabefragmenten
• Es lassen sich aber nur schlecht korrelierte Muster
speichern
• Ähnlichkeit wird nur nach Anzahl der
übereinstimmenden Pixel erkannt, also kein
Erkennen bei z.B. Translation des Musters
Ende