Perzeptronen - neuro

advertisement
Perzeptronen
Referat im HS Neuronale Netze
WS 2014/15
14.11.2014 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
1
Gliederung
• Rückblick: McCulloch-Pitts-Neuronen
• Lernfähigkeit und synaptische Plastizität: Die Hebbsche Regel
• Der Perzeptronen-Lernalgorithmus
• Anwendungsbeispiele
• Rosenblatts Konvergenztheorem
• Grenzen des Modells: Das Problem der linearen
Separierbarkeit
• Kompetitives Lernen (Winner-take-all-Netze)
• Selbstorganisierende Karten (Kohonen-Netze)
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
2
Rückblick: McCulloch-Pitts-Neuronen
 können alle aussagenlogischen Operationen
ausführen
  Neuronale Netze als Logikschaltkreise
 Anwendung zur Mustererkennung (binäre
Klassifikation von Eingabemustern)
 Kleenes Theorem: Äquivalenz mit endlichen
Automaten
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
3
Grenzen des McCulloch-Pitts-Modells
• nur binäre Ein- und Ausgaben
• Neuronen fest verdrahtet
( keine Lernfähigkeit!)
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
4
Rosenblatts Perzeptronen

Frank Rosenblatt (1928 –
1971)
•
amerikanischer Psychologe
und Computerwissenschaftler
•
entwickelt ab 1957 das
Perzeptronen-Modell
•
Perzeptronen sind
„lernfähige“ McCulloch-PittsNeuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
5
Donald Hebb (1904 – 1985)
• kanadischer Psychologe und
Gehirnforscher
•
1949 The Organization of
Behavior
•
Fragestellung: Worauf beruht
die Lernfähigkeit des
menschlichen Gehirns?
• Antwort: synaptische
Plastizität
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
6
Neuronale Plastizität
(1) Neurogenese (hauptsächlich während der Schwangerschaft)
(2) Entstehung oder Degeneration von synaptischen Verbindungen
Aber:
– Neuronale Verschaltung ist größtenteils genetisch bestimmt
(Bear, Connors, Paradiso 781)
– Die meisten Verschaltungen entstehen schon vor der Geburt
(a.a.O. 818)
(3) Veränderungen der synaptischen Gewichte (Hebbs Hypothese)
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
7
Die Hebbsche Regel
„When an axon of cell A is near enough to excite cell
B and repeatedly or persistently takes part in firing it,
some growth process or metabolic change takes place
in one or both cells such that A's efficiency, as one of
the cells firing B, is increased.“
Neurons that fire together wire together
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
8
Long-Term-Potentiation
•
1970 Lomo und Bliss führen den Nachweis, dass eine
wiederholte elektrische Reizung der
informationszuführenden Leitungsbahnen, die zum
Hippocampus ziehen, eine verstärkte Erregbarkeit der
dortigen Nervenzellen hervorruft, die über einen längeren
Zeitraum anhält
•
Langzeitpotenzierung (englisch: Long-term potentiation,
LTP)
•
Mittlerweile Nachweis auch für andere Hirnstrukturen (z.B.
für Amygdala und Cortex)
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
9
Hebbsches Lernen
„1. Wenn das präsynaptische Neuron aktiv ist und gleichzeitig das
postsynaptische Neuron unter dem Einfluss weiterer Eingänge stark
aktiviert wird, wird die vom präsynaptischen Neuron gebildete
Synapse gestärkt. Dies ist nur eine andere Formulierung der
…Hypothese von Hebb. Mit anderen Worten: Synchrone
neuronale Aktivität verstärkt die Koppelung.“
2. „Wenn das präsynaptische Axon aktiv ist und gleichzeitig das
postsynaptische Neuron unter dem Einfluss weiterer Eingänge nur
schwach aktiviert wird, wird die vom präsynaptischen Axon gebildete
Synapse geschwächt. Mit anderen Worten: Asynchrone neuronale
Aktivität vermindert die Koppelung.“
(Bear, Connors, Paradiso 811)
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
10
Rosenblatts Perzeptronen
•
Rosenblatts PerzeptronenModell verknüpft die Ideen
von Donald Hebb mit dem
McCulloch-Pitts-Neuron
•
Perzeptronen sind
„lernfähige“ McCulloch-PittsNeuronen
•
Lernfähigkeit durch
synaptische Plastizität
(also durch Änderung der
synaptischen Gewichte)
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
11
Das Perzeptronen-Modell
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
12
Mathematisches Modell
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
13
Eingabemuster und Eingaberaum
w  x  0?
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
14
Fehlklassifikationen
Fehler 1. Art: Ein A-Muster
wird irrtümlich als B-Muster
klassifiziert ( Neuron feuert
nicht, obwohl es sollte)
Fehler 2. Art: Ein B-Muster
wird irrtümlich als A-Muster
klassifiziert ( Neuron feuert,
obwohl es nicht sollte)
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
15
Rosenblatts Delta-Regel
Fehler 1. Art: Ersetze w durch w + x
w = x
Fehler 2. Art: Ersetze w durch w – x
Deltaregel
Rosenblatts Konvergenztheorem:
Wiederholte Anwendung der Delta-Regel auf eine
endliche Anzahl von Eingabemustern führt nach endlich
vielen Versuchen („Trainingsphase“) zu einer korrekten
Klassifikation aller Muster.
Voraussetzung: Muster sind linear separierbar!
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
16
Beispiel : UND-Gatter
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
17
Beispiel: UND-Gatter
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
18
Das XOR-Problem
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
19
XOR-Netz
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
20
XOR-Problem
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
21
Frage: Lernalgorithmus für mehrschichtige Netze?
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
22
Komplexe Klassifikationen und kompetitives Lernen
• bisher: Binäre Klassifikation (zwei Kategorien, Ja/NeinEntscheidung)
• multiple Klassifikationen (mehrere Kategorien) erfordern
Netze mit mehreren Ausgabeeinheiten
• beim kompetitiven Lernen konkurrieren die
Ausgabeeinheiten in der Weise, dass nur das Neuron mit der
höchsten Netzeingabe feuert ( Siegerneuron, Best-matching
unit, BMU)
•  Winner-take-all-Netzwerke.
• Implementierung durch laterale Inhibition
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
23
Kompetitives Lernen
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
24
Komplexe Klassifikation
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
25
Komplexe Klassifikation
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
26
Komplexe Klassifikation
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
27
Lernregel
Eine passende Lernregel hat van der Malsburg (1973)
vorgeschlagen:
(1) Eingabemuster und Gewichtsvektoren (= Referenzmuster)
werden zunächst normiert ( geringerer Abstand = höhere
Netzeingabe)
(2) Referenzmuster des Siegerneurons werden immer in Richtung
des letzten Eingabemusters verschoben:
w    (x  w)
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
28
Lernregel
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
29
Selbstorganisierende Karten
• eine Verallgemeinerung der Winner-take-all Netzwerke sind
„Selbstorganisierende Karten“
• englisch: Self-organizing maps (SOMs)
• T. Kohonen
• Ausgabeneuronen sind in einem zweidimensionalen Gitter
angeordnet. Bei jedem Lernschritt werden das Siegerneuron und
benachbarte Neuronen in Richtung des Eingabemusters bewegt
• Lernregel:
wij    y j  ( xi  wij )
• Dadurch entsteht eine topographische Abbildung des
Eingaberaums: Benachbarte Ausgabeneuronen reagieren auf
ähnliche Eingabemuster
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
30
Selbstorganisierende Karten
•
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
31
Lernparadigmen
•
Die vorhergehenden Beispiele verdeutlichen unterschiedliche
Lernparadigmen:
•
Rosenblatts Perzeptron: „überwachtes Lernen“ (engl.:
supervised learning)
•
Setzt ein externes Fehlersignal voraus („biologisch
unplausibel“)
•
Deltaregel:
•
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
w  e    x
 1, für Fehler 1. Art
Fehlersignal e  
 1, für Fehler 2. Art
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
32
Supervised Learning
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
33
Unsupervised learning
•
Im Gegensatz zu Rosenblatts Methode (error-correction
learing) erfordert kompetitives Lernen in Winner-take-allNetzen und selbstorganisierenden Karten kein externes
Fehlersignal.
•
Anderes Beispiel: Reinforcement learning (wird hier nicht
weiter behandelt)
•
Grundidee: Lernen durch Versuch und Irrtum.
Ausgabesignale/Ausgabemuster sind mit Belohnungen (
rewards) und/oder Strafen verbunden.
•
Beispiel: Ausgabesignale sind Spielzüge bei einem Brettspiel.
Brettkonfigurationen als Eingabemuster.
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
34
Lernparadigmen
•
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
35
Lokalitätsprinzip
• Für die Anpassung der synaptischen Gewichte sind nur
Vorgänge in der unmittelbaren Umgebung der Synapse relevant
• Lernregel: w hängt nur von der neuronalen Aktivität im
prä- und postsynaptischen Neuron ab:
wij  f ( xi , y j ; wij )
• Taylor-Reihe:
dwij / dt  c0  c1 xi  c2 y j  c3 xi2  c4 y 2j  c5 xi y j
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
36
Lokalitätsprinzip
• Durch passende Wahl der Koeffizienten lassen sich im Prinzip
alle Lernregeln konstruieren, die mit dem Lokalitätsprinzip
komptibel sind.
• Beispiel Hebbsche Regel:
dwij / dt  c0  c1 xi  c2 y j  c3 xi2  c4 y 2j  c5 xi y j
•
0
0
0
0
0

• Beispiel Kohonen-Regel:
•
16.11.2009 Neuronale Netze
McCulloch-Pitts-Neuronen
wij
Logik, Gehirn, Information.
Brückner, Lauth, Zirpel
37
Herunterladen