Perzeptronen - neuro
Werbung
Perzeptronen Referat im HS Neuronale Netze WS 2014/15 14.11.2014 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 1 Gliederung • Rückblick: McCulloch-Pitts-Neuronen • Lernfähigkeit und synaptische Plastizität: Die Hebbsche Regel • Der Perzeptronen-Lernalgorithmus • Anwendungsbeispiele • Rosenblatts Konvergenztheorem • Grenzen des Modells: Das Problem der linearen Separierbarkeit • Kompetitives Lernen (Winner-take-all-Netze) • Selbstorganisierende Karten (Kohonen-Netze) Logik, Gehirn, Information. Brückner, Lauth, Zirpel 2 Rückblick: McCulloch-Pitts-Neuronen können alle aussagenlogischen Operationen ausführen Neuronale Netze als Logikschaltkreise Anwendung zur Mustererkennung (binäre Klassifikation von Eingabemustern) Kleenes Theorem: Äquivalenz mit endlichen Automaten Logik, Gehirn, Information. Brückner, Lauth, Zirpel 3 Grenzen des McCulloch-Pitts-Modells • nur binäre Ein- und Ausgaben • Neuronen fest verdrahtet ( keine Lernfähigkeit!) Logik, Gehirn, Information. Brückner, Lauth, Zirpel 4 Rosenblatts Perzeptronen Frank Rosenblatt (1928 – 1971) • amerikanischer Psychologe und Computerwissenschaftler • entwickelt ab 1957 das Perzeptronen-Modell • Perzeptronen sind „lernfähige“ McCulloch-PittsNeuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 5 Donald Hebb (1904 – 1985) • kanadischer Psychologe und Gehirnforscher • 1949 The Organization of Behavior • Fragestellung: Worauf beruht die Lernfähigkeit des menschlichen Gehirns? • Antwort: synaptische Plastizität 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 6 Neuronale Plastizität (1) Neurogenese (hauptsächlich während der Schwangerschaft) (2) Entstehung oder Degeneration von synaptischen Verbindungen Aber: – Neuronale Verschaltung ist größtenteils genetisch bestimmt (Bear, Connors, Paradiso 781) – Die meisten Verschaltungen entstehen schon vor der Geburt (a.a.O. 818) (3) Veränderungen der synaptischen Gewichte (Hebbs Hypothese) 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 7 Die Hebbsche Regel „When an axon of cell A is near enough to excite cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic change takes place in one or both cells such that A's efficiency, as one of the cells firing B, is increased.“ Neurons that fire together wire together 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 8 Long-Term-Potentiation • 1970 Lomo und Bliss führen den Nachweis, dass eine wiederholte elektrische Reizung der informationszuführenden Leitungsbahnen, die zum Hippocampus ziehen, eine verstärkte Erregbarkeit der dortigen Nervenzellen hervorruft, die über einen längeren Zeitraum anhält • Langzeitpotenzierung (englisch: Long-term potentiation, LTP) • Mittlerweile Nachweis auch für andere Hirnstrukturen (z.B. für Amygdala und Cortex) 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 9 Hebbsches Lernen „1. Wenn das präsynaptische Neuron aktiv ist und gleichzeitig das postsynaptische Neuron unter dem Einfluss weiterer Eingänge stark aktiviert wird, wird die vom präsynaptischen Neuron gebildete Synapse gestärkt. Dies ist nur eine andere Formulierung der …Hypothese von Hebb. Mit anderen Worten: Synchrone neuronale Aktivität verstärkt die Koppelung.“ 2. „Wenn das präsynaptische Axon aktiv ist und gleichzeitig das postsynaptische Neuron unter dem Einfluss weiterer Eingänge nur schwach aktiviert wird, wird die vom präsynaptischen Axon gebildete Synapse geschwächt. Mit anderen Worten: Asynchrone neuronale Aktivität vermindert die Koppelung.“ (Bear, Connors, Paradiso 811) 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 10 Rosenblatts Perzeptronen • Rosenblatts PerzeptronenModell verknüpft die Ideen von Donald Hebb mit dem McCulloch-Pitts-Neuron • Perzeptronen sind „lernfähige“ McCulloch-PittsNeuronen • Lernfähigkeit durch synaptische Plastizität (also durch Änderung der synaptischen Gewichte) Logik, Gehirn, Information. Brückner, Lauth, Zirpel 11 Das Perzeptronen-Modell 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 12 Mathematisches Modell 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 13 Eingabemuster und Eingaberaum w x 0? 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 14 Fehlklassifikationen Fehler 1. Art: Ein A-Muster wird irrtümlich als B-Muster klassifiziert ( Neuron feuert nicht, obwohl es sollte) Fehler 2. Art: Ein B-Muster wird irrtümlich als A-Muster klassifiziert ( Neuron feuert, obwohl es nicht sollte) 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 15 Rosenblatts Delta-Regel Fehler 1. Art: Ersetze w durch w + x w = x Fehler 2. Art: Ersetze w durch w – x Deltaregel Rosenblatts Konvergenztheorem: Wiederholte Anwendung der Delta-Regel auf eine endliche Anzahl von Eingabemustern führt nach endlich vielen Versuchen („Trainingsphase“) zu einer korrekten Klassifikation aller Muster. Voraussetzung: Muster sind linear separierbar! 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 16 Beispiel : UND-Gatter 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 17 Beispiel: UND-Gatter 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 18 Das XOR-Problem 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 19 XOR-Netz 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 20 XOR-Problem 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 21 Frage: Lernalgorithmus für mehrschichtige Netze? 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 22 Komplexe Klassifikationen und kompetitives Lernen • bisher: Binäre Klassifikation (zwei Kategorien, Ja/NeinEntscheidung) • multiple Klassifikationen (mehrere Kategorien) erfordern Netze mit mehreren Ausgabeeinheiten • beim kompetitiven Lernen konkurrieren die Ausgabeeinheiten in der Weise, dass nur das Neuron mit der höchsten Netzeingabe feuert ( Siegerneuron, Best-matching unit, BMU) • Winner-take-all-Netzwerke. • Implementierung durch laterale Inhibition 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 23 Kompetitives Lernen 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 24 Komplexe Klassifikation 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 25 Komplexe Klassifikation 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 26 Komplexe Klassifikation 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 27 Lernregel Eine passende Lernregel hat van der Malsburg (1973) vorgeschlagen: (1) Eingabemuster und Gewichtsvektoren (= Referenzmuster) werden zunächst normiert ( geringerer Abstand = höhere Netzeingabe) (2) Referenzmuster des Siegerneurons werden immer in Richtung des letzten Eingabemusters verschoben: w (x w) 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 28 Lernregel 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 29 Selbstorganisierende Karten • eine Verallgemeinerung der Winner-take-all Netzwerke sind „Selbstorganisierende Karten“ • englisch: Self-organizing maps (SOMs) • T. Kohonen • Ausgabeneuronen sind in einem zweidimensionalen Gitter angeordnet. Bei jedem Lernschritt werden das Siegerneuron und benachbarte Neuronen in Richtung des Eingabemusters bewegt • Lernregel: wij y j ( xi wij ) • Dadurch entsteht eine topographische Abbildung des Eingaberaums: Benachbarte Ausgabeneuronen reagieren auf ähnliche Eingabemuster 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 30 Selbstorganisierende Karten • 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 31 Lernparadigmen • Die vorhergehenden Beispiele verdeutlichen unterschiedliche Lernparadigmen: • Rosenblatts Perzeptron: „überwachtes Lernen“ (engl.: supervised learning) • Setzt ein externes Fehlersignal voraus („biologisch unplausibel“) • Deltaregel: • 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen w e x 1, für Fehler 1. Art Fehlersignal e 1, für Fehler 2. Art Logik, Gehirn, Information. Brückner, Lauth, Zirpel 32 Supervised Learning 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 33 Unsupervised learning • Im Gegensatz zu Rosenblatts Methode (error-correction learing) erfordert kompetitives Lernen in Winner-take-allNetzen und selbstorganisierenden Karten kein externes Fehlersignal. • Anderes Beispiel: Reinforcement learning (wird hier nicht weiter behandelt) • Grundidee: Lernen durch Versuch und Irrtum. Ausgabesignale/Ausgabemuster sind mit Belohnungen ( rewards) und/oder Strafen verbunden. • Beispiel: Ausgabesignale sind Spielzüge bei einem Brettspiel. Brettkonfigurationen als Eingabemuster. 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 34 Lernparadigmen • 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 35 Lokalitätsprinzip • Für die Anpassung der synaptischen Gewichte sind nur Vorgänge in der unmittelbaren Umgebung der Synapse relevant • Lernregel: w hängt nur von der neuronalen Aktivität im prä- und postsynaptischen Neuron ab: wij f ( xi , y j ; wij ) • Taylor-Reihe: dwij / dt c0 c1 xi c2 y j c3 xi2 c4 y 2j c5 xi y j 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen Logik, Gehirn, Information. Brückner, Lauth, Zirpel 36 Lokalitätsprinzip • Durch passende Wahl der Koeffizienten lassen sich im Prinzip alle Lernregeln konstruieren, die mit dem Lokalitätsprinzip komptibel sind. • Beispiel Hebbsche Regel: dwij / dt c0 c1 xi c2 y j c3 xi2 c4 y 2j c5 xi y j • 0 0 0 0 0 • Beispiel Kohonen-Regel: • 16.11.2009 Neuronale Netze McCulloch-Pitts-Neuronen wij Logik, Gehirn, Information. Brückner, Lauth, Zirpel 37
