Neuronale Netze - Spiking Neural Networks

Neuronale Netze
Spiking Neural Networks
Prof. Dr. Rudolf Kruse
Christian Moewes
{kruse,cmoewes}@iws.cs.uni-magdeburg.de
Otto-von-Guericke-Universität Magdeburg
Facultät für Informatik
Institut für Wissens- und Sprachverarbeitung
R. Kruse, C. Moewes
NN – Spiking Neural Networks
12.07.2012
1 / 16
Spiking Neural Networks
• Spiking neural networks (SNNs) (gepulste neuronale Netze)
• derzeit: die am häufigsten diskutierte KNN-Modelle
• erhöhen Realismus der neuralen Simulation: berücksichtigen
neben neuronalem und synaptischem Zustand auch Zeit
• Idee: Neuronen eines SNN feuern nicht wie z.B. beim MLP bei
jedem Propagationszyklus
• verschiedene Kodierungsmodelle, um Aktionspotential (Spike
Train) als Folge von reelen Zahlen zu behandeln: basierend
auf Frequenz der Spikes od. Zeitspanne zw. Spikes
• Ziel: mit welchem Kode (welcher Sprache) kommunizieren
Neuronen?
R. Kruse, C. Moewes
NN – Spiking Neural Networks
12.07.2012
2 / 16
Messung von Pulsen
• neuronales Signal besteht aus kurzen elektr. Pulsen
• mögl. Beobachtung: mittels feiner Elektrode nahe des
Zellkörpers oder des Axons
• Pulse (Aktionspotentiale/Spikes): Amplitude von 100 mV und
Dauer von 1 − 2 ms
• Aussehen des Pulses ändert sich bei Propagation entlang
Axon nicht
R. Kruse, C. Moewes
NN – Spiking Neural Networks
12.07.2012
3 / 16
Spike Trains
• Kette von Aktionspotentialen eines einzelnen Neurons heißt
Spike Train
• Sequenz stereotypischer Ereignisse, die in
regelmäßigen/unregelmäßigen Intervallen eintreten
• da alle Spikes eines Neurons gleich aussehen, enthält Form
des Aktionspotentials keine Information
• Vermutung: Anzahl und Zeitpunkte der Spikes spielen eine
Rolle
• Spikes eines Trains sind meistens leicht voneinander zu
trennen
R. Kruse, C. Moewes
NN – Spiking Neural Networks
12.07.2012
4 / 16
Synapsen und Neuronale Dynamik
• Synapse: Ort, wo Axon eines (präsynaptischen) Neurons
•
•
•
•
•
•
•
Dendrit/Zellkörper eines (postsynaptischen) Neurons berührt
Ankunft eines Aktionspotentials führt zu biochem. Reaktion
Rezeptoren der Synapse registrieren chem. Signal und
wandeln es in elektr. Impuls um
Effekt eines Spikes auf postsynaptisches Neuron kann mittels
Elektrode gemessen werden
sie misst Potentialdifferenz u(t) (Membranpotential) zwischen
Zellinnerem und -äußerem
ohne Spike: Neuron „ruht“ bei konstantem Potential (−65 mV)
mit Spike: Potential ändert sich und kehrt zurück in Ruhe
bei positivem Wechsel: erregend (exzitatorisch), bei
negativem Wechsel: hemmend (inhibitorisch)
R. Kruse, C. Moewes
NN – Spiking Neural Networks
12.07.2012
5 / 16
Mathematische Beschreibung
• geg. Zeitreihe ui (t) des
Membranpot. vom Neuron i
• in Ruhe: ui (t) = urest
• bei t = 0 feuert präsyn.
Neuron j
• für t > 0, Antwort von i:
ui (t) − urest = εij (t)
• εij (t): postsynaptisches
Potential (PSP)
• falls εij (t) > 0, dann exzitat.
PSP (EPSP wie in Abb. A),
sonst inhibit. (IPSP)
R. Kruse, C. Moewes
NN – Spiking Neural Networks
12.07.2012
6 / 16
Schwellenwert und Aktionspotential
• nun zwei präsynaptische
Neuronen j = 1, 2, die beide
Spikes an i senden
(1)
• Neuronen j feuern bei tj
(2)
, tj
• jeder Spike evoziert ein PSP εij
• mit wenigen Spikes, Änderung
des Potentials (Abb. B):
ui (t) =
XX
j
εij (t − tjf ) + urest
f
• bei vielen Spikes in kurzer Zeit:
Linearität verschwindet
R. Kruse, C. Moewes
NN – Spiking Neural Networks
12.07.2012
7 / 16
Schwellenwert und Aktionspotential
• bei Erreichen des kritischen
Wertes ϑ wird Aktionspotential
(100 mV) in i angeregt
• dieses wird über Axon an
andere Neuronen weitergeleitet
• nach Puls: ui (t) < urest
• einzelne EPSPs haben 1 mV
• ϑ ist ca. 20 − 30 mV über urest
• Abb. C: 4 Spikes reichen nicht
für postsyn. Aktionspotential
• normalerweise ca. 20–50
Spikes in kurzer Zeit erforderlich
R. Kruse, C. Moewes
NN – Spiking Neural Networks
12.07.2012
8 / 16
Phänomenologisches Neuronenmodell
• kristische Spannung für Aktionspotential: Schwellenwert ϑ
(f )
• wenn ui (t) ≥ ϑ, dann feuert i einen Spike zum Zeitpunkt ti
• Annahme: Spikes haben stets ähnliches Aussehen
• Trajektorie des Membranpotentials während Spike kann
(f )
deswegen über zeitlichen Verlauf η(t − ti ) beschrieben
werden
R. Kruse, C. Moewes
NN – Spiking Neural Networks
12.07.2012
9 / 16
Definitions eines einfachen Modells
• Variable ui beschreibt den momentanen Wert des
Membranpotentials des Neurons i
(f )
ui (t) = η(t − t̂i )
XX
j
εij (t − tjf ) + urest
f
(f )
• t̂i : letzte Feuerzeit von i, also
(f )
t̂i
(f )
= max{ti
(f )
| ti
< t}
• es wird immer dann gefeuert, wenn ui Wert ϑ überschreitet
ui (t) = ϑ
und
d
ui (t) > 0
dt
=⇒
(f )
t = ti
• εij beschreibt Antwort von i
• η beschreibt Aussehen des Spikes
R. Kruse, C. Moewes
NN – Spiking Neural Networks
12.07.2012
10 / 16
Definitions eines einfachen Modells
(f )
ui (t) = η(t − t̂i )
XX
j
mit
(f )
t̂i
εij (t − tjf ) + urest
f
(f )
= max{ti
(f )
| ti
< t}
• wichtig hier: es interessiert nur die Potentialdifferenz
(„Abstand“ zu urest )
• mittels Vereinfachung urest ≡ 0: u(t) ist „Abstand“ zum
Ruhepotential
• dieses Modell nennt man SRM0 (Spike Response
Model) [Gerstner, 1995]
R. Kruse, C. Moewes
NN – Spiking Neural Networks
12.07.2012
11 / 16
Beispiel: Formeller Pulse
• η kann beispielsweise einen Rechteckpuls beschreiben, auf
dem ein negatives Spike-Potential folgt:
(f )
η(t − ti ) =



1/∆t
(f )
(f )
t−ti
!


−η0 exp − τ
für 0 < t − ti
< ∆t
(f )
für ∆t < t − ti
• η0 , τ und ∆t > 0 sind freie
Parameter
• für ∆t → 0 nähert sich der
Rechteckpuls dem
Dirac-Puls δ an (siehe Abb.)
R. Kruse, C. Moewes
NN – Spiking Neural Networks
12.07.2012
12 / 16
Beispiel: Formeller Spike Train
• Feuerzeit: Zeitpunkt, wann Neuron Aktionspotential emittiert
(f )
• Feuerzeiten des Neurons i: ti
mit f = 1, 2, . . .
• rein formell: Spike Train S von i ist Sequenz der Feuerzeiten
X
(f )
δ(t − ti )
Si (t) =
f
• δ(x) ist Dirac-„Funktion“ mit
δ(x) = 0
für x 6= 0
+∞
Z
und
δ(x) dx = 1
−∞
• Spikes werden somit zu Zeitpunkte reduziert
R. Kruse, C. Moewes
NN – Spiking Neural Networks
12.07.2012
13 / 16
Einschränkungen des Modells SMR0
• SMR0 ist sehr stark vereinfacht
• es ignoriert viele Aspekte der neuronalen Dynamik
• ganz besonders: postsynaptische Potentiale haben alle
gleiches Aussehen unabhängig vom Zustand des Neurons
• weiterhin: Dynamic des Neurons i hängt nur von allerletzten
Feuerzeit t̂i ab
• ausgefeiltere Modelle existieren, werden in dieser Vorlesung
nicht behandelt
R. Kruse, C. Moewes
NN – Spiking Neural Networks
12.07.2012
14 / 16
Das Problem der neuronalen Kodierung
• Gehirne von Säugetieren
beinhalten mehr als 1010
dicht gepackte Neuronen
• sie sind untereinander
verschaltet zu einem
komplizierten Netzwerk
• in jedem kleinen Volumen
des Kortexes werden
Tausende von Spikes pro
Millisekunde emittiert
• Welchen Kode nutzen
Neuronen zur
Informationsübertragung?
R. Kruse, C. Moewes
Spike Train von 30 Neuronen im
Affenkortex
NN – Spiking Neural Networks
12.07.2012
15 / 16
Literatur über SNNs
Gerstner, W. (1995).
Time structure of the activity in neural network models.
Phys Rev E, 51(1):738–758.
Gerstner, W. and Kistler, W. M. (2002).
Spiking Neuron Models: Single Neurons, Populations,
Plasticity.
Cambridge University Press, Cambridge, UK.
R. Kruse, C. Moewes
NN – Spiking Neural Networks
12.07.2012
16 / 16