Physikalische Grundlagen und Modelle (Neuronale Netze)

Physikalische Grundlagen und Modelle
(Neuronale Netze)
Frank Mächold
13. Januar 2004
ii
Inhaltsverzeichnis
0 Einleitung
0.1 Geschichtliche Hintergründe
0.2 Einige Daten des Gehirns .
0.3 Vergleich Gehirn - Computer
0.4 Zusammenfassung . . . . . .
0.5 Modellbildung . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1 Ising - Modell
1.1 Grundlagen, Spin, Wechselwirkung . . . . . .
1.1.1 Allgemeines . . . . . . . . . . . . . . .
1.1.2 Atomares magnetisches Moment . . . .
1.2 Magnetische Wechselwirkung zwischen 2 Spins
1.2.1 Ferromagnetische Wechselwirkung . . .
1.2.2 Grundzustand . . . . . . . . . . . . . .
1.2.3 Thermisches Verhalten . . . . . . . . .
1.2.4 Geschichte der Berechnung von TC . .
1.3 Antiferromagnetische Wechselwirkung . . . . .
Literaturverzeichnis
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3
3
4
4
4
4
.
.
.
.
.
.
.
.
.
7
7
7
7
7
7
9
9
10
10
11
1
2
INHALTSVERZEICHNIS
Kapitel 0
Einleitung
• alternative Methoden der Informationsspeicherung und -verarbeitung.
• Abstraktion durch Modelle
0.1
Geschichtliche Hintergründe
W. McCulloch
W.Pitts
1943
Abstraktion des biologischen Neurons zu McCulloch und
Pitts Neuron (hat nur 2 Zustände: feuert, ruht)
R. Hebb
1949
Pawlosche Gesetzte (z.B. Hund, Licht, Futter...)
M. Minsky (KI)
1951
ersten theoretische Modelle auf Basis neuronaler Netze
(z.B. Maschine SNARC)
F. Rosenblatt
< 1960
Perzeptron vorgestellt (Entwicklung des Neurons weitergeführt)
(synaptische Kopplung von Neuronen → Verknüpfung von
Ein- und Ausgabe)
Minsky
B.A. Papert
1969
verfassten Buch, logische Verknüpfungen sind alle durch
Perzeptron realisierbar, Ausnahme: XOR
→ damit Entwicklung des Perzeptron vorläufig beendet
Darauf gab es 12 Jahre keine weitere Entwicklung der Neuronalen Netze.
Parallel lief die Entwicklung des von Neumann Rechners. Allerdings überholte die
Möglichkeiten des von Neumann Rechner die der Neuronalen Netze.
J. Hopfield
1982
Hopfield Modelle ( physikalische Modelle )
Lösung des XOR Problems durch eine zusätzliche Schicht
(hidden layer).
3
4
KAPITEL 0. EINLEITUNG
0.2
Einige Daten des Gehirns
Masse
Volumen
Grosshirnrinde
Fläche
Dicke
Energiezufuhr
Leistung
Zahl der Neuronen
Verbindungen
Speicherkapazität
Signalleistung
Informationsfluss
Taktfrequenz
0.3
A = 2000 cm2
d = 2,5cm
20% des gesamten Grundumsatzes
770 cm3 Blut/min (13%)
45 cm3 Sauerstoff/min(19%)
25 W
10 10 (Module mit je 100 - 1000 Neuronen)
ca. 10000 Verbindungen / Neuron
109..13 bit
100 m/s
102 bit/s
(Eingang: 106..9 bit/s)
100 Hz
Vergleich Gehirn - Computer
Funktion
Speicher
Rechnen
Mustererkennung
motorische Kontrolle
Assoziation
Vernunft
Kreativität
...
0.4
m = 1.4kg
V = 2000 cm3
Gehirn
Computer
++
++
+
+
+
+
+
+++
?
?
?
Zusammenfassung
• Es gibt grundlegende Unterschide der Informationsverarbeitungssysteme Gehirn und Computer
• Der Computer ist der bessere Rechner
0.5
Modellbildung
Ziel:
• Modell eines künstlichen neuronalen Netzes
• aus einem Minimum relvanter biologischer Tatsachen ein Modell entwickeln,
mit dem man Informationen speichern und abrufen kann
(bzw. technische Umsetzung des Modells)
0.5. MODELLBILDUNG
5
Ingredienzien des Modells:
• Neuronen → 2 Zustände (“feuern“, “ruhen“)
• stark vernetzt
• Kopplung der Neuronen über Synapsen
• Zustand des einzelnen Neurons hängt vom Zustand der anderen Neuronen und
der Wirkung der Synapsen ab
6
KAPITEL 0. EINLEITUNG
Kapitel 1
Ising - Modell
(Modell eines festen magnetischen Körpers)
1.1
1.1.1
Grundlagen, Spin, Wechselwirkung
Allgemeines
• bewegte Ladungen verursachen magnetische Wirkungen
• ein Ringstrom ist die Ursache für ein magnetischen Moment
1.1.2
Atomares magnetisches Moment
=
ˆ Spin
(durch vereinfachte Annahme, dass die Elektronen um den Kern kreisen)
2 Einstellungen möglich bezüglich vorgegebener Richtung
Si =
1.2
1.2.1
↑ oder ↓
+1
;
-1
Magnetische Wechselwirkung zwischen 2 Spins
Ferromagnetische Wechselwirkung
ferromagnetische Wechselwirkungen werden dargestellt durch “symbolische Feder“
Energie der Wechselwirkung
E12 = -I12 ·S1 ·S2
Si ... Einstellung des Spins Nr. i
Iij ... Stärke der Wechselwirkung zwischen Spin i und Spin j
7
8
KAPITEL 1. ISING - MODELL
Einstellung
1
2
↑
↑
↓
↓
↑
↓
↑
↓
S1
S2
E12
+1 +1 -I12
+1 -1 I12
-1 +1 I12
-1 -1 -I12
E12
!
!
⇒ Wenn keine Energie zugeführt wird, werden sich die Spins parallel ausrichten.
(min)
(E12
wird angestrebt)
↑
↑
↑
↑
↑
↑
↑
↑
Annahme ferromagn. Wechselwirkug zwischen jeweils
benachbarten Spins ( Iij >
0)
n...Gitterplätze
magnetische Energie des Gitters:
E=
X
Eij = −
1..n
X
Iij Si Sj
i<j
P aare
|
{z
Ising−M odell
}
1.2. MAGNETISCHE WECHSELWIRKUNG ZWISCHEN 2 SPINS
1.2.2
9
Grundzustand
Grundzustand: Zustand des Systems mit geringster Geamtenergie E
Annahme: n Spins auf kubischen Gitter angeordnet Iij = I > 0 für alle benachbarten Spins, sonst Iij = 0 => Emin = -3nI; allgemeiner Hypercube
mit dim d -> Emin = -ndI
zugehörige Konfiguration (“Zustand“)
alle Spins stehen parallel zueinander charakterisiert durch n - kom→
ponentigen Vektor S = ( S1 ,S2 ,...,Sn )
→(2)
→(1)
z.B.: S min = ( S1 ,S2 ,...,Sn ) ; S min = ( S1 ,S2 ,...,Sn )
jede andere Konfiguration führt zu höherer Energie
Bsp.:
1 Spin steht “falsch“
→
E1 = -3·nI + 2·6·I ; S 1 = (1,1,..,1,-1,1,..,1)
usw.
1.2.3
Thermisches Verhalten
Anwendung des Ising - Modells zur Beschreibung des ferromagnetischen Verhaltens
M∼
1..n
X
Si . . . M agnetisierung
i
M0 ∼ n
T . . . Temperatur (Maß für die im Mittel zugeführte Energie)
TC . . . CURIE Temperatur (mag. Unordnung ↔ Ordnung)
Bsp.:
Eisen TC ≈ 1093K
Cobalt TC ≈ 1400K
Gd TC ≈ 300K
10
KAPITEL 1. ISING - MODELL
1.2.4
Geschichte der Berechnung von TC
Ziel: Berechnung von TC
• W. Lenz (1920)
• Ernst Ising (1900-1998) (1924, 1925 Veröffentlichung)
↑∼↑∼↑ . . . (1d → TC = 0)
∼
∼
∼
↑∼↑∼↑ . . .
↑∼↑∼↑ . . . (2d → TC = 2,6. . . I)
• Onsayer 1944
1.3
Antiferromagnetische Wechselwirkung
aus Physik:
Iij nicht notwendig immer > 0 sondern i.a. abhängig vom Abstand
rij (z.B. Gitterabstand rij = a)
Powered by LATEX.
Literaturverzeichnis
[1] Norbert Lossau; Neuronale Netze
[2] Raul Rojas; Theorie der neuronalen Netze. Eine systematische Einfhrung;
Springer-Lehrbuch
[3] Helge Ritter; Neuronale Netze; Eine Einfhrung in die Neuroinformatik selbstorganisierender Netzwerke
11