Neuronale Netze/ Soft Computing Teil 1

Neuronale Netze/
Soft Computing
Teil 1
BiTS, Wintersemester 2004/2005
Dr. Stefan Kooths
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
1
Gliederung
1.
2.
3.
4.
5.
6.
Einführung und Einordnung
Neuronale Netze 1: Grundlagen
Neuronale Netze 2: Konzeption und Anwendung
Neuro-Fuzzy-Systeme
Genetische Algorithmen
Zusammenfassung und Ausblick
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
2
Gliederung
1.
2.
3.
4.
5.
6.
Einführung und Einordnung
Neuronale Netze 1: Grundlagen
Neuronale Netze 2: Konzeption und Anwendung
Neuro-Fuzzy-Systeme
Genetische Algorithmen
Zusammenfassung und Ausblick
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
3
Einordnung:
NN/SC Ù EUS bzw. Business Intelligence
Diplom: EUS
BA/MA: BI
ƒ Entscheidungslehre/
Simulation von
Entscheidungen
ƒ Management Support
Systems
ƒ Wissensbasierte
Systeme/Expertensysteme
ƒ Knowledge-Based
Systems
ƒ Künstliche Intelligenz
ƒ Soft Computing
ƒ Neuronale Netze
ƒ Case Studies
Prüfungsleistung: Projektarbeit
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
4
Einordnung in die BI-relevanten KI-Gebiete
Wissensbasierte Systeme
(Expertensysteme)
Kennzeichnung
Trennung von
Wissensbasis und
Problemlösungsstrategie
Erklärung der
gefundenen Lösung
Teilgebiete
-
logikbasiert
regelbasiert
framebasiert
modellbasiert
fallbasiert
statistisch
jeweils für Zwecke der
Diagnose, Simulation
und Konstruktion
Soft
Computing
Multiagentensysteme
(verteile Intelligenz)
Lernfähigkeit und
Toleranz gegenüber
unscharfem,
ungewissem und
unvollständigem Wissen
Emergente
Problemlösung durch
Kooperation vieler
kontextbezogener,
autonomer und
flexibler Module
- Fuzzy Logic
- Neuronale Netze
- Genetische
Algorithmen
- Agentendesign
- Kommunikation
- Kooperation und
Konfliktlösungen
(- Probabilistisches
Schließen)
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
5
Soft Computing: Kennzeichnung
• Lernfähigkeit und Toleranz gegenüber
Ungenauigkeit, Unschärfe, Unsicherheit und
Datenfehlern
• Ziel:
ƒ handhabbare, robuste und kostengünstige
Softwarelösungen, …
ƒ … die nicht notwendigerweise perfekt sind, …
ƒ … aber unter den gegebenen Bedingungen als
befriedigend gelten können
• natürliche Vorbilder (aber: kein Nachbau,
sondern Inspiration)
• 50 % Wissenschaft und 50 % Kunst (= Können =
Erfahrung)!
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
6
Soft Computing: Teilgebiete (Basistechnologien)
• Neuronale Netze
ƒ Informationsverarbeitung orientiert am biologischen
Vorbild Gehirn
ƒ Behandlung komplexer, nicht-linearer Systeme zur
Mustererkennung
• Fuzzy Logik
ƒ multivalente (graduelle) Verallgemeinerung der
Mengenlehre
ƒ Repräsentation von approximativem (Experten-) Wissen
ƒ Weiterentwicklung: Computing with Words
• Genetische Algorithmen
ƒ evolutionäre Problemlösungsheuristik
ƒ Problemdarstellung in Chromosomenform, Lösungssuche
durch Vererbung, Mutation und Auslese
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
7
Soft Computing im KI-Kontext:
Überschneidungen und Hybridansätze
Unschärfe
Lernfähigkeit
Genetische
Algorithmen
explizites Wissen
Neuronale
Netze
Fuzzy
Logik
Expertensysteme
Neuro-Fuzzy-Systeme
(Hybridbeispiel)
Agentendesign
Multiagentensysteme
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
8
Literatur
•
•
•
•
•
•
•
•
•
Backhaus, K. u.a.: Multivariate Analysemethoden; 10. Aufl., SpringerVerlag, Berlin u.a.O. 2003. [Kap. 12]
Badiru, A. B. / Cheung, J. Y.: Fuzzy Engineering Expert Sytems with
Neural Network Applications; John Wiley & Sons 2002. [Ch. 8,9]
Callan, R.: Neuronale Netze im Klartext; Pearson Studium, München 2003.
Lange, C.: Neuronale Netze in der wirtschaftswissenschaftlichen Prognose
und Modellgenerierung; Physica-Verlag, Heidelberg 2004.
Luger, G. F.: Artificial Intelligence: Structures and Strategies for Complex
Problem Solving, 5th Ed., Addison-Wesley, Upper Saddle River 2005. [Ch.
11,12]
Kooths, S.: Erfahrungsregeln und Konjunkturdynamik – Makromodelle mit
Neuro-Fuzzy-generierten Erwartungen; Peter Lang Europäischer Verlag
der Wissenschaften, Frankfurt/M. u.a.O. 1998. [Kap. 2]
McCord Nelson, M. / Illingworth, W. T.: A Practical Guide to Neural Nets;
Addison-Wesley, New York u.a.O. 1994.
Rehkugler, H. / Zimmermann, H. G. (Hrsg.): Neuronale Netze in der
Ökonomie – Grundlagen und finanzwirtschaftliche Anwendungen; Verlag
Vahlen, München 1994.
Turban, E. / Aronson, J. E. / Liang, T.-P.: Decision Support Systems and
Intelligent Systems, 7th Ed., Prentice Hall, Upper Saddle River 2005. [Ch.
12]
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
9
Weblinks
• Einführung in Neuronale Netze (Uni Münster)
http://wwwmath.unimuenster.de/SoftComputing/lehre/material/www
nnscript/startseite.html
• Soft Computing Home Page
http://www.soft-computing.de
• Neurocomputing
http://www.softcomputing.de
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
10
Gliederung
1.
2.
3.
4.
5.
6.
Einführung und Einordnung
Neuronale Netze 1: Grundlagen
Neuronale Netze 2: Konzeption und Anwendung
Neuro-Fuzzy-Systeme
Genetische Algorithmen
Zusammenfassung und Ausblick
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
11
(Künstliche) Neuronale Netze
• Verwandte Begriffe
ƒ Konnektionismus
ƒ Parallel Distributed Processing
ƒ Subsymbolisches Paradigma
• Grundidee
ƒ Verbindung vieler, relativ einfach aufgebauter Einheiten
(Neuronen)
ƒ Leistungsfähigkeit ergibt sich aus Zusammenschaltung
und Parallelverarbeitung im Verbund
• Wissenserwerb und -repräsentation
ƒ Lernen anhand von Beispielen (Training)
ƒ Kodierung des Wissens liegt in impliziter Form vor
(unterhalb der für Menschen verständlichen Symbolebene)
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
12
(Künstliche) Neuronale Netze
• Verwandte Begriffe
ƒ Konnektionismus
ƒ Parallel Distributed Processing
ƒ Subsymbolisches Paradigma
• Grundidee
ƒ Verbindung vieler, relativ einfach aufgebauter Einheiten
(Neuronen)
ƒ Leistungsfähigkeit ergibt sich aus Zusammenschaltung
und Parallelverarbeitung im Verbund
• Wissenserwerb und -repräsentation
ƒ Lernen anhand von Beispielen (Training)
ƒ Kodierung des Wissens liegt in impliziter Form vor
(unterhalb der für Menschen verständlichen Symbolebene)
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
13
Haupteinsatzgebiete/-eigenschaften
• universelle, beliebig-dimensionale
Funktionsapproximation
• Schätzverfahren (Alternative zu statistischen
Regressionsanalysen)
• Mustererkennung
• Fehlertoleranz
ƒ gegenüber Daten
ƒ gegenüber eigener Struktur
Ö liegen Daten nur bruchstückhaft vor oder wird ein Teil
des Netzes zerstört, so leidet nur die Güte des
Ergebnisses, nicht die Fähigkeit des Netzes, überhaupt
eine (Näherungs-) Lösung erarbeiten zu können
• Voraussetzung: Repräsentative Trainingsbeispiele
für die abzubildenden Zusammenhänge
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
14
Natürliches Vorbild: Menschliches Gehirn
• Motivation
ƒ Identifizierung von Ähnlichkeiten
(Mustererkennung, Unschärfe- und Fehlertoleranz)
ƒ Generalisierungsfähigkeit
(Einschätzung bislang unbekannter Situationen und
Ableitung geeigneter Verhaltensweisen)
ƒ Lernfähigkeit
(Anpassung an neue Umweltzustände durch
Erfahrungsbildung)
• Aufbau
ƒ 10 bis 100 Mrd. (relativ langsame) Neuronen
ƒ bis zu 10.000 Verbindungen von einem Neuron zu
anderen Neuronen
ƒ Gewicht: 1375 g (Männer), 1245 g (Frauen)
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
15
Menschliches Nervensystem
animal
(Kommunikation mit der Außenwelt)
→ bewußte Steuerung
Nervensystem des Menschen
(Gesamtheit des Nervengewebes)
vegetativ
(Regelung des inneren Betriebs des Organismus)
→ unbewußte Steuerung
Peripheres Nervensystem (PNS)
Zentrales Nervensystem (ZNS)
→ Signalübermittlung zwischen ...
... Rezeptoren und ZNS
... ZNS und Effektoren
→ Signalintegration und -verarbeitung
Rückenmark
Gehirn
→ Signalweiterleitung zum Gehirn
→ eigentliche Signalverarbeitung
(Informationsverarbeitung)
Gliazellen (90%) und Neuronen (10%)
Stützung, Isolation, Versorgung und ...?
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
16
SOR-Modell
INPUT
(Problem)
„Informations“Verarbeitung
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
OUTPUT
(Entscheidung)
17
Biologische Nervenzelle
Dendriten (Zellfortsätze)
Soma (Zellkörper)
Kern
Axon
(Nervenfaser)
Synapse
Ausläufer von Axonen
(Zellverbindung)
anderer Neuronen
Axonverzweigungen
5 bis 100 Mikrometer
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
18
exitatorische Synapse
"Feuern"
des
Neurons
(Entladung)
Erregung/Hemmung
eingehende Impulse
von anderen Neuronen
Reizpegel des Neurons
(elektr. Polarisation)
Schwellenwertüberschreitung?
elektrisch
chemisch
(Ionenaustausch)
ja
Ausgangssignal
Signalfluss in einem natürlichen Neuron
elektrisch
inhibitorische Synapse
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
19
Vernetzung und synaptische Plastizität
Signalübermittlung
Gesamtlänge der
Neuronenverbindungen:
500 Millionen Meter
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
20
„Informationsverarbeitung“,
Wissensrepräsentation und -akquisition
• Informationsverarbeitung
ƒ Signalübermittlung
ƒ Beeinflussung der neuronalen Aktivitätsniveaus
• Wissensrepräsentation
ƒ Signale bzw. Aktivitätsniveaus tragen für sich
genommen keine sinnhafte Bedeutung
ƒ implizite Abbildung symbolischer Informationen durch
das (eigenorganisierte) Aktivierungsmuster einer Gruppe
von Neuronen
ƒ Wissen steckt im Netzaufbau (Anzahl und Verbindungen
der Neuronen) sowie in den Verbindungsgewichten
• Wissensakquisition
ƒ Trainingsprozesse (Lernen aus Fehlern)
ƒ Anpassung der Gewichte, Ändern der Topologie
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
21
Einsatzmodi
• Recallmodus (Arbeitsmodus)
ƒ Einsatz des erworbenen Wissens
• Trainingsmodus
ƒ Wissenserwerb aus Trainingsbeispielen
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
22
Formale Neuronen (Processing Units)
• Eigenschaften
verfügen über Ein- und Ausgänge
empfangen Signale
aggregieren diese zu einem Nettosignal
generieren aus dem Nettosignal einen eigenen
Signalwert
ƒ senden diesen Signalwert an nachgelagerte Neuronen
ƒ
ƒ
ƒ
ƒ
• Arten
ƒ Inputneuronen (Signalempfang von der Außenwelt)
→ vgl. natürliche Rezeptorzellen
ƒ innere/verdeckte Neuronen (Signalverarbeitung und verteilung) → interne Repräsentation der Domäne
ƒ Outputneuronen (Signalweitergabe an die Außenwelt)
→ vgl. natürliche Effektorzellen
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
23
Schematischer Aufbau formaler Neuronen
gj,1
in2
gj,2
Propagierungsfunktion
Σ
Nettoinput
g j,3
AktiAusgabevierungsfunktion
wert
Ausgangssignal
(Neuronenoutput)
Gewichte
outj
outj
in3
"Ausläufer von Axonen "Synapsen" "Dendriten"
anderer Neuronen"
"Zellkörper"
Eingangssignale für nachgelagerte Neuronen
in1
Aktivierungsfunktion
Eingangssignale (Neuroneninputs) =
Ausgangssignale vorgelagerter Neuronen
Informationsfluss im Recallmodus
"Axonverzweigungen"
Entsprechungen im biologischen Vorbild
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
24
Interne Funktionen eines Neurons
• Propagierungsfunktion: netin = f(g1·in1,…,gn·inn)
ƒ bestimmt Nettoinput netin durch Summation der gewichteten
Eingangssignale
• Aktivierungsfunktion: Z = g(Z-1,netin)
ƒ bestimmt Aktivierungswert Z des Neurons aus (optional:
bisheriger Aktivierung und) Nettoinput
• Ausgabefunktion: out = a(Z)
ƒ bestimmt Ausgabewert out aus Aktivierungswert
• Vereinfachung: out = a(netin)
ƒ Transferfunktion als Zusammenfassung von Aktivierungs- und
Ausgabefunktion
ƒ Aktivierungsfunktion als Identität (Z = netin)
• beachte: uneinheitliche Terminologie
ƒ Propagierungsfunktion = Integrationsfunktion
ƒ Transferfunktion = Aktivierungsfunktion = Ausgabefunktion
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
25
Gewichte
gj,1
in2
gj,2
g j,3
Propagierungsfunktion (f)
Σ
Transferfunktion (a)
AktiNetto= vierungsinput
wert
netin
in3
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
out
outj
outj
Eingangssignale für nachgelagerte Neuronen
in1
Ausgangssignal
(Neuronenoutput)
Eingangssignale (Neuroneninputs) =
Ausgangssignale vorgelagerter Neuronen
Vereinfachtes formales Neuronenschema
26
Bestimmung des Nettoinputs
hier:
netin = net
in = x
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
27
Transferfunktionen
• Halbraum-aktiv
Schwellwertfunktion
logistische Funktion
trianguläre Funktion
Gauss-Funktion
ƒ Schwellenwertfunktion
ƒ sigmoide Funktion
• lokal aktiv
ƒ trianguläre Funktion
ƒ Gauß-Funktion
• entscheidend: nicht-lineare Funktionstypen
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
28
Komponenten/Eigenschaften
eines Neuronalen Netzes
• Neuronen
(Menge von einfachen Verarbeitungseinheiten)
ƒ Propagierungsfunktion
ƒ Aktivierungsfunktion
Transferfunktion
ƒ Ausgabefunktion
• Konnektivitätsmuster
(Struktur der Neuronenverbindungen)
• Festlegung des Signalflusses
(Regel zum Propagieren von Signalen durch das
Netzwerk)
• Lernregel zum Anpassen der Gewichte
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
29
Systematisierung Neuronaler Netze (Netztypen) 1
•
•
•
•
Neuronentyp
Topologie
Lernverfahren
Funktion/Aufgabe (Lerngegenstand)
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
30
Systematisierung Neuronaler Netze (Netztypen) 2
• Neuronentyp
ƒ Bestimmung des Aktivierungszustands
– Z=g(Z-1,netin)
– Z=g(netin) | Z = netin
ƒ Funktionstyp der Ausgabefunktion
– halbraum-aktiv
– lokal aktiv (Radiale Basisfunktionen)
• Topologie
• Lernverfahren
• Funktion/Aufgabe (Lerngegenstand)
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
31
Systematisierung Neuronaler Netze (Netztypen) 3
• Neuronentyp
• Topologie
ƒ Anzahl der Neuronen
ƒ Anordnung der Neuronen
– geschichtet
– ungeschichtet
Konnektivitätsmuster
ƒ Signalfluss
– ohne Rückkopplung (feedfoward)
– mit Rückkopplung (feedback)
• Lernverfahren
• Funktion/Aufgabe (Lerngegenstand)
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
32
Netztopologien 1:
Feedforward-Netze (Netze ohne Rückkopplung)
• geschichtet (ebenenweise verbunden)
Ausgabeschicht (output layer)
verdeckte Schicht (hidden layer)
Eingabeschicht (input layer)
• allgemein (Existenz von Shortcuts)
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
33
Netztopologien 2:
Rekurrente Netze (Netze mit Rückkopplung)
• direkte Rückkopplung (direct feedback)
Tendenz zu Grenzzuständen
bezüglich der Aktivierung
einzelner Neuronen
• indirekte Rückkopplung (indirect feedback)
Aufmerksamkeitssteuerung auf
bestimme Eingabemerkmale
durch das Netz
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
34
Netztopologien 3:
Netze mit Rückkopplungen (Forts.)
• laterale Kopplung
oftmals als winnertake-all Netze genutzt
(laterale Hemmung)
• vollständig verbundene Netze
Hopfield-Netztyp
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
35
Zwei- bzw. dreischichtiges Feedforward-Netzes
Eingabeschicht
verborgene Schicht
Ausgabeschicht
(1. Schicht)
(2. Schicht)
(3. Schicht)
g21,1
1
1
N1
2
N1
2
N2
3
1
1
N2
N1
2
N3
3
1
1
N3
N2
2
N4
2
N5
g32,5
Informationsfluss im Recallmodus
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
36
Konnektivitätsmuster in Matrixnotation
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
37
Demo 1
Problemkomplexität und Netzdesign
• Komplexe Problemstellung (nicht linear-trennbar)
ƒ Bedeutung der Nichtlinearität der Transferfunktion
ƒ Bedeutung der verdeckten Schicht
• OR- und XOR-Operator im Vergleich
OR-Operator
(inklusives Oder)
XOR-Operator
(exklusives Oder)
y
0
1
falsch
(0)
wahr
(1)
x
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
wahr
(1)
1
1
0
falsch
(0)
wahr
(1)
1
falsch
(0)
y
0
1
falsch
(0)
wahr
(1)
x
38
Demo 1
Lösungsbaustein: Perceptrons
• Erfinder: Frank Rosenblatt (Anfang der 1960er)
• binäre Transferfunktion mit Schwellwert θ
ƒ falls netin < θ, dann out = 0
ƒ sonst out = 1
• führt lineare Trennung des Eingaberaumes durch
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
39
Demo 1
OR-Operator
Neuronales Netz
1. Schicht
x
2. Schicht
0,5
Transferfunktionen
1. Schicht
2. Schicht
a(netin)
a(netin)
1
0,1
netin
y
0,5
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
netin
0,1
Schwellenwert
40
Demo 1
XOR-Operator
Transferfunktionen
Neuronales Netz
1. Schicht
x
2. Schicht
+1
0,1
3. Schicht
1. Schicht
+1
a(netin)
2. und 3. Schicht
a(netin)
1
-1
0,1
-1
netin
+1
y
+1
0,1
netin
0,1
Schwellenwert
• ohne verdeckte Schicht geht es nicht
• Transferfunktion in der verdeckten Schicht muss
nicht-linear sein (sonst äquivalent zu
zweischichtigem Netz)
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
41
Demo 1
Grafische Interpretation von Perceptrons 1
• einstufige (= zweischichtige) Perceptron-Netze
n=2
n=3
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
42
Demo 1
Grafische Interpretation von Perceptrons 2
• zwei-stufige (dreischichtige) Perceptron-Netze
• drei-stufige
(vierschichtige)
Perceptron-Netze
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
43
Demo 2
Funktionsapproximation
• Problemformulierung:
ƒ f(x) = sin(x+5)+1
ƒ Approximation auf dem Interval [0;9]
• Neuronale Netzlösung
ƒ Topologie: 1-3-1 Feedforward-Netz
ƒ Neuronentyp
– hidden: logistisch
– sonst: Identität
ƒ Technischer Trick: Bias-Neuron
– Schwellwertkodierung (hidden und output layer)
– Skalierungsfaktor (hidden layer)
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
44
Demo 2
Netzmodell (ohne Bias-Neuronen)
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
45
Systematisierung Neuronaler Netze (Netztypen) 4
• Neuronentyp
• Topologie
• Lernverfahren
ƒ überwacht (supervised)
– korrigierend (mit „Lehrer“)
– verstärkend (mit „Bewerter“, reinforcement learning)
ƒ unüberwacht (unsupervised)
– kooperativ
– wettbewerblich (winner-take-all)
• Funktion/Aufgabe (Lerngegenstand)
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
46
Allgemeine Aspekte neuronaler Lernverfahren
• Recall- vs. Trainingsphase
ƒ Recall: „gegeben x und gegeben G, finde y“
ƒ Training: „gegeben x und gegeben y, finde G“
mit:
– x: Inputvektor
– y: Outputvektor
– G: Menge der Netzgewichte
• Generalisierungsfähigkeit vs. Overlearning
ƒ Auswahl der Trainingsmenge P
ƒ Rechtzeitiger Abbruch des Trainings
• Trainingsmusterpaar für überwachtes Lernen
ƒ Eingabemuster: x(p)
ƒ (Soll-) Ausgabemuster: y(p)
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
für Trainingsmuster p
47
Lernzyklus
• Schritt 1
ƒ Auswahl eines Trainingsmusters p[x(p),y(p)]
ƒ Anlegen des Eingabemusters an die Inputschicht
• Schritt 2
ƒ Verarbeitung des ausgewählten Trainingsmusters zum
Netzoutput out
• Schritt 3
ƒ Soll-Ist-Vergleich: Netzoutput vs. Ausgabemuster des
Trainingsbeispiels (out(p) vs. y(p))
ƒ Ermittlung des Fehlermaßes E(p)
• Schritt 4
ƒ Berechnung der durch das Fehlermaß des Trainingsbeispiels induzierten Änderung der Netzgewichte ∆g(p)
(Anwendung der Lernregel)
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
48
Trainingsepochen und -modus
• Trainingsepoche
ƒ Vollständige Präsentation aller Trainingsbeispiele aus der
Trainingsmenge P
• Trainingsmodus
ƒ Batch-Modus (epochales Lernen)
– Kumulation der induzierten Gewichtsänderungen über
die gesamte Epoche
– Änderung der tatsächlichen Netzgewichte am Ende
einer Epoche
ƒ Online-Modus (musterweises Lernen)
– Änderung der tatsächlichen Netzgewichte nach jedem
Trainingsbeispiel
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
49
Lernziel
• Minimierung des Netzfehlers
2
E = 0,5·∑[out(p) – y(p)]
• unter Beibehaltung der Generalisierungsfähigkeit
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
50
Lernphase
• Initialisierung der Netzgewichte
• Epochendurchlauf bis …
• … Abbruchkriterium erfüllt
ƒ vorgegebene Epochenanzahl
ƒ Unterschreiten der Güteschwelle
ƒ Anstieg des Testmengenfehlers
• evtl. Pruning der Netzgewichte mit
Validierungsdaten
• Performancetest des Netzes mit
Generalisierungsdaten
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
51
Musterkategorien
• Modellierungsdaten
ƒ Trainingsdaten
ƒ Testmengen- bzw. Validierungsdaten
• Generalisierungsdaten
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
52
Hebbsche Lernregel: Einfache Form
• D. O. Hebb (1949)
• Wenn zwei Neuronen gleichzeitig aktiviert sind, so verstärkt
sich die zwischen ihnen geschaltete Verbindung, andernfalls
baut sie sich ab.
• einfache Form
mit:
µ = Lernrate
• Einfluss der Lernrate
ƒ niedrig → langsames Lernen
ƒ hoch → Gefahr des Vergessens
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
53
Hebbsche Lernregel und Klassische
Konditionierung (Pawlowsche Hunde)
vorher
1. Schicht
nachher
2. Schicht
1. Schicht
Futter
Speichelfluss
Klingel
1. Schicht
2. Schicht
Lernprozess
Futter
2. Schicht
Futter
Speichelfluss
Klingel
1. Schicht
2. Schicht
Futter
Speichelfluss
Klingel
Speichelfluss
Klingel
neue Bahnung (Synapsenverstärkung) durch Training
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
54
Hebbsche Lernregel: Allgemeine Form
• Problem der einfachen Hebb-Regel
ƒ Gewichte wachsen im laufenden Lernprozess immer weiter
(keine Stabilisierung)
• Lösung (allgemeine Form der Hebbschen Lernregel)
ƒ Berücksichtigung eines Zielwertes (target) für das Neuron, zu
dem das jeweils betrachtete Gewicht gehört
ƒ Berücksichtigung des bisherigen Niveaus des Gewichtes
• Spezielle Lernregeln
ƒ Spezifizierung der Funktionen
ϕ und ψ (sprich: Phi und Psi)
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
55
Delta-Regel (Widrow-Hoff-Regel)
• Widrow/Hoff (1960)
• Abhängigkeit der Gewichtsänderung vom Fehlersignal des
Neurons, zu dem das Gewicht gehört
• Spezifikationen für
ϕ und ψ
• Delta-Regel
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
56
Generalisierte Delta-Regel
(Error-Backpropagation-Algorithmus)
• Problem der Delta-Regel
ƒ Wie kommt man zu einem Fehlersignal für die
verdeckten Neuronen?
• Lösung: Generalisierte Delta-Regel!
(s. nächster Gp.)
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
57
Systematisierung Neuronaler Netze (Netztypen) 5
•
•
•
•
Neuronentyp
Topologie
Lernverfahren
Funktion/Aufgabe (Lerngegenstand)
ƒ heteroassoziativ
ƒ autoassoziativ
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
58
Lerngegenstand und Lernverfahren
Neuronale Netze
autoassoziativ
Eingabemuster = Ausgabemuster
Lerngegenstand
Input-OutputBeziehung?
heteroassoziativ
Eingabemuster ≠ Ausgabemuster
überwacht
unüberwacht
Fehlermaß?
Neuronenbeziehung?
korrigierend
("mit Lehrer")
verstärkend
("mit Bewerter")
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
kooperativ
Lernverfahren
externe
Ergebniskontrolle?
wettbewerblich
59
Vereinfachungen gegenüber dem biologischen Vorbild
• Wesentlich geringere Zahl von Neuronen
• Viel geringere Zahl von Verbindungen
• Nur ein Parameter für die Stärke der
synaptischen Kopplung (Vernachlässigung
zeitlicher Phänomene und des Einflusses
verschiedener Neurotransmitter)
• Keine genauere Modellierung der zeitlichen
Vorgänge der Nervenleitung
• Konzentration auf homogene Netzwerke
• Keine Berücksichtigung chemischer Einwirkungen
benachbarter Neuronen
• Biologisch unplausible Lernregeln
• …
KOOTHS – BiTS: Neuronale Netze / Soft Computing, WS 2004/2005 | Teil 1
60