Künstliche neuronale Netze - Westsächsische Hochschule Zwickau

Künstliche neuronale Netze
Sibylle Schwarz
Westsächsische Hochschule Zwickau
Dr. Friedrichs-Ring 2a, RII 263
http://wwwstud.fh-zwickau.de/~sibsc/
[email protected]
SS 2010
Softcomputing
Einsatz zum Lösen von Problemen,
I
die unvollständig beschrieben sind,
I
die keine eindeutige Lösung haben,
I
für die keine effizienten Algorithmen bekannt sind, usw.
einige Ansätze:
I
Fuzzy-Logik, probabilistische Logik
I
Neuronale Netze
I
Evolutionäre Algorithmen
I
Schwarm-Intelligenz
Neuronale Netze
Modellierung und Simulation der Strukturen und Mechanismen
im Nervensystem von Lebewesen
Biologisches Vorbild
Nervenzellen (Neuronen)
Struktur (eines Teiles) eines
Nervensystems
Aktivierung von Neuronen,
Reizübertragung
Anpassung (Lernen)
Mathematisches Modell
künstliche Neuronen
künstliche neuronale Netze (KNN)
unterschiedlicher Struktur
künstlichen Neuronen zugeordnete
Funktionen
Änderungen verschiedener Parameter des KNN
Natürliche Neuronen
ZNS besteht aus miteinander verbundenen Nervenzellen
(Neuronen)
Bild (Tafel)
Struktur eines Neurons:
I
Zellkörper
I
Dendriten
I
Synapsen (verstärkende, hemmende)
I
Axon
Natürliche Neuronen – Funktionsweise
Informationsübertragung durch elektrochemische Vorgänge:
I
aktivierte Zelle setzt an Synapsen Neurotransmitter frei,
I
Neurotransmitter ändern die Durchlässigkeit der
Zellmembran für Ionen an den Dendriten der
empfangenden Zelle,
I
Potential innerhalb der empfangenden Zelle ändert sich
durch diffundierende Ionen,
I
überschreitet die Summe der an allen Synapsen
entstandenen Potentiale (Gesamtpotential) der Zelle einen
Schwellwert, entsteht ein Aktionsspotential (Zelle feuert),
I
Aktionspotential (Spannungsspitze) durchquert das Axon
(Nervenfaser) zu den Synapsen zu Nachbarzellen,
I
aktivierte Zelle setzt an Synapsen Neurotransmitter frei,
usw.
Stärke der Information durch Häufigkeit der Spannungsspitzen
(Frequenzmodulation).
Natürliche Neuronen – Lernen
Speicherung von Informationen durch Anpassung der
Durchlässigkeit (Leitfähigkeit) der Synapsen
I
Synapsen zwischen gleichzeitig aktiven Zellen werden
immer durchlässiger (Reizschwelle wird verringert),
Signal an dieser Synapse wird stärker,
I
lange nicht benutzte Synapsen verlieren mit der Zeit ihre
Durchlässigkeit (Reizschwelle wird erhöht)
Signal an dieser Synapse wird schwächer.
Eigenschaften natürlicher neuronaler Netze
I
geringe Taktrate 10− 3 s
Vergleich: CPU 10−8 s
I
parallele Arbeit sehr vieler (1011 ) Neuronen
Vergleich: CPU 105 Gatter
I
Neuronen sehr stark miteinander vernetzt
(ca. 10 000 Nachbarn)
I
Verarbeitungseinheit = Speicher
Vorteile:
I
hohe Arbeitsgeschwindigkeit durch Parallelität,
I
Funktionsfähigkeit auch nach Ausfall von Teilen des
Netzes,
I
Lernfähigkeit,
I
Möglichkeit zur Generalisierung, usw.
Ziel: Nutzung dieser Vorteile durch Modellierung von
Problemen als künstliche neuronale Netze
Anwendungen künstlicher neuronaler Netze
I
Bildverarbeitung, z.B. Schrifterkennung, Kantenerkennung
I
Medizin, z.B. Auswertung von Langzeit-EKGs
I
Sicherheit, z.B. Identifizierung
I
Wirtschaft, z.B. Aktienprognosen, Kreditrisikoabschätzung
I
Robotik, z.B. Laufenlernen
Einordnung in das Gebiet der KI
Problemlösen:
I
symbolisch
durch Regeln, Algorithmen
Problemlösen durch Schließen oder Programmieren
z.B. Logik, Programmierung
I
semantisch, fallbasiert
durch Angabe von Beispielen
Problemlösen durch Lernen
z.B. KNN, evolutionäre Algorithmen, Schwarm-Intelligenz,
statistische Methoden,
Künstliche neuronale Netze:
I
Wissensrepräsentation
I
Maschinelles Lernen
I
Paralleles Berechnungsmodell
Künstliche neuronale Netze als Berechnungsmodell
lokale Berechnungen – globale Wirkung
Fragen:
I
Welche Funktionen können durch KNN der verschiedenen
Typen berechnet werden?
I
Welche Arten von KNN sind Turing-vollständig?
Geschichte
Neuron – Nerv (griechisch)
I
Warren McCulloch, Walter Pitts (1943):
A logical calculus of the ideas immanent in nervous activity
I
Donald O. Hebb (1949):
The organization of behaviour
I
1958 erster Neurocomputer
(Ziffernerkennung in 20 × 20-Bildsensor)
I
Frank Rosenblatt (1960): MARK 1
I
Marvin Minsky, Seymour Papert (1969): Perceptrons
Inhalt der Lehrveranstaltung
I
I
künstliche Neuronen (Aufbau und Funktion)
Netz-Topologien:
I
I
I
I
I
Lernverfahren:
I
I
I
I
Einschicht-Feed-Forward-Netze
Mehrschicht-Feed-Forward-Netze
Rückgekoppelte Netze
Assoziativspeicher
überwacht
unüberwacht
bestärkend
Anwendungen:
I
I
I
Klassifikation
Mustererkennung
Clustering
Literatur
I
Rojas: Theorie der neuronalen Netze
I
Nauck, Klawonn, Kruse:
Neuronale Netze und Fuzzy-Systeme
I
Callan: Neuronale Netze
I
Zell: Simulation neuronaler Netze
I
Hoffmann: Neuronale Netze
I
Schöneburg: Neuronale Netzwerke.
Einführung, Überblick und Anwendungsmöglichkeiten
Organisation der Lehrveranstaltung
http://wwwstud.fh-zwickau.de/~sibsc/lehre/ss10/nn/
Vorlesung Dienstag 11:20-12:50 in PBS 203
(12 Vorlesungen)
am 16.
Hausaufgaben (zur Vorbereitung auf die Prüfung)
zu (fast) jeder Vorlesung eine Übungsserie
Besprechung der Lösungen zu Beginn der
folgenden Vorlesung
praktische Aufgaben (freiwillig)
Wer möchte, kann fast alle besprochenen Netze in
JavaNNS modellieren und ausprobieren:
http://www.ra.cs.uni-tuebingen.de/
software/JavaNNS/welcome_e.html
Prüfung (Klausur)
gesamtes Modul Softcomputing 90 min
davon ca. 45 min KNN