Aufbau einen Neuronalen Netzes
Werbung
Hafner, Stefan, Wigoutschnigg Universität Klagenfurt Neuronale Netze Carmen Hafner Elisabeth Stefan Raphael Wigoutschnigg Seminar in Intelligent Management Models in Transportation und Logistics 623.900, WS 05 Univ.-Prof. Dr.-Ing. Kyandoghere Kyamakya 24.11.05 Neuronale Netze 1 Inhalt ● ● ● ● ● ● ● ● ● ● Hafner, Stefan, Wigoutschnigg Das Gehirn Ziele Neuronaler Netze Geschichte der Neuronalen Netzwerke McCulloch-Pitts Hebb'sche Lernregel Aufbau einen Neuronalen Netzes Netzwerkstruktur Erstellen eines Neuronalen Netzes Möglichkeiten des Lernens Anwendungsgebiete 24.11.05 Neuronale Netze 2 Gehirn – 1 ● ● ● ● Die Medizin versucht das Gehirn zu kartographieren Verschiedene Bereiche haben verschiedene Aufgaben Arbeitsweise des Gehirns war lange Zeit unbekannt Eigenschaften auf den ersten Blick – – – – – – ● Hafner, Stefan, Wigoutschnigg Vergesslich Nicht deterministisch Fehleranfällig (3+4=8) Intuitiv Sehr gute Mustererkennung Sehr gute Lauteerkennung Eigenschaften auf den zweiten Blick – – – – – 24.11.05 Filter für Unwichtiges Kurzzeitgedächtnis Langzeitgedächtnis Deja-vu anpassbar Neuronale Netze 3 Gehirn - 2 ● ● ● Mediziner kennen den groben Aufbau des Gehirns Gehirn ist in Teilbereiche aufgeteilt Bereiche für – – – – – ● ● ● ● ● ● Hafner, Stefan, Wigoutschnigg Kurz- bzw Langzeitgedächtnis Sprache Sehen Riechen … Gehirn besteht aus Nervenzellen Nervenzellen (Neuronen) sind mittels Synapsen verbunden Signale werden zwischen den Neuronen mit bis zu 360 km/h übertragen Neuron kann bis zu 500 mal/sec feuern Gehirn benötigt bis zu 20% der Energie des Menschen Denken ist anstrengend 24.11.05 Neuronale Netze 4 Gehirn - 3 ● ● ● ● Das Gehirn besteht aus bis zu 100 Milliarden Neuronen Ein Neuron ist mit bis zu 10.000 Neuronen verbunden Neuronen sind für die Verarbeitung von Reizen verantwortlich Verbindungen zwischen Neuronen werden – – ● ● Hafner, Stefan, Wigoutschnigg Erzeugt/verstärkt (lernen) Zerstört/geschwächt (vergessen) Häufig benutze Pfade bleiben gut erhalten Selten genutzte Pfade gehen verloren 24.11.05 Neuronale Netze 5 Gehirn - 4 ● ● Neuronen arbeiten massiv parallel Neuronen haben Reizschwelle, ab der sie Signale an die verbundenen Neuronen abgeben (feuern) – – ● ● ● ● ● Hafner, Stefan, Wigoutschnigg Unwichtige Geräusche werden gefiltert Konzentration auf das Wichtige Neuronen kommunizieren durchgehend miteinander Rückkopplung von Signalen möglich (zB Tinitus) Neuronen gruppieren sich Einzelne Gruppen verarbeiten bestimmte Reize Das Gehirn hat die Fähigkeit Muster zu erkennen – – – 24.11.05 Erkennen von Gesichtern Erkennen von Geräuschen Erkennen von Figuren und Formen Neuronale Netze 6 Hafner, Stefan, Wigoutschnigg Neumann vs. Gehirn Computer ● ● ● ● ● ● ● ● 24.11.05 Gehirn Arbeitet sequentiell Sehr schnelle Abarbeitung einzelner Befehle Arbeitet deterministisch Mustererkennung ist schwierig Algorithmen lernen schwer Binäres Datenformat Diskret Algorithmus nur für ein Problem ● ● Arbeitet massiv parallel Eher geringe Taktfrequenz – ● ● ● ● ● ● 500 Signale pro Sekunde Fehlertolerant Lernt andauernd Kein Taktgeber Stetig Kann Unbekanntes selbstständig lernen Aufgaben müssen nicht „programmiert“ werden Neuronale Netze 7 Ziele Neuronaler Netze ● Ziel – – – – ● Hafner, Stefan, Wigoutschnigg Versuch die Struktur des Gehirns abzubilden Neuronale Netze sollen Intelligenz nachbilden Mensch versucht eine intelligente Maschine zu bauen Neuronales Netz soll selbstständig lernen Ablauf – – – – Reiz 24.11.05 Anordnen von Neuronen, um Berechnungen durchzuführen Neuronen sind adaptiv, sie sind also lernfähig Neuronen erhalten und verteilen Reize Neuronales Netz soll dadurch komplexe Aufgaben erledigen Rezeptor Neuronales Netz Neuronale Netze Effektor Reaktion 8 Geschichte ● 1943 – – – ● Frank Rosenblatt, Charles Wightman Mark I perceptron Ziffernerkennung 1969 – – – ● Marvin Minsky Snark (erster bekannter Neurocomputer) 1958 – – – ● Donald O. Hebb Hebb'sche Lernregel The Organization of Behaviour 1951 – – ● Warren McCulloch u. Walter Pitts Formalmodell des Neurons A logical calculus of the ideas immanent in nervous activity 1949 – – – ● Hafner, Stefan, Wigoutschnigg Marvin Minsky, Seymour Papert Grenzen neuronaler Netze 15 Jahre keine Forschungsgelder Seit 1986 rassante Entwicklunge 24.11.05 Neuronale Netze 9 McCulloch-Pitts ● ● Erstes Modell für Neuronen Eigenschaften – – – – – ● ● Hafner, Stefan, Wigoutschnigg Zustand entweder aktiv oder inaktiv Neuron besitzt festen Schwellwert Ein Neuron empfängt sowohl Eingaben von erregenden als auch von hemmenden Synapsen Eine einzige aktive hemmende Synapse verhindert die Aktivierung des Neurons Falls keine hemmende Synapse aktiv ist, werden die erregenden Eingaben addiert.Bei der Überschreitung des Schwellenwertes wird das Neuron aktiv Logisches UND und ODER lassen sich darstellen Keine Gewichtung der Eingabewerte, dadurch auch keine Lernfähigkeit 24.11.05 Neuronale Netze 10 Hebb'sche Lernregel ● Hafner, Stefan, Wigoutschnigg Lernregel als Algorithmus "Wenn ein Axon der Zelle A nahe genug ist, um eine Zelle B zu erregen und wiederholt oder dauerhaft sich am Feuern beteiligt, geschieht ein Wachstumsprozeß oder metabolische Änderung in einer oder beiden Zellen dergestalt, daß A's Effizienz als eine der auf B ... feuernden Zellen anwächst." ● Mathematisch Wenn Zelle j eine Eingabe von Zelle i erhält und beide gleichzeitig stark aktiviert sind, dann erhöhe das Gewicht wi,j (d. h. verstärke die Verbindung von Zelle i zu Zelle j). ● Problem: Verbindungen werden nicht abgebaut (kein Vergessen) 24.11.05 Neuronale Netze 11 Hafner, Stefan, Wigoutschnigg Aufbau eines Neuronalen Netzes - 1 ● 1. Neuronen (Einheiten, Knoten) – Input-Units: empfangen Signale von der Außenwelt (Reize, Muster) – Hidden-Units: zwischen Input- und Output-Units;beinhalten interne Repräsentation der Außenwelt – Output-Units: geben Signale an Außenwelt weiter Quelle: http://www.neuronalesnetz.de/units.html 24.11.05 Neuronale Netze 12 Hafner, Stefan, Wigoutschnigg Aufbau eines Neuronalen Netzes - 2 ● 2. Verbindungen (Kanten) – – – – ● gerichtet speichern Information - Gewichte wirken verstärkend oder hemmend Teil, der trainiert wird 3. Schichten – 24.11.05 Zusammenfassung von Neuronen Neuronale Netze 13 Hafner, Stefan, Wigoutschnigg Aufbau eines Neuronalen Netzes - 3 ● 4. Eingangssignal(e) – werden zu einem kombinierten Eingabesignal (“net”) verrechnet – üblicherweise geschieht das durch Aufsummieren der gewichteten Eingangssignale Quelle: http://winf5.in.tu-clausthal.de/winf/ws0506/seminar/01-NN-Vortrag.pdf 24.11.05 Neuronale Netze 14 Hafner, Stefan, Wigoutschnigg Aufbau eines Neuronalen Netzes - 4 ● 5. Aktivierungsfunktionen – berechnen Ausgabe, die über Verbindungen an andere Units abgegeben wird – die gebräuchlichsten Funktionen: ● Identitätsfunktion (Lineare Funktion) ● Binäre Schwellenfunktion ● Sigmoide Funktion Quelle: http://winf5.in.tu-clausthal.de/winf/ws0506/seminar/01-NN-Vortrag.pdf 24.11.05 Neuronale Netze 15 Hafner, Stefan, Wigoutschnigg Aufbau eines Neuronalen Netzes - 5 Quelle: http://wwwmath.uni-muenster.de/SoftComputing/ lehre/material/wwwnnscript/prinzip.html 24.11.05 Neuronale Netze 16 Hafner, Stefan, Wigoutschnigg Aufbau eines Neuronalen Netzes - 6 24.11.05 Neuronale Netze 17 Aufbau einen Neuronalen Netzes 7 ● Hafner, Stefan, Wigoutschnigg Beispiel: – Eingangssignale: x1, x2, x3 Gewichte: w1, w2, w3 Aktivierungsregel: o = f(net) = net – Berechnung: 5*0,3 + 8*0,5 + 3*1,0 = 8,5 – – 24.11.05 Neuronale Netze 18 Netzwerkstruktur - 1 ● Alle neuronalen Netze haben in ihrer Struktur die gemeinsame Eigenschaft vieler elementarer Elemente: – – ● Hafner, Stefan, Wigoutschnigg den Neuronen, und der Verknüpfung dieser Elemente durch mathematische Funktionen. Während eines Trainingsprozesses kann sich aber folgendes ändern: – – 24.11.05 die Anzahl der Elemente, als auch deren Verknüpfungen. Neuronale Netze 19 Hafner, Stefan, Wigoutschnigg Netzwerkstruktur - 2 Verschiedene Netzmodelle ● Feed-Forward ● Perceptron ● „recurrent“ Netzwerk – Direkte Rückkopplung – Indirekte Rückkopplung – Seitliche Rückkopplung – Vollständige Verbindungen ● Full-Connection ● Short-Cuts Quelle: http://winf5.in.tu-clausthal.de/winf/ws0506/seminar/01-NN-Vortrag.pdf 24.11.05 Neuronale Netze 20 Netzwerkstruktur - 3 Hafner, Stefan, Wigoutschnigg Feed-Forward Netzwerk gerichteter, zyklenfreier Graph Jeder Neuron einer Schicht mit jedem Neuron der nachfolgenden Schicht verbunden. Input-Knoten innere Knoten Output-Knoten Quelle: http://www.cs.nott.ac.uk/~gxk/courses/g5aiai/006neuralnetworks/neural-networks.htm 24.11.05 Neuronale Netze 21 Netzwerkstruktur - 4 Hafner, Stefan, Wigoutschnigg Perceptron keine „Hidden-Units“ Meist zweischichtiges Netz mit nur einem Ausgabeneuron und Schwellenfunktion als Aktivierung. „feed forward“ Netzwerk mit nur einem Layer Quelle: http://fstolzenburg.hs-harz.de/datam/material/lernen.pdf 24.11.05 Neuronale Netze 22 Netzwerkstruktur – 5 Hafner, Stefan, Wigoutschnigg „recurrent “ Netzwerk Netzwerk mit Rückkopplungen (feedback connections) Damit sollen zeitlich codierte Informationen in den Daten entdeckt werden. einfaches Feed-Forward Netzwerk 24.11.05 Neuronale Netze Netzwerk mit Rückkopplung 23 Netzwerkstruktur – 6 ● Hafner, Stefan, Wigoutschnigg direkten Rückkopplungen (direkt feedback): Hier existieren Verbindungen vom Output zum Input derselben Unit zurück. Das bedeutet, dass das Aktivitätslevel der Einheit zu einem Input der gleichen Einheit wird. ● indirekten Rückkopplungen (indirect feedback): In diesem Fall wird die Aktivität an vorangegangene Schichten des neuronalen Netzes zurückgesandt. ● seitlichen Rückkoppelungen (lateral feedback): Hier erfolgt die Rückmeldung der Informationen einer Unit an Neuronen, die sich in derselben Schicht befinden. Ein Beispiel für solche seitlichen Rückkoppelungen sind die Horizontalzellen im menschlichen Auge. ● vollständigen Verbindungen: Diese Netze besitzen Verbindungen zwischen sämtlichen Neuronen. Quelle: http://www.neuronalesnetz.de/rekurrente.html 24.11.05 Neuronale Netze 24 Netzwerkstruktur – 7 Hafner, Stefan, Wigoutschnigg Full-Connection Networks ● Die Neuronen einer Schicht werden mit allen Neuronen aller folgenden Schichten verbunden. Netzwerkstruktur mit einer hidden-unit mit sechs „fully-connected“ Neuronen Quelle: http://tero.fis.uncor.edu/~cannas/papers/paper26.pdf 24.11.05 Neuronale Netze 25 Netzwerkstruktur – 8 Hafner, Stefan, Wigoutschnigg Short-Cuts: ● Einige Neuronen sind nicht nur mit allen Neuronen der nächsten Schicht verbunden, sondern darüber hinaus mit weiteren Neuronen der übernächsten Schichten. nächste Schicht 24.11.05 Neuronale Netze übernächste Schicht 26 Erstellen eines Neuronalen Netzes Hafner, Stefan, Wigoutschnigg 1. Vorarbeit Netzmodell Anzahl der Neuronen Lernregel und Lernparameter Auswahl repräsentativer Daten Wahl der Aktivierungsfunktion 2. Trainings-/Lernphase: „Wissen anlernen“ Gewichte anpassen und modifizieren Lernregeln geben dabei die Art und Weise an, wie das neuronale Netz diese Veränderungen vornimmt 3. Testphase 4. Leistung und Verallgemeinerungsfähigkeit überprüfen 5. Einsatz des Netzes Quelle: http://winf5.in.tu-clausthal.de/winf/ws0506/seminar/01-NN-Vortrag.pdf 24.11.05 Neuronale Netze 27 Möglichkeiten des Lernens Hafner, Stefan, Wigoutschnigg 1. Gewichte verändern 2. Neue Verbindungen herstellen 3. Vorhandene Verbindungen löschen 4. Schwellenwerte verändern (Aktivierungsfunktion verschieben) 5. Aktivierungsfunktion ändern 6. Neue Neuronen herstellen 7. Neuronen löschen Quelle: http://winf5.in.tu-clausthal.de/winf/ws0506/seminar/01-NN-Vortrag.pdf 24.11.05 Neuronale Netze 28 Anwendungsgebiete Hafner, Stefan, Wigoutschnigg Industrie – – Qualitätskontrolle, Optimierung Finanzen – – – Kursprognose, Unterschriftenerkennung, Kreditkartenbetrug Medizin – – – – Bakterienidentifikation, Gewebeanalyse, Überwachung/Diagnose des Gesundheitszustanden, Bild-/Gesichtserkennung Künstliche Intelligenz – – Wissensgewinnung, Spracherkennung Verkehr – – – – 24.11.05 Hinderniserkennung, Ampelschaltung, Autopiloten von Flug- oder Fahrzeugen, Verkehrsüberwachung Quelle: http://www.neuronalesnetz.de/weitereAnwendungsgebiete.html Neuronale Netze 29
