Quick Access
Werbung
Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung Konnektionismus die zweite 29.10.2009 3.November 2009 Projektseminar WS 09/10 Konnektionistische Lars Konieczny Daniel Müller 1 Helmut Weldle Organisation • Referate • Dritter Termin: Freitag 12-14h • Simulator: Erstmal Tlearn, dann Lens – Übungsfiles im Materialeinordner 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 2 …beim (vor-)letzten Mal • Grundprinzipien Konnektionismus – neuronal inspirierte Informationsverarbeitung • Kurze Geschichte • Formale Grundprinzipien: Begriffe, Symbole und Formeln – Aktivation • Netinput • Aktivierungsfunktionen – Lernen (Delta-Regel) 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 3 Tagesthemen • • • • • • • Wiederholung Aktivation und Delta-Regel Repräsentation in KNNs Am Beispiel: Das Jets & Sharks Modell Distributed processing Prototypen Constraint satisfaction Fazit 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 4 Wiederholung Aktivierung Input Knoten/Neuron/Node j aj wij: Verbindungsstärke/gewicht(connection weight) von Knoten j zu Knoten i netinputi Unit i Knoten/Neuron/Node i ai: Aktivation(activation) des Knoten i inputij = ajwj Wij ai netinputi= ajwij Aktivierungsfunktion F netinputi ai ai=F(netinputij ) Output 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 5 Wiederholung Lernen Input • • • • neue Verbindungen entwickelt, vorhandene Verbindungen löschen Verbindungsgewichte verändern Schwellenwerte von Neuronen verändern • Neuronenfunktionen verändern (Aktivierungs-, Propagierungs- und Ausgabefunktion) • neue Neurone entwickeln • vorhandene Neurone löschen Output 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 6 Wiederholung DeltaRegel Δwij = [ai(soll) - ai(ist)] aj ε Δwij: Gewichtsveränderung der Verbindung aj : Aktivation des Quellknotens ε : Lernrate 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 7 Wie ist Wissen gespeichert? "CAT", [cat] DOG "BAGEL", [bagel] [dog] "DOG", [dog] • • • • Diskrete Wissenseinheiten (Chunks) Zugriff über Adresse Beispiele: Datenbank, Zettelkasten, Lexikon … Eigenschaften: • Schnell, wenn Adresse bekannt, langsam(er), wenn über Inhalt zugegriffen wird • Wenn Speicheort zersört wird, ist das Wissen weg • Funktioniert menschliches Gedächtnis/Zugriff so? 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 8 Kognitive Verarbeitung beim Menschen • Inhaltsadressierbar • Fehlertolerant • 'Zerstörungstolerant' • Neuronale Signale selbst sind verrauscht Ein gutes Modell sollte diese Eigenschaften auch haben 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 9 Ein Beispiel: Jets und Sharks (McClelland 1981) Adresse Werte/Inhalt Gang Alter Ausbildung Fam. stand Beruf Alan Jets 30er Junior High Verh. Burglar Art Jets 40er Junior High Ledig Pusher Clyde Jets 40er Junior High Ledig Bookie Dave Sharks 30er High School Gesch. Pusher Don Sharks 30er College Verh. Burglar Doug Jets 30er High School Ledig Bookie Fred Sharks 40er High School Verh. Burglar Gene Jets 20er High School Ledig Pusher … … … … … … "Ist Fred ein Pusher?" "Kennst du den Namen eines Pushers?" 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 10 Jets & Sharks Name Fam. stand verheiratet Art Dave Alter geschieden 20er 30er ledig Fred Person 2 40er Person 1 Sharks Pusher Beruf Highschool Jets Gang Junior High Bookie College Burglar Ausbildung 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 11 Wie funktioniert's? • Gewichte w (fix): – Excitatorisch: +1 – Inhibitorisch: -1 • Anfangsaktivation a aller Nodes: -0.1 • Anfrage: – "Kennst du einen Pusher?": Aktivierung des 'Pusher' Knotens • Läuft über mehrere Zyklen, bis stabiler Zustand erreicht ist (Nodes haben konstantes Aktivationsniveau) 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 12 Kennst du den Namen eines Pushers? Name verheiratet Art Dave Zyklus 1 Zyklus 2 Fam. stand Alter geschieden 20er 30er ledig Fred 40er Zyklus 3 … stabil Sharks Pusher Beruf Highschool Jets Gang Junior High Bookie College Burglar Ausbildung 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 13 Do you know the name of a pusher? Wechselseitige Hemmung (mutual Inhibition): • "winner takes all": Knoten hemmen sich gegenseitig, aber sobald einer die Überhand gewinnt, hemmt er die anderen, diese in damit weniger usw. usw. 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 14 Der kleine Unterschied Initiale Aktivation: Nick: -0.07 Fred: -0.1 Empfindlich (bzw. sensitiv) für Rauschen • Kann passieren, das beim nächsten Mal Fragen eine andere Antwort erzeugt wird. ? Ist das wünschenswert? Grundlegende Eigenschaft dynamischer Systeme (Butterflyeffekt) 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 15 • Schreib einen Vogel auf 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 16 Prototypen • "Nenn mir irgendeinen Vogel" Nicht irgendein Vogel wird genannt, sondern ein 'typischer': (Amsel…….Strauß) • Das gleiche passiert auch im J&S Modell 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 17 Der prototypische Pusher Derjenige Knoten (Namen) wird aktiviert, der am meisten Eigenschaften mit dem Prototypen teilt Prototypen/Typikalität ist automatisch repräsentiert durch die Anzahl (und evtl. das Gewicht) der Verbindungen Ermöglicht auch Einordnung (am ehesten ein …) u.ä. 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 18 Constraint Satisfaction • Jeder Knoten beeinfusst alle, mit denen er verbunden: – Exc: Versuch, anderen Knoten in gleichen Zustand zu versetzen – Inh: Versuch, anderen Knoten in entgegengesetzten Zustand zu versetzen Constraints, die Zielzustand erfüllen soll Constraint Satisfaction 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 19 Constraint Satisfaction • Idealzustand: Alle Constraints sind erfüllt – nichts passiert mehr • Wir aber selten passieren… Aber: Stabiler Zustand, in dem möglichst viele Constraints erfüllt sind: Best Fit / Satisficing Menge der Möglichen Stabilen Zustände: "Erinnerungen" des Netzwerks 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 20 Modell von Kognition • Entscheidung entsteht durch Konsens unterschiedlicher Evidenzen – keine exaktes Matching notwendig Fehler/Rauschtoleranz – Notwendig angesichts der Eigenschaften des Gehirns – Und angesichts der realen Welt! – Notwendig ist nicht unbedingt die exakte Erinnerung an einen Stimulus (z.B. ein Wort, inklusive Fehler), sondern eine sinnvolle Interpretation! 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 21 Kennst du einen… • Shark, 20er, High School, ledig, Einbrecher …, Junior High,.. □ …,Einbrecher, Dealer, Buchmacher… • Fehlertoleranz • Sinnvolle Antwort, auch bei falschem oder unvollständigem Input 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 22 Fazit/Rekapitulation • Keine Trennung von "Speichern" und "Prozess/Verarbeitung" • Art der Modellierung: – Klassisch: • Problem • Mögl. Lösung Programm • Testen – Konnektionistisch • Problem • Simulation • Analyse 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 23 j e E N 3.November 2009 t z t D E ! Projektseminar WS 09/10 Konnektionistische 24
