Ausgewählte Kapitel der Kognitionswissenschaft und künstlichen

Werbung
384.112 VU 2.0
Ausgewählte Kapitel der
Kognitionswissenschaft und
künstlichen Intelligenz
Institut für
Computertechnik
LERNEN
ICT
Institute of
Computer Technology
Heimo Zeilinger
Überblick
„
Definition Lernen
„
Lernstrategien in technischen Systemen
„
Lerntheorien aus der Psychologie
„
ARS-Projekt
Institute of Computer Technology
2
Definition Lernen
„
Lernen kann man selbst nicht beobachten
„
Veränderung im Gehirn nicht einfach sehen
„
Zeigt sich das Lernen immer in der Leistung?
Lernen zeigt sich im Verhalten!
Institute of Computer Technology
3
1
Definition Lernen
„Lernen ist ein erfahrungsbasierter Prozess, der in der
in relativ überdauernden Veränderungen des
Verhaltens oder des Verhaltenspotentials resultiert.“
[Philip G. Zimpardo, „Psychologie“]
„Lernen ist jeder Vorgang, der ein System in die Lage
versetzt, bei der zukünftigen Bearbeitung derselben
oder einer ähnlichen Aufgabe diese besser zu
erledigen.“
[Herbert Simon, 1983]
Institute of Computer Technology
4
Lernstrategien in technischen Systemen
„
Supervised Learning
„
Unsupervised Learning
„
Reinforcement Learning
„
Multitask Learning
Institute of Computer Technology
5
Lernstrategien in technischen Systemen
„
Supervised Learning
„
Lernen mit Trainingsdaten (Vektoren)
„
Nach Ende der Trainings Simulation werden beliebige Eingangswerte
auf korrekte Ausgangswerte abgebildet
„
Lernen mit einem „Lehrer“
Zu bestimmten Eingangsdaten sind bereits Ausgangsdaten vorhanden
Eingangswerte
Berechneter
Ausgangswert
System
diff
Sollwert
Korrekturwert
Institute of Computer Technology
6
2
Lernstrategien in technischen Systemen
„
Unsupervised Learning
„
Berechnung der Ausgangswerte nicht durch Sollwerte korrigiert
„
Eingangsdaten können effizient modelliert werden (Clustering,
Komprimierung)
„
Effizient strukturierte Daten fungieren als Eingangsdaten für
weitere Systeme
Eingangswerte
System
Berechnete
Ausgangswerte
Institute of Computer Technology
7
Lernstrategien in technischen Systemen
„
Reinforcement Learning
Das System wird durch Belohnung oder Bestrafung in Richtung Nutzen
optimiert
Erhält als Feedback wie gut die Aktion war, aber keine Information über die
korrekte Reaktion
„ Lernen durch Kritik
„ Belohnung oder Bestrafung wird oft erst nach einer langen Sequenz von
Aktionen erfolgen
Q-Learning, Temporal Difference (TD) Learning
„ Credit Assignment Problem
„
„
Eingangswerte
System
Aktion
Umwelt
Reinforcement Feedback
Institute of Computer Technology
8
Lernstrategien in technischen Systemen
Credit Assignment Problem
Szenario Energieaufnahme
Action Box
Object Box
Promenade
GoTo
AEA1
Attack
AEA2
DanceWith
ES
Eat
Institute of Computer Technology
9
3
Lernstrategien in technischen Systemen
„
Multitask Learning
„
Erlerntes wird eingesetzt um Ähnliches schneller erlernen zu
können
„
Bei parallelen Lern-Tasks werden die jeweiligen Ergebnisse zur
Verbesserung der Lernergebnisse anderer Tasks verwendet
„
Benötigte Informationen müssen zwischen den Tasks
transferiert werden
„
Verbesserung der internen Datenstrukturierung
Hauptanwendungsgebiet Neuronale Netze
Institute of Computer Technology
10
Lernstrategien in technischen Systemen
"Believing that writing these types of programs
will bring us closer to real artificial intelligence is
like believing that someone climbing a tree is
making progress toward reaching the moon."
[Hubert Dreyfus, Prof. Philosophie Berkley, „What Computers Can‘t Do“,
1972]
"Either artificial intelligence is possible...or we're
not." [Herbert A. Simon]
Institute of Computer Technology
11
Lernstrategien in technischen Systemen
Computer vs. Human
Institute of Computer Technology
12
4
Lerntheorien aus der Psychologie
Lernen wird anhand von Individuen untersucht
Konditionierungsmodelle zum Teil in technischen Systemen
umgesetzt
Theorie
Paradigma
Vertreter
Behaviorismus
ReizReaktionsschema
Watson, Skinner,
(Pawlow)
Kognitivismus
Lernen am
Modell
Bandura
Lernen durch Entwicklungsstufenmodell
Einsicht
Köhler,
Piaget
Wertheimer
Institute of Computer Technology
13
Lerntheorien aus der Psychologie
„
Konditionierung
Black Box Modell
„ Mensch oder Tier wird als Black Box gesehen
„ Nur das beobachtbare Verhalten wird untersucht
Institute of Computer Technology
14
Lerntheorien aus der Psychologie
„
Klassische Konditionierung
Iwan Pawlow (Physiologe, 1849-1936)
Vorläufer der Behavioristen
Pawlowscher Hund
Institute of Computer Technology
15
5
Lerntheorien aus der Psychologie
„
US (Unconditioned Stimulus)
Ruft ohne experimentelles Zutun Reaktion hervor
„
UR (Unconditioned Reaction)
„
CS (Conditioned Stimulus)
„
CR (Conditioned Reaction)
Wird durch den US hervorgerufen – hat biologischen Nutzen z.B.
Lidschlag
Ursprünglich neutraler Reiz – ruft durch Konditionierung eine Reaktion
hervor
Wird nach erfolgreichem Konditionieren vom CS ausgelöst
Institute of Computer Technology
16
Lerntheorien aus der Psychologie
„
Operative Konditionierung
„Eine Lernform, bei der sich die Wahrscheinlich
keit einer Reaktion aufgrund einer Veränderung
ihrer Konsequenzen ändert“
Edward L.Thorndike (Psychologe, 1874-1949)
Burrhus Frederic Skinner (1904-1990)
„Skinnerbox“ Versuch
Institute of Computer Technology
17
Lerntheorien aus der Psychologie
Versuchsaufbau einer Skinner Box
Institute of Computer Technology
18
6
Lerntheorien aus der Psychologie
„
Lernen durch Einsicht (Kognitivismus)
„Aneignung oder Umstrukturierung von Wissen, das auf Nutzung der
kognitiven Fähigkeiten beruht“
Erfordert
„
„
Bewusstsein
Denken
Institute of Computer Technology
19
ARS-Projekt
Artificial Recognition System (ARS)
„
Kann Lernen in eine abgeschlossene Funktion
gegossen werden?
„
Welche anderen Wege können gegangen
werden?
Institute of Computer Technology
20
ARS-Projekt
Gedächtniseinteilung nach Art der Hinweisreize zur Wiedergewinnung
von Informationen
Vertreter:
Endel Tulving („Elements of Episodic Memory“. Oxford : Clarendon, 1983. )
Alan D. Baddely („Human Memory“. Psychology Press: East Sussex, 1997.)
Deklaratives Gedächtnis
episodisch
semantisch
Langzeitgedächtnis für
autobiographische
Ereignisse und den
Kontext, in dem sie
auftraten
Generische kategoriale
Gedächtnisinhalte
Abruf durch INHALT und
ZEITPUNKT
Abruf von FAKTEN
Institute of Computer Technology
Prozedurales Gedächtnis
Wie bestimmte Aktionen
durchgeführt werden
21
7
ARS-Projekt
Speicherung von Daten
1.
Kodierung einlangender Sensordaten
Wie und wie stark werden Daten abstrahiert?
2.
Speicherung
Welche Daten werden abgespeichert?
In welcher Struktur werden Daten abgespeichert?
3.
Abruf bzw. Dekodierung
Wann und wie werden benötigte Daten abgerufen?
Kodierung
Speicherung
Abruf
Institute of Computer Technology
22
ARS-Projekt
„
Episodisches Gedächtnis in ARS
„
Erkennung von Szenarien
„
Speicherung und Verwaltung von Szenarien
„
Aufruf, Vergleich von Szenarien
Institute of Computer Technology
23
ARS-Projekt
Semantisches Gedächtnis in ARS
Stimulus
Stimulus
Input
EPISODISCH
Regeln
Fakten
Output
Transferieren von Regeln, Fakten und Konzepten aus
episodischem in semantisches Gedächtnis
Output
„
SEMANTISCH
Semantisch
Konzepte
Institute of Computer Technology
24
8
ARS-Projekt
In welcher Struktur können Daten gespeichert werden?
Baumstruktur problematisch
Lebewesen
Attribute
Amphibien
Säugetiere
Wal
Sauropsiden
...
Zwerchfell,
Milchsäuger
Reptilien
Vögel
...
Bär
haben Federn
...
hat Flossen,
lebt im Wasser
...
Pinguin
Eisbär
Lebensraum
Arktis
kann nicht fliegen,
kälteresistent,
Lebensraum
Antarktis
Institute of Computer Technology
25
Herausforderungen für die Zukunft
„
Aus Szenarien Regeln, Fakten und Konzepte
extrahieren
„
Wissensstruktur anlegen
„
Assoziationswissen organisieren
Institute of Computer Technology
26
Danke!
Institute of Computer Technology
27
9
Herunterladen
Explore flashcards