INB - Universität zu Lübeck

Prinzipien der
Informationsverarbeitung im
visuellen Cortex
Erhardt Barth
Institut für Neuro- und Bioinformatik
Universität zu Lübeck
INB
1
Übersicht
• Einleitung
• Aus heutiger (und meiner) Sicht
grundlegende Eigenschaften der
visuellen Informationsverarbeitung
• Übersicht OC-relevante Projekte
• Bewußtsein als Kontrollinstanz des Gehirns
(Anregung)
INB
2
Motivation
• Vom biologischen Sehen für das
Rechnersehen lernen
• Technische Systeme an den Menschen
anpassen
INB
3
Methoden der Hirnforschung
• Neurophysiologie, bildgebende Verfahren
– Ganglienzellen der Netzhaut
– Orientierungs-selektive Neurone des primären
visuellen Cortex
• Psychophysik
– hier einige Anregungen zur Selbstbeobachtung
• Mathematische Modelle und Simulationen
– Informationstheorie, Lineare Systemtheorie
– Beispiele nichtlinearer Ansätze (am Rande)
INB
4
Rahmen für interdisziplinäre
Hirnforschung
• Bisher
– Kybernetik
– Neuronale Netze
– Künstliche Intelligenz
– Computational Neuroscience
• Generelle Probleme
– zu viel versprochen
– zu sehr „solution in search of a problem“
INB
5
Computational Neuroscience
• Metaphors and the brain
• Hydraulic and mechanical metaphors (Hippocrates)
• Electronic and optical metaphors (telegraph brain)
• Computational metaphor (widespread today)
„Surprisingly, ..., there remains today no well established
evidence of symbolic manipulation or formal logic rules at
the neurobiological level in animal physiology. ...
INB
We should remember that the enthusiastically embraced
metaphors of each ‘new era’ can become, like their
predecessors, as much the prisonhouse of thought as
they at first appeared to represent its liberation.”
(J. Daugman)
6
Eigenschaften der visuellen
Informationsverarbeitung
•
Verhaltensrelevanz
•
Anpassung an die Umwelt
•
Modularität
•
Lernen, Plastizität und Umorganisation
•
Aktive, selektive Wahrnehmung
INB
7
INB
8
Behavior of a frog
•
A frog hunts on land by vision.
•
He escapes enemies mainly by seeing them.
•
His eyes do not move (but to compensate body motion).
•
He has a uniform retina and no fovea.
•
His choice of food is determined only by size and
movement - he will starve to death surrounded by
food if it is not moving!
•
His sex life is conducted by sound and touch.
•
To escape enemies, he jumps to where it is darker.
9
INB
10
The bug detector
Convexity detectors (type II ganglion cells in the
frogs retina) respond best when a dark object
enters the receptive field, stops and moves
about intermittently thereafter. The response is
not affected if the lightning changes or if the
background is moving. ‘Could one better
describe a system for detecting an accessible
bug?’
INB
11
Interpretations
‘One could say that the right way to view
the visual system was not as doing
information processing but as producing
behavior. Computers process
information, but brains make animals do
the right thing.’ (Anderson)
INB
12
Meeting Jerry Lettvin
(is a great experience ....)
The bug detector is even more complex:
yes
no
yes
less
INB
13
Topological features
INPUT
CON-COFF representation (not further specified)
1.00
INB
-3.00
-1.00
0.00
1.00
are the normalized integral values of CON-CON. When used to
inhibit the CON-COFF representation, they produce the selectivity
reported by Lettvin.
14
visueller Cortex
Optischer Nerv
Auge
INB
15
Bemerkung
Bei Säugetieren, speziell den Primaten,
sind die frühen Verarbeitungsstufen
generischer und werden meistens im
Sinne einer Repräsentation verstanden.
Was aber ist der Sinn von
Repräsentationen?
INB
16
Eigenschaften der visuellen
Informationsverarbeitung
•
Verhaltensrelevanz
•
Anpassung an die Umwelt
•
Modularität
•
Lernen, Plastizität und Umorganisation
•
Aktive, selektive Wahrnehmung
INB
17
Anpassung an die Umwelt
• Inzwischen eine beliebte Sichtweise: die
visuellen Mechanismen entstanden durch
Anpassung an die Statistik der natürlichen
Umgebung.
• Welche Statistik?
• „Klumpenbildung“
• Welche Mechanismen?
• laterale Hemmung, Orientierung, d.h. frühe M.
• Welches Kriterium?
INB
• minimale Entropie, „sparse coding“
18
INB
19
Cornsweet illusion
(Craik-O’Brien effect)
INB
20
Hubel & Wiesel, 1962
INB
21
Information und Entropie
• Information (I)
Nachrichten fk (z.B Helligkeit im Bild)
mit Wahrscheinlichkeiten pk, k=1,…,N
Information:
Ik = − log2 pk
[bit]
• Entropie (H)
N
H = − ∑ pk log 2 pk
[bits / Nachricht]
k =1
INB
(mittlere Information)
22
H gering
H maximal
•1
•0,8
•0,6
•0,4
•0,2
•0
•1
•2
•3
•4
•5
INB
23
Informationstheoretische Analyse
Input
Netzhaut
Cortex
INB
24
Optimal color coding
RGB principal
components
 0.44
0.55 0.71
 −0.77 −0.16 0.61


 0.44 −0.82 0.36
R+G+B
-R-G+B
R-G+B
INB
25
Visual color coding
R+G+B
achromatic channel
R-G+B
red-green channel
R+G-B
yellow-blue c.
The three channels carry different spatial frequencies
INB
26
Eigenschaften der visuellen
Informationsverarbeitung
•
Verhaltensrelevanz
•
Anpassung an die Umwelt
•
Modularität
•
Lernen, Plastizität und Umorganisation
•
Aktive, selektive Wahrnehmung
INB
27
Cortikale Spezialisierung
• Getrennte Verarbeitung von
– Form
– Bewegung
– Farbe
• V1: orientation
• V2: orientation, end-stopping
•.V3: orientation, motion, depth
• V4: mainly color
• MT: mainly motion
INB
28
Tanaka et al., 1991
IT cortex of wake monkeys
INB
29
Sparse coding
• Im Gehirn geht es sehr ruhig zu. d.h. es
sind meistens nur sehr wenige Neurone
aktiv.
• Desto besser es funktioniert, desto ruhiger.
• Neurone sind stark verbunden jedoch dienen die
meisten Interaktionen eher dem „Niederbügeln“
der Aktivität, d.h. dem „sparse coding“.
INB
30
An intermediate conclusion
• “Efficient coding of information is a
central problem of the sensory system. At
progressively higher levels in the sensory
pathway information about the physical
stimulus is more abstract and is
represented by progressively fewer
active neurons. “ (J. Feldman)
INB
31
Cortical organization: specialized visual areas
Diagram of visual pathway
and different visual areas
(Van Essen et.al.).
Note the massive
connections that are both
feed-forward and feedback (bottom-up and topdown pathways).
INB
32
Eigenschaften der visuellen
Informationsverarbeitung
•
Verhaltensrelevanz
•
Anpassung an die Umwelt
•
Modularität
•
Lernen, Plastizität und Umorganisation
•
Aktive, selektive Wahrnehmung
INB
33
Lernen, Plastizität und
Umorganisation
• Einige nicht behandelte Themen
– „Perceptual learning“
– Gedächtnis
– Zelluläre Mechanismen (LTP)
• Datengetriebene Umorganisation
– Seeing in the sound zone
INB
34
Seeing in the sound zone
Experimente von M. Sur u.a. (MIT):
• Nerven aus der Netzhaut von V1
(visueller Cortex) nach A1 (auditorischer
Cortex) umgeleitet (bei jungen Frettchen)
• A1 zeigt danach Eigenschaften von V1
• Frettchen „sehen“ mit A1
INB
(Lettvins „smellerfrog“)
35
Seeing in the sound zone
Zitate dazu (Merzenich, Nature Vol 404, 2000)
... compelling evidence ... for the exquisite sensitivity
of cortical development to external cues.
A1 territory is taken over by visual input.
... much of what typifies the functional organization of
V1 can be generated within A1 by delivering retinal
inputs to A1.
... the animals ‚see‘ with what was their auditory
cortex.
INB
36
Umorganisation neuronaler
Verbindungen beim Menschen
Ein Beispiel: Kinder mit nur einer Hirnhälfte
verhalten sich später, bei entsprechendem
Training, weitgehend normal.
Generelles Prinzip: vor und nach der Geburt
bilden sich sehr viele neuronale
Verbindungen, die dann im Laufe der Zeit
stark und selektiv abgebaut werden.
Im Alter passiert (leider und glücklicherweise)
davon nicht mehr viel.
INB
37
Eigenschaften der visuellen
Informationsverarbeitung
•
Verhaltensrelevanz
•
Anpassung an die Umwelt
•
Modularität
•
Lernen, Plastizität und Umorganisation
•
Aktive, selektive Wahrnehmung
INB
38
Aktive, selektive Wahrnehmung
• Aktiv im Sinne einer „top-down“
gesteuerten Sensorik
– Hypothesen-getriebene Sensorik
(Animate vision, active vision)
• Aktiv im Sinne einer aktiven
Hypothesenbildung
– Wahrnehmen was erwartet wird
INB
–Wie wird mit resultierenden Fehlern umgegangen?
39
Itap
Seeing as an illusion:
the door experiment
INB
D. Simons, Harvard
40
Basketball count
INB
D. Simons, Harvard
41
Seeing as an illusion:
change blindness
INB
42
Itap
Seeing as an illusion:
change blindness
INB
Demo Kevin O´Regan, Paris.
43
Kontextabhängige Wahrnehmung
INB
Die Tischkanten sind gleich lang, oder?
44
Philosophie der Wahrnehmung
Vorstellung
Anschauung
Empfindung
Erscheinung
cognitive model
active looking, scanpath
physiology
“stuff” (not “things”!)
bottom-up
(I. Kant)
(Larry Stark)
top-down
45
Bewußtsein als Kontrollinstanz
• Heute beliebt: Suche nach NCC (Crick & Koch)
– (neural correlates of consciousness), aber: „There is
no single correlate of conscious vision“.
• Varieties of vision and blindness (P. Stoerig)
– Verschiedene Funktionen des Sehens werden von
verschiedenen Modulen ausgeführt und diese
funktionieren teilweise auch ohne das Ganze.
• Studien mit Patienten (G. Baumgartner)
– Kein Ort im Gehirn, wo alles zusammenläuft!
INB
46
Kinds of blindness
• Absolute blindness
• Legal blindness
• Cortical blindness (no conscious sensation)
• Hemianopia (cortical blindness in one half field)
• Blindsight (what we see when cortically blind)
• Apperceptive agnosia (see only color etc. no objects)
• Associative agnosia (see car but not know what it is for)
INB
• Prosopagnosia (see face but not know who’s it is)
47
Baumgartner Hypothesen
1. Bewußtsein ist ein biologisches
Phänomen und muß daher evolutive
Charakteristika zeigen
2. Bewußtsein wird in der Großhirnrinde
generiert
3. Bewußtsein ist keine Entität
4. Bewußtseinsinhalte sind prinzipiell
neuronal korrelierbar
INB
48
Studien mit Patienten
• „Visual defects after cortical lesions are
strangely different from analog defects
after interruption of the afferent pathways.
While a sudden loss of afferent functions is
instantly realized, a cortical defect may
appear as a peculiar perceptive change,
which cannot be clearly described or may
not be perceived at all and denied.“
• (G. Baumgartner, 1988)
INB
49
Studien mit Patienten
„We conclude ... that the neuronal activity
in different visual areas is related to
different visual percepts and that, after
local destruction, the perception of the
related submodalities disappears as if
they never existed.“
(G. Baumgartner, 1988)
INB
50
OC-relevante Projekte
• LOCOMOTOR
• Modkog/Itap
• OoP
• WakeUp
INB
51
Nonlinear analysis of multidimensional signals:
LOCOMOTOR
INB
LOcal adaptive estimation of
COmplex MOTion and
ORientation patterns
LOCOMOTOR
Frankfurt
Im DFG Schwerpunkt 1114: “Mathematical
methods for time series analysis and digital
image processing”
http://www.math.uni-bremen.de/zetem/DFG-Schwerpunkt/
Heidelberg
Gefördert unter Ba-1176/7
INB
Lübeck
Cicero Mota
52
Intrinsic dimension in 3D
• i0D: constant in all directions:
f (x, y,t) = const.
• i1D: constant in 2 directions:
f (x, y,t) = g(ξ )
• i2D: constant in one direction: f (x, y,t) = g(ξ ,ζ )
• i3D: no constant direction:
f( x, y,t) = g(ξ,ζ ,τ )
INB
53
Natural scenes show occlusions, noisy
data, features at different scales, ...
INB
54
Generierung mehrerer Modelle->
Konfidenzmaße ->
Auswahl des Modells mit höchster Konfidenz
INB
55
Itap
Information technology for
active perception: Itap
Institute for Neuro- and Bioinformatics
University of Lübeck, Germany
Partners:
Allgemeine Psychologie, Giessen (Karl Gegenfurtner)
Sensomotoric Instruments GmbH (SMI), Teltow/Berlin
SIEMENS AG, München
Itap is part of ModKog, a project funded by
INB
56
Itap
Visual communication today:
same image but different messages
INB
Figure by M. Dorr, INB.
57
Itap
Visual communication today
The message that is conveyed by an
image depends very much on the
scan-path,
i.e, the sequence of eye movements that
are used to look at an image.
Visual communication systems, however,
are based on only the classical image
attributes luminance and color.
INB
58
Itap
Itap idea
The scan-path and the active component
of vision should become part of visual
communication systems.
Therefore the scan-path must be
sensed,
processed, and
“displayed“.
INB
59
Itap
Major challenges
Remote, user-friendly eye tracking
Understanding of eye movements
Eye-movement guidance
Development of gaze-contingent interactive
displays (GCIDs)
INB
60
Itap
Applications
• Vision-based communication systems
– will be defined not only by brightness and
color, but will be augmented with a
recommendation of what to see, of how to
view the images.
• Augmented-vision systems
– Attention is directed towards objects or
features that have been detected by a
computer-vision system.
INB
61
Itap
Automotive applications
INB
62
Applications (continued)
• Training systems
– Novices can learn to see with the eyes of experts, e.g.
in radiology or in flight simulators.
• Optimal scan path
– The scan path of an observer can be optimized by a
computer program according to some objective criteria.
• Reading systems
– Itap technology will be used to relax the unnatural scanpath of reading and therefore has the potential of
making GCIDs the reading system of the future.
INB
63
Itap
Summary on Itap
• Itap will improve visual communication by
helping people see what they are meant to
see.
• Itap aims at technology that is active in
the background and helps people
communicate and interact with other
people and with their environments.
INB
64
Car-passenger sensing
• Recognition of seat
occupancy and
head tracking for
airbag control
OoP system
SMI
• Fatigue
measurement
– WakeUp system
INB
65
Intelligent airbags
Problems:
• Deployment
with kids and
OoP (harm)
• Useless
deployment
(cost)
SMI
INB
Solution: video-based control
OoP: Out of Position
66
Intelligent airbags: OoP system
SMI
INB
67
Fatigue and attention measurement
SMI
BMW
INB
WakeUp
68