EEG - Cognitive Systems Lab

advertisement
Biosignale und Benutzerschnittstellen – Hirnaktivität
Vorlesung WS 2012/2013
Biosignale und
Benutzerschnittstellen
Biosignal: Hirnaktivität
Enstehung, Messung, Anwendungen
Prof. Dr. Tanja Schultz
Dipl. Math. Michael Wand
1
Taxonomie
Biosignale und Benutzerschnittstellen – Hirnaktivität
Biosignale
Mechanische
Biosignale
Thermische
Biosignale
Elektrische
Biosignale
Wärme
Gestik
Augen
EOG
Bewegung
Mimik
Hirn
EEG
Muskeln
EMG
2
Chemische
Biosignale
MEG/PET
fMRI
Herz
EKG
Akustische
Biosignale
Körpergeräusche
Nichtsprachl.
Artikulation
Sprache
Biosignale und Benutzerschnittstellen – Hirnaktivität
Überblick
• Einführung Neurowissenschaften
• Methoden zur Erfassung von Hirnaktivität
• EEG, MEG
• Bildgebende Verfahren
• Elektroenzephalographie (EEG)
• Anwendungsbeispiele
• Brain-Computer-Interfaces
• Benutzerzustand / kognitive Belastung
• Erkennung ungesprochener Sprache
• Emotionserkennung
3
Biosignale und Benutzerschnittstellen – Hirnaktivität
Kognitive Neurowissenschaft
• Kognitive Neurowissenschaft [KN] = Neurobiologie und Kognitionsforschung
• Wurzeln der KN sind
• Psychologie
• Linguistik
• Informatik
• Philosophie
• Ziel (nach Gazzaniga): Wir wollen erforschen, was die Daten darüber sagen,
wie das Gehirn den Geist ermöglicht
• KN = „Körper und Geist“ = „Leib und Seele“
• Ausgangspunkt der Neurowissenschaft:
Der Geist (was auch immer das sein mag) geht als Konsequenz aus dem
Funktionieren des Gehirns hervor
4
Biosignale und Benutzerschnittstellen – Hirnaktivität
Zugang zum Geist
• Wie erhält man über das Verhalten Zugang zum Geist?
• Reaktionszeit als Maß für geistige Ereignisse
• Klassische Studie von F. Donders:
a) Wie lange braucht eine Person, um auf einen Lichtreiz mit einem
Tastendruck zu reagieren?
b) Wie lange braucht sie, wenn das Licht verschiedene Farben hat und der
Proband die Farbe erkennen soll?
• Antwort: (b) dauert 50ms länger als (a)
• Folgerung: Die geistige Leistung, Farbe zu erkennen, braucht 50 ms
5
Biosignale und Benutzerschnittstellen – Hirnaktivität
Zugang zum Geist
• Funktionweise des Kurzzeitgedächtnis (Saul Sternberg)
• Versuchsperson prägt sich eine Liste von Gegenstände ein
• Die Versuchsperson wird gefragt, ob ein gewisser Gegenstand in der Liste
ist
• Ergebnis: je länger die Liste, desto länger die Reaktionszeit
• Geistige Drehung von Objekten (Roger Shepard)
• Der Versuchsperson wird eine grafische Darstellung von Paaren von
Objekten A und B gezeigt
• Die Versuchsperson soll beurteilen, ob A und B identisch sind, d.h. ob es
eine Drehung gibt, die A und B zur Deckung bringt
• Antwort: Lineare Beziehung zwischen Reaktionszeit und Rotationswinkel!
(„geistige Drehung“ ca. 60 pro Sekunde)
6
Biosignale und Benutzerschnittstellen – Hirnaktivität
Fenster zum Geist
Historische Entwicklung
1. Elektroenzephalogramm (EEG)
• Misst die elektrische Aktivität des Gehirns …
• … auch Potenziale, die durch Reize hervorgerufen werden
• Evozierte Potenziale: Lichtblitze, Knacklaute, Antippen der Haut
• Vorgehen: Elektrode an Cortex – Reizen – Messen
• Elektrodendraht (ca. 0.5mm) direkt an Cortex anbringen
Summierte elektrische Aktivität von etwa 100 – 1000 Nervenzellen
• Wenn man nicht das Hirn freilegen möchte, muss man von außen an der
Kopfhaut messen (schlechte Lokalisierung)
2. Mikroelektrode zum Messen elektrischer Aktivität einzelner Neuronen
• Tierversuche; neurochirurgische Eingriffe an Menschen
3. Moderne Verfahren: Bildgebende Verfahren wie PET und MRT
7
Biosignale und Benutzerschnittstellen – Hirnaktivität
Evozierte Potenziale
• Methode, um die Funktionsfähigkeit von Nervenbahnen zu testen
• Prinzip: Ein Sinnesorgan wird (akustisch, visuell, ...) gereizt, und die Reaktion
des ZNS (=elektrisches Potential) wird gemessen
• Im weitesten Sinn werden alle gezielt ausgelösten elektrischen Phänomene als
evozierte Potenziale bezeichnet
• Visuell Evozierte Potenziale (VEP) - Farbwechsel Schachbrett
Beurteilung des Sehnerven und der Sehbahn
• Akustisch Evozierte Potenziale (AEP) – Frequenz und Amplitude
Beurteilung der zentralen akustischen Bahn und des Hörnervs
• Somatisch evozierte Potenziale (SEP) – Antippen
Beurteilung der zentralen somatosensiblen Leitungsbahn und peripherer,
sensibler Nerven
• Motorisch evozierte Potenziale (MEP) – Muskelzucken durch
Magnetstimulation
Funktionszustand der - bei Willkürbewegungen benutzten - Bahn von der
primär motorischen Hirnrinde bis zu Motoneuronen
8
Biosignale und Benutzerschnittstellen – Hirnaktivität
Evozierte Potenziale
• Jeder Sinnesreiz löst in den sensorischen Arealen elektrische Potenzialänderungen aus; diese evozierten Potenziale werden mit EEG erfasst
• Evozierte Potentiale haben wesentlich kleinere Amplituden als das spontan
ablaufende EEG (1–15 µV statt 50–100 µV)
• Daher benötigt man eine geeignete Messmethode, um das evozierte Potential
überhaupt feststellen zu können!
• Messung der evozierten Aktivität erfolgt durch Mittelungstechnik (nächste
Folie).
9
Biosignale und Benutzerschnittstellen – Hirnaktivität
Evozierte Potenziale
• Die Mittelungstechnik zur Messung evozierter Potentiale:
• Das spontane EEG wird als stochastisches Störsignal betrachtet, das von
dem Reiz unabhängig ist und dessen Mittelwert Null ist
• Das evozierte Potenzial ist zeitlich an den Reiz gekoppelt, es zeigt nach
jedem Reiz den gleichen Verlauf
• Der selbe Reiz wird mehrfach wiederholt, korrespondierende EEGSegmente werden gemittelt
 Reizbezogene evozierte Potenziale summieren sich auf
 Reizunabhängige Aktivität (Rauschen) geht gegen Null
 Voraussetzung: Wiederholtes Signal lässt sich zeitlich synchronisieren,
d.h. Signal zeigt nach jedem Reiz den gleichen Verlauf
 Signal und Rauschen sind unkorreliert
 Rauschen ist zufällig, d.h. arithmetisches Mittel = 0
• Anzahl durchzuführender Reize hängt von Signal-Rausch-Verhältnisses
(Sinnesmodalität, physikalische Charakteristika) ab, verschieden für die
Sinnesmodalitäten: Lichtblitze 50 Reize, Akustik 1000 Reize
10
Biosignale und Benutzerschnittstellen – Hirnaktivität
Wichtige Methoden - Subtraktionsmethode
•
•
•
•
Problem: Überlagerung mehrerer Aktivitäten
Stark vereinfachtes Beispiel: Gehirn in 4 Felder geteilt
Welches Feld ist aktiv, wenn Person mit Sprache zu tun hat
Versuchsdesign: präsentiere Wörter auf einem Bildschirm – aber welcher
Anteil der Aktivität ist die Reaktion auf den visuellen Reiz, und welcher Anteil
der Aktivität ist auf die Verarbeitung der Wörter zurückzuführen?
Subtraktion
Person sieht Wörter
auf einem Bildschirm
Person sieht
leeren Bildschirm
11
Hirnregion für
Verarbeitung
von Wörtern
Biosignale und Benutzerschnittstellen – Hirnaktivität
Wichtige Methoden - Korrelationsmethode
• Frage: wie hängt Hirnaktivierung mit Verhalten zusammen
• Problem: Versuchspersonen weichen voneinander ab
• Ausmaß Hirnaktivierung vs Umfang des Gelerntes
• Kann passieren, dass Ruhe vs Erinnerung mit der Methode der Subtraktion
keine Abweichung zeigt
• Aber hohe Korrelation zwischen Ausmaß der Hirnaktivität und dem
Umfang des Gelernten
• Beispiel
• Emotional aufwühlende (+) vs neutrale Filme (o):
Hohe Korrelation zw. Aktivität der Amygdala und
Informationsmenge, die von (+) Filmen erinnert wurde
r= 0.93 für (+) Filme; r=0.33 für (o) Filme
12
Biosignale und Benutzerschnittstellen – Hirnaktivität
Erfassung der Gehirnaktivität
Wenn wir davon sprechen, Gehirnaktivität zu erfassen, ist damit die Erfassung
der Aktivität im Neokortex gemeint
Allgemeine Vorbemerkung:
• Die heutigen Möglichkeiten zur Beobachtung der Aktivitäten des lebenden
Gehirns sind sehr begrenzt
• Derzeitige Beobachtungs- und Messtechniken geben nur
• sehr begrenzte Informationen über
• einen winzigen Teil
• … derjenigen Prozesse im Gehirn, die für unser Handeln, Denken und
Bewusstsein verantwortlich sind
13
Biosignale und Benutzerschnittstellen – Hirnaktivität
Überblick
• Einführung Neurowissenschaften
• Methoden zur Erfassung von Hirnaktivität
• EEG, MEG
• Bildgebende Verfahren
• Elektroenzephalographie (EEG)
• Anwendungsbeispiele
• Brain-Computer-Interfaces
• Benutzerzustand / kognitive Belastung
• Erkennung ungesprochener Sprache
• Emotionserkennung
14
Biosignale und Benutzerschnittstellen – Hirnaktivität
Überblick: Erfassungsmethoden für Hirnaktivität
• EEG: Elektroenzephalographie
erfasst mittels Kopfhautelektroden die Superposition von Potenzialen, die in
verschiedenen Arealen des Kortex erzeugt werden (Hirngewebe und –
flüssigkeit sind leitfähig)
• MEG: Magnetoenzephalographie
erfasst Superpositionen von Potenzialen (wie EEG) allerdings werden nicht die
elektrischen Potenziale erfasst, sondern der Magnetfluss, der durch die
Potenziale im Rindenfeld entsteht
• fNIRS: functional Near-Infrared Spectroscopy
misst die Konzentration von sauerstoffreichem und –armen Hämaglobin im
Blut (ersteres transportiert die Moleküle in die Region, in der Neurone aktiv
sind). Gewebe ist transparent für Wellenlängen 700-900nm (near-infrared)
aber Hämoglobin reflektiert dieses Licht, wobei sauerstoffreiches Hämoglobin
das Licht anders reflektiert als sauerstoffarmes.
15
Biosignale und Benutzerschnittstellen – Hirnaktivität
Überblick: Erfassungsmethoden für Hirnaktivität
• fMRT: Funktionelle Magnetresonanztomographie
Misst Antwort des Gewebes, das einem starken magnetischen Feld ausgesetzt
wird. Ähnlich wie fNIRS wird die Durchblutung beobachtet (Sauerstoffarmes
und sauerstoffreiches Gewebe verhalten sich geringfügig verschieden) – dies
nennt man den BOLD effect (BOLD=Blood Oxygen Level Dependent)
• SPECT: Single Photon Emission Computer Tomography
Ähnlich wie bei fMRI werden Scheibenbilder erzeugt. Im Gegensatz zu fMRI
wird Information über die Menge und Verteilung des Blutes in verschiedenen
Hirnbereichen über die Zeit erfasst. Das Blut wird zuvor mit radioaktiven
Markern durchsetzt. Ihre Konzentration ist hoch an den Stellen, an denen die
Blutkonzentration hoch ist. Diese Marker reflektieren Gammastrahlen, die mit
einer Gammakamera erfasst werden. Gammamarker sind ähnlich schädlich
wie Röntgenstrahlen.
• PET: Proton Emission Tomography
verwendet auch radioaktive Marker, aber solche, die Positronen emittieren
anstatt Gammastrahlen
16
Elektroenzephalographie (EEG)
•
Biosignale und Benutzerschnittstellen – Hirnaktivität
•
•
•
Was wird beim EEG gemessen? Antwort: Elektrische Potenzialschwankungen
in der Großhirnrinde
Welches sind die Quellen dieser Potenzialschwankungen?
1. Aktionspotenzial von Axonen der Neuronen
2. Potenziale des Nervenzellkörpers und der Dendriten
3. Synaptische Potenziale
4. Postsynaptische Potenziale (EPSP und IPSP)
EPSP und IPSP, die in der Rindenoberschicht entstehen, liegen den EEGWellen zugrunde
Synchronisation und Desynchronisation der EPSP und IPSP in Abhängigkeit
des Thalamus ruft die EEG-Tätigkeit hervor
17
Biosignale und Benutzerschnittstellen – Hirnaktivität
MEG (Magnetoenzephalographie)
• MEG misst die magnetischen Aktivität des Gehirns, durch äußere Sensoren,
den sogenannten SQUIDs
• SQUID = Superconducting QUantum Interference Device (Supraleitende
Quanteninterferenzeinheit)
• Magnetfelder werden meistens zuerst durch supraleitende Spulen oder
Spulensysteme erfasst und dann durch die SQUIDs gemessen
• Kühlung der SQUIDs erforderlich
• Ca. 400 l flüssiges Helium pro Monat (bei voller Auslastung)
• Hohe Unterhaltskosten
Physikalisch Technische Bundesanstalt
http://www.berlin.ptb.de/8/82/821/audimin.html
18
Biosignale und Benutzerschnittstellen – Hirnaktivität
fNIRS (funktionelle Nah-Infrarot-Spektroskopie)
• Nahinfrarotes Licht (NIR-Licht) dringt 6-8 cm tief in biologisches Gewebe ein
• Veränderungen der optischen Dichte (DOD) des Gewebes für NIR-Licht werden
durch Konzentrationsänderungen lichtabsorbierender Substanzen
(Chromophoren) bewirkt
• Messung der DOD für Licht verschiedener Wellenlängen erlaubt die Schätzung
der Konzentrationsänderungen mehrerer Chromophoren (wichtigste
biologischen Chromophoren: Hämoglobin und Cytochromoxidase) oxygenierter und deoxygenierter Anteil wird getrennt erfasst.
•  nichtinvasive Überwachung der Oxygenation des durchleuchteten
Gewebevolumens
19
Biosignale und Benutzerschnittstellen – Hirnaktivität
Magnetresonanztomographie (MRT)
• MRT = MRI (MR Imaging) = Kernspintomographie
• Bildgebendes Verfahren, das es ermöglicht, Strukturen im Inneren des
Körpers sichtbar zu machen
• Erzeugung von Schnittbildern aufgrund der magnetischen Eigenschaften
des Gewebes
• Prinzip:
• Aufbau eines stark schwankenden Magnetfelds
• Person wird diesem Magnetfeld ausgesetzt
(Schäden bis heute noch unklar)
• Region gesteigerter Aktivität – viel Blut – viele Atome
• Atomkerne wirken wie magnetische Dipole und ändern in variierenden
Magnetfeldern ihren Spin
• Diese Spin-Änderung kann man messen
20
Biosignale und Benutzerschnittstellen – Hirnaktivität
MRT
• Beispiel: Allegra, Siemens (oben); Philips Achieva (unten)
21
Biosignale und Benutzerschnittstellen – Hirnaktivität
fMRT
• fMRT = fMRI: functional Magnetic Resonance Imaging
• Unterscheidung von aktiven und weniger / nicht aktiven Hirnregionen
• Grundlage: hämodynamische Prozesse
• In der modernen Hirnforschung wird überwiegend diese Methode verwendet
• Prinzip
• Nutzt den BOLD Effekt
• BOLD effect (BOLD=Blood Oxygen Level Dependent)
• Aktivität der Neuronen im Gehirn bewirkt stärkere Durchblutung
• Hämoglobin transportiert mehr Sauerstoff und verändert dadurch sein
Verhalten bzgl. Störung des Magnetfeld
22
Biosignale und Benutzerschnittstellen – Hirnaktivität
Positronenemissionstomograpie (PET)
• Dem Probanden wird ein radioaktiver biologischer Marker in Blutstrom injiziert
• Typische Beispiele für solche Marker sind radioaktive Isotope von Kohlenstoff,
Sauerstoff, Stickstoff oder Flour
• Die Marker senden Positronenstrahlung (β+-Strahlung) aus.
• Treffen ein Positron und ein Elektron aufeinander, vernichten sie sich
gegenseitig, und ein energiereiches Strahlungsquant entsteht
• Die entstehende Strahlung im Zielgewebe wird mittels spezieller Detektoren
gemessen
• Wieso lassen sich mit dieser Methode Körperregionen erhöhter Aktivität
lokalisieren?
• Pionierarbeit von Kety und Sokolov: Aktivität der Neuronen führt zu
erhöhtem Blutfluss
• Da die Marker im Blut sind, zeigen aktive Regionen eine erhöhte
Radioaktivität
• Kurze Halbwertszeiten! 2 – 110 Minuten, keine Schäden
23
Biosignale und Benutzerschnittstellen – Hirnaktivität
PET Prinzip
• Conincidence detector: nimmt die Strahlendosis wahr, die
simultan auf gegenüberliegenden Detektoren ankommt
• Line detector: erhöht einen Zähler für diejenige Zeile, die zu
den Detektoren gehört, an denen die Strahlung ankam
• Die Werte aller Zeilen, die man als Projektion der Positronenkonzentrationen interpretieren kann, werden an den
Computer weitergeleitet (keine Unterscheidung E/IPSP!!)
• Am Computer wird das Bild zusammengesetzt
http://de.wikipedia.org/wiki/Positronen-Emissionstomografie
24
Vergleich der Erfassungsmethoden
Überblick über Methoden zur Erfassung der Gehirnaktivität (nur nichtinvasive
Techniken)
Biosignale und Benutzerschnittstellen – Hirnaktivität
EEG
MEG
fNIRS
fMRI
SPECT
PET
Belästigung für
den Probanden
Mittel
(kontakt, Gel)
Gering
(kontaktlos)
Gering (Kontakt,
aber kein Gel)
Gering
(kontaktlos)
Hoch (Injektion
ins Blut)
Hoch
(Injektion ins
Blut)
Räumliche
Auflösung
Einige
Zentimeter,
Summation
Wenige
Millimeter,
Summation
Pixel von 1cm
Voxel von etwa
3mm
Voxel von 1015mm
Voxel von 2-5mm
Zeitliche
Auflösung
Millisekunden
Millisekunden
Einige
Millisekunden
2-5 Sekunden
1 Sekunde
1 Sekunde
Physiologische
Parameter
Elektrische
Aktivität der
Neuronen
Elektrische
Aktivität der
Neuronen
Konzentration
von Hämoglobin
Konzentration
von
Hämoglobin
Blutfluss
Blutfluss
Erforderliche
Resourcen
Wenig Platz
Wenig Energie
Geringe Kosten
Viel Platz
Viel Energie
Hohe Kosten
Wenig Platz
Wenig Energie
Mittlere Kosten
Viel Platz
Viel Energie
Hohe Kosten
Viel Platz
Hohe Kosten
Viel Platz
Hohe Kosten
Mobilität
Ja
Nein
Ja
Nein
Nein
Nein
25
Biosignale und Benutzerschnittstellen – Hirnaktivität
Überblick
• Einführung Neurowissenschaften
• Methoden zur Erfassung von Hirnaktivität
• EEG, MEG
• Bildgebende Verfahren
• Elektroenzephalographie (EEG)
• Anwendungsbeispiele
• Brain-Computer-Interfaces
• Benutzerzustand / kognitive Belastung
• Erkennung ungesprochener Sprache
• Emotionserkennung
26
Biosignale und Benutzerschnittstellen – Hirnaktivität
EEG
Die Elektroenzephalographie (EEG) misst die Bioelektrische Aktivität des Gehirns
Man unterscheidet zwischen:
1. Potenzialquellen
• Also die eigentlichen
Generatoren der Potenziale
• Diese liegen im Kortex
2. Potenzialmuster
• Strukturen des Gehirns, die den
Rhythmus oder die verschiedenen
Muster bedingen
• Ergebnis der Interaktion
komplizierter Neuronenstrukturen
in kortikalen und subkortikalen
Bereichen des Gehirns
27
Biosignale und Benutzerschnittstellen – Hirnaktivität
Wir erinnern uns
•
•
•
•
•
•
•
Basiseinheit des Gehirns zur Informationsverarbeitung ist das Neuron
Dendriten: sammeln Informationen von anderen Neuronen
Zellkern: Verarbeitet diese Information
Axon: Transportiert die verarbeitete Information an andere Zellen
Afferente Signale: Am Neuron ankommende Signale
Efferente Signale: vom Neuron über das Axon abfließende Signale
Synapse: Verbindungsstelle zwischen zwei Neuronen, an der Information
weitergegeben wird
• Axon – Dendrit
= axodendritisch
• Axon – Soma
= axosomatisch
• Erregend
(exitatorisch)
• Hemmend
(inhibitorisch)
28
Biosignale und Benutzerschnittstellen – Hirnaktivität
Wir erinnern uns
Informationsübertragung an chemischen
Synapsen:
• Erfolgt chemisch über Neurotransmitter
• Einkommendes Aktionspotenzial
triggert Transmitterausschüttung
• Durch Transmitter-Rezeptor-Bindung
(Schlüssel-Schloss) öffnen sich
Ionenkanäle
• Kommt zu Depolarisation (exitatorisch)
oder
Hyperpolarisation (inhibitorisch) 
Potenzialveränderungen
• Das postsynaptische Potenzial
entspricht der Potenzialdifferenz
zwischen der subsynaptischen
und der postsynaptischen Membran
(übrige Teil des Neurons)
29
Präsynaptische Endigung
Synaptischer Spalt
Rezeptoren
Postsynaptische Zelle
Biosignale und Benutzerschnittstellen – Hirnaktivität
Potenzialquelle
• Das postsynaptische Potenzial verteilt sich extrazellulär
• Auf der Hirnrinde kann dadurch ein weitreichendes Feld mit abnehmenden
Potenzialdifferenzen gemessen werden
• Dieses Feld nennt man das kortikales Feldpotenzial
 Die Potenzialquelle, die dem EEG zugrundeliegen, sind die Synapsen
• Wie entsteht das Feld: Es entsteht ein Dipol
(hier am Beispiel ESPS):
+
Dipol
• Positive Ionen bewegen sich im
postsynaptischen Neuron
• Das Äußere der Membran
erscheint dadurch
negativer (Fehlen positiver Neuronen)
• Es entsteht ein negativer Pol an der subsynaptischen Membran, und positive Pole
an den anderen Membranen
30
Biosignale und Benutzerschnittstellen – Hirnaktivität
Wann ist EEG ableitbar?
• Pyramidenzellen spielen die wesentliche Rolle für das EEG!
• Sie haben typischerweise lange Dendriten
• Stehen senkrecht (vertikal) zur Hirnrinde, d.h. die Dendriten sind nach
außen (Richtung Schädeldecke) gerichtet
• Ca. 1/3 der Neurone in der Hirnrinde sind vertikal ausgerichtet
• Feldpotenziale sind erst dann an der Kopfhaut messbar, wenn:
• Gleichzeitig Tausende von Synapsen aktiviert werden
• Diese Synapsen zu parallel angeordn eten Neuronen gehören,
die vertikal ausgerichtete sind
• Durch die Summation der Dipole ergibt sich ein sogenanntes
offenes Dipolfeld, das als Potenzialdifferenz erfassbar ist
Dipole sind durch Pfeile charakterisiert;
Konvention: Positive Potenzialdifferenz korrespondiert zu nach
unten gerichteten Amplituden,
bei negative Differenzen sind
Amplituden nach oben gerichtet
31
Biosignale und Benutzerschnittstellen – Hirnaktivität
Offene und geschlossene Dipolfelder
• Offene Dipolfelder entstehen durch Summation gleichgerichteter Dipole
• Geschlossene Dipolfelder sind solche, in denen sich Dipole durch
unterschiedliche Ausrichtungen (nach außen) neutralisieren
• Pyramidenzellen, mit Afferenzen aus verschiedenen Richtungen
• Sternzellen, die aus allen Richtungen Erregungen erhalten
 Die Mehrheit der Schaltzellen
bildet geschlossene
Dipolfelder
 Pyramidenzellen sind die
Hauptquellen, die zum EEG
beisteuern
32
Biosignale und Benutzerschnittstellen – Hirnaktivität
EEG-Signal
• Potenzialschwankungen im EEG werden hauptsächlich geprägt durch
• Exzitatorisches postsynaptisches Potenzial - EPSP
• im Bereich der oberflächennahen (apikalen) Dendriten
• Allerdings haben die Erregungen in den apikalen Dendriten im Vergleich
mit den axosomatischen Synapsen einen geringeren Einfluss auf die
Erregbarkeitssteuerung des Neurons
33
Biosignale und Benutzerschnittstellen – Hirnaktivität
EEG
Die Elektroenzephalographie (EEG) misst die Bioelektrische Aktivität des Gehirns
Man unterscheidet zwischen:
1. Potenzialquellen
• Also die eigentlichen
Generatoren der Potenziale
• Diese liegen im Kortex
2. Potenzialmuster
• Strukturen des Gehirns, die den
Rhythmus oder die verschiedenen
Muster bedingen
• Ergebnis der Interaktion
komplizierter Neuronenstrukturen
in kortikalen und subkortikalen
Bereichen des Gehirns
34
Biosignale und Benutzerschnittstellen – Hirnaktivität
Potenzialmuster – Rhythmen im EEG
• Hirnrindenaktivität ist keine Spontanaktivität, sondern bedingt durch ständige
Afferenzen aus tieferliegenden, subcortikalen Kernstrukturen:
• Thalamus
• Formatio recticularis (lat. „Gestaltung“ „netzartig“;
ist ein ausgedehntes diffuses
Neuronennetzwerk im Hirnstamm)
• Durch diese beiden unterliegt das EEG
• sämtlichen Afferenzen des Zentralnervensystems!!
• Einflüssen rückkoppelnder Regelungsmechanismen, die von efferenten
motorischen Systemen ausgehen
• Thalamus hat eine wichtige Bedeutung für die Rhythmusbildung im EEG!!
• Formatio recticularis – Aufrechterhaltung der Vigilanz (Bewusstseinshelligkeit)
Bildquelle: http://content.grin.com/binary/wi24/109035/0.jpg
35
Wir erinnern uns
Biosignale und Benutzerschnittstellen – Hirnaktivität
• Thalamus
• dient als wichtiges sensorisches Umschaltzentrum, das die Information aus den
Sinnesorganen filtert (»Tor zum Bewusstsein«)
• Ist die zentrale Schaltstation der Sensorik
• Besitzt Verbindungen zu den Groß- und Kleinhirn
• Wichtige integrierende Funktion für Sensorik und Motorik
• Erhält Signale von Hypothalamus und dem limbischen System
• Thalamuskern wird von Formatio recticularis kontrolliert
• Formatio recticularis
• Schlaf-Wach Regulierung
Schandry
36
Biosignale und Benutzerschnittstellen – Hirnaktivität
Thalamus als Rhythmusgenerator
(1) Bei verminderter sensorischer Afferenz:
(2) Entstehung gruppierter Ladungen durch Umsetzung der
• (a) inhibitorische Rückkopplung aus dem Nucleus reticularis thalami
• (b) asynchrone Impulse in den Relaiszellen der spezif.Thalamuskerne und
(3) Rhythmische Entladung führt über thalamokortikale Verbindungen zu einem
entsprechenden Rhythmus der postsynaptischen Potenziale kortikaler Neuronen
(4) Sichtbarer Rhythmus im EEG
37
-Grundrhythmus
•
Biosignale und Benutzerschnittstellen – Hirnaktivität
•
•
•
•
•
•
α - Tätigkeit = Grundaktivität des Gehirns
(bei 80% aller Menschen)
α – Wellen 8-13Hz
Oberes Bild: Intensität der α -Grundaktivität
(schwarz=maximale Intensität)
Der Grundrhythmus ist das im EEG vorherrschende
Wellenmuster in der Okzipitalregion
Unteres Bild: α – Grundaktivität
Tritt bei maximaler Reduzierung
sensorischen Inputs und optimaler
Entspannung bei gleichzeitiger
Aufrechterhaltung der Vigilanz
(Bewußtseinshelligkeit) auf.
α - Tätigkeit gewährleistet Vigilanz
bei geschlossenen Augen –
garantiert Reaktionsbereitschaft
39
EEG-Frequenzbänder
Biosignale und Benutzerschnittstellen – Hirnaktivität
• Frequenzeinteilung ist empirisch entstanden (Grenze zwischen α zum βRhythmus entspricht jedoch physiologischen Gegebenheiten)
• Amplituden werden relativ zum zugrundeliegenden Rhythmus betrachtet
40
Biosignale und Benutzerschnittstellen – Hirnaktivität
Frequenzbänder „EEG-Bänder“
• Verschiedene Wachheitsgrade werden von Änderungen des EEG FrequenzSpektrums begleitet, so dass die Analyse der gemessenen Spannungskurven
vage Aussagen über den Bewusstseinszustand zulässt
• Die Anzahl der Bändern sowie die genaue Einteilung variiert je nach Autor
• Die Einteilung der Bänder und deren Grenzen sind historisch bedingt
• Neurofeedback: Bereich 12 bis 15 Hz = SMR-Band (Sensorimotor Rhythm)
Alpha
8 – 13 Hz
20 – 120 V
Beta
13 – 30 Hz
5 – 50 V
Gamma
31 – 60 Hz
< 10 V
Theta
4 – 8 Hz
20 – 100 V
Übergang zum Schlaf, leichte
Schlafphase, Reaktion nur noch
auf starke Umweltreize
Delta
0.5 – 4 Hz
5 – 250 V
Traumlose Tiefschlafphase
(ansonsten Hinweis auf patholog.
Veränderungen)
41
Wach, entspannt, Augen
geschlossen (Augen auf -> Beta)
Augen offen, Aufmerksamkeit
Anspruchsvolle Tätigkeiten,
Konzentration, Lernen
Biosignale und Benutzerschnittstellen – Hirnaktivität
Einsatz des EEGs
• Am häufigsten wird EEG im Rahmen klinischer Untersuchungen eingesetzt:
• EEG von der Kopfoberfläche oder Tiefenelektroden im Gehirn (implantierte
Elektroden)
• Untersuchung pathologischer Veränderung
• Aussagen über funktionelle Störungen
• Ereigniskorrelierte Potenziale (EKP)
 Sensorische Verarbeitung und kognitive Funktionen
• Im Rahmen von Benutzerschnittstellen kommt die Erfassung von EEG über
Tiefenelektroden natürlich nicht in Betracht!
42
Biosignale und Benutzerschnittstellen – Hirnaktivität
Einflussfaktoren bei EEG-Erfassung
• Faktoren, die die Erfassung der Gehirnaktivität beeinflussen:
• Anordnung der Neurone in der Hirnrinde
• Richtung und Stärke ausgehender Dipole
(nur 1/3 sind vertikal ausgerichtet …)
• Ausmaß der Synchronisierung neuronaler Aktivität
• Unterschiedliche Leitfähigkeit verschiedener Gewebsstrukturen
• Art der Elektrodenverschaltung (=Ableitprogramm) entscheidet über die
Abbildung der ableitbaren kortikalen Aktivität in der EEG-Registrierung
• Abstand der EEG-Elektroden zum Potenzialgenerator
43
EEG-Erfassung an der Kopfhaut
Biosignale und Benutzerschnittstellen – Hirnaktivität
•
•
Das EEG, das an der Kopfhaut erfasst wird, hat eine
• Amplitude von ca. 5 bis 100 μV
(1 Mikrovolt = 1 Millionstel Volt)
• Frequenz zwischen 0-80 Hz
Messungen an der Kopfhaut ergeben andere
Werte, als wenn man Elektroden direkt in das
Gehirn implantieren würde:
1. Kopfhautelektroden messen immer eine
Summation von Potenzialen (Hirngewebe
und –flüssigkeit sind leitfähig)
2. Die Amplituden der originalen Potenzialdifferenz werden gedämpft (Gewebe,
Flüssigkeit, Knochen bilden Widerstände)
3. Elektr. Kapazitäten entstehen durch
Zellmembranen und Inhomogenitäten
Re: Widerstände extrazellulärer Räume; Ri: intrazellulär; Rm:
Membranwiderstände; Rs: Haut- und Schädel Widerstände; C
analog für Kapazitäten; Cs entspricht der Gesamtkapazität bedingt
durch die Summe aller Inhomogenitäten (nach [Dössel, 2000] und
[Bolz /Urbaszek, 2002])
44
1
2+3
Biosignale und Benutzerschnittstellen – Hirnaktivität
EEG-Erfassung: Elektrodenpositionen
• Die Positionen der Elektroden sollten so gewählt sein, dass die relevanten
Hirnareale abgedeckt sind
• International akzeptierter Standard für die Platzierung von Elektroden: 10-20
System (1957 von der International EEG Federation)
• Schädelasymmetrien entsprechen meist Hirnasymmetrien, daher ist die
Zuordnung der Elektroden zur Anatomie relativ zuverlässig
1. Bestimme Nasion, Inion, Prä-auricularen Referenzpunkt
2.
Positioniere 19 Elektroden, Namen
reflektieren anatomische Region auf
dem Kortex (Fp = frontopolar, F = frontal,
T = temporal, C = central, P = parietal,
O = ocipital; Hinzugefügt A=Auricular)
45
Biosignale und Benutzerschnittstellen – Hirnaktivität
10-20 System
Quelle
http://www.bem.fi/book/13/13x/1302ax.gif
46
Biosignale und Benutzerschnittstellen – Hirnaktivität
EEG-Erfassung: EEG-Kappen
• Standard EEG-Kappen verwenden meist das 10-20 Layout
• 19 Elektroden ausreichend für die meisten Anwendungen, es gibt aber auch
64, 128, und neuerdings 256 Elektroden-Kappen
(mit Quasistandardisierten Layouts; Erweiterungen von 10-20)
• Kappe hat den Vorteil, dass nicht jedes Mal alle Elektrodenpositionen
vermessen werden müssen
• Aber: wenn flexible Kappen verwendet werden, leidet die Zuverlässigkeit der
Elektrodenpositionen
• Keine Garantie, dass Elektroden genau positioniert sind
• Kappen für unterschiedliche Kopfgrößen, individuelle Unterschiede
• Für klinische Untersuchungen werden daher die Elektrodenpositionen genau
vermessen > sehr zeitaufwendig
• Für den Einsatz von EEG in
Benutzerschnittstellen sollte die
Positionierung schnell und leicht sein
• Flexible Kappen
• Oder (trage-) komfortable Lösungen
47
Biosignale und Benutzerschnittstellen – Hirnaktivität
EEG-Erfassung: Geräte
• Analoge vs. digitale Technik
• Vorteile Digitaltechnik: Digitale
EEG-Aufzeichnung erlaubt digitale
Nachverarbeitung der Signale
• Tragbare Geräte (Hier Varioport)
vs. mobile Typen vs. immobile
• Für Benutzerschnittstellen sind
digitale tragbare Geräte vorzuziehen
48
16-Kanal-Verstärker
Recorder
Varioport ©
Biosignale und Benutzerschnittstellen – Hirnaktivität
EEG-Erfassung: Ableitung
• Wiederholung: zwei verschiedene Ableitmethoden
• Bipolare Ableitung: Erfassung der Potenzialdifferenz zwischen zwei
Elektroden (beide Elektroden sind auf elektrisch aktiven Gebieten platziert)
• Unipolare Ableitung / Referenzableitung: Eine Elektrode liegt auf inaktivem
Gebiet (Referenz)
• In beiden Fällen wird das EEG differentiell gemessen, d.h. es wird die Differenz
gemessen, die zwischen dem Potenzial liegt von:
• Zwei Elektroden
• Einer Elektrode und dem gemittelten Potenzial einer Menge von
Elektroden
• Bei der Referenzableitung sollten gute Bezugspunkte gewählt werden,
Kriterien sind:
1. Referenzelektrode sollte weit entfernt vom Kortex liegen, damit keine
Kortexaktivität miterfasst wird und
2. möglichst keine Artefakte durch andere physiologische Prozesse mit
eingehen (oft A1 für linke Hälfte, A2 für rechte)
49
EEG-Erfassung: Referenzableitung
•
•
Biosignale und Benutzerschnittstellen – Hirnaktivität
•
•
•
EEG-Signal = Differenz der Potenziale jeder Elektrode zu Referenzelektrode
Differente Elektrode: Elektrode, die zur EEG-Ableitung über einer bestimmten
Hirnregion liegt; auch aktive Elektrode genannt.
Bezugselektrode: Eine Elektrode an einer Position, die möglichst weit von den
differenten Elektroden entfernt liegt; auch indifferente Elektrode genannt
Referenz ist entweder eine natürliche Referenz am Probanden (a) oder eine technische
Durchschnitts- oder Mittelwertreferenz (b)
VT (b) Artefakte einzelner Elektroden haben geringeren Einfluss, NT Aktivität jeder
Elektrode wird mit kleiner Amplitude auf alle anderen Kanäle gemapped
50
EEG-Erfassung: Bipolare Ableitung
•
Biosignale und Benutzerschnittstellen – Hirnaktivität
•
•
•
•
•
Bei der bipolaren Ableitung werden die Potenzialdifferenzen zwischen je zwei über
bestimmten Hirnregionen liegenden Elektroden gemessen
Nachteil: kein „echtes“ EEG, denn es wird nicht die Approximation der
Dipolkonfiguration unter den Elektroden gemessen, sondern die Differenz zwischen
den Dipolkonfigurationen benachbarter Elektroden
Im medizinischen Bereich sind bipolare Ableitungen interessant, um den Ort
bestimmter Prozesse zu lokalisieren: findet ein Prozess an einem Ort statt, dann wird
unter den beiden Elektroden an genau diesem Ort das Signal 0
Spezialfall der bipolaren Ableitung: Quellenableitung = Laplace-Ableitung: dabei wird
die zentrale Ableitelektrode nacheinander mit allen Ableitelektroden rings herum
verschaltet
Außerdem benötigt man Masseelektroden, um die
AC-Artefakte zu reduzieren (Masse bietet geringen
Widerstand, damit kann Noise den Körper über diese
Elektrode verlassen und liegt nicht auf dem
gemessenen Signal)
Beim 10-20 System verwendet man oft Fz als
Masseelektrode, andere Positionen sind auch denkbar,
wichtig ist, das keine Muskelaktivität einstreut.
Ebe/Homma
51
Biosignale und Benutzerschnittstellen – Hirnaktivität
EEG-Erfassung: Artefakte
• Es gibt zwei Kategorien von Artefakten in der EEG-Erfassung:
• Biologische Artefakte (erzeugt durch Proband)
• Technische Artefakte (EEG-Geräte)
• Biologische Artefakte:
•
•
•
•
•
•
•
•
Signalartefakte: besonders Muskelaktivität (EMG in EEG)
Der Haut-Elektrode-Kontakt wird beeinflusst durch
Augenbewegungen, Augenblinken
Elektrische Aktivität des Herzens (EKG in EEG)
Zungenbewegungen, Gesichtsmuskeln
Blutgefäße (wenn Elektrode direkt darüber liegt)
Haareigenschaften (Haarspray, Gel, …)
Physiologische und psychologische Faktoren (Schwitzen, Atmung)
• Technische Artefakte:
•
•
•
•
Kaputte oder verschmutzte Elektroden, korrodierte Kontakte, Kabel
Schlechter Elektroden-Haut Kontakt
Verstärker filtert schlecht andere elektromagnetische Störsignale
Elektrostatische Aufladungen (Testleiter)
52
Biosignale und Benutzerschnittstellen – Hirnaktivität
EEG-Erfassung: Typische Artefakte
• Artefakt bei Referenzableitung mit techn. Durchschnittsreferenz
• Einstreuung von Augenbewegungen an Fp1 und Fp2
(a) Durchschnittsreferenz aus allen Ableitpunkten gemittelt: Artefakte
täuschen Bild eines Herdbefundes vor
(b) Durchschnittsreferenz aus allen außer den mit den Augenartefakten
belasteten Ableitpunkten ermittelt erfordert vorherige visuelle Inspektion
53
Biosignale und Benutzerschnittstellen – Hirnaktivität
EEG-Erfassung: Typische Artefakte
• Artefakt bei bipolarer Ableitung
(a) Referenzableitung gegen Ohrelektrode
(b) bipolare Ableitung: hier kann man Artefakt an Vorzeichen erkennen.
Insgesamt liefert bipolare Ableitung aber weniger ausgeprägte Form und
Amplitude des Signals durch Tiefpasseffekte der bipolaren Ableitung
54
Vergleich der Ableitungsverfahren
Biosignale und Benutzerschnittstellen – Hirnaktivität
• Gleiches Signal – unterschiedliche Ableitungsverfahren
Quellenableitung: Mittelwertbezugselektrode
55
aus 4 benachbarten Elektroden
Biosignale und Benutzerschnittstellen – Hirnaktivität
EEG-Erfassung: Elektroden
• Elektroden sind eine der kritischsten Komponente für die gute Qualität des
EEG Signals!
• Verschiedene Elektrodentypen wurden in früheren VL ausgiebig diskutiert
• Zusammenfassung im Kontext von EEG-Erfassung für Benutzerschnittstellen
• Üblicherweise werden Silberchlorid (Ag/AgCl)-Elektroden eingesetzt
• Zwischen Elektrode und Kopfhaut wird Elektrolyt/Gel/Paste mit gelösten NaCl
benötigt
• Durch Kombination mit positiven Metallionen bildet sich ein Potenzial (Elektrolyt
reduziert Hautwiderstand Rs um Größenordnungen).
• Achtung: Elektrodenwiderstand
wird durch Hornhaut und Fett
erhöht (optimal bei etwa 5kΩ)
– Glatzköpfe sind also keine
guten Probanden 
56
Biosignale und Benutzerschnittstellen – Hirnaktivität
EEG-Erfassung: Verstärker
• Differenzverstärker (diskutiert in früheren VL), elimiert Artefakte z.B. durch
Stromnetz
• Differente Elektrode an positivem Input Up, Referenzelektrode negativ Un
• Dem Verstärker nachgeschaltet (um auch Verstärkerartefakte zu eliminieren)
• Hochpassfilterung: eliminiert Offsets (Impedanzen durch Schwitzen , …)
• Dem Verstärker vorgeschaltet
• Tiefpassfilterung (verhindert Aliasing, Muskelbewegungen)
57
Biosignale und Benutzerschnittstellen – Hirnaktivität
Lokalisierung von Gehirnaktivität
• EEG/MEG liefern ein zeitlich sehr exaktes Bild der Aktivität des Gehirns, aber
mit schlechter räumlicher Auflösung
• Um Gehirnaktivität (dreidimensional) zu lokalisieren, werden typischerweise
fMRT oder PET als bildgebende Verfahren eingesetzt.
• Gute räumliche Auflösung (<5mm)
• Geringe zeitliche Auflösung (>1s)
• Scalp maps: Grafischen Darstellung der Hirnaktivität an der Kopfoberfläche
anhand von EEG/MEG Signalen
• Die Lokalisierung der Potentialquellen aus den Signalen ist allerdings im
allgemeinen Fall nicht möglich (inverses Problem hat unendlich viele Lösungen)
• Plot zeigt
• Spektren der einzelnen Kanäle
• Örtliche Energieverteilung bei
6, 10 und 22Hz durch scalp maps
58
Biosignale und Benutzerschnittstellen – Hirnaktivität
Lokalisierung von Gehirnaktivität
• Low resolution brain electromagnetic tomography (LORETA)
• 3D-Lokalisierung der Potentialquellen ist unter Annahmen möglich
 EEG entsteht durch synchronisiert auftretende PSPs (postsynaptische
Potentiale)
 Pyramidenzellen sind perpendikulär angeordnet
 EEG kann nur bei großflächiger Aktivität gemessen werden
• Niedrige räumliche Auflösung (Voxelgröße ca. 5 cm)
• LORETA ist mathematisch und empirisch validiert (anhand bekannter EKPs,
und simultanem EEG/fMRT)
• Beispiel: EKPs bei visueller Stimulation durch Fotos menschlicher Gesichter
signifikante Aktivierung der Brodmann Areale 18, 17 und 37 rechts
59
Biosignale und Benutzerschnittstellen – Hirnaktivität
Überblick
• Einführung Neurowissenschaften
• Methoden zur Erfassung von Hirnaktivität
• EEG, MEG
• Bildgebende Verfahren
• Elektroenzephalographie (EEG)
• Anwendungsbeispiele
• Brain-Computer-Interfaces
• Benutzerzustand / kognitive Belastung
• Erkennung ungesprochener Sprache
• Emotionserkennung
60
Biosignale und Benutzerschnittstellen – Hirnaktivität
Warum EEG-basierte Nutzerschnittstellen?
• Warum forschen wir an EEG-basierten Nutzerschnittstellen?
• Sensoren werden am Kopf angebracht
 Hände frei benutzbar
 Wenig Einschränkungen (z.B. Kleidung)
• Jedes menschliche Verhalten hat seinen Ursprung in der Gehirnaktivität
 hilfreich für stark behinderte/gelähmte Patienten
 Nur ein Device für Erkennung von Benutzerzustand, kognitiver
Belastung und Emotionen (bereits am CSL vorhanden)
• Unterschied der Mensch-Maschine-Interaktion zu Mensch-MenschInteraktion: Es können auch Signale verwendet werden, die unter
normalen Bedingungen in der Mensch-Mensch-Interaktion nicht zugänglich
wären
61
Biosignale und Benutzerschnittstellen – Hirnaktivität
Warum EEG-basierte Nutzerschnittstellen?
• Anforderungen:
• Universelle mobile persönliche Devices
• Problemlose Interaktion mit jedem, überall, zu jedem Zeitpunkt
• Aktuelles Problem:
• Technik fehlt Situationsbewusstsein
• Technik fehlt Sinn für Nutzerbedürfnisse
• Mögliche Lösung:
• Intelligente, transparente menschenzentrierte Systeme
• Hier: Erkennen, Analysieren und Interpretieren der Nutzerbedürfnisse
• Lernansatz, der Nutzerzustand aus Hirnaktivität herleitet
• Hirnaktivität: Elektroenzephalogramm (EEG)
62
Biosignale und Benutzerschnittstellen – Hirnaktivität
Überblick
• Einführung Neurowissenschaften
• Methoden zur Erfassung von Hirnaktivität
• EEG, MEG
• Bildgebende Verfahren
• Elektroenzephalographie (EEG)
• Anwendungsbeispiele
• Brain-Computer-Interfaces
• Benutzerzustand / kognitive Belastung
• Erkennung ungesprochener Sprache
• Emotionserkennung
63
Biosignale und Benutzerschnittstellen – Hirnaktivität
Brain Computer Interfaces
• Brain-Computer-Interface (BCI): Steuerung von Maschinen mittels
Gehirnaktivität
• Für Menschen mit starken motorischen Behinderungen
(z.B. Prothesensteuerung, oder Kommunikationsmöglichkeit für Locked-in
Patienten)
• Natürliche Schnittstelle für die Mensch-Maschine-Interaktion
• Forschungsinstrument um neurologische Vorgänge zu untersuchen und zu
verstehen
• Meist EEG, aber auch fMRT, ECoG, oder NIRS
• Beispiel: Schon durch die Vorstellung von Handlungen entstehen messbare
Veränderungen der Hirnaktivität (z.B. im
Motorkortex bei Vorstellung von Handoder Fußbewegungen)
• „Aktive“ BCI: Kontrolle von Maschinen
• „Passive“ BCI: Gehirnaktivität als Indikator
für bewusste/unbewusste Vorgänge
TU Berlin (2009)
64
Biosignale und Benutzerschnittstellen – Hirnaktivität
Brain Computer Interfaces
• Ein klassisches BCI basiert auf
zwei Mechanismen:
• Training von Klassifikatoren, die
die generierten Gehirnaktivitätsmuster
diskriminieren (maschinelles Lernen)
• Außerdem lernt der Benutzer,
diskriminierbare Aktivität zu
generieren (Lernen durch Biofeedback)
• Man bezeichnet dies auch als Koadaption:
Üblicherweise passt sich der Mensch an das
System an, und das System adaptiert sich
an die gemessenen Signale.
65
Dornhege et. al (2007): Toward Brain-Computer Interfacing
Biosignale und Benutzerschnittstellen – Hirnaktivität
EEG- Signale für BCIs
• Sensor-motorische Rhythmen (SMR)
• μ–Rhythmus: Aktivität bei ca. 10Hz im sensor-motorischen Kortex
• Desynchronisiert bei Vorstellung von Bewegungen
• Slow cortical potentials (SCPs)
• Benutzer lernt SCPs bewusst zu kontrollieren
• Ereigniskorrelierte Potentiale (EKP)
• Benutzer setzt sich einem Stimulus aus, der ein EKP auslöst
• z.B. 300ms nach akustischem oder visuellem Stimulus (P300)
• Steady-state evoked potentials (SSEPs)
• Benutzer betrachtet mit unterschiedlicher Frequenz blinkende Lichtquellen
• Aktivität im visuellen Kortex bei der Frequenz und ihren
Oberschwingungen steigt
• Auch durch Vibration an Fingerspitzen entstehen SSEPs im Motorkortex
66
Biosignale und Benutzerschnittstellen – Hirnaktivität
Brain Computer Interfaces
• Herausforderungen für BCIs
• Hohe Dimensionalität
• Nicht-Stationarität der Signale
• Geringe Menge an Trainingsdaten
• Verrauschte Daten und Ausreißer
• Robustheit außerhalb von Laborbedingungen
• Fehlende „Ground truth“
• BCI-Analphabetismus
• State of the art
• Geringe Zahl von zu diskriminierenden Aktivitäten
• Robuste BCIs für einfache Aufgaben (z.B. Steuerung eines Mauscursors,
Brain-Pong, Buchstabiersysteme)
• Erkennungsraten bis über 90% (2-Klassen) bei untrainierten Benutzern
• Geringe Kanalkapazität (ca. 0.5 bits/s)
• Starkes Forschungsinteresse
67
Biosignale und Benutzerschnittstellen – Hirnaktivität
Beispiel: Epoc
• Epoc (Emotiv Systems)
• World’s first consumer neuro head-set
• Kommerziell verfügbares Peripheriegerät konzipiert für Computerspiele
 Emotionserkennung (Aufregung, Frustration, Engagement,…)
 Erkennung von Gesichtsausdrücken (Blinzeln, Lachen,…)
 Steuerung (12 verschiedene Bewegungen)
• Bluetooth
• 16 Elektroden EEG/EOG/EMG
• 2 Gyroskope
• Erste Evaluierungen
am CSL waren recht
vielversprechend
68
Biosignale und Benutzerschnittstellen – Hirnaktivität
Beispiel Gaming: Mindflex
Mattel-Games-MindFlex
69
Biosignale und Benutzerschnittstellen – Hirnaktivität
Überblick
• Einführung Neurowissenschaften
• Methoden zur Erfassung von Hirnaktivität
• EEG, MEG
• Bildgebende Verfahren
• Elektroenzephalographie (EEG)
• Anwendungsbeispiele
• Brain-Computer-Interfaces
• Benutzerzustand / kognitive Belastung
• Erkennung ungesprochener Sprache
• Emotionserkennung
70
Biosignale und Benutzerschnittstellen – Hirnaktivität
Interpretation menschlicher Interaktion
 Dazu müssen wir wissen und verstehen: Wer, was, wie, wo!
• WER?
• Sprecheridentifizierung und -verfolgung
• Sprechertypen, Beziehung zwischen Teilnehmern
• WAS?
• Sprache: Wörter, Themen, Reports; Bild
• Diskurszustand (Sprachakte, Themen), Spiele, Ablauf
• Diskurstypus und Genre (Verhandlung, Vortrag, Plauderei)
• WIE?
• Emotionaler Zustand: verärgert, nervös, ..
• Diskursstil: salopp, formell, familiär, …
• WO?
• Sprecherlokalisierung
• Bestimmen der Aufmerksamkeit
71
Biosignale und Benutzerschnittstellen – Hirnaktivität
Mensch-zentrierte Systeme
• Erkennen, Analysieren, Interpretieren
der Nutzerbedürfnisse
• Maschine passt sich an Benutzer an,
nicht umgekehrt!
• Zur Verfügung stellen von
Unterstützung
• Präsentation von Ergebnissen für
Benutzer
• Menschen können sich auf ihre
Aufgaben konzentrieren
Daten
Maschine
Mensch
72
Mensch
Beispiel
Biosignale und Benutzerschnittstellen – Hirnaktivität
• Mobiltelefone können sich an Nutzersituation anpassen
• Computer erkennen den Zustand einer Person und entscheiden, ob diese
gestört werden kann
Situation
Benutzerzustand
Gerät
Resting
ok
Reading
ok
73
Listening
Listening
Speaking
Beispiel
Biosignale und Benutzerschnittstellen – Hirnaktivität
• Computer liefert Informationen über kognitive Belastung der
Vortragsteilnehmer
74
Biosignale und Benutzerschnittstellen – Hirnaktivität
EEG und Benutzerzustand / -beanspruchung
• Was bedeutet „Aktivierung“?
• Für das entspannte Gehirn kann -Rhythmus (8 – 13 Hz) beobachtet
werden
• Während geistiger Aktivität wird -Rhythmus durch andere
Aktivitätsmuster ersetzt
• Während höherer mentaler Prozesse kann 40 Hz-Aktivität beobachtet
werden
75
Aktivitätsmuster im Kortex
Biosignale und Benutzerschnittstellen – Hirnaktivität
• Benutzerzustand
Zuhören
Lesen
• Kognitive Beanspruchung
Niedrig
Ausruhen
Hoch
76
Biosignale und Benutzerschnittstellen – Hirnaktivität
Ziele der Arbeit
• Robustheit:
• System muss robust gegenüber Artefakten durch Sprache oder Bewegung
sein
• Usability:
• EEG-Sensoren und Rekorder müssen nutzerfreundlich und angenehm zu
tragen sein
• Anwendbarkeit:
• Hirnaktivität muss in Echtzeit in realistischen Szenarios gemessen werden
können
 Lösung dieser drei Ziele durch:
• Entwicklung eines komfortablen Stirnbands
• Entwicklung eines System, das in Mensch-Maschine Interaktion und
Mensch-Mensch Kommunikation eingesetzt werden kann
77
Biosignale und Benutzerschnittstellen – Hirnaktivität
Datensammlung: Ausstattung
• Standard ElectroCap™ , 19 AgCl Electroden
• 16 Elektroden decken alles ab außer Motorkortex
• Gesichtsmuskelaktivität hat tw. Einflüsse auf Frontalelektroden,
andere motorische Aktivität weniger
• Stirnband für realistische Mensch-Maschine-Schnittstellen
+ Komfort (keine Schmerzen bei Langzeitnutzung)
+ Handhabung (leicht anzulegen, kein Gel in den Haaren
+ Pflege (leichte Reinigung)
- Nachteil: begrenzt auf 4 Frontalelektroden
• Samplingfrequenz: 256 Hz
78
Datensammlung: Elektroden-Setup
Biosignale und Benutzerschnittstellen – Hirnaktivität
16-Kanal-Verstärker Rekorder
Varioport ©
ElectroCap™:
Fp1, Fp2, F3, F4,
Fz, F7, F8, T3, T4,
T5, T6, P3, P4, Pz,
O1, O2
Stirnband:
Fp1, Fp2, F7, F8
79
Fp1 Fp2
F7 F3
T3
A1
(left ear)
T5
C3
Fz F4 F8
C4
Cz
P3
10-20
Pz
P4
O1 O2
T4
A2
(right ear)
T6
Datensammlung: kog. Beanspruchung
Biosignale und Benutzerschnittstellen – Hirnaktivität
• Die Probanden hören einer Präsentation von 15-20 Minuten zu
• Die Präsentation ist so gestaltet, dass verschiedene Grade der Beanspruchung
hervorgerufen werden:
• Low (L): keine Verständisprobleme
• Medium (M): es ist etwas geistiger Aufwand nötig, um der Präsentation zu folgen,
aber alles inklusive Details wird verstanden
• High (H): es ist volle Konzentration notwendig, um zu folgen, der Inhalt ist klar,
aber die Details können nicht mehr verstanden werden
• Overload (O): Präsentation wird nicht verstanden, Proband fühlt sich überfordert
• Selbsteinschätzung: Proband beurteilt eigenen Zustand
• Proband, Präsentation (Folien + Audio) auf Video aufgezeichnet
• Probanden sehen Video um eigene Beanspruchung einzuschätzen
• schwierig, genauen Punkt zwischen Zustandswechseln zu finden
80
Biosignale und Benutzerschnittstellen – Hirnaktivität
Datensammlung: Benutzerzustand
81
Verlässlichkeit der Selbsteinschätzung
Biosignale und Benutzerschnittstellen – Hirnaktivität
• Session 1: direkt nach der Präsentation (durchgezogener Strich)
• Session 2: zwischen 2 und 8 Wochen später (gestrichelt)
82
Erkennung von Benutzerzustand / Beanspruchung
User state
Klassifikation
Biosignale und Benutzerschnittstellen – Hirnaktivität
Signalverarbeitung
EEG
Normalisierung
Featurereduktion
Artefaktelimierung
Features
Neuronale Netze
SVM
Resting
Reading
Presentation
Listening
Summarizing
Arithmetics
Workload
Workload
Overload
High
Medium
Low
2 Zustände
EEG-Kappe
92.2%
Stirnband
69.0%
Honal & Schultz, 2008
Benutzerzustand
6 Tätigkeiten 3 Tätigkeiten
EEG-Kappe
93.4%
94.6%
Stirnband
66.2%
88.6%
Honal & Schultz, 2005
83
Biosignale und Benutzerschnittstellen – Hirnaktivität
Artefaktbereinigung
• Hauptproblem bei dieser Analyse: Artefakte durch Augenbewegung (dies sind
eigentlich Muskelartefakte)
• Verwende Independent Component Analysis (ICA)
• Nehme an, dass die Signale x(t) der Elektroden als lineare Kombination von
unabhängigen Signalen s(t) beschrieben werden kann (i.e. kortikale
Feldpotenziale, Muskelartefakte, etc.): x(t) = A · s(t).
• Berechne unmixing matrix B: s(t) = B · x(t).
Original data
ICA components
(oben links): independent
components werden aus
Originaldaten brechnet
(oben rechts): zweite Komponete
(Blinzeln) wird identifiziert und
verworfen
Back projected data
Removal of component 2
(unten links): Rückprojektion der
Daten in ursprünglichen Raum
84
Zusammenfassung
Biosignale und Benutzerschnittstellen – Hirnaktivität
• Identifikation von Benutzertätigkeit und kognitiver Beanspruchung aus EEGSignalen ist möglich!
• Zukünftige Arbeiten:
• Verbesserung der Methoden zur Artefaktbereinigung
• Verbesserung der Methoden zur Signalverarbeitung
• Vergrößerung des Datenkorpus
• Entwicklung komfortabler Aufnahmelösungen
• Testen des Systems in echten Vorlesungen / Meetings
85
Biosignale und Benutzerschnittstellen – Hirnaktivität
Biosignals Studio
•
•
•
•
•
BSS: Framework for Capturing and Processing Biosignals
Data flow oriented flexible, light-weight, extensible, portable architecture
Python, very few packages, easy to add new modules
Modules, connected by data streams, multi-core processing
Input modules currently support: EEG, EMG, Respiration belt, EDA, Audio,
Video, Plethysmography, others (keyboard, steering wheel, …)
• Visualization modules, Processing (Filters, FFT, ICA), Synchronization
• Interaction modules: cognitive tests (Flanker, …), stimulus presentation
• Supports both, Training & Development AND Online HC Interaction
• Training & Development: Large scale multimodal data collections
• Online Interaction: Multimodal online input layer for HC Interfaces
86
Biosignale und Benutzerschnittstellen – Hirnaktivität
Cognitive Interaction Strategies
• Adaptive Interaction Strategies in dynamic environments
• Driving Simulator for realistic but controlled scenarios
• Automatically extract drivers‘ states
• Continuous Meta Data Extraction
• Cognitive Modeling based on ACT-R
• Adaptive Strategies: RL
• Task demand,
• Emotion, Mood, Personality, …
• Monitoring & fusion of biosignals
• EEG
• Photoplethysmography (PPG)
• Respiration belt (RESP)
• Skin conductance (SC)
• Speech & language (LIWC)
• Visual features, facial landmarks
87
Biosignale und Benutzerschnittstellen – Hirnaktivität
Multimodal Personality Recognition
•
•
•
•
In CSL Driving Simulator
Wizard of Oz experiment
Virtual co-driver via head-set
Limousine driver scenario
Heger & Schultz 2009
88
Biosignale und Benutzerschnittstellen – Hirnaktivität
Personality Recognition Results
• Acoustic Features from Speech
• Pitch, pulses, periods, jitter, shimmer,...
• Linguistic Features from Language (Transcripts, ASR)
• Linguistic Inquiry and Word Count (LIWC)
• EEG Features: Power in theta, alpha, and beta bands
• Visual Features: Active Appearance Models
• Outputs facial landmark positions
89
Biosignale und Benutzerschnittstellen – Hirnaktivität
Empathic Robots
SFB 588 – Humanoid Robots
• Social Human-Robot Interaction requires empathy
• Skills to put oneself into the partner
• Recognize, interpret from others perspective
• Multi-Species-Communities [Kerstin Dautenhahn],
[Terry Fong]
• Human adapts to Robot (Minerva, Kismet [C. Breazeal])
• Goal: Robot adapts to HumanCapture Biosignal and interpret human …
• … mental activities, cognitive load,
• … personality, mood, emotion, …
• EEG-based Emotion Recognition
• 16-Channel ElectroCap: 62%
• 4-Channel Headband: 53%
• 20 subjects, IAPS pictures
90
Biosignale und Benutzerschnittstellen – Hirnaktivität
EEG Workload Recognition System
80% recognition
accuracy on 20 subjects
Subject-adaptive system
Range [70%-90%]
91
Workload Adaptive Human-Robot Dialog
Evoke different task loads (Flanker)
2.
Detect human task load using EEG
3.
Variable presentation mode of Robot dialog system
low load: short pauses, multiple items, complete utterances vs
high load: long pauses, isolated single items, concise utterances)
4.
Adapt presentation mode of Robot
dialog system to load (utt level)
5.
Evaluation:
Quality, speed of task performance
User satisfaction (Questionaire)
Biosignale und Benutzerschnittstellen – Hirnaktivität
1.
92
ALWAYSLOW
User Satisfaction
5
4
3
Biosignale und Benutzerschnittstellen – Hirnaktivität
• Questionnaire after each session
(11 items on 6-point scale)
2
1
ORACLE
ALWAYSHIGH
0
• Would you like to collaborate
with a robot of this behavior?
EEGADAPTIVE
ALWAYSLOW
5
4
3
2
• How do you judge the robot’s
behavior concerning empathy?
1
ORACLE
• Users clearly prefer an adaptive behavior
over static ones
93
0
EEGADAPTIVE
ALWAYSHIGH
Biosignale und Benutzerschnittstellen – Hirnaktivität
Überblick
• Einführung Neurowissenschaften
• Methoden zur Erfassung von Hirnaktivität
• EEG, MEG
• Bildgebende Verfahren
• Elektroenzephalographie (EEG)
• Anwendungsbeispiele
• Brain-Computer-Interfaces
• Benutzerzustand / kognitive Belastung
• Erkennung ungesprochener Sprache
• Emotionserkennung
94
Biosignale und Benutzerschnittstellen – Hirnaktivität
Motivation
• Ähnlich wie bei der Spracherkennung durch Elektromyographie wollen wir
Sprache erkennen, ehe sie zum akustischen Signal wird.
• Nutzbar für Silent Speech Interfaces (sicherlich komplizierter als EMG)
• Besonders interessant für Locked-in-Patienten
• Ziel: Erforschung des Potenzials von EEG für ASR
• Idee: Erfasse Motorkortex-Aktivität (Homunculus) und Sprachregionen (i.e.
Broca & Wernicke)
• Vergleich verschiedener Elektrodenpositionen: sind Homunculus, Broca &
Wernicke ausreichend?
• Vergleich verschiedener Modalitäten:
 Normal, geflüstert, lautlos
 … und ungesprochene Sprache
• Definition ungesprochene Sprache:
 keine Muskelbewegung, keine Atmung – nur denken, was gesprochen wird
95
Biosignale und Benutzerschnittstellen – Hirnaktivität
Wiederholung: Das Gehirn
Front (Eyes)
Back
Quelle: Neurology for Physiology Students:
http://www.science.uwc.ac.za/physiology/neurology/neuro.cont.htm
96
Biosignale und Benutzerschnittstellen – Hirnaktivität
Grundidee
Idee: Sprache ist verbunden mit
Muskelinnervation
Für Muskelinnervation sind
Aktionspotenziale notwendig
Gehirnströme erfassen
Aktionspotenziale
Finde diese Muster im Motorcortex
homunculus
Broca: verbunden mit
Wortartikulation (Läsion führt
zu sinnvoller, aber nicht
flüssiger Sprache)
Wernicke: verbunden mit
semantisch bedeutsamer
Sprache (Läsion führt zu
flüssiger, aber sinnloser
Sprache)
97
Hardware-Setup
Biosignale und Benutzerschnittstellen – Hirnaktivität
Verstärker/Rekorder/PC-Anschluss
ElectroCap
“One”
Vorverarbeitung
- Tiefpassfilter
- Segmentierung
Training
- 5-state HMM
- 4 iter EM-Training
- 5 to 60 Samples
Feature Extraktion
- Für jeden Kanal
- STFT (54ms) Δ, Δ Δ
98
Evaluation
- Viterbi für jedes
Wort
- Wähle Wort mit
höchstem ViterbiScore
- Cross-Validation:
Leave-One-Out
Biosignale und Benutzerschnittstellen – Hirnaktivität
Datensammlung
Setup
Aufnahmesoftware
nine
Aufnahmeprozedur
99
Performance
Biosignale und Benutzerschnittstellen – Hirnaktivität
• Word Accuracy (Erkennungsrate) auf fünf Sprachmodi. Zu unterscheiden
waren die 10 Ziffern (10% Chance Level)
100
Elektrodenpositionen
All 16
Fp1
H,B,W,back
Fp2
Fp1
GND
Biosignale und Benutzerschnittstellen – Hirnaktivität
Fz
F4
C3
Cz
C4
T4
A1
T5
P3
Pz
P4
T3
A2
C3
Cz
C4
T4
T5
47.24 %
P3
Pz P4
T3
A2
A1
T6
GND
F7
F3
Fz
F4
C3
Cz
C4
T4
T3
A2
A1
Cz
C4
T4
A2
T5
45.51 %
45.50 %
C3
A1
T5
T6
¬H,¬B,¬W
Fp1
Fp2
F7
F7
F3
H+B+W
GND
GND
F7
T3
H,B,W,front
46.50 %
H, ¬B, ¬W
H,B,¬W
Fp2
GND
GND
GND
F7
F3
Fz
F4
A2
A1
P3
Pz
P4
T3
¬H,B,W
T6
32.06 %
T3
C4
T4
C3
Cz
C3
Cz
C4
T4
A1
GND
T3
41.30 %
C4
T4
T5
101
T3
H,¬B,W
A2
A1
A2
T5
40.34 %
Cz
35.50 %
GND
F7
A1
C3
A1
40.30 %
A2
A2
Biosignale und Benutzerschnittstellen – Hirnaktivität
Experiment zum Einfluss temporaler Effekte
• Problem: Aufnahme der Wörter erfolgte blockweise
• Daher wurden die Erkennungsraten durch temporal korrelierte Artefakte im
EEG Signal überschätzt!
 Neue Studie: Untersuchung des Einflusses der Wortreihenfolge auf das EEGSignal
• Wiederholung von fünf Wörtern in unterschiedlicher Reihenfolge
• Blockweise: eine Sequenz von Blöcken mit je 20 Wiederholungen
• Kurze Blöcke: 4 Sequenzen von Blöcke mit je 5 Wiederholungen
• Sequentiell: 20 Sequenzen aller Wörter
• Randomisiert: zufällige Reihenfolge der Wörter
102
Biosignale und Benutzerschnittstellen – Hirnaktivität
Ergebnis
• Temporale Effekte haben großen Einfluss auf das EEG-Signal!
• Durchschnittliche Erkennungsleistung: (Chance: 20%)
• Blockweise:
45.95%
• Kurze Blöcke: 22.10%
• Randomisiert: 19.48%
• Sequentiell: 18.09%
• Zusammenfassung:
• Sorgfältiges Vorgehen
bei Experimentdesign
erforderlich!
• Mögliche Verbesserungen:
 Verbesserung der Erkennungsmethoden
 Sprecher erhält beim Training Feedback über erkanntes Wort
103
Speech Detection on Brain Activity
Biosignale und Benutzerschnittstellen – Hirnaktivität
Functional Near Infrared
Spectroscopy (fNIRS):
• Brain imaging technique based
on the concentration changes
of oxy-haemoglobin (HbO) and
deoxy-haemoglobin (HbR)
• Focus on Broca and Wernicke
area, prefontal and lower motor
cortex related to speech tasks
Optode positions of 32 electrodes
(left side - frontal view, right side left lateral view)
Differentiate Speech (Sp) from Pause (P) independent of mode: Speaking Audibly
(A), Silently (S), Imagine (I)
Average classification results across 5 subjects [in %]
In collaboration with Prof. Cuntai Guan, I2R, Singapore [Herff et al. 2011]
104
Biosignale und Benutzerschnittstellen – Hirnaktivität
Überblick
• Einführung Neurowissenschaften
• Methoden zur Erfassung von Hirnaktivität
• EEG, MEG
• Bildgebende Verfahren
• Elektroenzephalographie (EEG)
• Anwendungsbeispiele
• Brain-Computer-Interfaces
• Benutzerzustand / kognitive Belastung
• Erkennung ungesprochener Sprache
• Emotionserkennung
105
Biosignale und Benutzerschnittstellen – Hirnaktivität
Motivation
• Media Equation (Reeves & Nass, 1995):
Mensch-Maschine-Interaktion = Mensch-Mensch-Interaktion
 Kooperation
 Feedback
 Gender
• Im Team bessere Performance mit Personen, die ähnlich oder ergänzend zu
einem selbst sind (Dryer & Horowitz, 1997)
• Computer können starke negative Emotionen reduzieren, indem sie darauf
eingehen (Klein et al., 2002)
• Menschen verhalten sich emotionaler, wenn sie das Gefühl haben, mit
affektiven System zu interagieren (Axelrod, 2004)
106
Biosignale und Benutzerschnittstellen – Hirnaktivität
Anwendungsmöglichkeiten
• Erweiterung der computergestützten Kommunikation um emotionale
Komponente
• Erweiterung der Bandbreite von E-Mails
• Emotionale Sprachsynthese
• Lernumgebungen
• Yerkes-Dodson-Law (Zusammenhang
zwischen Erregung und Leistung, rechts)
• Gaming / Entertainment
• „Points for courage“
• Affective DJ
• Hilfestellungen / Feedback
• Emotionsabhängige Benutzerpräferenzen
• Emotionale Unterstützung für Autisten
107
Emotionen
Biosignale und Benutzerschnittstellen – Hirnaktivität
• Subjektiv erlebte Emotionen (Zustände, die von einer Person als Emotionen
benannt werden können)
• Emotionale physiologische Reaktion in Gehirn und Nervensystem, das
emotionalen Stimuli zugeschrieben werden kann
• Emotionales Verhalten, das aus Sicht externer Betrachter als Reaktion auf
emotionale Stimuli gesehen werden kann
108
Biosignale und Benutzerschnittstellen – Hirnaktivität
Emotionen: Modelle
• Kategorisch
• Zwischen 5 – 10 Basisemotionen (= grundlegende Emotionen
• Komplete Emotionen aus Basisemotionen zusammengesetzt
• Z.B. Ekman: Fröhlichkeit, Wut, Ekel, Furcht, Verachtung, Traurigkeit,
Überraschung
• Kulturübergreifend, Entstehung evolutionär bedingt und durch soziales
Lernen erweitert
• Dimensional
• 2 – 3 Dimensionen
• Valence, Arousal (, Dominance)
• Zustände als Punkte in 2 / 3-dimensionalem System
• Ebenfalls kulturübergreifend
109
Emotionen vs. Stimmungen
Biosignale und Benutzerschnittstellen – Hirnaktivität
Emotion
Stimmung
Funktion
Einfluss auf Aktionen
Einfluss auf Kognition
Ursache
Durch bestimmte
Ursache ausgelöst
Auch ohne bestimmte
Ursache möglich
Konsequenzen
Bereitet Organismus auf Großer Einfluss auf
Aktivität vor
kognitive Prozesse
Kontrolle
Nicht kontrollierbar
Teilw. kontrollierbar
Dauer
Kurz
Lang
Intensität
Stark
Gering
Phsysiologie
Unterschiedliche
physiologische Muster
Keine unterschiedlichen
physiologischen Muster
Beedie et al. (2005)
110
Emotionsinduktionsmethoden
• Freie mentale Erzeugung von Emotionen
Biosignale und Benutzerschnittstellen – Hirnaktivität
• Hypnose
• Vorstellung
• Geführte mentale Erzeugung von Emotionen
• Velten-Technik
• Film / Story / Bilder / Musik (mit Anleitung)
• Präsentation von emotionsinduzierendem Material
• Film / Story / Bilder / Musik (ohne Anleitung)
• Geschenke
• Präsentation von bedarfsbezogenen emotionalen Situationen
• Erfolg / Misserfolg
• Soziale Interaktion
• Erzeugung emotional relevanter physiologischer Zustände
• Drogen
• Gesichtsausdruck
111
Biosignale und Benutzerschnittstellen – Hirnaktivität
Systemüberblick
Emotionsinduktion
Signalverarbeitung /
Feature Extraktion
mit Wavelets
Klassifikation
HMM
112
mit STFT
SVM
Emotionsinduktion
Biosignale und Benutzerschnittstellen – Hirnaktivität
 90 Bilder aus dem International Affective Picture System (je 30 positiv, neutral
bzw. negativ)
 Unterschiedliche Bildersets für männliche und weibliche Probanden
Testphase: 5 Bilder

2 Sessions a 45 Bilder

Bildbewertung
• Insgesamt: 20 Probanden (18 m, 2 w)
• Durchschnittsalter: 26 (SD: 2.15)
• Rechtshänder: 17, Linkshänder: 3
• EEG-Kappe: 15 Probanden (13 m, 2 w)
• Headband: 5 Probanden (5 m)
113
Biosignale und Benutzerschnittstellen – Hirnaktivität
Aufnahme der Signale
EEG-Kappe:
10-20-System
Stirnband:
Fp1, Fp2, F7, F8
114
Erkenner
SVM-basierter Erkenner (basierend auf Matlab)
Biosignale und Benutzerschnittstellen – Hirnaktivität
Vorverarbeitung, Feature Extraktion
EEG
STFT
Filterung
Normalisierung
Averaging
Feature Reduktion
Klassifizierung
SVM
Hypothese
Positiv
Neutral
Negativ
HMM-basierter Erkenner (basierend auf Janus Recognition Toolkit)
Vorverarbeitung, Feature Extraktion
EEG
Normalisierung
Filterung
DTCWT
115
Klassifizierung
HMM
Hypothese
Positiv
Neutral
Negativ
Biosignale und Benutzerschnittstellen – Hirnaktivität
Ergebnisse
• SVM-basierter Erkenner:
• 62.07% EEG-Kappe
• 51.61% Frontalelektroden (Headband)
• 51.74% Mittelelektroden
• HMM-basierter Erkenner:
• 46.15% EEG-Kappe
116
Biosignale und Benutzerschnittstellen – Hirnaktivität
Ausblick
• Erweiterung des Datenkorpus
• Evtl. Einsatz weiterer Emotionsinduktionsmethoden
• Optimal: spontane Emotionen
• Kategorische Emotionen
• Multimodalität
• Kombination mit anderen Biosignalen
• Robustheit
• Verbesserung der Signalverarbeitung
• Online Erkennung
• Usability
• Erhöhung des Tragekomforts
• Verwendung von kabellosen Sensoren
117
Herunterladen