EEG - Cognitive Systems Lab
Werbung
Biosignale und Benutzerschnittstellen – Hirnaktivität Vorlesung WS 2012/2013 Biosignale und Benutzerschnittstellen Biosignal: Hirnaktivität Enstehung, Messung, Anwendungen Prof. Dr. Tanja Schultz Dipl. Math. Michael Wand 1 Taxonomie Biosignale und Benutzerschnittstellen – Hirnaktivität Biosignale Mechanische Biosignale Thermische Biosignale Elektrische Biosignale Wärme Gestik Augen EOG Bewegung Mimik Hirn EEG Muskeln EMG 2 Chemische Biosignale MEG/PET fMRI Herz EKG Akustische Biosignale Körpergeräusche Nichtsprachl. Artikulation Sprache Biosignale und Benutzerschnittstellen – Hirnaktivität Überblick • Einführung Neurowissenschaften • Methoden zur Erfassung von Hirnaktivität • EEG, MEG • Bildgebende Verfahren • Elektroenzephalographie (EEG) • Anwendungsbeispiele • Brain-Computer-Interfaces • Benutzerzustand / kognitive Belastung • Erkennung ungesprochener Sprache • Emotionserkennung 3 Biosignale und Benutzerschnittstellen – Hirnaktivität Kognitive Neurowissenschaft • Kognitive Neurowissenschaft [KN] = Neurobiologie und Kognitionsforschung • Wurzeln der KN sind • Psychologie • Linguistik • Informatik • Philosophie • Ziel (nach Gazzaniga): Wir wollen erforschen, was die Daten darüber sagen, wie das Gehirn den Geist ermöglicht • KN = „Körper und Geist“ = „Leib und Seele“ • Ausgangspunkt der Neurowissenschaft: Der Geist (was auch immer das sein mag) geht als Konsequenz aus dem Funktionieren des Gehirns hervor 4 Biosignale und Benutzerschnittstellen – Hirnaktivität Zugang zum Geist • Wie erhält man über das Verhalten Zugang zum Geist? • Reaktionszeit als Maß für geistige Ereignisse • Klassische Studie von F. Donders: a) Wie lange braucht eine Person, um auf einen Lichtreiz mit einem Tastendruck zu reagieren? b) Wie lange braucht sie, wenn das Licht verschiedene Farben hat und der Proband die Farbe erkennen soll? • Antwort: (b) dauert 50ms länger als (a) • Folgerung: Die geistige Leistung, Farbe zu erkennen, braucht 50 ms 5 Biosignale und Benutzerschnittstellen – Hirnaktivität Zugang zum Geist • Funktionweise des Kurzzeitgedächtnis (Saul Sternberg) • Versuchsperson prägt sich eine Liste von Gegenstände ein • Die Versuchsperson wird gefragt, ob ein gewisser Gegenstand in der Liste ist • Ergebnis: je länger die Liste, desto länger die Reaktionszeit • Geistige Drehung von Objekten (Roger Shepard) • Der Versuchsperson wird eine grafische Darstellung von Paaren von Objekten A und B gezeigt • Die Versuchsperson soll beurteilen, ob A und B identisch sind, d.h. ob es eine Drehung gibt, die A und B zur Deckung bringt • Antwort: Lineare Beziehung zwischen Reaktionszeit und Rotationswinkel! („geistige Drehung“ ca. 60 pro Sekunde) 6 Biosignale und Benutzerschnittstellen – Hirnaktivität Fenster zum Geist Historische Entwicklung 1. Elektroenzephalogramm (EEG) • Misst die elektrische Aktivität des Gehirns … • … auch Potenziale, die durch Reize hervorgerufen werden • Evozierte Potenziale: Lichtblitze, Knacklaute, Antippen der Haut • Vorgehen: Elektrode an Cortex – Reizen – Messen • Elektrodendraht (ca. 0.5mm) direkt an Cortex anbringen Summierte elektrische Aktivität von etwa 100 – 1000 Nervenzellen • Wenn man nicht das Hirn freilegen möchte, muss man von außen an der Kopfhaut messen (schlechte Lokalisierung) 2. Mikroelektrode zum Messen elektrischer Aktivität einzelner Neuronen • Tierversuche; neurochirurgische Eingriffe an Menschen 3. Moderne Verfahren: Bildgebende Verfahren wie PET und MRT 7 Biosignale und Benutzerschnittstellen – Hirnaktivität Evozierte Potenziale • Methode, um die Funktionsfähigkeit von Nervenbahnen zu testen • Prinzip: Ein Sinnesorgan wird (akustisch, visuell, ...) gereizt, und die Reaktion des ZNS (=elektrisches Potential) wird gemessen • Im weitesten Sinn werden alle gezielt ausgelösten elektrischen Phänomene als evozierte Potenziale bezeichnet • Visuell Evozierte Potenziale (VEP) - Farbwechsel Schachbrett Beurteilung des Sehnerven und der Sehbahn • Akustisch Evozierte Potenziale (AEP) – Frequenz und Amplitude Beurteilung der zentralen akustischen Bahn und des Hörnervs • Somatisch evozierte Potenziale (SEP) – Antippen Beurteilung der zentralen somatosensiblen Leitungsbahn und peripherer, sensibler Nerven • Motorisch evozierte Potenziale (MEP) – Muskelzucken durch Magnetstimulation Funktionszustand der - bei Willkürbewegungen benutzten - Bahn von der primär motorischen Hirnrinde bis zu Motoneuronen 8 Biosignale und Benutzerschnittstellen – Hirnaktivität Evozierte Potenziale • Jeder Sinnesreiz löst in den sensorischen Arealen elektrische Potenzialänderungen aus; diese evozierten Potenziale werden mit EEG erfasst • Evozierte Potentiale haben wesentlich kleinere Amplituden als das spontan ablaufende EEG (1–15 µV statt 50–100 µV) • Daher benötigt man eine geeignete Messmethode, um das evozierte Potential überhaupt feststellen zu können! • Messung der evozierten Aktivität erfolgt durch Mittelungstechnik (nächste Folie). 9 Biosignale und Benutzerschnittstellen – Hirnaktivität Evozierte Potenziale • Die Mittelungstechnik zur Messung evozierter Potentiale: • Das spontane EEG wird als stochastisches Störsignal betrachtet, das von dem Reiz unabhängig ist und dessen Mittelwert Null ist • Das evozierte Potenzial ist zeitlich an den Reiz gekoppelt, es zeigt nach jedem Reiz den gleichen Verlauf • Der selbe Reiz wird mehrfach wiederholt, korrespondierende EEGSegmente werden gemittelt Reizbezogene evozierte Potenziale summieren sich auf Reizunabhängige Aktivität (Rauschen) geht gegen Null Voraussetzung: Wiederholtes Signal lässt sich zeitlich synchronisieren, d.h. Signal zeigt nach jedem Reiz den gleichen Verlauf Signal und Rauschen sind unkorreliert Rauschen ist zufällig, d.h. arithmetisches Mittel = 0 • Anzahl durchzuführender Reize hängt von Signal-Rausch-Verhältnisses (Sinnesmodalität, physikalische Charakteristika) ab, verschieden für die Sinnesmodalitäten: Lichtblitze 50 Reize, Akustik 1000 Reize 10 Biosignale und Benutzerschnittstellen – Hirnaktivität Wichtige Methoden - Subtraktionsmethode • • • • Problem: Überlagerung mehrerer Aktivitäten Stark vereinfachtes Beispiel: Gehirn in 4 Felder geteilt Welches Feld ist aktiv, wenn Person mit Sprache zu tun hat Versuchsdesign: präsentiere Wörter auf einem Bildschirm – aber welcher Anteil der Aktivität ist die Reaktion auf den visuellen Reiz, und welcher Anteil der Aktivität ist auf die Verarbeitung der Wörter zurückzuführen? Subtraktion Person sieht Wörter auf einem Bildschirm Person sieht leeren Bildschirm 11 Hirnregion für Verarbeitung von Wörtern Biosignale und Benutzerschnittstellen – Hirnaktivität Wichtige Methoden - Korrelationsmethode • Frage: wie hängt Hirnaktivierung mit Verhalten zusammen • Problem: Versuchspersonen weichen voneinander ab • Ausmaß Hirnaktivierung vs Umfang des Gelerntes • Kann passieren, dass Ruhe vs Erinnerung mit der Methode der Subtraktion keine Abweichung zeigt • Aber hohe Korrelation zwischen Ausmaß der Hirnaktivität und dem Umfang des Gelernten • Beispiel • Emotional aufwühlende (+) vs neutrale Filme (o): Hohe Korrelation zw. Aktivität der Amygdala und Informationsmenge, die von (+) Filmen erinnert wurde r= 0.93 für (+) Filme; r=0.33 für (o) Filme 12 Biosignale und Benutzerschnittstellen – Hirnaktivität Erfassung der Gehirnaktivität Wenn wir davon sprechen, Gehirnaktivität zu erfassen, ist damit die Erfassung der Aktivität im Neokortex gemeint Allgemeine Vorbemerkung: • Die heutigen Möglichkeiten zur Beobachtung der Aktivitäten des lebenden Gehirns sind sehr begrenzt • Derzeitige Beobachtungs- und Messtechniken geben nur • sehr begrenzte Informationen über • einen winzigen Teil • … derjenigen Prozesse im Gehirn, die für unser Handeln, Denken und Bewusstsein verantwortlich sind 13 Biosignale und Benutzerschnittstellen – Hirnaktivität Überblick • Einführung Neurowissenschaften • Methoden zur Erfassung von Hirnaktivität • EEG, MEG • Bildgebende Verfahren • Elektroenzephalographie (EEG) • Anwendungsbeispiele • Brain-Computer-Interfaces • Benutzerzustand / kognitive Belastung • Erkennung ungesprochener Sprache • Emotionserkennung 14 Biosignale und Benutzerschnittstellen – Hirnaktivität Überblick: Erfassungsmethoden für Hirnaktivität • EEG: Elektroenzephalographie erfasst mittels Kopfhautelektroden die Superposition von Potenzialen, die in verschiedenen Arealen des Kortex erzeugt werden (Hirngewebe und – flüssigkeit sind leitfähig) • MEG: Magnetoenzephalographie erfasst Superpositionen von Potenzialen (wie EEG) allerdings werden nicht die elektrischen Potenziale erfasst, sondern der Magnetfluss, der durch die Potenziale im Rindenfeld entsteht • fNIRS: functional Near-Infrared Spectroscopy misst die Konzentration von sauerstoffreichem und –armen Hämaglobin im Blut (ersteres transportiert die Moleküle in die Region, in der Neurone aktiv sind). Gewebe ist transparent für Wellenlängen 700-900nm (near-infrared) aber Hämoglobin reflektiert dieses Licht, wobei sauerstoffreiches Hämoglobin das Licht anders reflektiert als sauerstoffarmes. 15 Biosignale und Benutzerschnittstellen – Hirnaktivität Überblick: Erfassungsmethoden für Hirnaktivität • fMRT: Funktionelle Magnetresonanztomographie Misst Antwort des Gewebes, das einem starken magnetischen Feld ausgesetzt wird. Ähnlich wie fNIRS wird die Durchblutung beobachtet (Sauerstoffarmes und sauerstoffreiches Gewebe verhalten sich geringfügig verschieden) – dies nennt man den BOLD effect (BOLD=Blood Oxygen Level Dependent) • SPECT: Single Photon Emission Computer Tomography Ähnlich wie bei fMRI werden Scheibenbilder erzeugt. Im Gegensatz zu fMRI wird Information über die Menge und Verteilung des Blutes in verschiedenen Hirnbereichen über die Zeit erfasst. Das Blut wird zuvor mit radioaktiven Markern durchsetzt. Ihre Konzentration ist hoch an den Stellen, an denen die Blutkonzentration hoch ist. Diese Marker reflektieren Gammastrahlen, die mit einer Gammakamera erfasst werden. Gammamarker sind ähnlich schädlich wie Röntgenstrahlen. • PET: Proton Emission Tomography verwendet auch radioaktive Marker, aber solche, die Positronen emittieren anstatt Gammastrahlen 16 Elektroenzephalographie (EEG) • Biosignale und Benutzerschnittstellen – Hirnaktivität • • • Was wird beim EEG gemessen? Antwort: Elektrische Potenzialschwankungen in der Großhirnrinde Welches sind die Quellen dieser Potenzialschwankungen? 1. Aktionspotenzial von Axonen der Neuronen 2. Potenziale des Nervenzellkörpers und der Dendriten 3. Synaptische Potenziale 4. Postsynaptische Potenziale (EPSP und IPSP) EPSP und IPSP, die in der Rindenoberschicht entstehen, liegen den EEGWellen zugrunde Synchronisation und Desynchronisation der EPSP und IPSP in Abhängigkeit des Thalamus ruft die EEG-Tätigkeit hervor 17 Biosignale und Benutzerschnittstellen – Hirnaktivität MEG (Magnetoenzephalographie) • MEG misst die magnetischen Aktivität des Gehirns, durch äußere Sensoren, den sogenannten SQUIDs • SQUID = Superconducting QUantum Interference Device (Supraleitende Quanteninterferenzeinheit) • Magnetfelder werden meistens zuerst durch supraleitende Spulen oder Spulensysteme erfasst und dann durch die SQUIDs gemessen • Kühlung der SQUIDs erforderlich • Ca. 400 l flüssiges Helium pro Monat (bei voller Auslastung) • Hohe Unterhaltskosten Physikalisch Technische Bundesanstalt http://www.berlin.ptb.de/8/82/821/audimin.html 18 Biosignale und Benutzerschnittstellen – Hirnaktivität fNIRS (funktionelle Nah-Infrarot-Spektroskopie) • Nahinfrarotes Licht (NIR-Licht) dringt 6-8 cm tief in biologisches Gewebe ein • Veränderungen der optischen Dichte (DOD) des Gewebes für NIR-Licht werden durch Konzentrationsänderungen lichtabsorbierender Substanzen (Chromophoren) bewirkt • Messung der DOD für Licht verschiedener Wellenlängen erlaubt die Schätzung der Konzentrationsänderungen mehrerer Chromophoren (wichtigste biologischen Chromophoren: Hämoglobin und Cytochromoxidase) oxygenierter und deoxygenierter Anteil wird getrennt erfasst. • nichtinvasive Überwachung der Oxygenation des durchleuchteten Gewebevolumens 19 Biosignale und Benutzerschnittstellen – Hirnaktivität Magnetresonanztomographie (MRT) • MRT = MRI (MR Imaging) = Kernspintomographie • Bildgebendes Verfahren, das es ermöglicht, Strukturen im Inneren des Körpers sichtbar zu machen • Erzeugung von Schnittbildern aufgrund der magnetischen Eigenschaften des Gewebes • Prinzip: • Aufbau eines stark schwankenden Magnetfelds • Person wird diesem Magnetfeld ausgesetzt (Schäden bis heute noch unklar) • Region gesteigerter Aktivität – viel Blut – viele Atome • Atomkerne wirken wie magnetische Dipole und ändern in variierenden Magnetfeldern ihren Spin • Diese Spin-Änderung kann man messen 20 Biosignale und Benutzerschnittstellen – Hirnaktivität MRT • Beispiel: Allegra, Siemens (oben); Philips Achieva (unten) 21 Biosignale und Benutzerschnittstellen – Hirnaktivität fMRT • fMRT = fMRI: functional Magnetic Resonance Imaging • Unterscheidung von aktiven und weniger / nicht aktiven Hirnregionen • Grundlage: hämodynamische Prozesse • In der modernen Hirnforschung wird überwiegend diese Methode verwendet • Prinzip • Nutzt den BOLD Effekt • BOLD effect (BOLD=Blood Oxygen Level Dependent) • Aktivität der Neuronen im Gehirn bewirkt stärkere Durchblutung • Hämoglobin transportiert mehr Sauerstoff und verändert dadurch sein Verhalten bzgl. Störung des Magnetfeld 22 Biosignale und Benutzerschnittstellen – Hirnaktivität Positronenemissionstomograpie (PET) • Dem Probanden wird ein radioaktiver biologischer Marker in Blutstrom injiziert • Typische Beispiele für solche Marker sind radioaktive Isotope von Kohlenstoff, Sauerstoff, Stickstoff oder Flour • Die Marker senden Positronenstrahlung (β+-Strahlung) aus. • Treffen ein Positron und ein Elektron aufeinander, vernichten sie sich gegenseitig, und ein energiereiches Strahlungsquant entsteht • Die entstehende Strahlung im Zielgewebe wird mittels spezieller Detektoren gemessen • Wieso lassen sich mit dieser Methode Körperregionen erhöhter Aktivität lokalisieren? • Pionierarbeit von Kety und Sokolov: Aktivität der Neuronen führt zu erhöhtem Blutfluss • Da die Marker im Blut sind, zeigen aktive Regionen eine erhöhte Radioaktivität • Kurze Halbwertszeiten! 2 – 110 Minuten, keine Schäden 23 Biosignale und Benutzerschnittstellen – Hirnaktivität PET Prinzip • Conincidence detector: nimmt die Strahlendosis wahr, die simultan auf gegenüberliegenden Detektoren ankommt • Line detector: erhöht einen Zähler für diejenige Zeile, die zu den Detektoren gehört, an denen die Strahlung ankam • Die Werte aller Zeilen, die man als Projektion der Positronenkonzentrationen interpretieren kann, werden an den Computer weitergeleitet (keine Unterscheidung E/IPSP!!) • Am Computer wird das Bild zusammengesetzt http://de.wikipedia.org/wiki/Positronen-Emissionstomografie 24 Vergleich der Erfassungsmethoden Überblick über Methoden zur Erfassung der Gehirnaktivität (nur nichtinvasive Techniken) Biosignale und Benutzerschnittstellen – Hirnaktivität EEG MEG fNIRS fMRI SPECT PET Belästigung für den Probanden Mittel (kontakt, Gel) Gering (kontaktlos) Gering (Kontakt, aber kein Gel) Gering (kontaktlos) Hoch (Injektion ins Blut) Hoch (Injektion ins Blut) Räumliche Auflösung Einige Zentimeter, Summation Wenige Millimeter, Summation Pixel von 1cm Voxel von etwa 3mm Voxel von 1015mm Voxel von 2-5mm Zeitliche Auflösung Millisekunden Millisekunden Einige Millisekunden 2-5 Sekunden 1 Sekunde 1 Sekunde Physiologische Parameter Elektrische Aktivität der Neuronen Elektrische Aktivität der Neuronen Konzentration von Hämoglobin Konzentration von Hämoglobin Blutfluss Blutfluss Erforderliche Resourcen Wenig Platz Wenig Energie Geringe Kosten Viel Platz Viel Energie Hohe Kosten Wenig Platz Wenig Energie Mittlere Kosten Viel Platz Viel Energie Hohe Kosten Viel Platz Hohe Kosten Viel Platz Hohe Kosten Mobilität Ja Nein Ja Nein Nein Nein 25 Biosignale und Benutzerschnittstellen – Hirnaktivität Überblick • Einführung Neurowissenschaften • Methoden zur Erfassung von Hirnaktivität • EEG, MEG • Bildgebende Verfahren • Elektroenzephalographie (EEG) • Anwendungsbeispiele • Brain-Computer-Interfaces • Benutzerzustand / kognitive Belastung • Erkennung ungesprochener Sprache • Emotionserkennung 26 Biosignale und Benutzerschnittstellen – Hirnaktivität EEG Die Elektroenzephalographie (EEG) misst die Bioelektrische Aktivität des Gehirns Man unterscheidet zwischen: 1. Potenzialquellen • Also die eigentlichen Generatoren der Potenziale • Diese liegen im Kortex 2. Potenzialmuster • Strukturen des Gehirns, die den Rhythmus oder die verschiedenen Muster bedingen • Ergebnis der Interaktion komplizierter Neuronenstrukturen in kortikalen und subkortikalen Bereichen des Gehirns 27 Biosignale und Benutzerschnittstellen – Hirnaktivität Wir erinnern uns • • • • • • • Basiseinheit des Gehirns zur Informationsverarbeitung ist das Neuron Dendriten: sammeln Informationen von anderen Neuronen Zellkern: Verarbeitet diese Information Axon: Transportiert die verarbeitete Information an andere Zellen Afferente Signale: Am Neuron ankommende Signale Efferente Signale: vom Neuron über das Axon abfließende Signale Synapse: Verbindungsstelle zwischen zwei Neuronen, an der Information weitergegeben wird • Axon – Dendrit = axodendritisch • Axon – Soma = axosomatisch • Erregend (exitatorisch) • Hemmend (inhibitorisch) 28 Biosignale und Benutzerschnittstellen – Hirnaktivität Wir erinnern uns Informationsübertragung an chemischen Synapsen: • Erfolgt chemisch über Neurotransmitter • Einkommendes Aktionspotenzial triggert Transmitterausschüttung • Durch Transmitter-Rezeptor-Bindung (Schlüssel-Schloss) öffnen sich Ionenkanäle • Kommt zu Depolarisation (exitatorisch) oder Hyperpolarisation (inhibitorisch) Potenzialveränderungen • Das postsynaptische Potenzial entspricht der Potenzialdifferenz zwischen der subsynaptischen und der postsynaptischen Membran (übrige Teil des Neurons) 29 Präsynaptische Endigung Synaptischer Spalt Rezeptoren Postsynaptische Zelle Biosignale und Benutzerschnittstellen – Hirnaktivität Potenzialquelle • Das postsynaptische Potenzial verteilt sich extrazellulär • Auf der Hirnrinde kann dadurch ein weitreichendes Feld mit abnehmenden Potenzialdifferenzen gemessen werden • Dieses Feld nennt man das kortikales Feldpotenzial Die Potenzialquelle, die dem EEG zugrundeliegen, sind die Synapsen • Wie entsteht das Feld: Es entsteht ein Dipol (hier am Beispiel ESPS): + Dipol • Positive Ionen bewegen sich im postsynaptischen Neuron • Das Äußere der Membran erscheint dadurch negativer (Fehlen positiver Neuronen) • Es entsteht ein negativer Pol an der subsynaptischen Membran, und positive Pole an den anderen Membranen 30 Biosignale und Benutzerschnittstellen – Hirnaktivität Wann ist EEG ableitbar? • Pyramidenzellen spielen die wesentliche Rolle für das EEG! • Sie haben typischerweise lange Dendriten • Stehen senkrecht (vertikal) zur Hirnrinde, d.h. die Dendriten sind nach außen (Richtung Schädeldecke) gerichtet • Ca. 1/3 der Neurone in der Hirnrinde sind vertikal ausgerichtet • Feldpotenziale sind erst dann an der Kopfhaut messbar, wenn: • Gleichzeitig Tausende von Synapsen aktiviert werden • Diese Synapsen zu parallel angeordn eten Neuronen gehören, die vertikal ausgerichtete sind • Durch die Summation der Dipole ergibt sich ein sogenanntes offenes Dipolfeld, das als Potenzialdifferenz erfassbar ist Dipole sind durch Pfeile charakterisiert; Konvention: Positive Potenzialdifferenz korrespondiert zu nach unten gerichteten Amplituden, bei negative Differenzen sind Amplituden nach oben gerichtet 31 Biosignale und Benutzerschnittstellen – Hirnaktivität Offene und geschlossene Dipolfelder • Offene Dipolfelder entstehen durch Summation gleichgerichteter Dipole • Geschlossene Dipolfelder sind solche, in denen sich Dipole durch unterschiedliche Ausrichtungen (nach außen) neutralisieren • Pyramidenzellen, mit Afferenzen aus verschiedenen Richtungen • Sternzellen, die aus allen Richtungen Erregungen erhalten Die Mehrheit der Schaltzellen bildet geschlossene Dipolfelder Pyramidenzellen sind die Hauptquellen, die zum EEG beisteuern 32 Biosignale und Benutzerschnittstellen – Hirnaktivität EEG-Signal • Potenzialschwankungen im EEG werden hauptsächlich geprägt durch • Exzitatorisches postsynaptisches Potenzial - EPSP • im Bereich der oberflächennahen (apikalen) Dendriten • Allerdings haben die Erregungen in den apikalen Dendriten im Vergleich mit den axosomatischen Synapsen einen geringeren Einfluss auf die Erregbarkeitssteuerung des Neurons 33 Biosignale und Benutzerschnittstellen – Hirnaktivität EEG Die Elektroenzephalographie (EEG) misst die Bioelektrische Aktivität des Gehirns Man unterscheidet zwischen: 1. Potenzialquellen • Also die eigentlichen Generatoren der Potenziale • Diese liegen im Kortex 2. Potenzialmuster • Strukturen des Gehirns, die den Rhythmus oder die verschiedenen Muster bedingen • Ergebnis der Interaktion komplizierter Neuronenstrukturen in kortikalen und subkortikalen Bereichen des Gehirns 34 Biosignale und Benutzerschnittstellen – Hirnaktivität Potenzialmuster – Rhythmen im EEG • Hirnrindenaktivität ist keine Spontanaktivität, sondern bedingt durch ständige Afferenzen aus tieferliegenden, subcortikalen Kernstrukturen: • Thalamus • Formatio recticularis (lat. „Gestaltung“ „netzartig“; ist ein ausgedehntes diffuses Neuronennetzwerk im Hirnstamm) • Durch diese beiden unterliegt das EEG • sämtlichen Afferenzen des Zentralnervensystems!! • Einflüssen rückkoppelnder Regelungsmechanismen, die von efferenten motorischen Systemen ausgehen • Thalamus hat eine wichtige Bedeutung für die Rhythmusbildung im EEG!! • Formatio recticularis – Aufrechterhaltung der Vigilanz (Bewusstseinshelligkeit) Bildquelle: http://content.grin.com/binary/wi24/109035/0.jpg 35 Wir erinnern uns Biosignale und Benutzerschnittstellen – Hirnaktivität • Thalamus • dient als wichtiges sensorisches Umschaltzentrum, das die Information aus den Sinnesorganen filtert (»Tor zum Bewusstsein«) • Ist die zentrale Schaltstation der Sensorik • Besitzt Verbindungen zu den Groß- und Kleinhirn • Wichtige integrierende Funktion für Sensorik und Motorik • Erhält Signale von Hypothalamus und dem limbischen System • Thalamuskern wird von Formatio recticularis kontrolliert • Formatio recticularis • Schlaf-Wach Regulierung Schandry 36 Biosignale und Benutzerschnittstellen – Hirnaktivität Thalamus als Rhythmusgenerator (1) Bei verminderter sensorischer Afferenz: (2) Entstehung gruppierter Ladungen durch Umsetzung der • (a) inhibitorische Rückkopplung aus dem Nucleus reticularis thalami • (b) asynchrone Impulse in den Relaiszellen der spezif.Thalamuskerne und (3) Rhythmische Entladung führt über thalamokortikale Verbindungen zu einem entsprechenden Rhythmus der postsynaptischen Potenziale kortikaler Neuronen (4) Sichtbarer Rhythmus im EEG 37 -Grundrhythmus • Biosignale und Benutzerschnittstellen – Hirnaktivität • • • • • • α - Tätigkeit = Grundaktivität des Gehirns (bei 80% aller Menschen) α – Wellen 8-13Hz Oberes Bild: Intensität der α -Grundaktivität (schwarz=maximale Intensität) Der Grundrhythmus ist das im EEG vorherrschende Wellenmuster in der Okzipitalregion Unteres Bild: α – Grundaktivität Tritt bei maximaler Reduzierung sensorischen Inputs und optimaler Entspannung bei gleichzeitiger Aufrechterhaltung der Vigilanz (Bewußtseinshelligkeit) auf. α - Tätigkeit gewährleistet Vigilanz bei geschlossenen Augen – garantiert Reaktionsbereitschaft 39 EEG-Frequenzbänder Biosignale und Benutzerschnittstellen – Hirnaktivität • Frequenzeinteilung ist empirisch entstanden (Grenze zwischen α zum βRhythmus entspricht jedoch physiologischen Gegebenheiten) • Amplituden werden relativ zum zugrundeliegenden Rhythmus betrachtet 40 Biosignale und Benutzerschnittstellen – Hirnaktivität Frequenzbänder „EEG-Bänder“ • Verschiedene Wachheitsgrade werden von Änderungen des EEG FrequenzSpektrums begleitet, so dass die Analyse der gemessenen Spannungskurven vage Aussagen über den Bewusstseinszustand zulässt • Die Anzahl der Bändern sowie die genaue Einteilung variiert je nach Autor • Die Einteilung der Bänder und deren Grenzen sind historisch bedingt • Neurofeedback: Bereich 12 bis 15 Hz = SMR-Band (Sensorimotor Rhythm) Alpha 8 – 13 Hz 20 – 120 V Beta 13 – 30 Hz 5 – 50 V Gamma 31 – 60 Hz < 10 V Theta 4 – 8 Hz 20 – 100 V Übergang zum Schlaf, leichte Schlafphase, Reaktion nur noch auf starke Umweltreize Delta 0.5 – 4 Hz 5 – 250 V Traumlose Tiefschlafphase (ansonsten Hinweis auf patholog. Veränderungen) 41 Wach, entspannt, Augen geschlossen (Augen auf -> Beta) Augen offen, Aufmerksamkeit Anspruchsvolle Tätigkeiten, Konzentration, Lernen Biosignale und Benutzerschnittstellen – Hirnaktivität Einsatz des EEGs • Am häufigsten wird EEG im Rahmen klinischer Untersuchungen eingesetzt: • EEG von der Kopfoberfläche oder Tiefenelektroden im Gehirn (implantierte Elektroden) • Untersuchung pathologischer Veränderung • Aussagen über funktionelle Störungen • Ereigniskorrelierte Potenziale (EKP) Sensorische Verarbeitung und kognitive Funktionen • Im Rahmen von Benutzerschnittstellen kommt die Erfassung von EEG über Tiefenelektroden natürlich nicht in Betracht! 42 Biosignale und Benutzerschnittstellen – Hirnaktivität Einflussfaktoren bei EEG-Erfassung • Faktoren, die die Erfassung der Gehirnaktivität beeinflussen: • Anordnung der Neurone in der Hirnrinde • Richtung und Stärke ausgehender Dipole (nur 1/3 sind vertikal ausgerichtet …) • Ausmaß der Synchronisierung neuronaler Aktivität • Unterschiedliche Leitfähigkeit verschiedener Gewebsstrukturen • Art der Elektrodenverschaltung (=Ableitprogramm) entscheidet über die Abbildung der ableitbaren kortikalen Aktivität in der EEG-Registrierung • Abstand der EEG-Elektroden zum Potenzialgenerator 43 EEG-Erfassung an der Kopfhaut Biosignale und Benutzerschnittstellen – Hirnaktivität • • Das EEG, das an der Kopfhaut erfasst wird, hat eine • Amplitude von ca. 5 bis 100 μV (1 Mikrovolt = 1 Millionstel Volt) • Frequenz zwischen 0-80 Hz Messungen an der Kopfhaut ergeben andere Werte, als wenn man Elektroden direkt in das Gehirn implantieren würde: 1. Kopfhautelektroden messen immer eine Summation von Potenzialen (Hirngewebe und –flüssigkeit sind leitfähig) 2. Die Amplituden der originalen Potenzialdifferenz werden gedämpft (Gewebe, Flüssigkeit, Knochen bilden Widerstände) 3. Elektr. Kapazitäten entstehen durch Zellmembranen und Inhomogenitäten Re: Widerstände extrazellulärer Räume; Ri: intrazellulär; Rm: Membranwiderstände; Rs: Haut- und Schädel Widerstände; C analog für Kapazitäten; Cs entspricht der Gesamtkapazität bedingt durch die Summe aller Inhomogenitäten (nach [Dössel, 2000] und [Bolz /Urbaszek, 2002]) 44 1 2+3 Biosignale und Benutzerschnittstellen – Hirnaktivität EEG-Erfassung: Elektrodenpositionen • Die Positionen der Elektroden sollten so gewählt sein, dass die relevanten Hirnareale abgedeckt sind • International akzeptierter Standard für die Platzierung von Elektroden: 10-20 System (1957 von der International EEG Federation) • Schädelasymmetrien entsprechen meist Hirnasymmetrien, daher ist die Zuordnung der Elektroden zur Anatomie relativ zuverlässig 1. Bestimme Nasion, Inion, Prä-auricularen Referenzpunkt 2. Positioniere 19 Elektroden, Namen reflektieren anatomische Region auf dem Kortex (Fp = frontopolar, F = frontal, T = temporal, C = central, P = parietal, O = ocipital; Hinzugefügt A=Auricular) 45 Biosignale und Benutzerschnittstellen – Hirnaktivität 10-20 System Quelle http://www.bem.fi/book/13/13x/1302ax.gif 46 Biosignale und Benutzerschnittstellen – Hirnaktivität EEG-Erfassung: EEG-Kappen • Standard EEG-Kappen verwenden meist das 10-20 Layout • 19 Elektroden ausreichend für die meisten Anwendungen, es gibt aber auch 64, 128, und neuerdings 256 Elektroden-Kappen (mit Quasistandardisierten Layouts; Erweiterungen von 10-20) • Kappe hat den Vorteil, dass nicht jedes Mal alle Elektrodenpositionen vermessen werden müssen • Aber: wenn flexible Kappen verwendet werden, leidet die Zuverlässigkeit der Elektrodenpositionen • Keine Garantie, dass Elektroden genau positioniert sind • Kappen für unterschiedliche Kopfgrößen, individuelle Unterschiede • Für klinische Untersuchungen werden daher die Elektrodenpositionen genau vermessen > sehr zeitaufwendig • Für den Einsatz von EEG in Benutzerschnittstellen sollte die Positionierung schnell und leicht sein • Flexible Kappen • Oder (trage-) komfortable Lösungen 47 Biosignale und Benutzerschnittstellen – Hirnaktivität EEG-Erfassung: Geräte • Analoge vs. digitale Technik • Vorteile Digitaltechnik: Digitale EEG-Aufzeichnung erlaubt digitale Nachverarbeitung der Signale • Tragbare Geräte (Hier Varioport) vs. mobile Typen vs. immobile • Für Benutzerschnittstellen sind digitale tragbare Geräte vorzuziehen 48 16-Kanal-Verstärker Recorder Varioport © Biosignale und Benutzerschnittstellen – Hirnaktivität EEG-Erfassung: Ableitung • Wiederholung: zwei verschiedene Ableitmethoden • Bipolare Ableitung: Erfassung der Potenzialdifferenz zwischen zwei Elektroden (beide Elektroden sind auf elektrisch aktiven Gebieten platziert) • Unipolare Ableitung / Referenzableitung: Eine Elektrode liegt auf inaktivem Gebiet (Referenz) • In beiden Fällen wird das EEG differentiell gemessen, d.h. es wird die Differenz gemessen, die zwischen dem Potenzial liegt von: • Zwei Elektroden • Einer Elektrode und dem gemittelten Potenzial einer Menge von Elektroden • Bei der Referenzableitung sollten gute Bezugspunkte gewählt werden, Kriterien sind: 1. Referenzelektrode sollte weit entfernt vom Kortex liegen, damit keine Kortexaktivität miterfasst wird und 2. möglichst keine Artefakte durch andere physiologische Prozesse mit eingehen (oft A1 für linke Hälfte, A2 für rechte) 49 EEG-Erfassung: Referenzableitung • • Biosignale und Benutzerschnittstellen – Hirnaktivität • • • EEG-Signal = Differenz der Potenziale jeder Elektrode zu Referenzelektrode Differente Elektrode: Elektrode, die zur EEG-Ableitung über einer bestimmten Hirnregion liegt; auch aktive Elektrode genannt. Bezugselektrode: Eine Elektrode an einer Position, die möglichst weit von den differenten Elektroden entfernt liegt; auch indifferente Elektrode genannt Referenz ist entweder eine natürliche Referenz am Probanden (a) oder eine technische Durchschnitts- oder Mittelwertreferenz (b) VT (b) Artefakte einzelner Elektroden haben geringeren Einfluss, NT Aktivität jeder Elektrode wird mit kleiner Amplitude auf alle anderen Kanäle gemapped 50 EEG-Erfassung: Bipolare Ableitung • Biosignale und Benutzerschnittstellen – Hirnaktivität • • • • • Bei der bipolaren Ableitung werden die Potenzialdifferenzen zwischen je zwei über bestimmten Hirnregionen liegenden Elektroden gemessen Nachteil: kein „echtes“ EEG, denn es wird nicht die Approximation der Dipolkonfiguration unter den Elektroden gemessen, sondern die Differenz zwischen den Dipolkonfigurationen benachbarter Elektroden Im medizinischen Bereich sind bipolare Ableitungen interessant, um den Ort bestimmter Prozesse zu lokalisieren: findet ein Prozess an einem Ort statt, dann wird unter den beiden Elektroden an genau diesem Ort das Signal 0 Spezialfall der bipolaren Ableitung: Quellenableitung = Laplace-Ableitung: dabei wird die zentrale Ableitelektrode nacheinander mit allen Ableitelektroden rings herum verschaltet Außerdem benötigt man Masseelektroden, um die AC-Artefakte zu reduzieren (Masse bietet geringen Widerstand, damit kann Noise den Körper über diese Elektrode verlassen und liegt nicht auf dem gemessenen Signal) Beim 10-20 System verwendet man oft Fz als Masseelektrode, andere Positionen sind auch denkbar, wichtig ist, das keine Muskelaktivität einstreut. Ebe/Homma 51 Biosignale und Benutzerschnittstellen – Hirnaktivität EEG-Erfassung: Artefakte • Es gibt zwei Kategorien von Artefakten in der EEG-Erfassung: • Biologische Artefakte (erzeugt durch Proband) • Technische Artefakte (EEG-Geräte) • Biologische Artefakte: • • • • • • • • Signalartefakte: besonders Muskelaktivität (EMG in EEG) Der Haut-Elektrode-Kontakt wird beeinflusst durch Augenbewegungen, Augenblinken Elektrische Aktivität des Herzens (EKG in EEG) Zungenbewegungen, Gesichtsmuskeln Blutgefäße (wenn Elektrode direkt darüber liegt) Haareigenschaften (Haarspray, Gel, …) Physiologische und psychologische Faktoren (Schwitzen, Atmung) • Technische Artefakte: • • • • Kaputte oder verschmutzte Elektroden, korrodierte Kontakte, Kabel Schlechter Elektroden-Haut Kontakt Verstärker filtert schlecht andere elektromagnetische Störsignale Elektrostatische Aufladungen (Testleiter) 52 Biosignale und Benutzerschnittstellen – Hirnaktivität EEG-Erfassung: Typische Artefakte • Artefakt bei Referenzableitung mit techn. Durchschnittsreferenz • Einstreuung von Augenbewegungen an Fp1 und Fp2 (a) Durchschnittsreferenz aus allen Ableitpunkten gemittelt: Artefakte täuschen Bild eines Herdbefundes vor (b) Durchschnittsreferenz aus allen außer den mit den Augenartefakten belasteten Ableitpunkten ermittelt erfordert vorherige visuelle Inspektion 53 Biosignale und Benutzerschnittstellen – Hirnaktivität EEG-Erfassung: Typische Artefakte • Artefakt bei bipolarer Ableitung (a) Referenzableitung gegen Ohrelektrode (b) bipolare Ableitung: hier kann man Artefakt an Vorzeichen erkennen. Insgesamt liefert bipolare Ableitung aber weniger ausgeprägte Form und Amplitude des Signals durch Tiefpasseffekte der bipolaren Ableitung 54 Vergleich der Ableitungsverfahren Biosignale und Benutzerschnittstellen – Hirnaktivität • Gleiches Signal – unterschiedliche Ableitungsverfahren Quellenableitung: Mittelwertbezugselektrode 55 aus 4 benachbarten Elektroden Biosignale und Benutzerschnittstellen – Hirnaktivität EEG-Erfassung: Elektroden • Elektroden sind eine der kritischsten Komponente für die gute Qualität des EEG Signals! • Verschiedene Elektrodentypen wurden in früheren VL ausgiebig diskutiert • Zusammenfassung im Kontext von EEG-Erfassung für Benutzerschnittstellen • Üblicherweise werden Silberchlorid (Ag/AgCl)-Elektroden eingesetzt • Zwischen Elektrode und Kopfhaut wird Elektrolyt/Gel/Paste mit gelösten NaCl benötigt • Durch Kombination mit positiven Metallionen bildet sich ein Potenzial (Elektrolyt reduziert Hautwiderstand Rs um Größenordnungen). • Achtung: Elektrodenwiderstand wird durch Hornhaut und Fett erhöht (optimal bei etwa 5kΩ) – Glatzköpfe sind also keine guten Probanden 56 Biosignale und Benutzerschnittstellen – Hirnaktivität EEG-Erfassung: Verstärker • Differenzverstärker (diskutiert in früheren VL), elimiert Artefakte z.B. durch Stromnetz • Differente Elektrode an positivem Input Up, Referenzelektrode negativ Un • Dem Verstärker nachgeschaltet (um auch Verstärkerartefakte zu eliminieren) • Hochpassfilterung: eliminiert Offsets (Impedanzen durch Schwitzen , …) • Dem Verstärker vorgeschaltet • Tiefpassfilterung (verhindert Aliasing, Muskelbewegungen) 57 Biosignale und Benutzerschnittstellen – Hirnaktivität Lokalisierung von Gehirnaktivität • EEG/MEG liefern ein zeitlich sehr exaktes Bild der Aktivität des Gehirns, aber mit schlechter räumlicher Auflösung • Um Gehirnaktivität (dreidimensional) zu lokalisieren, werden typischerweise fMRT oder PET als bildgebende Verfahren eingesetzt. • Gute räumliche Auflösung (<5mm) • Geringe zeitliche Auflösung (>1s) • Scalp maps: Grafischen Darstellung der Hirnaktivität an der Kopfoberfläche anhand von EEG/MEG Signalen • Die Lokalisierung der Potentialquellen aus den Signalen ist allerdings im allgemeinen Fall nicht möglich (inverses Problem hat unendlich viele Lösungen) • Plot zeigt • Spektren der einzelnen Kanäle • Örtliche Energieverteilung bei 6, 10 und 22Hz durch scalp maps 58 Biosignale und Benutzerschnittstellen – Hirnaktivität Lokalisierung von Gehirnaktivität • Low resolution brain electromagnetic tomography (LORETA) • 3D-Lokalisierung der Potentialquellen ist unter Annahmen möglich EEG entsteht durch synchronisiert auftretende PSPs (postsynaptische Potentiale) Pyramidenzellen sind perpendikulär angeordnet EEG kann nur bei großflächiger Aktivität gemessen werden • Niedrige räumliche Auflösung (Voxelgröße ca. 5 cm) • LORETA ist mathematisch und empirisch validiert (anhand bekannter EKPs, und simultanem EEG/fMRT) • Beispiel: EKPs bei visueller Stimulation durch Fotos menschlicher Gesichter signifikante Aktivierung der Brodmann Areale 18, 17 und 37 rechts 59 Biosignale und Benutzerschnittstellen – Hirnaktivität Überblick • Einführung Neurowissenschaften • Methoden zur Erfassung von Hirnaktivität • EEG, MEG • Bildgebende Verfahren • Elektroenzephalographie (EEG) • Anwendungsbeispiele • Brain-Computer-Interfaces • Benutzerzustand / kognitive Belastung • Erkennung ungesprochener Sprache • Emotionserkennung 60 Biosignale und Benutzerschnittstellen – Hirnaktivität Warum EEG-basierte Nutzerschnittstellen? • Warum forschen wir an EEG-basierten Nutzerschnittstellen? • Sensoren werden am Kopf angebracht Hände frei benutzbar Wenig Einschränkungen (z.B. Kleidung) • Jedes menschliche Verhalten hat seinen Ursprung in der Gehirnaktivität hilfreich für stark behinderte/gelähmte Patienten Nur ein Device für Erkennung von Benutzerzustand, kognitiver Belastung und Emotionen (bereits am CSL vorhanden) • Unterschied der Mensch-Maschine-Interaktion zu Mensch-MenschInteraktion: Es können auch Signale verwendet werden, die unter normalen Bedingungen in der Mensch-Mensch-Interaktion nicht zugänglich wären 61 Biosignale und Benutzerschnittstellen – Hirnaktivität Warum EEG-basierte Nutzerschnittstellen? • Anforderungen: • Universelle mobile persönliche Devices • Problemlose Interaktion mit jedem, überall, zu jedem Zeitpunkt • Aktuelles Problem: • Technik fehlt Situationsbewusstsein • Technik fehlt Sinn für Nutzerbedürfnisse • Mögliche Lösung: • Intelligente, transparente menschenzentrierte Systeme • Hier: Erkennen, Analysieren und Interpretieren der Nutzerbedürfnisse • Lernansatz, der Nutzerzustand aus Hirnaktivität herleitet • Hirnaktivität: Elektroenzephalogramm (EEG) 62 Biosignale und Benutzerschnittstellen – Hirnaktivität Überblick • Einführung Neurowissenschaften • Methoden zur Erfassung von Hirnaktivität • EEG, MEG • Bildgebende Verfahren • Elektroenzephalographie (EEG) • Anwendungsbeispiele • Brain-Computer-Interfaces • Benutzerzustand / kognitive Belastung • Erkennung ungesprochener Sprache • Emotionserkennung 63 Biosignale und Benutzerschnittstellen – Hirnaktivität Brain Computer Interfaces • Brain-Computer-Interface (BCI): Steuerung von Maschinen mittels Gehirnaktivität • Für Menschen mit starken motorischen Behinderungen (z.B. Prothesensteuerung, oder Kommunikationsmöglichkeit für Locked-in Patienten) • Natürliche Schnittstelle für die Mensch-Maschine-Interaktion • Forschungsinstrument um neurologische Vorgänge zu untersuchen und zu verstehen • Meist EEG, aber auch fMRT, ECoG, oder NIRS • Beispiel: Schon durch die Vorstellung von Handlungen entstehen messbare Veränderungen der Hirnaktivität (z.B. im Motorkortex bei Vorstellung von Handoder Fußbewegungen) • „Aktive“ BCI: Kontrolle von Maschinen • „Passive“ BCI: Gehirnaktivität als Indikator für bewusste/unbewusste Vorgänge TU Berlin (2009) 64 Biosignale und Benutzerschnittstellen – Hirnaktivität Brain Computer Interfaces • Ein klassisches BCI basiert auf zwei Mechanismen: • Training von Klassifikatoren, die die generierten Gehirnaktivitätsmuster diskriminieren (maschinelles Lernen) • Außerdem lernt der Benutzer, diskriminierbare Aktivität zu generieren (Lernen durch Biofeedback) • Man bezeichnet dies auch als Koadaption: Üblicherweise passt sich der Mensch an das System an, und das System adaptiert sich an die gemessenen Signale. 65 Dornhege et. al (2007): Toward Brain-Computer Interfacing Biosignale und Benutzerschnittstellen – Hirnaktivität EEG- Signale für BCIs • Sensor-motorische Rhythmen (SMR) • μ–Rhythmus: Aktivität bei ca. 10Hz im sensor-motorischen Kortex • Desynchronisiert bei Vorstellung von Bewegungen • Slow cortical potentials (SCPs) • Benutzer lernt SCPs bewusst zu kontrollieren • Ereigniskorrelierte Potentiale (EKP) • Benutzer setzt sich einem Stimulus aus, der ein EKP auslöst • z.B. 300ms nach akustischem oder visuellem Stimulus (P300) • Steady-state evoked potentials (SSEPs) • Benutzer betrachtet mit unterschiedlicher Frequenz blinkende Lichtquellen • Aktivität im visuellen Kortex bei der Frequenz und ihren Oberschwingungen steigt • Auch durch Vibration an Fingerspitzen entstehen SSEPs im Motorkortex 66 Biosignale und Benutzerschnittstellen – Hirnaktivität Brain Computer Interfaces • Herausforderungen für BCIs • Hohe Dimensionalität • Nicht-Stationarität der Signale • Geringe Menge an Trainingsdaten • Verrauschte Daten und Ausreißer • Robustheit außerhalb von Laborbedingungen • Fehlende „Ground truth“ • BCI-Analphabetismus • State of the art • Geringe Zahl von zu diskriminierenden Aktivitäten • Robuste BCIs für einfache Aufgaben (z.B. Steuerung eines Mauscursors, Brain-Pong, Buchstabiersysteme) • Erkennungsraten bis über 90% (2-Klassen) bei untrainierten Benutzern • Geringe Kanalkapazität (ca. 0.5 bits/s) • Starkes Forschungsinteresse 67 Biosignale und Benutzerschnittstellen – Hirnaktivität Beispiel: Epoc • Epoc (Emotiv Systems) • World’s first consumer neuro head-set • Kommerziell verfügbares Peripheriegerät konzipiert für Computerspiele Emotionserkennung (Aufregung, Frustration, Engagement,…) Erkennung von Gesichtsausdrücken (Blinzeln, Lachen,…) Steuerung (12 verschiedene Bewegungen) • Bluetooth • 16 Elektroden EEG/EOG/EMG • 2 Gyroskope • Erste Evaluierungen am CSL waren recht vielversprechend 68 Biosignale und Benutzerschnittstellen – Hirnaktivität Beispiel Gaming: Mindflex Mattel-Games-MindFlex 69 Biosignale und Benutzerschnittstellen – Hirnaktivität Überblick • Einführung Neurowissenschaften • Methoden zur Erfassung von Hirnaktivität • EEG, MEG • Bildgebende Verfahren • Elektroenzephalographie (EEG) • Anwendungsbeispiele • Brain-Computer-Interfaces • Benutzerzustand / kognitive Belastung • Erkennung ungesprochener Sprache • Emotionserkennung 70 Biosignale und Benutzerschnittstellen – Hirnaktivität Interpretation menschlicher Interaktion Dazu müssen wir wissen und verstehen: Wer, was, wie, wo! • WER? • Sprecheridentifizierung und -verfolgung • Sprechertypen, Beziehung zwischen Teilnehmern • WAS? • Sprache: Wörter, Themen, Reports; Bild • Diskurszustand (Sprachakte, Themen), Spiele, Ablauf • Diskurstypus und Genre (Verhandlung, Vortrag, Plauderei) • WIE? • Emotionaler Zustand: verärgert, nervös, .. • Diskursstil: salopp, formell, familiär, … • WO? • Sprecherlokalisierung • Bestimmen der Aufmerksamkeit 71 Biosignale und Benutzerschnittstellen – Hirnaktivität Mensch-zentrierte Systeme • Erkennen, Analysieren, Interpretieren der Nutzerbedürfnisse • Maschine passt sich an Benutzer an, nicht umgekehrt! • Zur Verfügung stellen von Unterstützung • Präsentation von Ergebnissen für Benutzer • Menschen können sich auf ihre Aufgaben konzentrieren Daten Maschine Mensch 72 Mensch Beispiel Biosignale und Benutzerschnittstellen – Hirnaktivität • Mobiltelefone können sich an Nutzersituation anpassen • Computer erkennen den Zustand einer Person und entscheiden, ob diese gestört werden kann Situation Benutzerzustand Gerät Resting ok Reading ok 73 Listening Listening Speaking Beispiel Biosignale und Benutzerschnittstellen – Hirnaktivität • Computer liefert Informationen über kognitive Belastung der Vortragsteilnehmer 74 Biosignale und Benutzerschnittstellen – Hirnaktivität EEG und Benutzerzustand / -beanspruchung • Was bedeutet „Aktivierung“? • Für das entspannte Gehirn kann -Rhythmus (8 – 13 Hz) beobachtet werden • Während geistiger Aktivität wird -Rhythmus durch andere Aktivitätsmuster ersetzt • Während höherer mentaler Prozesse kann 40 Hz-Aktivität beobachtet werden 75 Aktivitätsmuster im Kortex Biosignale und Benutzerschnittstellen – Hirnaktivität • Benutzerzustand Zuhören Lesen • Kognitive Beanspruchung Niedrig Ausruhen Hoch 76 Biosignale und Benutzerschnittstellen – Hirnaktivität Ziele der Arbeit • Robustheit: • System muss robust gegenüber Artefakten durch Sprache oder Bewegung sein • Usability: • EEG-Sensoren und Rekorder müssen nutzerfreundlich und angenehm zu tragen sein • Anwendbarkeit: • Hirnaktivität muss in Echtzeit in realistischen Szenarios gemessen werden können Lösung dieser drei Ziele durch: • Entwicklung eines komfortablen Stirnbands • Entwicklung eines System, das in Mensch-Maschine Interaktion und Mensch-Mensch Kommunikation eingesetzt werden kann 77 Biosignale und Benutzerschnittstellen – Hirnaktivität Datensammlung: Ausstattung • Standard ElectroCap™ , 19 AgCl Electroden • 16 Elektroden decken alles ab außer Motorkortex • Gesichtsmuskelaktivität hat tw. Einflüsse auf Frontalelektroden, andere motorische Aktivität weniger • Stirnband für realistische Mensch-Maschine-Schnittstellen + Komfort (keine Schmerzen bei Langzeitnutzung) + Handhabung (leicht anzulegen, kein Gel in den Haaren + Pflege (leichte Reinigung) - Nachteil: begrenzt auf 4 Frontalelektroden • Samplingfrequenz: 256 Hz 78 Datensammlung: Elektroden-Setup Biosignale und Benutzerschnittstellen – Hirnaktivität 16-Kanal-Verstärker Rekorder Varioport © ElectroCap™: Fp1, Fp2, F3, F4, Fz, F7, F8, T3, T4, T5, T6, P3, P4, Pz, O1, O2 Stirnband: Fp1, Fp2, F7, F8 79 Fp1 Fp2 F7 F3 T3 A1 (left ear) T5 C3 Fz F4 F8 C4 Cz P3 10-20 Pz P4 O1 O2 T4 A2 (right ear) T6 Datensammlung: kog. Beanspruchung Biosignale und Benutzerschnittstellen – Hirnaktivität • Die Probanden hören einer Präsentation von 15-20 Minuten zu • Die Präsentation ist so gestaltet, dass verschiedene Grade der Beanspruchung hervorgerufen werden: • Low (L): keine Verständisprobleme • Medium (M): es ist etwas geistiger Aufwand nötig, um der Präsentation zu folgen, aber alles inklusive Details wird verstanden • High (H): es ist volle Konzentration notwendig, um zu folgen, der Inhalt ist klar, aber die Details können nicht mehr verstanden werden • Overload (O): Präsentation wird nicht verstanden, Proband fühlt sich überfordert • Selbsteinschätzung: Proband beurteilt eigenen Zustand • Proband, Präsentation (Folien + Audio) auf Video aufgezeichnet • Probanden sehen Video um eigene Beanspruchung einzuschätzen • schwierig, genauen Punkt zwischen Zustandswechseln zu finden 80 Biosignale und Benutzerschnittstellen – Hirnaktivität Datensammlung: Benutzerzustand 81 Verlässlichkeit der Selbsteinschätzung Biosignale und Benutzerschnittstellen – Hirnaktivität • Session 1: direkt nach der Präsentation (durchgezogener Strich) • Session 2: zwischen 2 und 8 Wochen später (gestrichelt) 82 Erkennung von Benutzerzustand / Beanspruchung User state Klassifikation Biosignale und Benutzerschnittstellen – Hirnaktivität Signalverarbeitung EEG Normalisierung Featurereduktion Artefaktelimierung Features Neuronale Netze SVM Resting Reading Presentation Listening Summarizing Arithmetics Workload Workload Overload High Medium Low 2 Zustände EEG-Kappe 92.2% Stirnband 69.0% Honal & Schultz, 2008 Benutzerzustand 6 Tätigkeiten 3 Tätigkeiten EEG-Kappe 93.4% 94.6% Stirnband 66.2% 88.6% Honal & Schultz, 2005 83 Biosignale und Benutzerschnittstellen – Hirnaktivität Artefaktbereinigung • Hauptproblem bei dieser Analyse: Artefakte durch Augenbewegung (dies sind eigentlich Muskelartefakte) • Verwende Independent Component Analysis (ICA) • Nehme an, dass die Signale x(t) der Elektroden als lineare Kombination von unabhängigen Signalen s(t) beschrieben werden kann (i.e. kortikale Feldpotenziale, Muskelartefakte, etc.): x(t) = A · s(t). • Berechne unmixing matrix B: s(t) = B · x(t). Original data ICA components (oben links): independent components werden aus Originaldaten brechnet (oben rechts): zweite Komponete (Blinzeln) wird identifiziert und verworfen Back projected data Removal of component 2 (unten links): Rückprojektion der Daten in ursprünglichen Raum 84 Zusammenfassung Biosignale und Benutzerschnittstellen – Hirnaktivität • Identifikation von Benutzertätigkeit und kognitiver Beanspruchung aus EEGSignalen ist möglich! • Zukünftige Arbeiten: • Verbesserung der Methoden zur Artefaktbereinigung • Verbesserung der Methoden zur Signalverarbeitung • Vergrößerung des Datenkorpus • Entwicklung komfortabler Aufnahmelösungen • Testen des Systems in echten Vorlesungen / Meetings 85 Biosignale und Benutzerschnittstellen – Hirnaktivität Biosignals Studio • • • • • BSS: Framework for Capturing and Processing Biosignals Data flow oriented flexible, light-weight, extensible, portable architecture Python, very few packages, easy to add new modules Modules, connected by data streams, multi-core processing Input modules currently support: EEG, EMG, Respiration belt, EDA, Audio, Video, Plethysmography, others (keyboard, steering wheel, …) • Visualization modules, Processing (Filters, FFT, ICA), Synchronization • Interaction modules: cognitive tests (Flanker, …), stimulus presentation • Supports both, Training & Development AND Online HC Interaction • Training & Development: Large scale multimodal data collections • Online Interaction: Multimodal online input layer for HC Interfaces 86 Biosignale und Benutzerschnittstellen – Hirnaktivität Cognitive Interaction Strategies • Adaptive Interaction Strategies in dynamic environments • Driving Simulator for realistic but controlled scenarios • Automatically extract drivers‘ states • Continuous Meta Data Extraction • Cognitive Modeling based on ACT-R • Adaptive Strategies: RL • Task demand, • Emotion, Mood, Personality, … • Monitoring & fusion of biosignals • EEG • Photoplethysmography (PPG) • Respiration belt (RESP) • Skin conductance (SC) • Speech & language (LIWC) • Visual features, facial landmarks 87 Biosignale und Benutzerschnittstellen – Hirnaktivität Multimodal Personality Recognition • • • • In CSL Driving Simulator Wizard of Oz experiment Virtual co-driver via head-set Limousine driver scenario Heger & Schultz 2009 88 Biosignale und Benutzerschnittstellen – Hirnaktivität Personality Recognition Results • Acoustic Features from Speech • Pitch, pulses, periods, jitter, shimmer,... • Linguistic Features from Language (Transcripts, ASR) • Linguistic Inquiry and Word Count (LIWC) • EEG Features: Power in theta, alpha, and beta bands • Visual Features: Active Appearance Models • Outputs facial landmark positions 89 Biosignale und Benutzerschnittstellen – Hirnaktivität Empathic Robots SFB 588 – Humanoid Robots • Social Human-Robot Interaction requires empathy • Skills to put oneself into the partner • Recognize, interpret from others perspective • Multi-Species-Communities [Kerstin Dautenhahn], [Terry Fong] • Human adapts to Robot (Minerva, Kismet [C. Breazeal]) • Goal: Robot adapts to HumanCapture Biosignal and interpret human … • … mental activities, cognitive load, • … personality, mood, emotion, … • EEG-based Emotion Recognition • 16-Channel ElectroCap: 62% • 4-Channel Headband: 53% • 20 subjects, IAPS pictures 90 Biosignale und Benutzerschnittstellen – Hirnaktivität EEG Workload Recognition System 80% recognition accuracy on 20 subjects Subject-adaptive system Range [70%-90%] 91 Workload Adaptive Human-Robot Dialog Evoke different task loads (Flanker) 2. Detect human task load using EEG 3. Variable presentation mode of Robot dialog system low load: short pauses, multiple items, complete utterances vs high load: long pauses, isolated single items, concise utterances) 4. Adapt presentation mode of Robot dialog system to load (utt level) 5. Evaluation: Quality, speed of task performance User satisfaction (Questionaire) Biosignale und Benutzerschnittstellen – Hirnaktivität 1. 92 ALWAYSLOW User Satisfaction 5 4 3 Biosignale und Benutzerschnittstellen – Hirnaktivität • Questionnaire after each session (11 items on 6-point scale) 2 1 ORACLE ALWAYSHIGH 0 • Would you like to collaborate with a robot of this behavior? EEGADAPTIVE ALWAYSLOW 5 4 3 2 • How do you judge the robot’s behavior concerning empathy? 1 ORACLE • Users clearly prefer an adaptive behavior over static ones 93 0 EEGADAPTIVE ALWAYSHIGH Biosignale und Benutzerschnittstellen – Hirnaktivität Überblick • Einführung Neurowissenschaften • Methoden zur Erfassung von Hirnaktivität • EEG, MEG • Bildgebende Verfahren • Elektroenzephalographie (EEG) • Anwendungsbeispiele • Brain-Computer-Interfaces • Benutzerzustand / kognitive Belastung • Erkennung ungesprochener Sprache • Emotionserkennung 94 Biosignale und Benutzerschnittstellen – Hirnaktivität Motivation • Ähnlich wie bei der Spracherkennung durch Elektromyographie wollen wir Sprache erkennen, ehe sie zum akustischen Signal wird. • Nutzbar für Silent Speech Interfaces (sicherlich komplizierter als EMG) • Besonders interessant für Locked-in-Patienten • Ziel: Erforschung des Potenzials von EEG für ASR • Idee: Erfasse Motorkortex-Aktivität (Homunculus) und Sprachregionen (i.e. Broca & Wernicke) • Vergleich verschiedener Elektrodenpositionen: sind Homunculus, Broca & Wernicke ausreichend? • Vergleich verschiedener Modalitäten: Normal, geflüstert, lautlos … und ungesprochene Sprache • Definition ungesprochene Sprache: keine Muskelbewegung, keine Atmung – nur denken, was gesprochen wird 95 Biosignale und Benutzerschnittstellen – Hirnaktivität Wiederholung: Das Gehirn Front (Eyes) Back Quelle: Neurology for Physiology Students: http://www.science.uwc.ac.za/physiology/neurology/neuro.cont.htm 96 Biosignale und Benutzerschnittstellen – Hirnaktivität Grundidee Idee: Sprache ist verbunden mit Muskelinnervation Für Muskelinnervation sind Aktionspotenziale notwendig Gehirnströme erfassen Aktionspotenziale Finde diese Muster im Motorcortex homunculus Broca: verbunden mit Wortartikulation (Läsion führt zu sinnvoller, aber nicht flüssiger Sprache) Wernicke: verbunden mit semantisch bedeutsamer Sprache (Läsion führt zu flüssiger, aber sinnloser Sprache) 97 Hardware-Setup Biosignale und Benutzerschnittstellen – Hirnaktivität Verstärker/Rekorder/PC-Anschluss ElectroCap “One” Vorverarbeitung - Tiefpassfilter - Segmentierung Training - 5-state HMM - 4 iter EM-Training - 5 to 60 Samples Feature Extraktion - Für jeden Kanal - STFT (54ms) Δ, Δ Δ 98 Evaluation - Viterbi für jedes Wort - Wähle Wort mit höchstem ViterbiScore - Cross-Validation: Leave-One-Out Biosignale und Benutzerschnittstellen – Hirnaktivität Datensammlung Setup Aufnahmesoftware nine Aufnahmeprozedur 99 Performance Biosignale und Benutzerschnittstellen – Hirnaktivität • Word Accuracy (Erkennungsrate) auf fünf Sprachmodi. Zu unterscheiden waren die 10 Ziffern (10% Chance Level) 100 Elektrodenpositionen All 16 Fp1 H,B,W,back Fp2 Fp1 GND Biosignale und Benutzerschnittstellen – Hirnaktivität Fz F4 C3 Cz C4 T4 A1 T5 P3 Pz P4 T3 A2 C3 Cz C4 T4 T5 47.24 % P3 Pz P4 T3 A2 A1 T6 GND F7 F3 Fz F4 C3 Cz C4 T4 T3 A2 A1 Cz C4 T4 A2 T5 45.51 % 45.50 % C3 A1 T5 T6 ¬H,¬B,¬W Fp1 Fp2 F7 F7 F3 H+B+W GND GND F7 T3 H,B,W,front 46.50 % H, ¬B, ¬W H,B,¬W Fp2 GND GND GND F7 F3 Fz F4 A2 A1 P3 Pz P4 T3 ¬H,B,W T6 32.06 % T3 C4 T4 C3 Cz C3 Cz C4 T4 A1 GND T3 41.30 % C4 T4 T5 101 T3 H,¬B,W A2 A1 A2 T5 40.34 % Cz 35.50 % GND F7 A1 C3 A1 40.30 % A2 A2 Biosignale und Benutzerschnittstellen – Hirnaktivität Experiment zum Einfluss temporaler Effekte • Problem: Aufnahme der Wörter erfolgte blockweise • Daher wurden die Erkennungsraten durch temporal korrelierte Artefakte im EEG Signal überschätzt! Neue Studie: Untersuchung des Einflusses der Wortreihenfolge auf das EEGSignal • Wiederholung von fünf Wörtern in unterschiedlicher Reihenfolge • Blockweise: eine Sequenz von Blöcken mit je 20 Wiederholungen • Kurze Blöcke: 4 Sequenzen von Blöcke mit je 5 Wiederholungen • Sequentiell: 20 Sequenzen aller Wörter • Randomisiert: zufällige Reihenfolge der Wörter 102 Biosignale und Benutzerschnittstellen – Hirnaktivität Ergebnis • Temporale Effekte haben großen Einfluss auf das EEG-Signal! • Durchschnittliche Erkennungsleistung: (Chance: 20%) • Blockweise: 45.95% • Kurze Blöcke: 22.10% • Randomisiert: 19.48% • Sequentiell: 18.09% • Zusammenfassung: • Sorgfältiges Vorgehen bei Experimentdesign erforderlich! • Mögliche Verbesserungen: Verbesserung der Erkennungsmethoden Sprecher erhält beim Training Feedback über erkanntes Wort 103 Speech Detection on Brain Activity Biosignale und Benutzerschnittstellen – Hirnaktivität Functional Near Infrared Spectroscopy (fNIRS): • Brain imaging technique based on the concentration changes of oxy-haemoglobin (HbO) and deoxy-haemoglobin (HbR) • Focus on Broca and Wernicke area, prefontal and lower motor cortex related to speech tasks Optode positions of 32 electrodes (left side - frontal view, right side left lateral view) Differentiate Speech (Sp) from Pause (P) independent of mode: Speaking Audibly (A), Silently (S), Imagine (I) Average classification results across 5 subjects [in %] In collaboration with Prof. Cuntai Guan, I2R, Singapore [Herff et al. 2011] 104 Biosignale und Benutzerschnittstellen – Hirnaktivität Überblick • Einführung Neurowissenschaften • Methoden zur Erfassung von Hirnaktivität • EEG, MEG • Bildgebende Verfahren • Elektroenzephalographie (EEG) • Anwendungsbeispiele • Brain-Computer-Interfaces • Benutzerzustand / kognitive Belastung • Erkennung ungesprochener Sprache • Emotionserkennung 105 Biosignale und Benutzerschnittstellen – Hirnaktivität Motivation • Media Equation (Reeves & Nass, 1995): Mensch-Maschine-Interaktion = Mensch-Mensch-Interaktion Kooperation Feedback Gender • Im Team bessere Performance mit Personen, die ähnlich oder ergänzend zu einem selbst sind (Dryer & Horowitz, 1997) • Computer können starke negative Emotionen reduzieren, indem sie darauf eingehen (Klein et al., 2002) • Menschen verhalten sich emotionaler, wenn sie das Gefühl haben, mit affektiven System zu interagieren (Axelrod, 2004) 106 Biosignale und Benutzerschnittstellen – Hirnaktivität Anwendungsmöglichkeiten • Erweiterung der computergestützten Kommunikation um emotionale Komponente • Erweiterung der Bandbreite von E-Mails • Emotionale Sprachsynthese • Lernumgebungen • Yerkes-Dodson-Law (Zusammenhang zwischen Erregung und Leistung, rechts) • Gaming / Entertainment • „Points for courage“ • Affective DJ • Hilfestellungen / Feedback • Emotionsabhängige Benutzerpräferenzen • Emotionale Unterstützung für Autisten 107 Emotionen Biosignale und Benutzerschnittstellen – Hirnaktivität • Subjektiv erlebte Emotionen (Zustände, die von einer Person als Emotionen benannt werden können) • Emotionale physiologische Reaktion in Gehirn und Nervensystem, das emotionalen Stimuli zugeschrieben werden kann • Emotionales Verhalten, das aus Sicht externer Betrachter als Reaktion auf emotionale Stimuli gesehen werden kann 108 Biosignale und Benutzerschnittstellen – Hirnaktivität Emotionen: Modelle • Kategorisch • Zwischen 5 – 10 Basisemotionen (= grundlegende Emotionen • Komplete Emotionen aus Basisemotionen zusammengesetzt • Z.B. Ekman: Fröhlichkeit, Wut, Ekel, Furcht, Verachtung, Traurigkeit, Überraschung • Kulturübergreifend, Entstehung evolutionär bedingt und durch soziales Lernen erweitert • Dimensional • 2 – 3 Dimensionen • Valence, Arousal (, Dominance) • Zustände als Punkte in 2 / 3-dimensionalem System • Ebenfalls kulturübergreifend 109 Emotionen vs. Stimmungen Biosignale und Benutzerschnittstellen – Hirnaktivität Emotion Stimmung Funktion Einfluss auf Aktionen Einfluss auf Kognition Ursache Durch bestimmte Ursache ausgelöst Auch ohne bestimmte Ursache möglich Konsequenzen Bereitet Organismus auf Großer Einfluss auf Aktivität vor kognitive Prozesse Kontrolle Nicht kontrollierbar Teilw. kontrollierbar Dauer Kurz Lang Intensität Stark Gering Phsysiologie Unterschiedliche physiologische Muster Keine unterschiedlichen physiologischen Muster Beedie et al. (2005) 110 Emotionsinduktionsmethoden • Freie mentale Erzeugung von Emotionen Biosignale und Benutzerschnittstellen – Hirnaktivität • Hypnose • Vorstellung • Geführte mentale Erzeugung von Emotionen • Velten-Technik • Film / Story / Bilder / Musik (mit Anleitung) • Präsentation von emotionsinduzierendem Material • Film / Story / Bilder / Musik (ohne Anleitung) • Geschenke • Präsentation von bedarfsbezogenen emotionalen Situationen • Erfolg / Misserfolg • Soziale Interaktion • Erzeugung emotional relevanter physiologischer Zustände • Drogen • Gesichtsausdruck 111 Biosignale und Benutzerschnittstellen – Hirnaktivität Systemüberblick Emotionsinduktion Signalverarbeitung / Feature Extraktion mit Wavelets Klassifikation HMM 112 mit STFT SVM Emotionsinduktion Biosignale und Benutzerschnittstellen – Hirnaktivität 90 Bilder aus dem International Affective Picture System (je 30 positiv, neutral bzw. negativ) Unterschiedliche Bildersets für männliche und weibliche Probanden Testphase: 5 Bilder 2 Sessions a 45 Bilder Bildbewertung • Insgesamt: 20 Probanden (18 m, 2 w) • Durchschnittsalter: 26 (SD: 2.15) • Rechtshänder: 17, Linkshänder: 3 • EEG-Kappe: 15 Probanden (13 m, 2 w) • Headband: 5 Probanden (5 m) 113 Biosignale und Benutzerschnittstellen – Hirnaktivität Aufnahme der Signale EEG-Kappe: 10-20-System Stirnband: Fp1, Fp2, F7, F8 114 Erkenner SVM-basierter Erkenner (basierend auf Matlab) Biosignale und Benutzerschnittstellen – Hirnaktivität Vorverarbeitung, Feature Extraktion EEG STFT Filterung Normalisierung Averaging Feature Reduktion Klassifizierung SVM Hypothese Positiv Neutral Negativ HMM-basierter Erkenner (basierend auf Janus Recognition Toolkit) Vorverarbeitung, Feature Extraktion EEG Normalisierung Filterung DTCWT 115 Klassifizierung HMM Hypothese Positiv Neutral Negativ Biosignale und Benutzerschnittstellen – Hirnaktivität Ergebnisse • SVM-basierter Erkenner: • 62.07% EEG-Kappe • 51.61% Frontalelektroden (Headband) • 51.74% Mittelelektroden • HMM-basierter Erkenner: • 46.15% EEG-Kappe 116 Biosignale und Benutzerschnittstellen – Hirnaktivität Ausblick • Erweiterung des Datenkorpus • Evtl. Einsatz weiterer Emotionsinduktionsmethoden • Optimal: spontane Emotionen • Kategorische Emotionen • Multimodalität • Kombination mit anderen Biosignalen • Robustheit • Verbesserung der Signalverarbeitung • Online Erkennung • Usability • Erhöhung des Tragekomforts • Verwendung von kabellosen Sensoren 117
