Biosignal Augenaktivität
Werbung
Biosignale und Benutzerschnittstellen – Augenaktivität Vorlesung WS 2012/2013 Biosignale und Benutzerschnittstellen Biosignal: Augenaktivität Prof. Dr. Tanja Schultz Dipl. Math. Michael Wand 1 Literatur für diese Vorlesung Biosignale und Benutzerschnittstellen – Augenaktivität K.-P. Hoffmann: Nystagmographie, Kapitel 13, pp. 185-192 in: Kramme (Hrsg.), Medizintechnik, Springer, 3. Auflage, 2006 Silbernagl/Despopoulus: Dtv-Atlas der Physiologie Das visuelle System, Kapitel 12, pp. 242-270 in: R. Schandry, Biologische Psychologie – Ein Lehrbuch, 2. Auflage, 2006, BeltzPVU Papersammlung zur Vorlesung - Ordner - Verfügbar bei Frau Scherer - Sekretariat CSL - Fachschaft (geplant) 2 Biosignale und Benutzerschnittstellen – Augenaktivität Nystagmographie • Nystagmus (griech.: nystázein = nicken, schlafen) sind unkontrollierbare, rhythmische Bewegungen eines Organs • Üblicherweise bezieht man sich bei diesem Organ auf das Auge • Nystagmus = „Augenzittern“ • (klinisch) Nystagmus = schnellen Phase der Augenbewegung • Nystagmographie = elektrische od. optische Registrierung der Augenbewegung 3 Taxonomie Biosignale Biosignale und Benutzerschnittstellen – Augenaktivität Biosignale Mechanische Biosignale Thermische Biosignale Elektrische Biosignale Wärme Gestik Augen EOG Bewegung Mimik Hirn EEG Muskeln EMG 4 Chemische Biosignale MEG/PET fMRI Herz EKG Akustische Biosignale Körpergeräusche Nichtsprachl. Artikulation Sprache Biosignale und Benutzerschnittstellen – Augenaktivität Anwendungen von Augenverfolgung • • • • Entwicklungspsychologie Industriedesign und Werbungsforschung Kognitive Psychologie und Neuropsychologie Mensch-Maschine Schnittstellen • Interface Design Forschung • Entertainment / Gaming • Lesestudien / Lernen • Das Auge als direkte Eingabemodalität Augenverfolgung statt Maus • Menschliche Interaktion / Kommunikation Focus of Attention 5 Biosignale und Benutzerschnittstellen – Augenaktivität Überblick • • • • • Das Auge Augenbewegungen Technik und Methodik Geräte und Verfahren Anwendungsbeispiele 6 Biosignale und Benutzerschnittstellen – Augenaktivität Auge als optischer Apparat Kamera Auge Linsensystem mit variabler Brennweite Augenlinse Blende mit verstellbarer Öffnung Pupille Lichtempfindliche Fläche = Film Netzhaut Entfernungseinstellung Akkomodation Blendeneinstellung (Lichteinfall regulieren ) Pupillenweite (1,5 – 8mm) 7 Schandry, S.243 Biosignale und Benutzerschnittstellen – Augenaktivität Das Auge • Optischer Apparat des Auges: Hornhaut (Kornea), Kammerwasser, Linse, und Glaskörper • Einfallendes Licht durchdringt den optischen Apparat, bevor es die Netzhaut (Retina) mit den lichtempfindlichen Rezeptoren trifft • Dieser Apparat wirft ein (umgekehrtes) verkleinertes Bild der Umwelt auf die Netzhaut dtv-Atlas, S.281 8 Biosignale und Benutzerschnittstellen – Augenaktivität Hornhaut & Augenlinse Die Hornhaut (Kornea) • Die Hornhaut ist das (klare) Fenster zum Auge. • Durch sie gelangt Licht in das Auge. Die Augenlinse • Die Augenlinse ist ein kleiner, elastischer, aus durchsichtigen Fasern bestehender Körper. • Als „natürliche Lupe“ dient sie zur Scharfstellung des Bildes. Wikipedia - Auge 9 Biosignale und Benutzerschnittstellen – Augenaktivität Der Ziliarkörper • Der Ziliarkörper liegt hinter der Iris. • Hier wird die Augenflüssigkeit gebildet die durch die Kammerwinkel abfließt. • Am Ziliarkörper sitzt auch der Muskel, der die Linse verformt und so das Nahsehen ermöglicht. Wikipedia - Auge 10 Biosignale und Benutzerschnittstellen – Augenaktivität Iris & Vorderkammer Die Iris • Die Iris ist eine farbige Blende, die durch ein Loch, die Pupille, Licht in das Innere des Auges lässt. • Bei starkem Lichteinfall zieht sie sich zusammen und die Pupille wird enger. Die Vorderkammer • Vorderkammer nennt man den Raum zwischen Iris und Hornhaut. • Sie enthält die Augenflüssigkeit, die die Hornhaut ernährt. Wikipedia - Auge 11 Aderhaut & Lederhaut Biosignale und Benutzerschnittstellen – Augenaktivität Die Aderhaut • blutgefäßreiche Schicht die der Versorgung dient. Die Lederhaut • feste, weiße Hülle des Auges. • Vorne geht sie in die durchsichtige Hornhaut über. Wikipedia - Auge 12 Biosignale und Benutzerschnittstellen – Augenaktivität Die Netzhaut (Retina) • Die Netzhaut stellt die lichtempfindliche Innenauskleidung des Auges dar, in der verschiedene Sinneszellen sitzen. • Die Stäbchen sind für das Schwarz/Weiß-Sehen zuständig. • Die Zapfen sind für das Farbensehen zuständig. • Die Netzhaut wird mit eigenen Blutgefäßen versorgt. Wikipedia - Auge 13 Biosignale und Benutzerschnittstellen – Augenaktivität Der Sehnerv (N. Opticus) • Der Sehnerv überträgt die Informationen von der Netzhaut mit ihren Sinneszellen an das Gehirn. • An der Stelle, an der er aus dem Auge austritt, befinden sich keine Sinneszellen. • Man spricht hier auch vom „blinden Fleck“. • Beim Eintritt ins Gehirn kreuzen sich die Sehnerven, so dass die Informationen des linken Auges an die rechte, und die Informationen des rechten Auges an die linke Hirnhälfte weitergegeben werden. Wikipedia - Auge 14 Die Augenmuskeln Biosignale und Benutzerschnittstellen – Augenaktivität • Die sechs Augenmuskeln drehen die Augen und ändern damit die Blickrichtung. Wikipedia - Auge 15 Biosignale und Benutzerschnittstellen – Augenaktivität Das Auge • Einwandfreie Bildwiedergabe setzt voraus: • Durchsichtigkeit • Formkonstanz • glatte Oberflächen der einzelnen Teile • Durchsichtigkeit: • Tränenflüssigkeit verbessert Eigenschaften der Kornea • Iris regelt Lichteintritt durch ringförmige und radiäre Muskelfasern, die die Pupille verengen oder erweitern • Formerhaltung des Augapfels: • Hülle des Auges (Lederhaut – Sklera) • Augeninnendruck (Produktion und Abfluss des Kammerwassers) 16 Biosignale und Benutzerschnittstellen – Augenaktivität Muskeln am Auge • Äußere Augenmuskeln: • Horizontale Auslenkung • Vertikale Auslenkung • Rollen Wirkung der Muskeln, rechtes Auge wikipedia 17 Wikipedia Biosignale und Benutzerschnittstellen – Augenaktivität Muskeln am Auge • Inneren Augenmuskeln: • Musculus sphincter pupillae: Pupillenverenger • Musculus dilatator pupillae: Pupillenerweiterer (beide zur Adaptation an die Lichtverhältnisse) • Musculus ciliaris: zur Akkommodation, d.h. Krümmung der Linse Querschnitt durch den Ziliarkörper, die Linse und den Musculus sphincter pupillae Wikipedia 18 Biosignale und Benutzerschnittstellen – Augenaktivität Das Auge – ein Optisches System • Lichtstrahlen, die aus der Luft in ein anderes Medium übertreten, werden gebrochen • Bei kugelförmigen Grenzflächen entsteht eine Abbildung, d.h. alle von einem Punkt ausgehenden Strahlen treffen sich wieder in einem Punkt jenseits der Grenzfläche • Vorderer Brennpunkt FV (in der Luft), Hinterer Brennpunkt FH • Hauptpunkt H, Knotenpunkt K • Strahlen von entfernten Punkten werden als parallel betrachtet • Sie treffen sich in FH, wenn sie außerdem parallel zur optischen Achse eintreffen • Treffen sie schräg auf, werden sie neben FH in derselben Brennebene abgebildet • Strahlen von nahen Punkten sind nicht parallel und werden daher nicht in der Brennebene, sondern hinter FH abgebildet 19 dtv-Atlas, S.281 Biosignale und Benutzerschnittstellen – Augenaktivität Linse – Akkommodation • Linse ist bikonvex gekrümmt (vorne etwas schwächer als hinten) • Brechkraft der Linse wird verstellt durch Veränderung ihrer Wölbung • Ringförmiger Ziliarmuskel: Kontraktion bewirkt Verringerung des Durchmessers der Linse stärkere Krümmung (insbes. Vorne) • Ein System von winzigen Bändern Zonulafasern spannt Linse ein • Kinder können die Brechkraft bis 14 Dioptrien variieren • Im Alter nimmt Elastizität der Linse ab, verminderte Krümmung • 10-jährige: 12 D 30-jährige: 7,5 D 50-jährige: 2 D 70-jährige: 0,5 D 20 dtv-Atlas, S.281 Biosignale und Benutzerschnittstellen – Augenaktivität Linse – Akkommodation • Fernakkommodation: die zueinander parallelen Strahlen, die von einem fernen Punkt herrühren, werden bei FH scharf abgebildet, genau bei FH liegt die Retina, so dass die Rezeptoren ein scharfes Bild erhalten (links, ) • Nahe Punkte sind unscharf, da sie hinter der Retina abgebildet werden (links, ) • Bei Nahakkommodation erhöht sich die Krümmung der Linse und damit die Brechkraft, nahe Punkte wandern in die Retinaebene (rechts, ) dtv-Atlas, S.282 21 Biosignale und Benutzerschnittstellen – Augenaktivität Retina • Innenseite der Bulbuswand ist von der Retina ausgekleidet • Ausgespart ist der Ausgang des Sehnervs • Gegenüber der Pupillenöffnung liegt das Zentrum des schärfsten Sehens (fovea centralis) • Retina enthält Stäbchen und Zapfen, Rezeptoren für Licht • Die zentralen Fortsätze verlassen als N. opticus den Bulbus (Augapfel) • Inversion der Retina 22 dtv-Atlas, S.281 Biosignale und Benutzerschnittstellen – Augenaktivität Sehschärfe • Unter guten Lichtverhältnissen kann das normale Auge zwei Punkte unterscheiden, wenn davon ausgehende Strahlen einen Winkel von einer Bogenminute (1‘ = 1/60 ) bilden • Wenn Sie aus 3,3 m die Öffnung des rechten Landolt-Ringes erkennen können, beträgt Ihr Visus 1,0 dtv-Atlas, S.285 23 Biosignale und Benutzerschnittstellen – Augenaktivität Sehfarbstoff • Stäbchen und Zapfen enthalten Sehfarbstoffe • Sie sind die Mittler bei der Umwandlung des Lichtreizes in eine elektrische Erregung des N.opticus • Rhodopsin: Proteinanteil (Opsin), Aldehyd (11-cis-Retinal) • Lichtreiz bewirkt Umlagerung am C-Atom 11 des Aldehyds Opsin + 11-trans-Retinal (dies bewirkt Erregung) dann zerfällt der Komplex und verliert rote Farbe (Bleichung) • Regenerierung Energieaufwand • Retinal ist das Aldehyd des Alkohols Retinol des Vitamin A1 • Bei A1 Mangel Nachtblindheit 24 dtv-Atlas, S.285 Biosignale und Benutzerschnittstellen – Augenaktivität Anpassung an Helligkeit Mechanismen zur Adaption an Helligkeitsunterschiede: 1. Pupille: kann Menge des einfallenden Lichtes um Faktor 16 verändern 2. Chemische Anpassung: viel Licht Senkung der zytosolischen Ca2+Konzentration der Sensoren über längere Zeit Verminderung der Verfügbarkeit von Rhodopsin und Transducin Wahrscheinlichkeit, dass Rhodopsinmolekül durch weiteres Licht getroffen wird sinkt 3. Räumliche Summation: Retinafläche (= Sensorenzahl), aus der die Sehnervfaser Erregung bekommt, kann verändert werden 4. Zeitliche Summation: kurze unterschwellige Reize können durch Reizverlängerung überschwellig werden 25 Biosignale und Benutzerschnittstellen – Augenaktivität Farbensehen • Voraussetzung für Lichtempfindlichkeit der Photosensoren: Licht muss absorbiert werden • 3 Arten von Zapfen: • K-Zapfen: absorbieren kurzwelliges, blauviolettes Licht • M-Zapfen: absorbieren mittelwelliges, blaugrünes bis gelbes Licht • L-Zapen: absorbieren langwelliges, gelbes bis rotes Licht • Farbe auf Sehrinde wird konstruiert aus: • Meldungen der Zapfen • Umsetzung in einen Helligkeitskanal und in Gegenfarbkanäle in Retina und CGL • Bis zu 200 verschiedene Farbtöne 26 dtv-Atlas Biosignale und Benutzerschnittstellen – Augenaktivität Gesichtsfeld, Sehbahn • Gesichtsfeld: Ausschnitt aus der Umwelt, den unbewegtes Auge bei fixiertem Kopf sieht • Dinge in nasal gelegenen Gesichtsfeldhälften der Augen werden in temporal gelegenen Netzhauthälften abgebildet und umgekehrt • Fasern des Nervus Opticus bleiben auf gleicher Seite, Fasern im Chiasma Opticum laufen überkreuz 27 dtv-Atlas Biosignale und Benutzerschnittstellen – Augenaktivität Plastisches Sehen und Entfernungssehen • Entfernungssehen und plastisches Sehen sind in erster Linie eine Leistung beider Augen gemeinsam. Daher spricht man vom binokulären (beidäugigen) Gesichtsfeld (Abb. A) • Fixiert man mit beiden Augen einen Punkt, wird dieser beidseitig auf der Fovea abgebildet (Al, Ar), nämlich auf den sog. korrespondierenden Stellen der Netzhaut • Gleiches gilt für die Punkte B, C, da sie auf einem Kreis liegen, der durch A und beide K gebildet ist (Horopterkreis) 28 dtv-Atlas, S.294 Biosignale und Benutzerschnittstellen – Augenaktivität Plastisches Sehen - Tiefensehen • Auf einem gedachten Mittelauge, das die beiden Netzhäute (im Sehzentrum) zur Deckung bringt, entsprechen korrespondierende Netzhautstellen einem Punkt AL+AR := AM • Für Punkte D außerhalb des Horopterkreises sieht das Mittelauge ein Doppelbild (D‘ und D‘‘), D‘ vom linken Auge • Liegen D und A nicht zu weit auseinander, entsteht durch zentrale Verarbeitung des Doppelbildes der Eindruck, D läge hinter A = Tiefenwahrnehmung • Analoges mit Punkt E, der näher als A erkannt wird (E‘ stammt vom rechten Auge) dtv-Atlas, S.294 29 Biosignale und Benutzerschnittstellen – Augenaktivität Tiefensehen und Entfernungssehen • Bei einäugigem Sehen oder Sehen auf weite Entfernungen wird Wahrnehmung durch folgende Phänomene erzeugt • Konturenüberschneidungen (D1), • Dunst (D2), Schattenwurf (D3), • Größenunterschiede (D4), etc. • Nähere Gegenstände bewegen sich schneller im Gesichtsfeld als entferntere (Tiefenwahrnehmung durch Relativbewegungen) dtv-Atlas, S.294 30 Biosignale und Benutzerschnittstellen – Augenaktivität Netzhaut • Mittlere Dicke 1/5mm • 6 Schichten versch. Zelltypen 1. Pigmentepithelzellen = Ernährung 2. Photorezeptorzellen Z/S = Licht Signal Nerv 3. Horizontalzellen schaffen Querverbindungen zwischen entfernt liegenden Z/S und Bipolarzellen 4. Bipolarzellen Synapsen mit S/Z Axone mit Ganglienzellen 5. Amakrine Zellen schaffen Querverbindungen zwischen BPZ und GZ 6. Ganglienzellen Axone bilden Sehnerv Schandry, S.246 31 Biosignale und Benutzerschnittstellen – Augenaktivität Molekulare Vorgänge • Stäbchen (S) / Zapfen (Z) mit „Stapel“ aus ca. 1000 Membranscheiben / -einfaltungen • Diese enthalten die Sehfarbstoffe (Photopigmente) • S/Z Pigmente unterscheiden sich in chemischer Struktur • Pigment der Stäbchen: Rhodopsin • Lichtenergie verändert dieses Molekül in seiner räumlichen Struktur • Pigment der Zapfen: ähnlich aber 3 Zapfentypen für rot/grün/blau und entsprechend versch. photosensitiver Pigmente Schandry, S.247 32 Biosignale und Benutzerschnittstellen – Augenaktivität Photochemischer Prozess • Lichtenergie: 11-cis-Retinal Form geht über in all-trans-Form • Rhodopsin wird in Metarhodopsin II umgewandelt (wenige ms !) • M II verringert die Permeabilität der Stäbchenmembran für Natrium- und Kalziumionen • Bei Dunkelheit bleiben Na, Ka Kanäle auf durch zykl. Guanosinmonophosphat (cGMP) • Ständiger Strom positiver Ionen, das Zellinnere ist relativ depolarisiert • Licht Überschuss MetarhodopsinII cGMP wird umgewandelt in ein unwirksames Molekül zahlreiche Kanäle schließen sich weniger positive Ionen können einströmen negatives Zellinnnere weniger Transmitterausschüttung an Synapsen • Aktive Pumpe befördert Ca aus Zelle cGMP wird vermehrt gebildet Kanäle öffnen sich wieder • Anpassung an erhöhte Lichtzufuhr 33 Biosignale und Benutzerschnittstellen – Augenaktivität Photochemischer Prozess • Schnelle Adaption der Stäbchenaktivität • Das Visuelle System ist in erster Linie ausgelegt, Veränderungen des Lichteinfalls zu registrieren • Lässt die Beleuchtungsstärke nach, wird sofort Synthese von Rhodopsin stattfinden und das System ist wieder reaktionsbereit • Vorgänge in den Zapfen sind ähnlich ABER • Drei Zapfentypen für die Farben ROT, GRÜN, BLAU • Adaption an ändernde Lichtverhältnisse: Pupillenweite, Unterdrückung Stäbchensehen wenn hell, Stäbchen wenn dunkel • Dunkeladaption: Helligkeit: Farbstoffaufspaltung ergibt All-Trans-Retinal Dunkelheit: bevorzugt 11-cis • Nachtblindheit: Vitamin A1 11-cis • Stäbchen sind lichtempfindlicher als Zapfen • Stäbchen brauchen bis 1 Stunde für komplette Dunkeladaption 34 Biosignale und Benutzerschnittstellen – Augenaktivität Stäbchen vs. Zapfen • • • • • Die Stäbchen („rods“) für das skotopische Sehen in Dämmerung Lichtsensitiv und aktiv bei wenig Licht, aber kein Farbensehen Menschen, die keine Stäbchen haben, sind nachtblind. Das Pigment der Stäbchen ist Rhodopsin; Die Zapfen („cones“) für das photopische Sehen in Helligkeit • Farbsensitiv, aber nicht aktiv bei wenig Licht • Wenn sie fehlen, dann ist man tagblind. • Die 3 Pigmente der Zapfen (Photopsine) sind • Porphyropsin = Photopsin 1 (L-Zapfen, Rot, langwellig empfindlich ~543nm, X-Chromosome) • Iodopsin = Photopsin 2 (M-Zapfen, Grün, mittelwellig empfindlich ~522nm, X-Chromosom) • Cyanoposin = Photopsin 3 (K-Zapfen, Blau, kurzwellig empfindlich ~420nm, Chromosom 7) 35 Biosignale und Benutzerschnittstellen – Augenaktivität Exkurs 1: Inverse Retina – warum? • Diese Frage bis heute nicht eindeutig beantwortet • Siehe z.B. Klaus Neuhaus und Henrik Ullrich http://www.wort-und-wissen.de/index2.php?artikel=sij/sij71/sij71-1.html • … inverse Retina … aus evolutionstheoretischer Sicht als phylogenetisch bedingte Fehlkonstruktionen bewertet … • … dass plausible Erklärungsmodelle für die Evolution von Wirbeltieraugen bis heute nicht verfügbar sind • Sehr interessanter Artikel: • Denton MJ (1999) The inverted Retina: Maladaptation or Pre-adaptation? Origins & Design 4, 14-17. • http://www.arn.org/docs/odesign/ od192/invertedretina192.htm 36 Biosignale und Benutzerschnittstellen – Augenaktivität Erklärungsversuch von Denton • Photorezeptoren generieren Nervenimpuls aus einem einzigen eingefangenen Photon = Verstärkungsleistung von ca. 105-106 • Dafür brauchen die Photorezeptoren extrem viel Energie • Photorezeptoren sind die „sauerstoffhungrigsten“ Zellen • Die gute Blutversorgung wird durch das Pigment Ephitel (RPE) gewährleistet (sie transportiert auch abgenutzte Teile der Photozellen ab) • Blutgefäße zwischen den Photorezeptoren Lücken zwischen den Rezeptoren schlechtere Auflösung • Blutgefäße an die Oberseite behindert Lichteinfall • Blut absorbiert das Licht sehr gut!! (außer rot) • Im Gegensatz dazu ist das Zellengeflecht transparent • (interessante Frage: warum inverse Retina bei kaltblütigen Fischen? – Präadaption?) 37 Biosignale und Benutzerschnittstellen – Augenaktivität Exkurs 2: Vitamin A1 Mangel • Warum führt A1 Mangel zu Nachtblindheit und nicht zu allgemein schlechter Sehkraft am Tag? • Das Pigment der Stäbchen ist das Rhodopsin (Sehpurpur) • Rhodopsin besteht aus dem Vitamin-A Aldehyd (11-cis-Retinal) und dem Eiweiß Opsin • Lichtreiz bewirkt Umlagerung am C-Atom 11 des Aldehyds Opsin + all-trans-Retinal, Opsin wird abgespalten • Dadurch wird eine Signalkaskade in Gang gesetzt, die letzten Endes zum Sehnerv führt. • Kein A1, kein 11-cis • Rhodopsin und Photopsin sind unterschiedlich in Regeneration • http://media.iupac.org/publications/ pac/1991/pdf/6301x0171.pdf 38 Biosignale und Benutzerschnittstellen – Augenaktivität Überblick • • • • • Das Auge Augenbewegungen Technik und Methodik Geräte und Verfahren Anwendungsbeispiele 39 Biosignale und Benutzerschnittstellen – Augenaktivität Das Okulo-motorische System Aufgaben des Okulo-motorischen Systems: • Binokuläre Zentrierung und Fixierung der interessierenden Bildabschnitte auf Stelle des schärfsten Sehens • Fovea centralis (ca. 0,8 des zentralen Gesichtsfeldes) • Vermeiden retinaler Bildverschiebungen bei Eigen- und Umweltbewegungen • Zur Lösung dieser beiden Aufgaben stehen schnelle und langsame Augenbewegungen zur Verfügung: • Sakkaden (visueller Greifreflex) • Langsame Folgebewegung • Vestibulärer und optokinetischer Nystagmus • Konvergenzbewegung • Fixation (Fixationsphase ist von Mikrosakkaden gekennzeichnet) 40 Biosignale und Benutzerschnittstellen – Augenaktivität Augenbewegungen • Aufrechterhaltung des binokulären räumlichen Sehens wird sichergestellt durch: • Genauigkeit der sensomotorischen Verknüpfung • Möglichkeiten zur Kompensation von Störungen Bild: Schematische Darstellung der Augenbewegungen • Sakkaden • Folgebewegungen • Nystagmus • Konvergenz 41 K.-P. Hoffmann, S.186 Biosignale und Benutzerschnittstellen – Augenaktivität Sakkaden Definition: Sakkaden sind schnelle (ruckartige) Augenbewegungen, die dem Erfassen eines neuen Fixationspunktes dienen (z.B. Lesen einer Zeile) • Zerebelläre Kontrolle (Kleinhirn) • Generierung in der paramedianen pontinen Formatio reticularis • Maximale Geschwindigkeit: 700/s Geschwindigkeit nimmt mit der Größe der Bewegung zu • Dauer: 30 – 120ms • Latenz • Überschwingweite: prozentuale Abweichung vom Fixationsort nach einer Sakkade • Wird das neue Blickziel nicht erreicht, erfolgt nach etwa 100-300 ms eine Korrektursakkade 42 Biosignale und Benutzerschnittstellen – Augenaktivität Sakkaden • Sakkaden lassen sich unterscheiden in: • Intern getriggerte Willkürsakkaden (Erinnerungssakkaden, Antisakkaden, Suchsakkaden) • Durch externe (visuelle oder akustische) Reize getriggerte automatisch ablaufende Reflexsakkaden • Spontane, scheinbar zufällige Sakkaden • Bildverschiebungen (etwa beim Lesen) werden im Moment der Augenbewegung zentral unterdrückt • Beispiel: Sieht man seine beiden Augen im Spiegel abwechselnd an, nimmt nur ein Dritter die Augenbewegungen wahr 43 Biosignale und Benutzerschnittstellen – Augenaktivität Folgebewegungen Definition: Folgebewegungen konjugieren das Auge und führen es langsam einem bewegten Sehziel nach (Gegenstand „im Auge behalten“) • Konturen des Objektes können dabei zusätzlich durch Sakkaden abgetastet werden • Winkelgeschwindigkeiten im Schnitt bei 30-50/sec • Verfolgung und Stabilisierung des bewegten Sehziels auf der Retina 44 Biosignale und Benutzerschnittstellen – Augenaktivität Nystagmen Definition: Nystagmen sind unwillkürliche, rhythmische, in zwei Phasen ablaufende okuläre Oszillationen • Ruck-Nystagmus: eine langsame und eine schnelle Phase, letztere bezeichnet die Richtung des Nystagmus • Pendel-Nystagmus: in beiden Richtungen gleichschnelle Augenbewegung • Optokinetischer Nystagmus = vestibulo-okulärer Reflex durch großflächige Reize ausgelöster Ruck-Nystagmus • Typisches Beispiel für Optokinetischen Nystagmus: Betrachten eines Baumes während einer Zugfahrt: • Langsame Phase entspricht der Bewegung des Zuges (Folgebewegung) • Schnelle Phase ist der Fixationswechsel (Sakkaden) 45 Biosignale und Benutzerschnittstellen – Augenaktivität Nystagmen • Vestibulo-okulärer Reflex kann auftreten durch eine vestibuläre Reizung, Beispiele: • Mechanische Reizung durch Drehbewegung (Karusselfahren: während der Fahrt schlägt der Nytagmus in Drehrichtung, danach in Gegenrichtung) • Audiokinetische Reizung bei bewegten Schallquellen • … 46 Biosignale und Benutzerschnittstellen – Augenaktivität Konvergenz- und Torsionsbewegungen Definition: Konvergenzbewegungen gleichen interretinale Bildfehler, die bei der Fixation auftreten können, aus. • Sehr langsam (10/sec) • Geringe Amplitude (maximal 15) Definition: Torsionsbewegungen sind Drehbewegungen um die Sehachse mit einer Amplitude bis 10 und einer Geschwindigkeit bis 200/sec • Können spontan oder aber optokinetisch auftreten (Anblick einer Rollbewegung der Umwelt) bzw. vestibulär bei Körper- und Kopfkippungen 47 Regelung von Augenbewegungen Biosignale und Benutzerschnittstellen – Augenaktivität Prinzipieller Aufbau des okulo-motorischen Systems K.-P. Hoffmann, S.185 48 Biosignale und Benutzerschnittstellen – Augenaktivität Überblick • • • • • Das Auge Augenbewegungen Technik und Methodik Geräte und Verfahren Anwendungsbeispiele 49 Biosignale und Benutzerschnittstellen – Augenaktivität Messtechniken • Guter Übersichtsartikel über Techniken der Messung von • Blickrichtung und • Augenbewegungen G. Schneider; J. Kurt: Technische Prinzipien zur Messung der Blickrichtung und der Augenbewegungen http://www2.hu-berlin.de/reha/eye/Technische%20Prinzipien_Eye.pdf 50 Biosignale und Benutzerschnittstellen – Augenaktivität Grundlagen • Hochmobiler Augapfel und komplexe Verarbeitung • Ziel ständig im Blick trotz Kopfbewegung • Daher benötigt man zur Messung des Blickzieles • Bestimmung der Augenstellung • Stellung der Pupille • Stellung des Kopfes • Bestimmung des objektiven Blickzieles Kalibrierung notwendig, um die Beziehung zwischen der Augenstellung, dem System Empfänger (oder Kamera) und der Umgebung herzustellen 51 Biosignale und Benutzerschnittstellen – Augenaktivität Kalibrierung • Benötigt Punkte im Blickgebiet, die dem System in ihrem räumlichen geometrischen Verhältnis bekannt sind • … die von dem Betrachter im Vorfeld der Messung in einer Kalibrierung fixiert werden müssen • Bei dem Betrachten eines Bildes auf einem Monitor sind die Punkte durch die Bildgröße des Monitors festgelegt. Dabei wird entweder: 1. der Infrarot-Empfänger (oder Kamera) in der Nähe der Augen (ca.5cm) durch eine Art Helm am Kopf geometrisch fest angeordnet oder 2. Kameras werden mit dem zu betrachtenden Monitor in einem festen geometrischen Verhältnis angeordnet und nehmen die Bewegungen der Pupille berührungslos ohne Körperkontakt jedoch über einen größeren Abstand auf (ca. 60cm) 52 Biosignale und Benutzerschnittstellen – Augenaktivität Berührungslose Verfahren • Künstliche Markierungen als Reflexpunkte an der Stirn (Eye-Maus) • Physiognomische Merkmale der Testperson, wie der Abstand der Augen (Tobii) • Augenbild im Gesicht über NN analysieren, um so die Blickrichtung bestimmen zu können. 53 Biosignale und Benutzerschnittstellen – Augenaktivität Messverfahren Wunschliste • • • • • • • • • • • • • Kein direkter Kontakt mit Probanden, bzw. unbemerkt Einsetzbar für alle Gruppen (Baby, Kinder, Erwachsene) Setup Zeit, Kalibrierung, Marker Uneingeschränkter Blick auf Kopf und Gesicht Messung horizontaler, vertikaler (üblich) und Torsionsbewegungen (selten) Sehr hohe räumliche Auflösung: 0,01° Sehr hohe zeitliche Auflösung: ca. 2ms Sehr weite Messdynamik: 600° pro sec Geringe Reaktionsträgheit (Echtheitsfähigkeit) Niedrige Kosten Geringe Störeinflüsse bei Grimassen etc. Derartige Systeme existieren noch nicht Geeignete Auswahl hängt von Einsatzgebiet ab 54 Biosignale und Benutzerschnittstellen – Augenaktivität Überblick • • • • • Das Auge Augenbewegungen Technik und Methodik Geräte und Verfahren Anwendungsbeispiele 55 Biosignale und Benutzerschnittstellen – Augenaktivität Verfahren 1. Kontaktlinsen - elektromagn. Spulen-System 2. Elektrookulogramm (EOG) 3. Lichtreflektionen am Auge (IROG) • Kontaktlinsen - optische Reflexion • Cornea- und Pupillen-Reflektions-Beziehung, • Purkinje-Image-tracking 4. Video-Okulographie (VOG) • Limbustracking • Pupillentracking 5. Neuere Entwicklungen • Projektion von Text direkt auf der Retina • mobile Bestimmung der Blickrichtung • Nicht-Kopfgetragene VOG 6. Spezialanwendungen 56 Biosignale und Benutzerschnittstellen – Augenaktivität 1. Kontaktlinsen • Optisches Verfahren • Reflektion eines Lichtes wird durch kleine Spiegel in der Kontaktlinse aufgenommen • Magnetokulographie (MOG) • Messung der Potentialdifferenzen über Magnetfeldänderungen mit supraleitendem Quanteninferometer • Berührungslos • Auflösung derzeit noch nicht gut • Technisch und finanziell aufwändig (Abschirmung, Kühlung) • Elektromagnetische Technik (Search-Coil) • Kontaktlinse mit dünner Spule wird ins Auge gesetzt; Augenbewegung induziert in der Spule eine Spannung • Rauscharmes Signal, Auflösung gut 57 Magnetic Eye Coil / Search Coil Biosignale und Benutzerschnittstellen – Augenaktivität • VT: hohe zeitliche und räumliche Auflösung • NT: unangenehm, Gefahr von Ödemen (< 20min Benutzung) • Hohe räumliche Auflösung (0.01°) • Gute zeitliche Auflösung, z.B. 1000 Hz kein Problem – aktuell wahrscheinlich die einzige geeignete Technologie für hochfrequente sakkadische Oszillationen • Vertikale Aufnahmen gut, Torsionale Aufnahmen ebenfalls möglich • Gute Linearität • Langsames Setup, Kalibrierung notwendig • Kosten: System ca. $ 15.000, Eye Coil ca. $ 100 • Eye Coil hält im Schnitt für zwei Probanden • Risiken: Beschädigung der Kornea bzw. Übertragung von Krankheiten bei Mehrfachgebrauch 58 Biosignale und Benutzerschnittstellen – Augenaktivität 2. Elektrookulogramm (EOG) Prinzip: • Augenbewegungen erzeugen zwischen Hornhaut und Netzhaut elektrische Potentialdifferenz von 0,4 bis 1 mV • Aufzeichnen dieser (cornearetinalen) Potentiale durch Aufbringen von Hautelektroden nahe der Augen 59 Biosignale und Benutzerschnittstellen – Augenaktivität EOG (Konstantes Ruhepotential) Prinzip: Augapfel verhält sich wie ein Dipol, d.h. Netzhaut hat negative Polarität gegenüber der Hornhaut (wegen Konzentrationsdifferenzen versch. Ionen im Pigmentepithel der Netzhaut) Ruhelage: Pole liegen symmetrisch zwischen den Elektroden Augen nach links: linke Elektrode wird positiver Auge nach rechts: rechte Elektrode wird positiver Schandry, S.592 60 Biosignale und Benutzerschnittstellen – Augenaktivität Elektrookulographie (EOG) • Elektroden über bzw. unter den Augen für vertikale Augenbewegung; Elektroden miteinander gekoppelt, um Messfehler zu minimieren • Seitliche Elektroden für horizontale Bewegungen • Messung der Augenbewegung • Durch Augenbewegungen nähern sich Vorderseite und Rückseite des Auges an Elektrode, Spannungsdifferenz • Spannungsdifferenz ist ungefähr proportional zu Blickwinkel • Messung der Ruhepotentialveränderung: • Änderung des Ruhepotentials durch Veränderung der Beleuchtungssituation • Proband schaut zwischen zwei festen Punkten hin und her • Dunkeladaption • Größe des Gleichstromes = Messung der Augenposition • Größe des Wechselstromes = Messung der Augenbewegung (auch Elektronystagmografie) 61 Biosignale und Benutzerschnittstellen – Augenaktivität Vor- und Nachteile EOG Vorteile: • Routinemäßig in Klinik angewandt (Gleichgewichtsorgan) • Gute räumliche und zeitliche Genauigkeit • bis zu ±70° mit Genauigkeit von 1,5 - 2 Winkelgrad • Genauigkeit nimmt insbesondere bei vertikalen Augenbewegungen größer als 30° stark ab • Zeitliche Auflösung ca. 40Hz • EOG besitzt den größten Messbereich • Niedrige Kosten (ca. $500) Nachteile / Artefakte: • Setup braucht Zeit, Elektroden anbringen, Kalibrieren • Potentialschwankungen aufgrund von Muskelbewegungen • Verfälschungen durch Lidschläge und Schwankungen • Potentialänderung bei Hell-/Dunkel, Adaption des Auges 62 Biosignale und Benutzerschnittstellen – Augenaktivität 3. Lichtreflektionen am Auge Corneareflexionsmethode • Registrierung von (Infrarot-) Lichtreflexen auf der Hornhautoberfläche • Der Krümmungsradius der Hornhaut ist kleiner als der des Augapfels Cornea-Reflex wandert in Richtung der Augenbewegung. • Reflexionsort wird durch Infrarotdioden als analoges Signal aufgezeichnet • Oder über Diodenzeile durch CCD-Zeilenkameras oder Videokameras aufgezeichnet 64 Biosignale und Benutzerschnittstellen – Augenaktivität 3a. Cornea Reflex Methode Zwei prinzipielle Anordnungen • Kopfgestützte Apparatur oder ortsfeste Apparatur Nachteile der Cornea Reflex Methode • Benötigt künstliche Lichtquelle; Position Kopf – zu künstlicher Lichtquelle muss stabil sein • „Freie“ Beweglichkeit, falls Apparatur am Kopf aber das Gewicht der App. Beeinflusst die Kopfbewegungen • Blickrichtungsbestimmung erfordert Bestimmung Kopfrichtung • Kalibrierung mit integrierten Eichobjekten notwendig • Artefakte durch Passgenauigkeit der Brille, individuelle Verformungen der Hornhaut, fehlende Tränenflüssigkeit • Vertikale und horizontale Augenbewegungen bis ca. 15° Vorteile der Cornea Reflex Methode: Berührungslos 65 Biosignale und Benutzerschnittstellen – Augenaktivität CCD-Kamera • • • • • • • • • • • • CCD = Charge-Coupled Device Ein CCD-Sensor ist ein elektronisches Bauteil, das als Sensor ausgelegt ist CCDs wurde im Jahr 1969 eigentlich zur Datenspeicherung entworfen Willard Boyle und George E. Smith wurden für die Erfindung des CCD im Jahre 2009 mit dem Nobelpreis für Physik ausgezeichnet CCD Bauteile sind lichtempfindlich und geben ein zur eingestrahlten Lichtmenge proportionales Signal aus Sensor bestehen meistens aus einer Matrix (seltener einer Zeile) mit lichtempfindlichen Fotodioden = Pixel, Kantenlängen 3-20 µm Je größer die Fläche der Pixel, desto höher ist die Lichtempfindlichkeit, aber bei gleicher Sensorgröße ums kleiner die Bildauflösung 1975: CCDs in Fernsehkameras 1983: Einsatz der CCD-Sensoren als Bildsensoren in Astronomie und Satellitenfernerkundung 2D CCD-Sensoren werden in Videokameras und Digitalkameras eingesetzt 1D CCD Arrays in Faxgeräten, Spektrometern, Scannern und Barcodelesern 66 Quelle: Wikipedia Beispiele Biosignale und Benutzerschnittstellen – Augenaktivität Kopfgestützten Apparaturen - Cornea-Reflexion Microguide http://www.eyemove.com ExpressEye Optom http://www.optom.de/ 67 Iota AB, EyeTrace (ehemals Permobil Meditech) Biosignale und Benutzerschnittstellen – Augenaktivität 3b. Purkinjebilder • Methode: Infrarot-Leuchtdioden reflektieren unterschiedlich auf den optischen Grenzflächen des Auges = Purkinjebilder • Treten in verschiedenen Tiefen des Auges auf • 1. Purkinjebild ist die Hornhautreflexion • 4. Purkinjebild tritt auf der Schnittstelle der Linse mit dem Glaskörper auf • Relation verändert sich während Augenbewegung Purkinje-Tracker http://www.fourward.com Fourward Optical Tech., Inc 68 Biosignale und Benutzerschnittstellen – Augenaktivität Purkinjebilder • Manchmal auch zu finden unter Infrarotokulographie (IROG) oder Photoelektronystagmographie (PENG) Vorteile: • Wenig störanfällig • Derzeit die genauste Methode dabei rel. schnell • Messung von Augenbewegungen bis zu 0,1 möglich Nachteile: • Artefakte durch Lidbewegungen, Pupillenweite • Benötigt detailliertes Modell der Grenzflächen und optischen Systeme im Auge • Geht nur bei geöffneten Augen • 4.Perkinje-Reflexion sehr schwach • Hoher Justierungsaufwand • Kopf muss fixiert werden 69 Infrared Reflection • IR ist weniger geräuschbehaftet als EOG, funktioniert allerdings nur gut mit offenen Augen (i.e. +- 10 deg) vom Zentrum Biosignale und Benutzerschnittstellen – Augenaktivität • Gute räumliche Auflösung: ca. 0,1° • Zeitliche Auflösung: typischerweise 100 Hz, auch größer möglich • Vertikale Aufnahmen möglich, allerdings ist es schwierig Blinzelartefakte von Augenbewegungen zu unterscheiden. • Schnelles Setup, Kalibrierung notwendig • Nicht-Linear! Signal kehrt sich zwischen +15 und +20° um • Moderate Kosten – ca. $4000. • Gut geeignet für Anwendungen wie Studien zu Mikroaugenbewegungen • Nicht geeignet für Messung von Folgebewegungen und Sakkaden wegen Nichtlinearität 70 Biosignale und Benutzerschnittstellen – Augenaktivität 4. Videookulographie (VOG) • Miniaturvideokameras auf der Grundlage von infrarot-empfindlichen Sensoren, Bildfrequenzen von 250-500 Hz • Illumination durch Leuchtdioden auf Augen gerichtet • Pupille ist Ort geringster Lichtreflexion und als dunkelster Punkt im Bild lokalisierbar, repräsentiert Augenbewegung • Zeitliche Auflösung besser als MOG, schlechter als EOG • Nicht am geschlossenen Auge K.-P. Hoffmann, S.189 71 Biosignale und Benutzerschnittstellen – Augenaktivität VOG • Zweidimensionale Ansicht des Auges • Merkmalsselektion, Texturanalyse durch Bildverarbeitung • Pupille suchen • Pixelkoordinaten des Pupillenzentrums + Kallibrierung • Rücktransformation in horizontale und vertikale Augenposition Abbildung auf die Kameraebene durch Zentralprojektion (aus Gründen der Übersichtlichkeit ohne die Drehachsenverschiebung) [aus Schreiber 1999] 72 Biosignale und Benutzerschnittstellen – Augenaktivität VOG Techniken Limbus-Tracking • Optische Registrierung des Überganges zwischen Iris und Bindehaut • VT: guter Kontrast • NT: Randfläche unscharf und keine vertikale Augenbewegungen erfassbar, weil Iris zu einem großen Teil vom Augenlid bedeckt ist Pupillen-Tracking • Registrierung des Überganges von der Pupille zur Iris • VT: Scharfe Grenzfläche, kleinere Pupille, so dass auch vertikale horizontale Augenbewegungen aufgenommen werden können • NT: Farbkontrast kleiner (auch abh. von Augenfarbe, zB braune Iris) • Artefakt: Helligkeitsanpassung der Pupille Alternativ: • Wie bei Corneareflexion wird Auge durch IR Lichtquelle beleuchtet • Pupille absorbiert IR, reflektierte Strahlen mit IR Kamera aufnehmen VOG liefert geringe zeitliche (Videonorm 50Hz oder Hochgeschwindigkeitskamera, 10kHz!) und räumliche Auflösung 73 Biosignale und Benutzerschnittstellen – Augenaktivität Beispiele [Shackel 1960] Kopfrichtung + EOG Messanordnung mit halbdurchlässigem Spiegeln, vor den Augen angebracht. Bildet das Infrarot-Bild des Auges auf die CCD-Kamera ab Kopfhautbewegungen können zu Artefakten führen 74 Biosignale und Benutzerschnittstellen – Augenaktivität Beispiele • Analyse des Fahrerverhaltens über eine Blickrichtungsanalyse. [SensoMotoric Instruments http://www.smi.de] • Spezifikation von diesem Eyetracker • Sampling Rate 50/60 Hz • Tracking Resolution, Pupil/CR 0.1 deg. (typ.) • Gaze Position Accuracy 0.5°-1.0 deg. (typ.) • Tracking Range +/- 30° horz., +/-25° vert. • Weight of head unit 450 g 75 Biosignale und Benutzerschnittstellen – Augenaktivität VENG • • • • • • • • Kombination Videobrille (Head Mounted Display) mit Kamerasystem Keine Artefakte durch Kopfrichtung auf die Blickrichtung Räumliche Auflösung (1 part in 1024) – gut genug. Zeitliche Auflösung (30-60 hz) – gut genug. Vertikale Aufnahmen (Torsion) möglich Einfach anzuwenden, Kalibration ist oft unnötig Abdeckungen können Sicht verdecken (sehr nützlich) Gesamtkosten: etwa $18,000 76 Biosignale und Benutzerschnittstellen – Augenaktivität 5a. Virtual Retina Displays (VRD) • Direkte Projektion von Text oder Bildern auf der Retina • VRD könnte Head Mounted Displays (HMDs) ablösen • HMD erzeugt virtuelles Bild, das über optische Systeme projiziert und aktiv vom Benutzer betrachtet wird • Bei VRD entsteht das Bild unmittelbar auf der Netzhaut • Pixel werden in einem Raster über einen Laser auf die Netzhaut gebracht, indem ein horizontaler Scanner den Laserstrahl auf der Retina reihen- und zeilenweise positioniert • lichtbrechende und lichtreflektierende Spiegel oder modulierbare Prismen lenken den Laser so auf die Netzhaut, dass beim Betrachter der Eindruck eines großen, virtuellen Bildes entsteht. • Die Systeme arbeiten mit niedrigen Lichtintensitäten, daher keine Gefahr für das menschliche Auge. 77 5b. Virtual Retina Displays (VRD) Biosignale und Benutzerschnittstellen – Augenaktivität Herkömmliche Methode (links) VRD (rechts) "Nomad" von [Microvision 2004 ] SVGA Auflösung entspricht 19 Zoll Monitor Refresh-Rate von 60 Hertz Hauptauftraggeber – US ARMY 78 Biosignale und Benutzerschnittstellen – Augenaktivität 5c. Mobile Eyetracking 79 Biosignale und Benutzerschnittstellen – Augenaktivität Nicht kopfgetragene VOG • VT: Kopf frei beweglich, nicht invasiv • Aber: Augenposition muss bekannt sein • Nachführen der Kamera, große Brennweite • Beispiel www.Tobii.com, Specs: • Sampling Rate 50 Hz • Tracking Resolution 0.25 deg. (typ.) • Gaze Position Acc 0.5° deg. (typ.) • Head-Motion speed < 10 cm/s ERICA Incorporated http://www.ericainc.com/system.html 80 Biosignale und Benutzerschnittstellen – Augenaktivität 6. Spezialanwendungen • • • • MRI + Eyetracking Z.B. MR-Eyetracker , Cambridge Research Systems http://www.crsltd.com/ Wegen MRI keine magnetischen Teile!! Spiegelsysteme und Lichtleitkabel leiten die Informationen über die Augenbewegungen nach draußen • Messprinzip IROG 81 Biosignale und Benutzerschnittstellen – Augenaktivität Überblick • • • • • Das Auge Augenbewegungen Technik und Methodik Geräte und Verfahren Anwendungsbeispiele 82 Biosignale und Benutzerschnittstellen – Augenaktivität Anwendungen von Augenverfolgung • Entwicklungspsychologie • Industriedesign und Werbungsforschung • Kognitive Psychologie und Neuropsychologie • TC Hain • Mensch-Maschine Schnittstellen • Interface Design Forschung • Entertainment / Gaming • Lesestudien / Lernen • Das Auge als direkte Eingabemodalität Augenverfolgung statt Maus • Menschliche Interaktion / Kommunikation Focus of Attention 83 Biosignale und Benutzerschnittstellen – Augenaktivität Entwicklungspsychologie • Augenverfolgung ist extrem nützlich, um das Verhalten von Säuglingen zu verstehen • Durch direkte Beobachtung dessen, worauf Kinder reagieren, kann man Einsichten in ihre kognitive Entwicklung gewinnen • Erfordert: • Unaufdringliche Testapparaturen • Schnelle und einfache Kalibrierung • Spezielle Kalibrierungsroutinen, um die Aufmerksamkeit von Babies zu erwecken • Einfaches Setup, Audio und Video Stimuli 84 Biosignale und Benutzerschnittstellen – Augenaktivität Industrielles Design und Werbungsforschung • Durch Augenverfolgung kann man erfassen, welchen Eindruck ein Design oder Werbung auf den Zuschauer hat • Typische Fragestellungen sind: • Wieviel Beachtung schenkt der Beobachter den verschiedenen Elementen • Welche Verpackung ist am effektivsten? • Welche Verkaufsregale erfahren die meiste Beachtung? • Worauf achten Leute bei einer Werbung? • Wie erreicht man, dass Zuschauer die headline sehen? • Was braucht man: • Unaufdringliche Geräte • Tragbare Geräte 85 Biosignale und Benutzerschnittstellen – Augenaktivität Kognitive Psychologie und Neurophysiologie • Augenbewegungsverfolgen ist eine etablierte Methode • Der experimentellen Psychologie • Augenforschung • Einsichten in die kognitiven neurologischen Abläufe • Was genau sieht die Person • Welche Reaktionen löst es aus • Studien wie • Autismus • ADHD (Attention-deficit hyperactivity disorder) • Neurologische und visuelle Defizite • Systematische und intuitive Strategien • … 86 Biosignale und Benutzerschnittstellen – Augenaktivität Kognitive Psychologie und Neurophysiologie • Zwei Typen von Augenbewegungen • Willkürliche Augenbewegungen Steuerung und Kontrolle von Devices • Unwillkürliche Augenbewegungen gesteuert vom Gleichgewichtssystem • Daher wird die Analyse von Augenbewegungen eingesetzt • Zur Diagnose von Störungen des Augenbewegungsapparates aber auch des Gleichgewichtssystem • Außerdem bei Schlafanalyse zur Erfassung der REM-Phasen 87 Videos from Thomas C Hain Biosignale und Benutzerschnittstellen – Augenaktivität big nystagmus elicited by sound http://dizziness-and-balance.com Thomas C Hain 88 Videos from Thomas C Hain Biosignale und Benutzerschnittstellen – Augenaktivität nystagmus elicited by pressure http://dizziness-and-balance.com Thomas C Hain 89 Neurokinetics Biosignale und Benutzerschnittstellen – Augenaktivität Klinische Bestimmung von Balanceproblemen 90 Biosignale und Benutzerschnittstellen – Augenaktivität Mensch-Maschine Schnittstellen • Mensch-Maschine Schnittstellen • Interface Design Forschung • Entertainment / Gaming • Lesestudien / Lernen • Das Auge als direkte Eingabemodalität Augenverfolgung statt Maus • Menschliche Interaktion / Kommunikation Focus of Attention 92 Biosignale und Benutzerschnittstellen – Augenaktivität Interface Design • Augenverfolgung erlaubt Einsicht, auf welche Weise Interface Designs das Benutzerverhalten beeinflussen • Beispiele von Fragen, die man mit Augenverfolgung zu beantworten sucht: • Sind Elemente der Interaktion verstanden und geeignet? • Welche Suchstrategien werden verwendet? • An welche Stelle sollen wichtige Inhalte platziert werden? • Was passiert, wenn die Interaktion zusammenbricht? • Was braucht man: • Einfache Datensammlung • Unaufdringliche Apparatur wegen Experimentartefakte • Softwareintegration für web, screen und Kamera • Kompensation von Kopfbewegungen 93 Biosignale und Benutzerschnittstellen – Augenaktivität Gaming / Entertainment • Wii-mote-ähnliche Devices • PC und andere Spiele werden interessanter • Biofeedback als zusätzlicher Eingabestrom in Spielen • Emotiv Systems • CyberLearning http://gadgetsplanet.info • NeuroSky • ElektrodenHeadsets EMG, EOG • Einschätzen der Benutzer auch online, remote • Marktforschung • … 94 Biosignale und Benutzerschnittstellen – Augenaktivität Lesestudien / Lernen • Augenverfolgung bietet Einsichten in den Leseprozess • Kenntnis darüber, wohin der Leser genau sieht, erlaubt Analyse der Fragen: • Welche Passagen bereiten Probleme? • Wie kann die Lesefertigkeit verbessert werden? • Üben oder Veränderung der Texte/Darstellung • Kenntnisse über typische Muster der Fixations- und Sakkaden beim Lesen • Worüber ist der Leser gestolpert? • Was sind die optimale Textlänge und Bildkontraste? • Lernsoftware, Tutoren • Im Lesebereich: LISTEN, CHENGO, … • Hier wird meist Sprache als Indikator von Schwierigkeiten verwendet, aber … 95 Biosignale und Benutzerschnittstellen – Augenaktivität Textverarbeitung • Lesen: Folge von Sakkaden und Fixationen, um die Tatsache auszugleichen, dass der Bereich des schärfsten Sehens sehr eng ist • Fixationen: Augen halten für ca. 250ms inne; große interindividuelle Unterschiede • Sakkaden umfassen ca. 8 Buchstabenabstände (Solso, Kognitive Psychologie), hängt nicht von der Textgröße ab • Regressionen: 10-15% der Zeit verbringt der Leser mit Augenrückbewegungen, um Material nochmal anzusehen • Gute Leser: gute Gestaltinformation über Wörter und Buchstaben in Bereich 17-19 Buchstabenabstände zum Fixationspunkt (ca. 5 Grad Blickwinkel) • Hypothesen: peripheres Sehen wird zum Vorhersagen im Text benutzt • VS Zeit während der Fixation wird benutzt um Texteigenart zu bestimmen 96 Biosignale und Benutzerschnittstellen – Augenaktivität Auge statt Maus • BioKom – Fraunhofer Rostock, CG topics6/ 1997, Dr. Vatterrott • Ziel: Steuerung interaktiver Systeme hier insbesondere: • Alternative Eingabemethoden für Schwerstbehinderte • Basis: Augenbewegungen • Modularer Systemaufbau • Spezialanwendungen • Spezialtools zur Nutzung von Standardanwendungen • EMG: 1/0 angespannt/entspannt • EOG: Registrierung von Augenbewegungen in 4 Richtungen • Einsatz in der Rehabilitation • Herausforderungen: • Benutzerspezifische Signale • Benutzerspezifische Vorlieben 97 Biosignale und Benutzerschnittstellen – Augenaktivität BioKom Beispiele • Augengesteuerte Lernsoftware • Bildbenennung • Mathetrainer • Virtuelle Tastatur für herkömmliche Editoren 98 Menschliche Interaktion: Focus of Attention Biosignale und Benutzerschnittstellen – Augenaktivität Ansehen – Auge – Kopfbewegung Perspective View Camera View Panoramic View Interactive Systems Labs, Dr. Rainer Stiefelhagen 99 Verfahren - Sakkaden Biosignale und Benutzerschnittstellen – Augenaktivität • Aufzeichnung von Sakkaden • Hier provoziert durch optische Reize K.-P. Hoffmann, S.189 100 Biosignale und Benutzerschnittstellen – Augenaktivität Verfahren - Folgebewegungen • Proband folgt Punkt mit Geschwindigkeit von ca. 10-40/s • Bestimmt werden: • Geschwindigkeitssymmetrie • Verstärkungsfaktor (gain) (Reiz- Antwortamplidude) • Kohärenz 10/s = 0,15Hz • Phase • Mit zunehmender Geschwindigkeit zerfällt die glatten Folgebewegung Anteil an Sakkaden nimmt zu 20/s = 0,39Hz 30/s = 0,45Hz K.-P. Hoffmann, S.190 101 Biosignale und Benutzerschnittstellen – Augenaktivität Verfahren – Optokinetischer Nystagmus • Wird provoziert z.B. durch • rotierende Trommel mit aufgebrachten Streifen • Horizontal bewegende Muster auf Fernseher • Beispiel hier: Horizontale Muster mit 20/s, wechselnde Bewegungsrichtung K.-P. Hoffmann, S.190 102 Verfahren – Vestibulärer Nystagmus Biosignale und Benutzerschnittstellen – Augenaktivität • Spülen des äußeren Gehörgangs mit warmem (44 C) oder kaltem (30 C) Wasser • Vestibulookulärer Reflex wird mit Drehstuhl getestet 103
