Visuelle Aufmerksamkeit und Blickbewegungen AG Neuroinformatik Kognition und Perzeption • Leseforschung • Betrachtung statischer und bewegter Szenen / Bilder • Aufmerksamkeitssteuerung Medizinische Forschung (Diagnose & Therapie) • Klinische Studien – Neurologische, psychiatrische Erkrankungen – Entwicklungsstörungen AUGENBEWEGUNGEN • Neurophysiologie und Augenheilkunde – Okulomotorische Steuerung: Sakkadensteuerung, optokinetischer Nystagmus Anwendungen METHODIK EYE TRACKING Visuelle Aufmerksamkeit und Blickbewegungen FORSCHUNGSFORSCHUNGSGEBIETE AG Neuroinformatik AUGENBEWEGUNGEN • • • • Entwicklung von Benutzer-Schnittstellen Ergonomie Evaluation / Verbraucherverhalten Werbung Beispiele Leseforschung Benutzerschnittstellen Medizin Verbraucherverhalten METHODIK EYE TRACKING FORSCHUNGSFORSCHUNGSGEBIETE 1 Visuelle Aufmerksamkeit und Blickbewegungen AG Neuroinformatik Leseforschung • Experimentelle Leseforschung erster Ansatzpunkt der Blickregistrierung Ende des 19. Jhd. (z.B. Erdmann und Dodge, 1898) • Lesen eines Textes nicht kontinuierlich, sondern sprunghaft AUGENBEWEGUNGEN METHODIK EYE TRACKING 2 3 4 1 5 6 7 8 9 Visuelle Aufmerksamkeit und Blickbewegungen FORSCHUNGSFORSCHUNGSGEBIETE AG Neuroinformatik Leseforschung Mögliche Fragestellungen • Ist der Text gut lesbar? • Gibt es Textpassagen / Worte die schwierig sind, also viel Zeit benötigen? • Müssen Sätze mehrmals fixiert werden? • Werden Texte intensiv gelesen oder nur überflogen? • Wie schnell kann man lesen ohne daß man den Inhalt vergißt? AUGENBEWEGUNGEN METHODIK EYE TRACKING • Muß auf frühere Textpassagen zurückgegriffen werden? 2 3 4 1 5 6 7 8 9 FORSCHUNGSFORSCHUNGSGEBIETE 2 Visuelle Aufmerksamkeit und Blickbewegungen AG Neuroinformatik Leseforschung • Unabhängige Variable z.B. Schwierigkeit des präsentierten Textes • Abhängige Variablen z.B. Anzahl der Fixationen pro Zeile, Dauer der Fixationen, Anzahl der Regressionen auf frühere Textpassagen • Untersuchungen zum Umfang der beim Lesen aufnehmbaren Zeichen: Ca. zehn Zeichen links und rechts vom Fixationspunkt können verarbeiten werden, d.h. pro Fixation ca. drei Worte (Rayner, 1975) AUGENBEWEGUNGEN 2 3 METHODIK EYE TRACKING 4 1 5 6 7 8 9 Visuelle Aufmerksamkeit und Blickbewegungen FORSCHUNGSFORSCHUNGSGEBIETE AG Neuroinformatik Medizin • Hilfe bei der Diagnose bestimmter Erkrankungen des Nervensystems, z.B. Schizophrenie oder Parkinson-Syndrom • Blickpositions-abhängige Stimuluspräsentation zu Therapiezwecken, z.B. bei Hemi-Neglect Patienten AUGENBEWEGUNGEN METHODIK EYE TRACKING FORSCHUNGSFORSCHUNGSGEBIETE 3 Visuelle Aufmerksamkeit und Blickbewegungen AG Neuroinformatik Medizin • Hilfe bei der Diagnose bestimmter Erkrankungen des Nervensystems, z.B. Schizophrenie oder Parkinson-Syndrom • Blickpositions-abhängige Stimuluspräsentation zu Therapiezwecken, z.B. bei Hemi-Neglect Patienten • Kontrolle von Heilerfolgen einer Therapie AUGENBEWEGUNGEN METHODIK EYE TRACKING Visuelle Aufmerksamkeit und Blickbewegungen FORSCHUNGSFORSCHUNGSGEBIETE AG Neuroinformatik Medizin • Hilfe bei der Diagnose bestimmter Erkrankungen des Nervensystems, z.B. Schizophrenie oder Parkinson-Syndrom • Blickpositions-abhängige Stimuluspräsentation zu Therapiezwecken, z.B. bei Hemi-Neglect Patienten • Kontrolle von Heilerfolgen einer Therapie • Interaktive, blickgesteuerte Benutzeroberflächen als Kommunikationsschnittstelle für Patienten mit motorischen Defiziten AUGENBEWEGUNGEN METHODIK EYE TRACKING FORSCHUNGSFORSCHUNGSGEBIETE 4 Visuelle Aufmerksamkeit und Blickbewegungen AG Neuroinformatik Benutzerschnittstellen und Ergonomie • Messung von Blickbewegungen bei Autofahrern, Piloten usw. • U.a. Aufschluß über Faktoren, die die Aufmerksamkeit beeinflussen und ggf. zu erhöhtem Unfallrisiko führen • Kritische Faktoren: Ergonomie und Verständlichkeit von Bedienelementen, Instrumenten und Anzeigen • Ziel ist eine optimale Anordnung und Gestaltung der Fahrerumgebung AUGENBEWEGUNGEN METHODIK EYE TRACKING Visuelle Aufmerksamkeit und Blickbewegungen FORSCHUNGSFORSCHUNGSGEBIETE AG Neuroinformatik Benutzerschnittstellen und Ergonomie Beispiel • Anpassung von Navigationsmeldungen an die Verkehrslage AUGENBEWEGUNGEN METHODIK EYE TRACKING FORSCHUNGSFORSCHUNGSGEBIETE 5 Visuelle Aufmerksamkeit und Blickbewegungen AG Neuroinformatik Benutzerschnittstellen und Ergonomie Beispiel: Integration von Sprache & Bild • Internetseiten, Zeitungen usw. können mittels Eye-Tracking sehr gut analysiert und dementsprechend gestaltet werden. • In Studien zeigte sich z.B., daß • bei Bedienungsanleitungen Abbildungen und zugehörige Texte dann besonders gut verständlich sind, wenn Text und Bild nahe beieinander angeordnet werden. AUGENBEWEGUNGEN METHODIK EYE TRACKING Visuelle Aufmerksamkeit und Blickbewegungen FORSCHUNGSFORSCHUNGSGEBIETE AG Neuroinformatik Benutzerschnittstellen und Ergonomie Beispiel: Integration von Sprache & Bild • Internetseiten, Zeitungen und Ähnliches können mittels Eye-Tracking sehr gut analysiert und dementsprechend gestaltet werden. • In Studien zeigte sich z.B., daß • semantische Icons bei der Orientierung auf Geländeplänen unterstützenden Wirkung besitzen AUGENBEWEGUNGEN METHODIK EYE TRACKING FORSCHUNGSFORSCHUNGSGEBIETE 6 Visuelle Aufmerksamkeit und Blickbewegungen AG Neuroinformatik Benutzerschnittstellen und Ergonomie Beispiel: Integration von Sprache & Bild • Internetseiten, Zeitungen und Ähnliches können mittels Eye-Tracking sehr gut analysiert und dementsprechend gestaltet werden. • In Studien zeigte sich z.B., daß • Erhöhung von Text-Bild-Zusammenhang nicht unbedingt Integration und Retention verbessert (nur geringe “Beachtung” der Bildbereiche trotz hoher Bedeutsamkeit) AUGENBEWEGUNGEN METHODIK EYE TRACKING Visuelle Aufmerksamkeit und Blickbewegungen FORSCHUNGSFORSCHUNGSGEBIETE AG Neuroinformatik Benutzerschnittstellen und Ergonomie Beispiel: Command Interaction • Evaluation blick-kontingenter Eingabemethoden in der MenschMaschine-Interaktion AUGENBEWEGUNGEN METHODIK EYE TRACKING FORSCHUNGSFORSCHUNGSGEBIETE 7 Visuelle Aufmerksamkeit und Blickbewegungen AG Neuroinformatik Benutzerschnittstellen und Ergonomie Beispiel: Command Interaction • Blickbewegungen können zur Kontrolle von Benutzerschnittstellen genutzt werden. • So kann man heute schon die Maus ersetzen und den Computer mittels Augenbewegung steuern, es wird auch „Augenmaus“ bzw. „Blickmaus“ genannt. • Es gibt auch Projekte, wobei die Augen zur Steuerung virtueller Tastaturen und zur Bedienung von graphischen Benutzeroberflachen genutzt werden, z.B. „Eye Dasher“. AUGENBEWEGUNGEN METHODIK EYE TRACKING • Besonders körperlich beeinträchtigte Menschen können daraus Nutzen ziehen. Wenn diese Menschen Ihre Hände nicht zur Handhabung einer normalen Maus nutzen können, kann in solchen Fällen die „Augenmaus“ dazu benutzt werden, unterschiedliche elektronische Medien, wie z.B. Telefon, Fax, E-Mail oder Sprachgeneratoren zu steuern. Visuelle Aufmerksamkeit und Blickbewegungen FORSCHUNGSFORSCHUNGSGEBIETE AG Neuroinformatik Benutzerschnittstellen und Ergonomie Beispiel: Command Interaction • Im Gegensatz zu einer manuell gesteuerten Computer-Maus benötigt eine „Augenmaus“ keine explizite visuelle Rückmeldung. • Ein Problem ergibt sich beim Selektieren („klicken“ auf Objekte), schließlich soll nicht jeder (ungewollte) Blick Aktionen auslösen: Midas-Touch Problem • Es gibt verschiedene Lösungsmöglichkeiten. AUGENBEWEGUNGEN METHODIK EYE TRACKING • Man kann zum einen entweder Zwinkern oder eine bestimmte Fixationsdauer als „Klick“ annehmen. Da der Mensch aber nicht perfekt ist und ab und zu reflexartig zwinkert, oder sich nicht immer auf einen kleinen Button starren kann, entstehen so auch Fehler. • Es gab auch schon Experimente, wobei die Maus mittels EyeTracking bewegt wurde und der Klick dann per Maus ausgelöst wurde. Dies war zwar nicht wesentlich schneller, wurde aber von den Versuchspersonen als effizienter empfunden. FORSCHUNGSFORSCHUNGSGEBIETE 8 Visuelle Aufmerksamkeit und Blickbewegungen AG Neuroinformatik Benutzerschnittstellen und Ergonomie Beispiel: Non-Command Interaction • Die Human- Computer Interaction kann auch unbewusst geschehen. Wenn der PC zum Beispiel die Augenbewegung vorausahnt und dementsprechend reagiert, oder die Benutzeroberfläche zu Gunsten der momentanen Augenbewegung verändert. • Man nennt diese Aktionen „non-command“ Interaktionen („interessenund emotionssensitive Medien“). • Um diese Interaktionen zu ermöglichen, muß man einerseits die Nutzerinteressen mit Hilfe der Erkennung von Gebieten mit hoher Aufmerksamkeitszuwendung erfassen. AUGENBEWEGUNGEN METHODIK EYE TRACKING • Andererseits muss die emotionalen Reaktionen der Probanden beobachtet werden. • Dabei wird die Lidschlagfrequenz und die Veränderungen der Pupillengröße analysiert. Daraus lassen sich emotionale Veränderungen feststellen. • Kombination aus „command“ und „non-command“ Prinzipien sind bereits in Planung. Kommunikation kann mittels Eye-Tracking noch wesentlich verbessert werden. Visuelle Aufmerksamkeit und Blickbewegungen FORSCHUNGSFORSCHUNGSGEBIETE AG Neuroinformatik Benutzerschnittstellen und Ergonomie Beispiel: Non-Command Interaction • Beispielsweise wurde das „GAZE Groupware System“ als Konferenzund Kooperationssystem für mehrere Teilnehmer entwickelt. • Im GAZE-System wird ein dreidimensionaler Raum erstellt, in welchem alle Konferenzteilnehmer auf zweidimensionalen Flächen erscheinen. Im 3D-Raum rotieren die Flächen in Abhängigkeit von der Blickrichtung jeder Teilnehmer. AUGENBEWEGUNGEN METHODIK EYE TRACKING FORSCHUNGSFORSCHUNGSGEBIETE 9 Visuelle Aufmerksamkeit und Blickbewegungen AG Neuroinformatik Benutzerschnittstellen und Ergonomie Beispiel: Non-Command Interaction • In Spracherkennungssystemen kann eine vorherige Fixation vom Menschen zum System eine Aufmerksamkeit dieses Hervorrufen. So könnte das System in einem Raum voller Menschen die Befehle von einer Person entgegen nehmen, der so genannte „Cocktail-PartyEffekt“ • Regelkreis: • Das System wartet auf Augenkontakt zum Agenten • Nach kurzer Fixation wechselt der Agent in Aufnahmebereitschaft AUGENBEWEGUNGEN METHODIK EYE TRACKING • Nutzer beginnt Spracheingabe • Wird Blick abgewendet, wird die Spracherkennung unterbrochen • Das System kann während der ganzen Zeit Rückmeldungen an den Benutzer signalisieren, damit dieser bemerkt, ob das Gerät alles richtig interpretiert. Solch ein Gerät könnte zum Beispiel auf Bahnhöfen oder, allgemein, an belebten Plätzen genutzt werden. Visuelle Aufmerksamkeit und Blickbewegungen FORSCHUNGSFORSCHUNGSGEBIETE AG Neuroinformatik Benutzerschnittstellen und Ergonomie Beispiel: Vision-based image retrieval • Problem • Suche/Navigation in großen Bilddatenbanken schwierig und langsam • Methodik • Vision-/Content-based image retrieval • Optimierung von “relevance feedback”: Blickgesteuerte Extraktion lokaler Bildmerkmale AUGENBEWEGUNGEN METHODIK EYE TRACKING FORSCHUNGSFORSCHUNGSGEBIETE 10 Visuelle Aufmerksamkeit und Blickbewegungen AG Neuroinformatik Benutzerschnittstellen und Ergonomie Beispiel: Vision-based image retrieval • Ziele / Resultate • Identifikation bildspezifisch relevanter Aufmerksamkeitsbereiche • Entwicklung neuer, intuitiver Navigationsmethoden für Bilddatenbanken • Beschleunigung der Bildsuche AUGENBEWEGUNGEN METHODIK EYE TRACKING Visuelle Aufmerksamkeit und Blickbewegungen FORSCHUNGSFORSCHUNGSGEBIETE AG Neuroinformatik Verbraucherverhalten • Erste Einsätze der Blickregistrierung in der Werbung ca. 1920 • Untersuchung der Wirkung von Werbeprospekten und –spots vor dem Start einer Werbekampagne (Consumer appeal) • Überprüfung der Positionierung von Produkt, Produktnamen und -informationen AUGENBEWEGUNGEN METHODIK EYE TRACKING FORSCHUNGSFORSCHUNGSGEBIETE 11 Visuelle Aufmerksamkeit und Blickbewegungen AG Neuroinformatik Verbraucherverhalten Mögliche Fragestellungen • Welche Elemente interessieren während der Betrachtung? • Lenken Elemente von wichtigen Elementen ab? • Werden wichtige Elemente (z.B. Menüs oder Buttons) gefunden? • Kann sich der Anwender auf einer Seite orientieren? • Wo sind Elemente, die vom Ziel ablenken? • Sind Unterschiede zwischen verschiedenen Benutzern zu erkennen? AUGENBEWEGUNGEN • Männer Frauen • Anfänger Experten • Werden Werbebanner gesehen oder ignoriert? • Welchen Positionen werden besonders viel Aufmerksamkeit METHODIK EYE TRACKING geschenkt? Visuelle Aufmerksamkeit und Blickbewegungen FORSCHUNGSFORSCHUNGSGEBIETE AG Neuroinformatik Verbraucherverhalten Packaging research, label viewing AUGENBEWEGUNGEN METHODIK EYE TRACKING FORSCHUNGSFORSCHUNGSGEBIETE 12 Visuelle Aufmerksamkeit und Blickbewegungen AG Neuroinformatik Verbraucherverhalten Print advertising AUGENBEWEGUNGEN METHODIK EYE TRACKING Visuelle Aufmerksamkeit und Blickbewegungen FORSCHUNGSFORSCHUNGSGEBIETE AG Neuroinformatik Verbraucherverhalten Weitere Ergebnisse • Studien ergaben, daß Werbung in einem Printmedium, wie z.B. den „Gelben Seiten“, dann besonders beachtet wurde, wenn sie • farbig war (21% länger betrachtet als nicht farbige Werbung) und graphische Darstellungen enthalten waren • größer als andere Werbung war • wenn sie in der alphabetische Reihenfolge „günstig“ (am Anfang oder Ende eines Buchstabens) positioniert wurde. AUGENBEWEGUNGEN METHODIK EYE TRACKING • Bei Videowerbespots werden gerne schnelle Überblendungen genutzt. Nachdem die visuelle Aufmerksamkeit des Konsumenten auf eine bestimmte Stelle gelenkt wurde, erscheinen dort nach einem Schnitt Produkt oder Produktname. Somit betrachtet der Konsument automatisch – zumindest kurz – das Produkt. FORSCHUNGSFORSCHUNGSGEBIETE 13 Visuelle Aufmerksamkeit und Blickbewegungen AG Neuroinformatik Eigene Untersuchungen Demnächst Adaptive Navigation Visuelle Suche AUGENBEWEGUNGEN METHODIK EYE TRACKING Entscheidungshandeln FORSCHUNGSFORSCHUNGSGEBIETE Kommunikation 14