Interaktive Displaytechnologie: Der selbstgebaute Multitouch

Werbung
Interaktive Displaytechnologie:
Der selbstgebaute Multitouch-Table
David Wenner
Betreut von: Anna-Sabina Rüetschi
3. Dezember 2013
Maturaarbeit im Fach Physik
Kantonsschule Schaffhausen
i
Inhaltsverzeichnis
1 Einführung
2
2 Motivation
4
3 Theorie
3.1 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.1 Multitouch-Table . . . . . . . . . . . . . . . . . . . .
3.1.2 Konventionelle Displaytechnologien . . . . . . . . . .
3.1.3 Alternative Displaytechnologien . . . . . . . . . . . .
3.1.3.1 Laser Light Plane (LLP) . . . . . . . . . . .
3.1.3.2 Diffused Illumination (DI) . . . . . . . . . .
3.1.3.3 Frustrated Total Internal Reflection (FTIR)
3.1.4 Die alternativen Techniken im Vergleich . . . . . . .
3.2 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.1 Tracking-Software . . . . . . . . . . . . . . . . . . . .
3.2.2 Client-Software . . . . . . . . . . . . . . . . . . . . .
4 Dokumentation
4.1 Planung . . . . . . . . . . . . . . . . .
4.1.1 Dimensionierung . . . . . . . .
4.1.2 Materialien . . . . . . . . . . .
4.1.2.1 Die Kamera . . . . . .
4.1.2.2 Die LEDs . . . . . . .
4.1.2.3 Das Plexiglas . . . . .
4.1.2.4 Der Projektor . . . . .
4.2 Konstruktion . . . . . . . . . . . . . .
4.2.1 Die Bearbeitung des Plexiglases
4.2.2 Die Infrarot-LEDs . . . . . . .
4.2.3 Die Compliant-Surface . . . . .
4.2.4 Die Modifikation der Kamera .
4.3 Software . . . . . . . . . . . . . . . . .
5 Resultat
5.1 Ergebnisse . . . . . . . . .
5.2 Schlussbetrachtung . . . .
5.2.1 Limitationen . . .
5.2.2 Verbesserungs- und
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .
Erweiterungsmöglichkeiten
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6
6
6
8
9
10
11
12
15
16
16
17
.
.
.
.
.
.
.
.
.
.
.
.
.
18
18
18
21
21
21
22
22
23
23
23
26
28
31
.
.
.
.
34
34
35
35
35
6 Danksagung
38
Quellenverzeichnis
40
ii
1
1 Einführung
Interaktive Displays sind Displays, die durch eine einfache Berührung eines oder mehrerer Finger gesteuert werden können. Sie sind ein aktuelles Thema und gewinnen immer
mehr an Einfluss in unserer Gesellschaft. Sie sind von grosser ökonomischer Bedeutung und immer noch Gegenstand aktueller Forschung. Diese Arbeit verschafft einen
Einblick in die Technologie der interaktiven Displays. Dabei werden konventionelle Bauweisen, welche auf dem Gebrauch von elektrischen Feldern und Halbleitern basieren,
sowie auch alternative Bauweisen, die sich auf die Eigenschaften der optischen Physik stützen, betrachtet. Das Ziel meiner Maturaarbeit ist es, eine dieser alternativen
Technologien in einem Multitouch-Table umzusetzen und somit einen interaktiven Display selbst herzustellen. Dieser soll die Form eines kleinen Tisches besitzen und, dank
Multitouch-Unterstützung, mehrere Berührungen gleichzeitig erkennen und in Eingabesignale umwandeln können. Dabei soll er einerseits möglichst preiswert sein, andererseits
vergleichbare Funktionalitäten wie ein konventioneller Touchscreen bieten.
Multitouch-Tables trifft man heutzutage vorwiegend in Museen oder Ausstellungen an,
als Informationsquellen oder um Kinder spielerisch Wissen zu vermitteln. Auch an touristisch wichtigen Orten sind Multitouch-Tables oft als Informationstafeln zu finden.
Eine Multitouch-Funktion ist insofern wichtig, dass dadurch der Multitouch-Table von
mehreren Personen gleichzeitig benutzt werden kann.
Die Herausforderung ist, mit einfachen Mitteln und einem kleinem Budget etwas so
Komplexes wie den Multitouch-Table herzustellen. Dazu habe ich mich in das Thema
eingearbeitet, unterschiedliche Technologien evaluiert und eine davon in Form eines Prototypen1 erprobt. Schliesslich habe ich meine finale Version konstruiert und dabei den
Bau und die aufgetretenen Schwierigkeiten und Erfahrungen dokumentiert.
Die Motivation für diese Arbeit findet man im folgenden Kapitel. Das Kapitel 3 beinhaltet eine Übersicht über die Theorie der wichtigsten konventionellen und alternativen
Technologien, sowie eine generelle Beschreibung des Multitouch-Tables und des Funktionsablaufs der benötigten Software. Ausserdem werden die verschiedenen Techniken
miteinander verglichen. Im darauffolgenden Kapitel 4 befindet sich die Dokumentation
der Konstruktion meines Multitouch-Tables. Dabei werden auch die verwendeten Materialien und deren Auswahl beschrieben. Neben einer schlichten Dokumentation soll dieses
Kapitel auch als Anleitung für den Leser dienen, um selbst einen Multitouch-Table zu
bauen. Im letzten Kapitel findet man eine Evaluation des gebauten Multitouch-Tables,
wobei die Funktionen, die Verbesserungsmöglichkeiten aber auch die Limitationen diskutiert werden.
1
In der Theorie unter Diffused Illumination zu finden.
2
3
2 Motivation
Ich habe dieses Thema gewählt, weil man interaktive Displaytechnologien immer wieder
im Alltag antrifft, die meisten Leute aber kaum etwas über deren Funktionsweise wissen.
Dieses Projekt bot mir die Gelegenheit ein Gerät, das so nicht für die breite Konsumentenmasse zur Verfügung steht und nur auf Nachfrage zu enorm hohen Preisen erhältlich
ist, selbst zu konstruieren. Dabei erhoffte ich mir, viele mir nicht vertraute Bereiche wie
die Elektronik, Holzarbeiten und Informatik zu streifen und dabei wertvolle Erfahrungen
zu sammeln.
Inspiration für diese Arbeit gab mir die NUI-Community2 (Natural User Interface), eine kleine Gruppe von Bastlern, die am Multitouch-Table herum tüfteln und versuchen,
ihn zu perfektionieren. Auf deren öffentlichen Forum tauschen sie Erfahrungen aus und
leisten sich gegenseitig Hilfe. Deshalb ist es auch meine Absicht, diese Arbeit dort zu veröffentlichen, um ebenfalls einen Beitrag an dieser Gemeinschaft zu leisten. Für den Leser
kann diese Arbeit einerseits als Anleitung für den Bau eines eigenen Multitouch-Tables
von Nutzen sein, andererseits um einen Einblick in die Technologie der Interaktiven Displays zu gewähren.
In dieser Arbeit werden die folgenden Leitfragen behandelt:
• Wie konstruiert man mit einfachen Mitteln einen möglichst preiswerten Interaktiven Touchscreen, der mehrere Berührungen gleichzeitig erkennt und als Eingabesignale interpretieren kann?
• Stellt ein mit alternativen Techniken selbstgebauter Multitouch-Table eine Konkurrenz für konventionelle Multitouch-Tables dar?
2
http://nuigroup.com/go/lite/about
4
5
3 Theorie
Dieses Kapitel befasst sich einerseits mit der Funktionsweise von Touchscreens im generellen, aber auch mit alternativen Technologien für den Multitouch-Table und der
dazugehörenden Hard- und Software.
3.1 Hardware
3.1.1 Multitouch-Table
Was ist ein Touchscreen eigentlich? Ein Touchscreen ist ein interaktiver Display. Das
bedeutet, dass er sowohl ein Ein- wie auch ein Ausgabegerät ist. Die Maus ist sozusagen in den Bildschirm eingebaut, sodass die technische Umsetzung für den Nutzer
nicht sichtbar ist. Dadurch, dass man den Computer allein durch eine Berührung des
Bildschirms steuern kann, hat man das Gefühl einer direkten Interaktion. Man möchte
meinen, dass diese Technologie sehr neu ist, aber es gibt sie schon seit ca. 30 Jahren.
In dieser Zeit wurden verschiedene Funktionsweisen entwickelt, von welchen hier einige betrachtet werden. Grundsätzlich muss ein Touchscreen die Position der Berührung
erkennen können, sobald ein Finger oder Objekt der Oberfläche angenähert wird.
Ein Multitouch-Screen, wie zum Beispiel der Multitouch-Table, ist ein Touchscreen,
der in der Lage ist mehrere Finger gleichzeitig zu erkennen und zu verarbeiten. Doch
wie genau funktioniert ein Multitouch-Table? Und welche Funktionen bietet er? Diese Fragen muss man sich stellen, wenn man sich vornimmt einen Multitouch Table zu
bauen. Denn beim Multitouch-Table wie auch bei allen anderen Touchscreens gibt es
verschiedene Techniken mit Vor- und Nachteilen. Ein Multitouch-Table ist im Prinzip
ein Touchscreen und Nichts von Grund auf neues. Die Bezeichnung „Multitouch-Table“
ist lediglich eine Klassifizierung und weist dem Touchscreen bestimmte Eigenschaften
zu. Zum Beispiel muss ein Tablet dünn und im Vergleich zu einem Smartphone relativ
gross, aber dabei trotzdem noch tragbar sein. Ein Multitouch-Table besitzt also, wie
der Name schon sagt, die Form eines Tisches mit einer grossen Berührungsoberfläche.
Dabei ist er wegen seiner Grösse sicherlich nicht so mobil wie ein Touchpad. Die Unterstützung der Multitouch-Funktionalität ermöglicht es mit Gesten, wie das Auseinanderoder Zusammenziehen der Finger, zu arbeiten. Diese Funktionalität ist auch nötig wenn
der Display von mehreren Personen gleichzeitig benutzt werden soll.
Ein Multitouch-Table kann mit konventionellen Technologien hergestellt werden, welche
ihm folgenden Abschnitt 3.1.2 behandelt werden. Ein solcher Touchscreen basiert aber
hauptsächlich auf den Eigenschaften von Halbleitern und elektrischen Feldern. Dies bietet zwar viele Möglichkeiten um diese Eigenschaften anzuwenden, ein Gerät wird aber
sehr schnell so komplex, dass ein Eigenbau für einen Amateurelektroniker schlicht unmöglich ist. Die Produktion von konventionellen Touchscreens erfordert die Arbeit mit
teilweise gefährlichen Stoffen wie Säuren, teuren Materialien (z.B seltenen Erden) und
spezielle Infrastrukturen (wie z.B. Reinräume), welche für Amateure unerschwinglich
sind. Ausserdem ist die Herstellung eines grossen Bildschirms mit konventionellen Mit-
6
teln aufgrund seiner Grösse enorm teuer. Multitouch-Tables mit konventionellen Technologien, wie zum Beispiel der SUR403 von Samsung, werden nur auf Nachfrage zu Preisen
gegen 10’000 CHF, verkauft. Weil mir diese Möglichkeiten nicht zur Verfügung stehen,
habe ich meinen Multitouch-Table mit einer alternativen Technik gebaut. Diese benötigen lediglich alltägliche Mittel und Materialien. Sollten aber dennoch ein möglichst
gutes Resultat erzielen können. Da es auch hier verschiedene Bauweisen gibt, werden
diese im Kapitel 3.1.3 genauer behandelt.
Abbildung 1: Der SUR40 von Samsung.
Bildquelle: [sam]
Abbildung 2: Skizze des Multitouch-Tables.
Unabhängig von der gewählten Bauweise sind bestimmte Komponenten für die alternativen Techniken unabdingbar. Logischerweise braucht man eine Berührungsoberfläche.
Diese kann, sofern nicht explizit ein bestimmtes Material benötigt wird, eine beliebige Platte aus transparentem Material wie Glas oder Plexiglas sein. Infrarot (IR) LEDs
oder Laser, welche essentiell für die Reflexion4 und somit die Funktion sind, werden
ebenfalls benötigt. Infrarotlicht (780 nm bis 1mm Wellenlänge) ist für das menschliche
Auge nicht sichtbar und daher sehr geeignet für alle optischen alternativen Techniken.
Ein Sensor, zum Beispiel eine Kamera, der das reflektierte Licht auffängt wird ebenfalls benötigt. Eine Webcam kann diesen Zweck erfüllen, da man aber hauptsächlich
mit Infrarot arbeitet, muss diese modifiziert5 werden. Alternativ kann auch eine Infrarotkamera verwendet werden, diese sind qualitativ besser aber sehr viel teurer. Aber
dazu mehr in der Dokumentation. Damit der Benutzer ein Bild sieht, benötigt man eine
Bildquelle wie zum Beispiel ein Projektor oder einen LCD (Liquid Crystal Display). Diese Entscheidung muss auch je nach gewählter Technik getroffen werden. Der generelle
3
http://www.samsung.com/de/consumer/notebooks-displays/large-format-displays/
surface-2/LH40SFWTGC/EN
4
Im Kapitel 3.1.3 genauer erklärt.
5
Wie im Kapitel 4.2.4 gezeigt wird.
7
Aufbau des selbstgebauten Multitouch-Tables besteht aus einem Rahmen, auf dem die
Berührungsoberfläche liegt. Darunter befindet sich entweder ein Projektor welcher das
Bild nach oben auf die Berührungsoberfläche projiziert oder ein LCD der direkt unter
der Berührungsoberfläche befestigt wird. Neben der Bildquelle befindet sich auch der
Sensor, welcher die gesamte Berührungsoberfläche erfassen sollte.
Um die Komponenten funktional zu vernetzen, wird eine Software benötigt. Diese muss
aus dem Bildmaterial der Kamera die Koordinaten der Fingerpositionen berechnen und
zu einem Ereignis verarbeiten. Mehr Informationen zur Software sind im Kapitel 3.2 zu
finden.
3.1.2 Konventionelle Displaytechnologien
Damit man versteht, was ein selbstgebauter Multitouch-Table von einem konventionellem Touchscreen unterscheidet, werden nun die wichtigsten Bauweisen betrachtet. Diese
sind in Handys oder anderen Massenkonsumgütern zu finden. Eine der ältesten Techniken ist der Resistive Touchscreen. Dieser reagiert nur, wenn Druck auf den Bildschirm
ausgeübt wird. Durch eine genügend starke Berührung werden zwei elektrisch leitfähige
Schichten an der Druckstelle verbunden. Dabei wird der Widerstand auf den beiden Flächen, wie in Abbildung 3 gezeigt, gespalten. Durch den Unterschied der entstandenen
Widerstände wird die Position des Fingers berechnet, daher kommt der Name „Resistiv“
(Resistiv = Widerstand).
Abbildung 3: Funktionsweise eines resistiven Touchscreens. Bildquelle: [wikb]
Die Vorteile dieser Technik sind, dass sie technisch nicht sehr komplex, aber dennoch
genau ist. Somit kann man eine punktgenaue Präzision mit einem Eingabestift (Stylus) erreichen. Ebenfalls ist es möglich, den Display mit Handschuhen und beliebigen
nicht leitenden Materialien zu bedienen. Diese Technik hat jedoch einige schwerwiegende Nachteile. Zum einen unterstützt diese Technik keinen Multitouch, da mit einer
weiteren Berührung die Berechnung der Widerstände nicht mehr möglich ist. Zum anderen reagiert das Gerät auf jeglichen Kontakt, was ein grosses Problem ist, wenn es zum
Beispiel in einer Hülle oder einem Hosentasche transportiert wird. Bei dieser Technik ist
ausserdem der mechanische Verschleiss der beiden Kontaktflächen durch diese ständigen
Berührungen enorm hoch. Aufgrund dieser Nachteile wird diese Technik heute kaum
8
noch benutzt. [wikb, wikc]
Die heute am häufigsten verwendete Technik ist der Projiziert-kapazitive Touchscreen.
Dieser Display basiert auf der Anordnung von Leiterbahnen zwischen einer Glasplatte und einer Schutzschicht. Diese von einander isolierten Leiter bilden Kondensatoren,
welche ein elektrostatisches Feld erzeugen. Dieses Feld tritt durch die Schutzschicht hindurch, daher der Name „Projiziert“. Ein leitfähiges Objekt, welches dieses Feld passiert,
erzeugt eine messbare Veränderung im Feld der Kondensatoren, welche sich unterhalb
des Objekts befinden. Mit einem dichten Gitter von Kondensatoren kann somit nicht
nur die Existenz einer Berührung ermittelt werden, sondern auch deren Position. Da die
Kondensatoren sehr klein sind und das Feld schon auf kleine Änderungen reagieren, kann
eine hohe Präzision erreicht werden. Diese Bauweise erlaubt auch Multitouch. Diese Fertigungstechnik hat den Nachteil, dass sie eine hohe Fertigungspräzision erfordert, extrem
komplex und relativ teuer ist. Auch kann das Display nicht mit Druck bedient werden.
Handschuhe, Eingabestifte und andere nicht leitende Materialien werden vom Display
nicht erkannt. Aufgrund ihrer Präzision und Robustheit ist diese Technik die Spitze der
für die Massen erhältlichen Multitouch-Displays und wird in allen neuen Smartphones
wie dem iPhone 5 und dem Samsung Galaxy 4 verwendet. [wikb, eiz]
Abbildung 4: Eine schematische Darstellung eines Projiziert-kapazitiven Touchscreens
und die Veränderung des elektrischen Feldes durch eine Berührung.
3.1.3 Alternative Displaytechnologien
Grundsätzlich verwendet der selbstgebaute Multitouch-Table im Vergleich zu kommerziellen Touchscreens die Eigenschaften aus einem ganz anderem Bereich der Physik. Alle
bisher bekannten und von der NUI-Community erprobten alternativen Techniken, basieren auf der optischen Physik. Das heisst, dass man hauptsächlich mit der Wellenphysik
arbeiten wird; um genau zu sein entweder mit Infrarotlaser oder Infrarotlicht. Der generelle Bauplan des Multitouch-Tables wird, je nach dem für welche Technik man sich
entscheidet, mit weiteren Komponenten ergänzt. Ich werde drei Techniken vorstellen:
Die „Laser Light Plane“ die auf dem Einsatz von infrarot Lasern basiert, die „Frustra-
9
ted Total Internal Reflection“ sowie die „Diffused Illumination“, welche beide auf der
Verwendung von infrarot LEDs beruhen.
3.1.3.1 Laser Light Plane (LLP)
Die LLP - Bauweise ist die einzige alternative Technik, die mit Laser funktioniert. Zwar
können auch spezielle LEDs benutzt werden, die einen sehr kleinen Abstrahlwinkel besitzen (etwa 6 Grad), diese sind aber nur sehr schwer erhältlich. Die Infrarotlaser werden
mit Aufsätzen, welche den Strahl zu einer Fläche streut, in den Ecken oder Kanten platziert. Dabei gilt, je mehr Laser benutzt werden desto besser. Die Laserfläche sollte knapp
über der Berührungsoberfläche platziert werden. Jedoch sollte während der Installation
aufgepasst werden, dass man nie direkt in den Laser hinein blickt, da dieser für das
menschliche Auge extrem schädlich ist. Die Gefahr besteht nach der Installation zwar
immer noch, das Gesicht müsste dafür aber auf die Plexiglasplatte gelegt werden. Dieses
System ist somit nicht für Kinder geeignet. Nun zur Funktionsweise: Wenn ein Finger
die Plexiglasplatte berührt, so unterbricht er (wie in Abbildung 5 zu sehen) die Infrarotfläche. Das Infrarotlicht wird von der Fingerspitze gestreut und erreicht nun den Sensor.
Es sind hell erleuchtete und klare Fingerspitzen erkennbar. Wenn eine zu geringe Anzahl an Lasern verwendet werden, kann ein Finger einen anderen verdecken. Dies ist der
Fall wenn zwei Finger so platziert sind, dass sich einer davon im „Schattenbereich“ des
ersten Fingers befindet. Diese Laser-Technik unterstützt keine Druckunterschiede der
Berührungen, da sich die von Sensor detektierte Lichtstärke mit zunehmenden Druck
nicht verändert. Dafür kann bei dieser Technik jegliches transparentes Material als Berührungsoberfläche benutzt werden. [Set]
Abbildung 5: Aufbau eines LLP Systems. Bildquelle: [Set]
Abbildung 6: Reflexion der Finger eines LLP Systems. Bildquelle: [Set]
10
3.1.3.2 Diffused Illumination (DI)
Ein einfacher und kleiner Multitouch-Table Prototyp (zu sehen in Abbildung 7), den
man in kürzester Zeit bauen kann, funktioniert mit der sogenannten Front Diffused Illumination. Was soviel wie „indirekte Belichtung von aussen“ bedeutet. Dieser ist aber
kein Display, da keine Bildquelle vorhanden ist, sondern nur ein Eingabegerät. Für diese
Technik wird kein Infrarotlicht oder Laser benötigt. Sie funktioniert nur mit dem Umgebungslicht und dem von den Fingern geworfenem Schatten, deshalb muss die Umgebung
hell erleuchtet sein. Man nimmt eine ungefähr 30 cm hohe Kartonschachtel, und stellt
sicher, dass alle Seiten, bis auf eine Längsseite, geschlossen sind. Es sollten auch alle
Löcher zugeklebt werden, sodass möglichst kein Licht mehr hineinfällt. Unten in der
Kartonkiste wird nun eine Webcam6 befestigt, so dass sie die komplette Öffnung im
Blickfeld hat. Über die Öffnung wird nun eine transparente Platte gelegt und darauf ein
dünnes Papier befestigt. Zusammen mit der richtigen Software7 , wie zum Beispiel CCV8 ,
ist der Prototyp fertig. Dieser erkennt Berührungen ganz gut, ist dabei aber extrem von
der Umgebung abhängig, und daher nicht zuverlässig. Darum wird diese Technik in
diesem Zustand nicht in finalen Produkten verwendet.
Abbildung 7: Bild meines Front Diffused Illumination-Prototyp.
Die Funktionsweise dieses Prototypen kann jedoch erheblich verbessert werden, so dass
diese von der Umgebung unabhängig und zu einer durchaus akzeptable Technik wird.
Dazu wird das Licht aus der Umgebung durch zusätzliche Infrarotlichtquellen ersetzt.
Ein modifizierter Sensor9 unter der Kamera kann nun die Infrarotschatten der Finger
erkennen. Oder die Infrarotlichter können, wie in Abbildung 8 zu sehen, von unten an die
Plexiglasplatte gestrahlt werden (Rear DI). Ein Finger, der die Plexiglasplatte berührt
reflektiert dann mehr Infrarotwellen zurück zum Sensor als die weiter entfernten Ge6
Ohne die im Kapitel 4.2.4 beschriebene Modifikation
Für weitere Informationen siehe: Dokumentation, Kapitel 4.3
8
http://ccv.nuigroup.com/
9
Wie im Kapitel 4.2.4 beschrieben.
7
11
genstände dahinter. Der Finger erscheint dadurch heller als die Umgebung. Der Vorteil
dieser Technik ist der relativ einfache Aufbau und, dass auch Objekte erkannt werden
können, da dessen gesamte Oberfläche Infrarotlicht reflektiert. Jedoch kann es schwierig
sein die Infrarotwellen gleichmässig über die gesamte Berührungsoberfläche zu verteilen.
Ebenfalls sind aufgrund der schwachen Kontrastunterschiede die Finger für die Kamera,
wie in Abbildung 9 gezeigt, schwer zu erkennen. [Set]
Abbildung 8: Aufbau eines Rear DI
Systems. Bildquelle: [Set]
Abbildung 9: Reflexion der Finger eines
Rear DI Systems. Bildquelle: [Set]
3.1.3.3 Frustrated Total Internal Reflection (FTIR)
Nun zur funktional komplexesten Bauweise, der FTIR-Bauweise. FTIR bedeutet soviel
wie „innere zerstreute Totalreflexion“. Ich werde auf diese Technik den Fokus setzten.
Einerseits, weil der von mir gebaute Multitouch-Table diese Technik benutzt und andererseits, weil dies die momentan populärste alternative Technik ist. Zur Konstruktion
benötigt man zwingenderweise eine Plexiglasscheibe, dessen Kanten klar poliert sein
müssen, so dass keine Kratzer mehr zusehen sind. Des weiteren braucht man Infrarot LEDs und eine Compliant-Surface. Eine Compliant-Surface wird nur für eine FTIR
Bauweise benötigt, sie besteht zum Beispiel aus einem mit Silikon beschichtetem Pergamentblatt. Sie wird gebraucht, um die Reflexion der Wellen und somit die Sichtbarkeit
der Finger zu verbessern. Sie schützt einerseits das Plexiglas und dient dazu noch als
Projektionsfläche für den Beamer.
Nun zum Aufbau: Die LEDs werden zusammen gelötet10 und an den Kanten der Plexiglasplatte befestigt, so dass sie parallel zur Oberfläche hinein leuchten. Zum Schluss
wird die Compliant-Surface auf die Plexiglasplatte gelegt. Die LEDs leuchten gerade in
das Plexiglas hinein und die Infrarotwellen werden auf der Ober- und Unterseite nahezu vollständig reflektiert. Das heisst, dass die Wellen nicht mehr aus dem Plexiglas
hinaustreten können, weil der Einfallswinkel zu gross ist. Wenn nun genügend LEDs
verwendet werden, wird die komplette Oberfläche der Plexiglasplatte mit Infrarotwellen
10
Genauer beschrieben unter: Dokumentation, Kapitel 4.2.2
12
bedeckt. Berührungen sollten dann an jeder Position der Plexiglasplatte vom Sensor erkannt werden können. [Set]
Abbildung 11: Reflexion der Finger eines
FTIR Systems. Bildquelle: [Set]
Abbildung 10: Aufbau eines FTIR Systems. Bildquelle: [Set]
Doch wie verändert die Berührung eines Fingers die Infrarotwellen, wenn diese die Plexiglasplatte nicht verlassen können? Eine Berührung der Plexiglasplatte allein verändert
die Struktur der Oberfläche zu wenig um den Brechungswinkel zu verändern. Trotzdem
kann eine schwache Reflexion beobachtet werden ohne, dass eine Compliant-Surface benutzt wird. Da ich aus mehreren Quellen, innerhalb der NUI-Community, verschiedene
Ansätze gefunden habe, habe ich daraus selbst zwei Hypothese aufgestellt. Ein Zusammenspiel der beiden Lösungen ist auch denkbar.
Hypothese 1
Die Reflexion könnte durch eine Veränderung des Brechungswinkels entstehen. Denn die
Totalreflexion entsteht, wenn die Plexiglasplatte von Luft umgeben ist, da nur dann die
Verhältnisse der Brechungswinkel, den für die Totalreflexion benötigten Winkel ergeben.
Denn der Winkel für die Totalreflexion ist abhängig vom Material, das sich oberhalb
des Plexiglases befindet. Dank der Oberfläche des Silikons befindet sich zwischen der
Compliant-Surface und der Plexiglasplatte Luft, solange die Compliant-Surface nicht
berührt wird. Wenn nun mit dem Finger auf die Compliant-Surface gedrückt wird, so
wird das eine Medium (die Luft) durch das sich an der Unterseite der Compliant-Surface
befindende Silikon ersetzt. Die Brechungsindexe verändern sich und anstatt einer Totalreflexion, hat man nun eine Brechung der Infrarotwellen. Ein Teil des IR-Lichts kann
daher aus dem Plexiglas austreten und wird, wie bei der Abbildung 12 zu sehen, von
der Fingerspitze reflektiert, sodass diese von der Kamera aufgefangen wird.
13
Abbildung 13: Unterbrechung
der
Totalreflexion an den
Druckstellen der Finger.
Abbildung 12: Totalreflexion der Infrarotwellen zu sehen
an den hell erleuchteten
Kanten und den dunklen
Flächen.
Hypothese 2
Es könnte sich allerdings auch auf den Effekt der Evaneszenz stützen. Dieser bewirkt,
dass wenn eine Welle auf ein neues Medium trifft, in welchem sie sich nicht ausbreiten
kann, diese nicht direkt an der Grenzfläche reflektiert wird. Dabei bildet die Grenzfläche
bei der FTIR-Technik die Luft zwischen der Compliant-Surface und der Plexiglasplatte.
Das heisst, dass hinter der Grenzfläche der beiden Medien die Amplitude des IR-Lichts
nicht direkt auf Null fällt, sondern exponentiell abnimmt. Das bedeutet, dass trotz Totalreflexion in der Plexiglasplatte, das IR-Licht wenige Nano- bis maximal Mikrometer
in die Luft oberhalb der Plexiglasplatte eindringt, wie in Abbildung 14 dargestellt ist.
Hinter der Grenzfläche befindet sich also ein evaneszentes Feld von Infrarotwellen. Bei
einer Berührung reflektiert die Compliant-Surface an der Druckstelle dieses Feld. [wika]
Abbildung 14: Entstehung von Evaneszenten Welle.
14
3.1.4 Die alternativen Techniken im Vergleich
Laser Light Plane (LLP)
• Vorteile
• Nachteile
– Klare Blobs ersichtlich.
– Kein LED-Rahmen benötigt
– Berührungen sind
druckempfindlich.
nicht
– Blobs haben starken Kontrast
– Laser sind gefährlich für die
Augen.
– Erfordert ein präzis konstruiertes Gehäuse.
Rear Diffused Illumination (DI)
• Vorteile
• Nachteile
– Objekte, Finger und schwebende Gesten werden erkannt
– Gleichmässige Ausleuchtung
ist schwer
– Einfacher Aufbau
– Schwache
Kontrastunterschiede der Blobs
– LED-Rahmen wird nicht benötigt
– Eine geschlossene Box wird
benötigt
Frustrated Total Internal Reflection (FTIR)
• Vorteile
• Nachteile
– Blobs haben starken Kontrast
– Compliant-Surface wird benötigt
– Blob Intensität verändern
sich bei auf Druck
– Es muss Plexiglas verwendet
werden
– Sehr kleine Blobs können erkannt werden
– Objekte werden nicht erkannt
15
3.2 Software
Zur Hardware braucht man jetzt noch eine Software, damit man das ganze System
überhaupt benutzen kann. Die Software ist ein wichtiger Teil meiner Arbeit, da ich aber
meinen Fokus auf die Hardware und die Konstruktion gesetzt habe, werde ich schon bestehende und ausgereifte Software nutzen. Ausserdem sind die benötigten Algorithmen
zur Bildverarbeitung für Personen ohne Informatikfachwissen sehr anspruchsvoll zu implementieren. Darum werden bei diesem Projekt verschiedene Open-Source-Software und
Freeware benutzt. Die Auswahl und Konfiguration dieser Software wird in der Dokumentation unter Software betrachtet. Damit man die Funktionsweise des Multitouch-Tables
versteht, werden in diesem Abschnitt die generelle Funktionsweise einer solchen Software
behandelt. Das Softwaresystem besteht aus einem Tracker und einem Client. Der Tracker
ist sozusagen das Auge des Computers. Er verarbeitet die Bildinformationen der Webcam zu Berührungseingaben. Diese werden über ein Protokoll an den Client geschickt.
Der Client kann eine beliebige Applikation sein, die Berührungseingaben in Ereignisse
umwandelt, die der Benutzer dann auf seinem Bildschirm sieht. Das folgende Beispiel
verdeutlicht das Zusammenspiel der Softwarekomponenten anhand der Mausbewegung
in einem Betriebssystem: Der Tracker detektiert den Finger im Kamerabild und sendet
dessen Koordinaten über das Protokoll an den Client, welcher diese in eine Mausposition
umwandelt. Die veränderte Mausposition wird dem Betriebssystem gesendet und mittels
des Beamers auf die Oberfläche projiziert.
3.2.1 Tracking-Software
Was genau ist denn nun die Rolle eines Trackers? Er versucht aus dem Videomaterial, welches er von der Webcam erhält, Finger oder Objekte heraus zu filtern. Jedoch
erkennt die Kamera im beschriebenem System keine menschliche Anatomie und keine
Farb- sondern nur Kontrastunterschiede, da sie nur Infrarotlicht wahrnimmt. Deshalb
ist das Ziel der Software abstrakte unförmige Flächen zu finden. Man nennt diese vermeintlichen „Fingerspitzen“ auch Blobs. Um diese Blobs aus dem Bild zu detektieren,
muss sich die Software auf eingeschränkte Mittel verlassen. Die Herausforderung besteht darin, zufällige Kontrastveränderungen oder Störungen von tatsächlichen Fingern
zu unterscheiden. Als Indikatoren helfen die Grösse, Form, Anordnung, Schärfe und
Tiefenschärfe der Blobs. Die Tracking-Software sollte auch die Möglichkeit bieten, diese
Filter manuell zu verstellen, damit das System an die Lichtverhältnisse angepasst werden
kann. Der Tracker muss dann die Positionen der identifizierten Finger in jedem Einzelbild des erhaltenen Videomaterials finden. Ein weiteres Problem ist, dass zwischen zwei
Einzelbildern Finger erscheinen, sich bewegen oder verschwinden können. Daher muss
der Tracker immer wissen welche Position zu welchem Finger gehört. Das heisst, dass er
über die Zeit den Bewegungsvektor jedes einzelnen Fingers verfolgen muss. Die von Tracker gefundenen Fingerpositionen werden dann mittels eines standardisierten Protokolls
an den Client gesendet.
16
3.2.2 Client-Software
Der Client implementiert ein Kommunikationsprotokoll. Ein Protokoll beschreibt die
Kommunikation zwischen Tracking-Software und Client. Der Sinn des Protokolls ist eine Standardisierung, sodass Tracker wie auch Client unabhängig voneinander sind und
ersetzt werden können. Trotzdem wurden verschiedene Protokolle entwickelt, wie zum
Beispiel: Flash XML11 und TUIO UDP12 . Flash XML wird für die meiste Anwendungen, wie zum Beispiel Spiele, verwendet, hingegen wird TUIO eher zur Kommunikation
mit dem Betriebssystem verwendet, also zum Beispiel für die Bewegung der Maus über
Berührungen. Die im Protokoll beschriebenen Positionsänderungen werden in Ereignisse
umgesetzt. Client-Softwares gibt es in aller Art und in grosser Auswahl. Es kann eine beliebige Applikation sein, wie eine Zeichensoftware, ein Geschicklichkeitsspiel, oder
ein Musikinstrument. Ein Beispiel für eine Client-Software ist eine Klavierapplikation,
welche die Position jedes Fingers in einen bestimmten Ton umsetzt.
11
http://help.adobe.com/en_US/as3/dev/WSb2ba3b1aad8a27b0-181c51321220efd9d1c-8000.
html
12
http://www.tuio.org/
17
4 Dokumentation
In diesem Kapitel ist der Bau meines FTIR13 Multitouch-Tables dokumentiert. Viele
Informationen für meine Konstruktion habe ich von der NUI Community. Dieses Forum14
empfehle ich allen Lesern, die sich vertieft mit dem Bau eines Multitouch-Tables befassen
möchten.
4.1 Planung
4.1.1 Dimensionierung
Die Bestimmung der Grösse eines Multitouch-Tables ist eine knifflige Sache. In diesem
Kapitel beschreibe ich mein Vorgehen und was dabei alles beachtet werden muss. Genaue
Details, die für die Beschaffung der Materialien wichtig sind, werden dann im folgenden
Kapitel 4.1.2 hervorgehoben. Bei der Dimensionierung müssen die Möglichkeiten und
Grenzen durch Budget und Hardware beachtet werden, aber gleichzeitig darf man die
Benutzbarkeit nicht vergessen. Unter Benutzbarkeit versteht man, wie angenehm es ist,
den Tisch zu benutzen. Also zum Beispiel die Wahl einer komfortablen Höhe um ihn im
Stehen oder Sitzen zu bedienen. Bei der Bestimmung der Grösse ist man jedoch stark von
der Hardware abhängig. Primär ist zu beachten, dass die geplante Berührungsoberfläche
und das Bild des Beamers die gleichen Seitenverhältnisse haben sollten. Bei meinem
relativ alten Projektor, ein Panasonic PT-F200NT, habe ich nur ein Seitenverhältnis
von 4:3, deshalb musste ich zwangsweise meine Berührungsoberfläche daran anpassen.
Die neuen Projektoren benutzen aber meistens ein Verhältnis von 16:9 oder 16:10. Die
gewünschte Grösse der Berührungsoberfläche setzt zudem die minimal notwendige Höhe
der Kiste voraus, da diese vom Throw-Ratio (Verhältnis zwischen Entfernung des Projektors und der Bilddiagonalen) des Projektors abhängig ist.
Die folgende Formel zur Berechnung der Distanz (L) und Bilddiagonale (D) ist im
Handbuch des jeweiligen Projektors zu finden. Bei meinem Beamer habe ich bei einem
minimalen Zoom der Linse (also einem möglichst grossen Bild) und einer Entfernung
L (in Meter), ein Bild mit der Diagonalen von D (in Inch (in), 1 in = 2.54 cm). Die
Konstanten (0.0304 und 0.048) beschreiben den Einfluss der Linse auf die Bildgrösse.
Für weitere Umformungen ist jedoch die Diagonale in cm nötig, deshalb muss mit dem
Faktor 2.54 multipliziert werden.
L(m) = (D(in) · 0.0304) − 0.048 → D(cm) = 2.54 ·
L(m) + 0.048
0.0304
(1)
Mit einer Umformung der Gleichung und einer Anwendung des Pythagoras kann auch
direkt auf die Höhe (h) bzw. die Breite (b) der Berührungsoberfläche geschlossen werden
(siehe zur Hilfe auch Abbildung 15). Da b2 + h2 = D2 und das Seitenverhältnis hb = 43
13
14
Erklärt im Abschnitt 3.1.3
http://nuigroup.com/forums
18
bekannt ist, kann auf b2 = h2 · ( 43 )2 umgeformt werden. Dies wird in die ursprüngliche
Formel eingesetzt und man erhält h2 · ( 34 )2 + h2 = D2 . Durch eine darauffolgende Umformung erhält man schliesslich die Formel h = √423+32 · D, welche in die Formel (1)
eingesetzt werden kann. Dadurch erhält man folgende Formeln:
h= √
3
L + 0.048
·
2.54
·
0.0304
42 + 32
4
L + 0.048
b= √ 2
·
2.54
·
0.0304
4 + 32
Da mit den meisten Projektoren das direkte nach oben Projizieren nicht möglich ist, oder
dabei die Länge des Beamers bei der Berechnung im Abstand verloren geht, muss das
Bild meistens über einen Spiegel nach oben umgelenkt werden. Dabei kann der Abstand
zwischen Projektor und Spiegel zu L hinzugerechnet werden. Für meinen MultitouchTable wollte ich eine möglichst grosse Berührungsfläche erreichen. Bei einer Höhe des
Gehäuses (H) von 90 cm und einem zusätzlichen Abstand von ungefähr 10 cm zwischen
Projektor und Spiegel konnte ich so eine Berührungsfläche mit der Diagonalen von 34 Zoll
(etwa 87 cm Diagonale, 69 cm Breite und 51.8 cm Höhe) erreichen. Da mein Projektor
zu lang für ein Gehäuse ist, dass nur die Berührungsoberfläche umfasst, musste ich eine
Seite des Gehäuses um 10 cm verlängern, wie auf dem Titelbild zu erkennen ist.
Abbildung 15: Schema des liegenden Tisches. Der Projektor ist in Grün dargestellt, gegenüber befindet sich die Berührungsfläche.
Die Qualität des Bildes auf der Berührungsoberfläche ist ebenfalls von den Eigenschaften
des Beamers abhängig. Die Auflösung des Beamers und die Grösse unserer Berührungsoberfläche ergibt die visuelle Auflösung, also wie viele Pixel man pro Millimeter hat. Bei
einer, für den heutigen Stand der Technik (2013) relativ tiefen Auflösung meines Projektors von 1024x768 Pixel habe ich also 1024 Pixel/690 mm = 1, 5 Pixel/mm. Bei einer zu
kleinen Anzahl Pixel pro Millimeter wirkt das Bild „pixelig“ und unscharf. 1.5 Pixel/mm
19
liegt schon eher im Grenzbereich und bietet kein komplett scharfes Bild.
Eine weiterer limitierender Faktor ist der verwendete Computer und die Datenmenge die
er verarbeiten kann. Es kann noch so eine gute und schnelle Kamera eingesetzt werden,
wenn der Computer die empfangenen Daten nicht verarbeiten kann, schöpft die Kamera
nicht ihr volles Potential aus. Eine gute und schnelle Kamera ist jedoch dringend nötig,
denn die Auflösung des Filmmaterials ist massgebend für die Genauigkeit und Grösse der
wahrgenommenen Berührungen. Eine hohe Anzahl Einzelbilder pro Sekunde ist wichtig
für die Geschwindigkeit der wahrnehmbaren Gesten. Durch eine hohe Auflösung können
mehr Pixel pro Millimeter erkannt werden. Dies ermöglicht das Wahrnehmen von sehr
kleinen Blobs. Ein zu schwaches System oder eine zu langsame Kamera führt dazu, dass
die Bewegungen und Gesten nicht flüssig oder verzögert wahr genommen werden.
Die Dimensionierung des Multitouch-Tables erfordert ein systematisches Vorgehen und
die Berücksichtigung all dieser Parameter. Zuerst muss man sich für ein Bildverhältnis
und die Grösse der Berührungsoberfläche entscheiden. Dann muss mit der oben genannten Formel überprüft werden, ob dies mit dem vorhanden Projektor und der angestrebten
Höhe möglich ist. Zu beachten ist, dass das Bild mit dem verstellen der Linse (sofern
der Beamer diese Funktionalität unterstützt) immer noch kleiner gemacht werden kann
(ein zu grosses Bild bei gewünschter Höhe ist dann kein Problem). Zusätzlich muss überprüft werden, welche visuelle Auflösung der Projektor beim gewählten Seitenverhältnis
erreicht. Eine Kamera15 mit den dazu passenden Eigenschaften, wie dem selben Bildverhältnis und einem ausreichenden Blickwinkel, muss dann noch erhältlich sein. Schliesslich
muss nur noch ein genügend schnelles System zur Verfügung gestellt werden (Ich musste
feststellen, dass mein zuvor verwendetes System, ein Asus Eee PC 1015P16 , zu schwach
ist). In der Abbildung 16 ist der finale Aufbau meines Multitouch-Tables zu sehen.
Abbildung 16: Der finale Aufbau meines Multitouch-Tables. Alle Grössen in cm.
15
16
Mehr Details im Folgenden Kapitel 4.1.2
http://www.asus.com/Notebooks_Ultrabooks/Eee_PC_1015P_Seashell/
20
4.1.2 Materialien
4.1.2.1 Die Kamera
Man kann es sich bei der Auswahl der Kamera sehr einfach oder eher aufwändiger machen. Entweder wird eine Infrarotkamera benutzt oder man nimmt eine günstige Webcam
und baut sich daraus selbst eine Infrarotkamera, wie im Kapitel 4.2.4 erklärt. Für eine
Infrarotkamera bezahlt man jedoch mindestens 100 CHF, dafür kann das Kapitel über
die Modifikation übersprungen werden. Will man eine Infrarotkamera selbst basteln, so
kann man nicht irgendeine Webcam benutzten. Bei der Wahl sind bestimmte Kriterien
zu beachten. Zum Beispiel muss die Kamera leicht zu modifizieren sein. Das heisst, der
zu entfernende Infrarotfilter muss leicht zugänglich sein. Die Einzelbilder des gesendeten
Filmmaterials der Kamera müssen einerseits eine genügende Auflösung (640x480 Pixel
sollte genügen) und das gleiche Seitenverhältnis wie die Berührungsoberfläche haben.
Für Multitouch-Tables die sehr tief sind, aber trotzdem eine breite Berührungsfläche
besitzen, muss eine Kamera mit grossem Blickfeld genutzt werden. Andererseits müssen
es aber auch genügend Bilder pro Sekunde sein („fps“ Frames per Second). Um flüssige Bewegungen wahrzunehmen sollte die Kamera mindestens 20 fps liefern. Die Form
der Webcam spielt insofern auch eine Rolle als, dass man eine kugelrunde Webcam unter Umständen einfach nicht gut platzieren kann. Ein weiteres Kriterium ist natürlich
noch der Preis, über den jeder individuell entscheiden muss. Und zum Schluss sollte
die Kamera natürlich auch von unserem Betriebssystem unterstützt werden. Ich habe
mich zwischen der Logitech HD Webcam C270 und der Microsoft Life Cam HD-3000
entscheiden müssen. Wobei ich dann die Logitech C270 für 35 CHF gekauft habe, da
ich dort mehrere Internetquellen hatte, die mir versicherten, dass der Infrarotfilter leicht
auszubauen ist.
4.1.2.2 Die LEDs
Auch bei den LEDs gibt es einen einfachen dafür aber teuren Weg, oder einen aufwändigen und günstigeren Weg. Man kann die LEDs schon fertig in einem Rahmen kaufen.
So kann man sich zwar sehr viel Arbeit sparen, dafür sind diese aber nicht ganz billig
und nicht so leicht erhältlich, lediglich bei einem Online-Shop (led1.de17 ) in Deutschland
habe ich welche gefunden. Oder man kauft sich die LEDs einzeln und lötet sie selbst
zusammen. Zum Vergleich: Einer dieser LED Streifen von 50 cm Länge kostet 20 - 30
Euro. Davon benötigt man mindestens vier. Das kostet um die 100 Euro. Kauft man die
LEDs einzeln, so zahlt man für 120 LEDs ca. 30 Euro. Egal ob nun die vorgefertigten
oder die einzelnen LEDs gekauft werden, muss beim Kauf auf bestimmte Eigenschaften
geachtet werden. Sehr wichtig bei den LEDs ist, dass man genug viele davon hat. Das
gilt vor allem dann, wenn man nicht so erfahren im Löten ist, denn die LEDs können
dabei schnell durch Hitze kaputt gehen. Deshalb sollte gut ein Viertel mehr als Vorrat
gekauft werden. Das ist auch nicht weiter schlimm denn die LEDs sind einzeln ziemlich
günstig. Unbedingt muss aufgepasst werden, dass Infrarot-LEDs gekauft werden. Am ge17
http://www.led1.de/shop/led-module-leisten-strips/led-strips/led-strips-infrarot/
21
eignetsten sind LEDs mit einer Wellenlänge von 850 nm, da diese laut NUI-Community
von der Kamera am besten wahrgenommen werden. Aber auch 950 nm liegt noch im
guten Rahmen. Die LEDs sollten je nach dicke des Plexiglas drei oder fünf Millimeter
gross sein, und einen Abstrahlwinkel von etwa 20 - 40 Grad haben. Aus Erfahrungen der
NUI-Community sollten die LEDs in Abstand von 3 - 3.5 cm platziert werden, damit die
Berührungsoberfläche genügend dicht ausgeleuchtet wird. Für meinen Multitouch-Table
habe ich die LT-059218 IR LEDs von led-tech.de für 0.34 Euro Stückpreis gekauft.
4.1.2.3 Das Plexiglas
Als Berührungsoberfläche benötigt man für die FTIR-Bauweise zwingend Plexiglas, da
nur dieses die Eigenschaften besitzt, welche für eine Totalreflexion benötigt werden. Je
nach dem wie gross die Berührungsoberfläche sein soll, muss dickeres oder dünneres
Plexiglas gekauft werden. Bei meinem Multitouch-Table mit einer Fläche von 74 cm x
56,8 cm habe ich eine Plexiglasplatte mit der Dicke von 8mm benutzt. Um ein Durchhängen bei grösseren Platten zu vermeiden ist die Verwendung einer 10 bis 12 mm dicken
Platte empfohlen. Plexiglas ist in grossen Baumärkten meist nur in sehr geringen Dicken
erhältlich, in lokalen Fachgeschäften sind aber auch dickere Exemplare zu finden. Meistens können sie dort auch passend zugeschnitten werden. Auf Nachfrage können einige
Geschäfte die Platten für einen kleinen Aufpreis mit einem Laserschneider zuschneiden.
Damit kann man sich einiges an Schleif- und Polieraufwand ersparen, da die Kanten
dann vollkommen klar sind. Beim Kauf der Plexiglasplatte für die Berührungsoberfläche muss berücksichtigt werden, dass auf allen Seiten ein Rand von etwa 2,5 cm zur
Befestigung dazu gezählt werden muss.
4.1.2.4 Der Projektor
Die Auswahl des Projektors ist massgebend für die Bestimmung der Grösse des MultitouchTables. Dabei muss auf Seitenverhältnis und Throw-Ratio geachtet werden. Die Formel
zur Berechnung des Throw-Ratios ist wie im Kapitel 4.1.1 beschrieben, meistens in
der Gebrauchsanleitung zu finden. Sofern man einen kleinen Multitouch-Table mit einer
grossen Berührungsoberfläche bauen will, empfehle ich die Verwendung eines Shortthrow
Projektors, welcher auch auf eine kurze Distanz ein grosses Bild projizieren kann. Ebenfalls muss auch auf eine ausreichende Auflösung und Helligkeit geachtet werden. Letzteres ist wichtig, damit der Multitouch-Table auch bei Tageslicht oder in hell erleuchteten
Räumen benutzt werden kann. Mein Projektor besitzt eine Helligkeit von 3500 Lumen
und eine Auflösung von 1024x768, was sich beides im akzeptablem Bereich befindet. Die
Auswahl ist sehr von der angestrebten Grösse und dem zur Verfügung stehendem Budget
abhängig. Mein Projektor, ein Panasonic PT-F200NT, habe ich von meiner Schule für
diese Arbeit zur Verfügung gestellt bekommen.
18
http://www.led-tech.de/de/Leuchtdioden/5mm-LEDs/IR-LED-LT-592_1_4.html
22
4.2 Konstruktion
Nun zur Konstruktion der einzelnen Komponenten und deren Zusammensetzung zum
Gesamtwerk. Wenn diese Dokumentation als Anleitung benutzt wird, so soll das behandelte Kapitel immer zuerst zu Ende gelesen werden, bevor mit der Arbeit begonnen
wird.
4.2.1 Die Bearbeitung des Plexiglases
In diesem Kapitel wird die Vorbereitung des Plexiglas behandelt. Sofern die Plexiglasplatte mit einem Laserschneider zugeschnitten wurde, kann dieses Kapitel übersprungen
werden. Die meisten Plexiglasplatten werden per Säge zugeschnitten. Dies hat die Problematik, dass die Kanten völlig zerkratzt sind. Dadurch ist es den Infrarotwellen nicht
möglich, ungehindert ins Plexiglas einzutreten. Deshalb müssen die Seitenkanten geschliffen und poliert werden. Dies ist zwar nicht sehr kompliziert, aber braucht sehr viel
Zeit und Schleifpapier. Für das Schleifen sollte die Schutzfolie des Plexiglases auf den
Flächen unbedingt darauf gelassen werden und die Plexiglasplatte auf einen weichen Untergrund platziert werden, damit sie nicht zerkratzt wird. Sobald der Multitouch-Table
in Betrieb genommen wird, sollte sich aber auf der Fläche kein Klebeband oder Ähnliches befinden, da dieses die Totalreflexion stören kann.
Weil meine Kratzer an den Kanten besonders tief waren habe ich zuerst mit 80er dann
120er, 200er, 300er und 400er Schleifpapier die Kanten abgeschliffen. Beim Schleifen
füllen sich zum Teil kleine Ritzen mit dem Staub des Schleifpapiers und es entstehen
braune Striche. Daran kann man erkennen wie lange man mit der selben Stufe weiter
schleifen soll. Erst wenn die meisten braunen Linien verschwunden sind, sollte man zum
nächst höheren Schleifpapier wechseln. Wenn die Striche nicht auszumerzen sind, muss
man unter Umständen eine Schleifpapierstufe zurück. Wenn man mit allen Schleifpapieren durch ist, müssen die Kanten noch poliert werden. Ich habe dies mit Polierpapier,
einem Schleifpapier mit sehr feinen und weichen Körnern, gemacht. Dies hat zwar wieder
sehr viel Zeit und Anstrengung benötigt, mit einer Schwabbelscheibe war die Reibung
aber zu hoch und das Plexiglas ist teilweise geschmolzen. Das nächste Mal würde ich
vielleicht eine Feuerpolitur ausprobieren. Dabei wird die oberste Schicht der Kanten mit
einem Bunsenbrenner geschmolzen.
4.2.2 Die Infrarot-LEDs
Für meinen Multitouch-Table habe ich die LT-0592 IR LEDs von Led-tech verwendet.
Diese haben eine Wellenlänge von 850 nm bei einem Abstrahlwinkel von 20 Grad und
einem Durchmesser von 5 mm. Sie benötigen eine Spannung von 1.5 Volt und eine Stromstärke von 20 mA. Um eine gleichmässige Verteilung des Infrarotlichts zu erreichen, müssen mindestens zwei Seiten des Plexiglas mit LEDs versehen werden. Jedoch empfehle
ich, auf allen 4 Seiten LEDs zu platzieren, damit die Finger genug Infrarotwellen reflektieren und so klar hervorstechen. Dabei kommt es auch darauf an, wie viele LEDs pro
Seite benutzt werden. Bei einer Berührungsoberfläche (inklusive Befestigungsabstand)
23
von 74 cm x 56,8 cm habe ich 80 LEDs in einem Abstand von 3 - 3.5 cm platziert. Nun
müssen diese LEDs miteinander verbunden werden. Dazu gibt es 2 verschiedene Methoden. Entweder können die LEDs seriell oder parallel verbunden werden. Dabei muss
unbedingt aufgepasst werden, dass die zulässige Spannung und Stromstärke nicht überschritten wird, weil die LEDs sonst durchbrennen.
Serielle LEDs
Werden die LEDs seriell geschaltet (wie in Abbildung 17 gezeigt) so wird die Spannung
über jedes LEDs gleichmässig aufgeteilt. Benutzt man also 3 LEDs bei einer Stromquelle von 6 Volt, so liegt bei jedem LED eine Spannung von 2 Volt an. Die Anzahl der
LEDs wird also durch die zur Verfügung stehende Spannung limitiert. Das heisst, dass
viele kleine Gruppen mit seriell geschalteten LEDs, parallel zusammengehängt werden
müssen. Dabei muss aufgepasst werden, dass die korrekte Spannung verwendet wird.
Meine verwendeten LEDs benötigen eine Spannung von 1.5 Volt. Werden also 6 LEDs
(benötigen 9 Volt) verwendet bei einer Stromquelle mit 12 Volt, so müssen die übrigen
3 Volt durch einen Vorwiderstand reduziert werden. Mit der Formel U/I = R kann man,
da der Widerstand der LEDs sehr klein ist und daher vernachlässigt werden kann, den
benötigten Widerstand berechnen. Dabei ist U die zu reduzierende Spannung und I die
benötigte Stromstärke für ein LED in Ampere. Also: 3 V /0.02 A = 150 Ω. Zur Sicherheit soll der errechnete Wert zum nächst grösseren erhältlichen Widerstand aufgerundet
werden. Das kann zur Folge haben, dass die LEDs ein bisschen schwächer leuchten. Da
ich eine Stromquelle von 12 Volt (ein altes Computer-Netzteil) verwendet habe, habe ich
die LEDs zu 8er Gruppen verbunden, sodass kein Vorwiderstand nötig ist. Im gesamten
habe ich 10 dieser 8er Gruppen verwendet.
Abbildung 17: LEDs in serieller Schaltung. Bildquelle: [Lc]
Parallele LEDs
Werden die LEDs parallel miteinander verbunden (wie in Abbildung 18 gezeigt) so ist
die Spannung über jedem LED dieselbe. Der Gesamtwiederstand einer Parallelschaltung
24
ist jedoch kleiner als der Widerstand einer einzelnen LED, deshalb steigt die benötigte
Stromstärke. Der limitierende Faktor ist also die Stromstärke. Der erhöhte Strombedarf
sollte aber kein Problem sein, solange das Netzteil die benötigte Stromstärke liefern
kann. Der Vorteil der parallelen Verbindung ist, dass alle LEDs oder zumindest alle
LEDs einer Seite, miteinander verbunden werden. Auch hier sollte aber immer ein Vorwiderstand verwendet werden, der in serie montiert wird. Dieser berechnet sich mit der
selben Formel: U/I = R. Dabei werden aber nicht die Spannung der LEDs, sondern
die Stromstärke, addiert. Das heisst, bei einer Stromquelle von 12 Volt und meinen
LEDs (Spannungsbedarf von 1.5 V pro Stück) ist U = 10.5 V . Bei einem Einsatz von
24 LEDs ergibt das eine Stromstärke I von 24 · 0.02 A. Der Vorwiderstand benötigt also
10.5 V /0.48 A = 21.87 Ω.
Abbildung 18: LEDs in paralleler Schaltung. Bildquelle: [Lc]
Um die LEDs zu verbinden habe ich, wie in Abbildung 19 zu sehen, Löcher in ein
schmales Holzstück gebohrt und darin die LEDs platziert. So konnte ich das Holz als
Unterlage und Halterung zum Löten verwenden. Die LEDs können danach mit oder
ohne Halterung am Plexiglas befestigt werden. Es wäre auch möglich Halterungen aus
Aluminium, die wie Klammern auf die Plexiglasplatte passen, zu verwenden.
Abbildung 19: Die zusammengelöteten LEDs in der Holzhalterung.
Nun, ich werde nicht lügen, nahezu 100 LEDs zusammen zu löten war extrem mühsam
und zeitaufwändig. Deshalb würde ich beim nächsten Mal entweder vorgefertigte LEDs
oder wenigstens Lötstreifen verwenden. Zudem würde ich die LEDs parallel miteinander verbinden, da die LEDs sehr wenig Strom benötigen und somit die Aufteilung der
Spannung ein viel grösseres Problem darstellt, als die bei der Parallelschaltung benötigte
25
grössere Stromstärke. Beim Löten der LEDs muss auf deren Polung geachtet werden,
weil Strom nur von einer Richtung durch das LED fliessen kann. Bei den meisten LEDs
ist das lange Bein der Pluspol und das kurze der Minuspol. Wenn beide Beine gleich
lang sind, dann erkennt man es an der Grösse der Plättchen im Inneren des LEDs. Die
grosse Seite ist der Minuspol. Die Polarität kann auch mit einer AA Batterie erprobt
werden. Dazu muss aber die Infrarotkamera19 vorhanden sein, da Infrarotlicht für uns
nicht sichtbar ist. Werden die LEDs in Serie geschaltet, so muss, wie bei Abbildung 17
gezeigt, immer der Minuspol mit dem Pluspol des nächsten LEDs verbunden werden. Bei
der parallelen Schaltung müssen alle gleichen Pole auf einer Seite sein, wie bei Abbildung
18 gezeigt.
4.2.3 Die Compliant-Surface
Die Compliant-Surface ist eine Deckschicht die über das Plexiglas gelegt wird. „CompliantSurface“ bedeutet soviel wie nachgebende Oberfläche. Damit ist gemeint, dass die Oberfläche auf Druck nachgibt und eine Verbindung mit dem Plexiglas erstellt und somit die
Reflexion erzeugt. Solange aber kein Druck auf die Oberfläche einwirkt, darf keine Verbindung bestehen bzw. keine Reflexion stattfinden. Es muss sich also Luft dazwischen
befinden. Damit die Compliant-Surface nicht nach einer Berührung kleben bleibt und
schnell wieder Luft zwischen Compliant-Surface und Plexiglas strömen kann, erzeugt
man auf der Oberfläche eine mikroskopisch kleine Noppenstruktur (wie in Abbildung 20
zu sehen). Diese halten die Compliant-Surface vom Plexiglas fern und lassen dadurch
einen dünnen Freiraum offen.
Bei meinem Versuch mit einer Compliant-Surface ohne Struktur gab es zwar eine Reflexion, jedoch blieb diese auch noch bestehen wenn längst keine Berührung mehr vorhanden
ist. Dadurch entstanden lange Striche, welche die Software als potenzielle Blobs erkennt.
Eine Compliant-Surface besteht aus einem beliebigen halbtransparentem Material das
mit der Noppenstruktur aus Silikon bedeckt ist. Silikon wird verwendet, da es geeignete
Eigenschaften besitzt, um damit zu arbeiten. Anfangs ist es relativ flüssig, sodass gut
damit gearbeitet werden kann. Nach dem Trocknen ist es aber immer noch verformbar
und zerkratzt daher nicht die Plexiglasplatte. Da die Compliant-Surface auch als Projektionsfläche für den Projektor dient, hat die Wahl des Materials einen Einfluss auf die
Farben und den Kontrast des Bildes.
19
Im Kapitel 4.2.4 beschrieben.
26
Abbildung 20: Foto der Noppenstruktur der Compliant-Surface.
Für meine Compliant-Surface habe ich weisses Pergamentpapier aus einer lokalen Papeterie benutzt. Es kann aber auch zum Beispiel Transparentpapier benutzt werden. Dieses
bietet jedoch einen relativ schlechten Kontrast für das darauf projizierte Bild. Um den
Kontrast und die Bildqualität zu erhöhen, bedecken viele ihre Compliant-Surface mit
einer Projektionsfläche. Die NUI-Community hat mit vielen Materialien herum experimentiert und eine Liste20 mit den für die Projektionsfläche am besten geeigneten Materialien zusammengestellt. In der Liste variieren die Preise von 2 Dollar bis zu 1500 Dollar.
Ich habe keine zusätzliche Projektionsfläche verwendet. Meine Compliant-Surface hat im
gesamten lediglich ungefähr 5 CHF gekostet.
Mein Pergamentpapier habe ich mit weissem Isoliersilikon beschichtet. Zur Beschichtung
kann das Silikon entweder direkt mit einem Farbroller aus Schaumstoff ausgerollt werden,
oder man löst das Silikon zuerst in Aceton oder Xylole (Verhältnis 1:1) auf (diese Technik
nennt sich Tinkermans Method). Dadurch kann man viel einfacher eine dünnere Schicht
auftragen. Ich habe mit der Tinkermans Method ungefähr 4 Schichten aufgetragen, mit
ungelöstem Silikon reichen 2 bis 3 Schichten. Zum Trocknen sollte man die CompliantSurface in einem sauberen Raum, damit nicht zu viel Schmutz in die Silikonschicht
eingeschlossen wird, für mindestens 4 bis 6 Stunden aufbewahren. Wenn dies trotzdem
passiert, sollte man auf keinen Fall versuchen den Dreck zu entfernen. Einerseits geht
dabei die Struktur kaputt und andererseits kann man, sofern das Silikon schon ein
wenig getrocknet ist, riesige Löcher in die Silikonschicht reissen. Ebenfalls wenn das
Pergamentpapier, für die Bearbeitung mit dem Silikon, mit Klebeband befestigt wird,
muss es nach dem Trocknen des Silikons, aus den oben genannten Gründen, heraus
geschnitten werden.
20
http://www.peauproductions.com/diffusers.html
27
4.2.4 Die Modifikation der Kamera
Das Ziel der Modifikation ist, die normale Webcam zu einer Infrarotkamera umzufunktionieren. Diese soll nur noch Infrarotlicht und kein oder sehr wenig sichtbares Licht
sehen. Dazu muss der eingebaute Infrarotfilter aus der Kamera entfernt und ein Filter
für normales Licht eingefügt werden. Die Modifikation der Webcam ist ziemlich knifflig.
Es muss mit äusserster Vorsicht gearbeitet werden, ansonsten kann die Kamera schnell
beschädigt oder sogar zerstört werden. Dabei ist zu beachten, dass die Modifikation nur
bedingt rückgängig zu machen ist, und durch die Modifikation die Garantie der Webcam
verfällt.
Der Favorit unter den Webcams der NUI-Community ist das PS3-Eye. Eine Webcam
die eigentlich für die Spielkonsole Playstation 3 konzipiert ist. Aber durch, eine von der
Community selbst geschriebene, Software vom PC benutzt werden kann. Das PS3-Eye
bietet eine enorm hohe Anzahl von 75 Bilder pro Sekunde und hat dabei für die meisten
Anwendungen eine ausreichende Auflösung. Das einzige Problem dieser Kamera ist: Es
gibt zwei verschiedene Bauweisen, die von aussen nicht zu unterscheiden sind: die „gute“
und die „schlechte“ Bauweise. Bei der „schlechten“ befindet sich der Infrarotfilter hinter der Linse, so dass er nicht entfernt werden kann, ohne die Kamera zu zerstören.
Diese „schlechte“ Kamera wird hauptsächlich in Europa verkauft. Nun kann zwar eine
aus Amerika importiert werden und man hat eine ausgezeichnete Kamera, dies wird
aber wegen den Zöllen und Versandkosten ziemlich teuer. Deshalb kann man auch zum
Beispiel eine einfach erhältliche Logitech Webcam benutzen. Diese hat zwar nicht so
viele Bilder pro Sekunde, aber dank vielen Erfahrungsberichten und Guides aus dem
Internet kann man sich sicher sein, dass der Infrarotfilter bei den meisten neueren Webcams einfach zugänglich ist. Für meinen Multitouch-Table habe ich die Logitech C270
benutzt. Die meisten anderen Webcams sind wohl ähnlich aufgebaut, das einzig schwere
dabei ist, den Infrarotfilter zu finden und zu entfernen ohne die Webcam zu beschädigen.
Dabei muss aufgepasst werden, dass nicht zu viel Staub auf den Sensor oder die Linse
gelangt. Sofern vorhanden, ist auch zu empfehlen, mit einem Lichtmikroskop zu arbeiten.
Nun zur Modifikation der C270. Zuerst muss die Schutzplatte, wie in Abbildung 21 zu
sehen, entfernt werden, um die darunterliegenden Schrauben frei zu legen. Sind diese
entfernt, gelangt man zum inneren der Webcam. In der Mitte der grünen Schaltplatine
sieht man das runde Mikrofon. Der quadratische Aufsatz mit dem kleinen Zahnrad,
neben dem Mikrofon, ist die Linse. Darunter befindet sich der CCD-Sensor mit dem
Infrarotfilter.
28
Abbildung 21: Die geöffnete Webcam
C270. Bildquelle: [Jos12]
Abbildung 22: Zusehen: links das Mikrofon, rechts die Linse.
Bildquelle: [Jos12]
Nun müssen zwei kleine Schrauben herausgenommen werden, welche die Schaltplatine
in der Kamera befestigen. Die Schaltplatine kann dann herausgenommen werden. Auf
der Rückseite können die Schrauben der Linse entfernt werden. Das nun freilegende
kleine quadratische Plastikstück mit der roten Folie ist der Infrarotfilter, der direkt
über dem CCD- Sensor liegt (siehe Abbildung 23). Der Filter muss nun entfernt werden
ohne den Sensor zu beschädigen. Am besten beheizt man kurz den Kleber, der den
Filter festhält, mit einem Föhn und schneidet dann mit einem scharfen Messer, am
Rand entlang, den Filter hinaus. Die Schaltplatine sollte aber nicht zu lange erhitzt
werden, da sich Lötstellen lösen könnten. Nun braucht man noch einen neuen Filter
um das normale Licht herauszufiltern. Dafür gibt es mehrere Möglichkeiten: Man kann
sich einen Filter kaufen der nur die Frequenz der ausgesuchten LEDs durchlässt. Ein
solcher ist meist nicht so einfach erhältlich und kostet mindestens 50 CHF. Dafür können
ungewollte Nebeneffekte wie falsch detektierte Finger oder Hotspots vermieden werden.
Als günstigere Variante kann auch die Magnetfolie einer alten Diskette oder belichtet und
entwickelter 35 mm Farbfilm verwendet werden (siehe Abbildung 24). Der gewählte Filter
kann nun entweder an die Stelle des ursprünglichen Infrarotfilters gesetzt werden oder
ganz aussen an der Kamera angeklebt werden. Ich verwende beide Filter: ein passend
ausgeschnittenes Rechteck Magnetfolie habe ich direkt auf den CCD-Sensor gesetzt und
ein kurzes Stück Farbfolie auf der Aussenseite der Kamera befestigt.
29
Abbildung 24: Farbfilm oder Magnetfolie als Filter. Sichtbares Licht wird von
diesen Materialien abgeschirmt. Das für uns
nicht sichtbare infrarote
Licht kann jedoch passieren.
Abbildung 23: Die Schaltplatine mit
dem freien Sensor (Infrarotfilter entfernt). Bildquelle: [Jos12]
Nun hat man aber noch ein kleines Problem. Mit dem Entfernen des Infrarotfilters hat
man den Fokus der Kamera verändert. Um diesen wieder neu einzustellen muss man
das Zahnrad der Linse drehen. Da dieses festgeklebt ist (siehe Abbildung 25), muss man
auch hier entweder rohe Gewalt anwenden (Vorsicht, dass die Linse nicht kaputt geht)
den Kleber durchtrennen, oder ihn mit dem Föhn erhitzen. Sobald sich das Rad drehen
lässt, kann die Linse wieder hinein geschraubt werden. Nun muss man die Kamera noch
anstecken und die Linse soweit hinaus oder hinein drehen, dass das Bild scharf ist. Die
Modifikation ist damit fertig und die Kamera kann wieder zusammengeschraubt werden.
Die Bilder der Kamera sehen nun, wie in Abbildung 26 gezeigt, aus.
Abbildung 25: Die entfernte Linse.
Bildquelle: [Jos12]
Abbildung 26: Das Bild der Kamera
nach der Modifikation.
30
4.3 Software
Ich habe drei Tracker-Softwares getestet: Community Core Vision (CCV), Touchlib und
ReacTIVision. In diesem Kapitel wird Community Core Vision genauer betrachtet und
erörtert weshalb ich dieses für meinen Multitouch-Table zu verwendet habe. Dabei werden die wichtigsten Funktionalitäten und Filter zur Erkennung der Blobs, sowie die
Kalibrierung der Kamera mit dem Bild, erläutert.
Abbildung 27: Community Core Vision
Community Core Vision21 ist ein von der NUI-Community entwickelte Open-Source
Tracking-Software. In Abbildung 27 ist die Benutzeroberfläche von CCV Version 1.4 zu
sehen. Im oberen linken Feld ist das original Bildmaterial und Einstellungen zur Wahl
der Kamera aufzufinden. Daneben befindet sich das Bild mit den erkannten Blobs. Darunter sind Funktionen um die Grösse der akzeptierten Blobs zu verändern. Der rechte
vertikale Balken bietet verschiedene Optionen wie das Starten des Kalibrierungs-Modus,
die Spiegelung des Bildes, oder die Wahl des Client-Protokolls. Am unteren Rand sieht
man die verschiedenen Filter in der von CCV ausgeführten Reihenfolge.
Mit dem ersten Filter (Background) kann der Benutzer ein ein Einzelbild (möglichst ohne
Blobs) aus dem Bildmaterial aufnehmen. Dieses statische Bild wird als Hintergrund verwendet und von den folgenden Bildern weg subtrahiert. Umgebungslicht wird dadurch,
wie in Abbildung 27 zu sehen, nicht mehr wahrgenommen und nur noch grundsätzliche
21
http://ccv.nuigroup.com/
31
Veränderungen, wie das Erscheinen von Blobs, wahrgenommen. Der „Smooth“ Filter
glättet das Bild und schärft die Konturen der Blobs. Ausserdem entfernt es jegliches
Hintergrundrauschen. Der Highpass-Filter hat zwei Funktionen: „Blur“ und „Noise“.
Blur entfernt die verschwommenen Teile des Bildes und hinterlässt die Scharfen. Die
Noise Funktion entfernt ein Bildrauschen das durch den Blur Filter auftreten kann. Für
LLP und FTIR Multitouch-Tables benötigt man den Highpass-Filter allerdings nicht.
Der letzte Filter (Amplify) erhöht die Helligkeit von schwachen Blobs. [Sana]
Um den Multitouch-Table optimal nutzen zu können, muss die Software richtig Konfiguriert werden. Dazu müssen nun alle Filter so angewandt werden, dass nur die richtigen
Blobs vorhanden sind und als Berührungen erkannt werden. Es sollte auch kein Rauschen
oder andere falsche Blobs vorhanden sein.
Abbildung 28: Kalibrierung in CCV. Bildquelle: [ccv]
Um die Konfiguration abzuschliessen muss nun kalibriert werden. Das heisst, dass der
Projektor und die Kamera miteinander abgeglichen werden, sodass eine von der Kamera
erkannte Berührung mit einem Ort auf der Benutzeroberfläche synchronisiert wird (zum
Beispiel soll die Position der Maus genau der Position des Fingers entsprechen). Dies ist
notwendig um mit Elementen auf der Benutzeroberfläche interagieren zu können. Mit
der Taste O wird die Kalibrierung gestartet. Es erscheint, wie in Abbildung 28 gezeigt,
ein umrahmtes Raster aus Kreuzen. Das Raster kann verschoben und vergrössert werden. Ist man damit zufrieden, kann mit der Taste C die Kalibrierung beginnen. Dabei
müssen die rot umkreisten Kreuze solange berührt werden bis sie weiss sind. Hat man
alle Kreuze durchgearbeitet ist man mit der Kalibrierung fertig. In diesem Raster werden nun alle registrierten Blobs mit farbigen Punkten markiert und es sollte kontrolliert
werden ob diese immer mit der Position des Fingers Übereinstimmen.
Alle drei von mir getesteten Client-Softwares sind durchaus brauchbar. Ich habe CCV
gewählt, weil es einerseits sehr angenehm zu bedienen ist und andererseits weil die Verar-
32
beitung des Bildes durch die Filter verständlich und nachvollziehbar gezeigt wird. Dazu
bietet es alle notwendigen Filter um klare Blobs hervorzubringen. Bei ReacTIVision und
Touchlib fehlt es generell einfach an Übersicht und der Zugänglichkeit der Filter. Zum
Beispiel ist bei Touchlib der Amplify-Filter in zwei weitere Filter unterteilt, sodass es
extrem schwer ist ein akzeptables Resultat zu erzielen. Die Kalibrierung mit Touchlib
hat bei mir zudem nicht Funktioniert, da zwar Blobs sichtbar waren, diese aber nicht
als Finger erkannt wurden. Die Kalibrierung mit Reactivision ist extrem mühsam da
nicht wie bei CCV und Touchlib die Berührungen an den Bildschirm angepasst werden,
vielmehr muss ein, auf den Bildschirm projiziertes Gitter, auf die Berührungen zurecht
geschoben werden.
Um den Multitouch-Table mit einer Client-Software in Betrieb zu nehmen, muss CCV
im Hintergrund offen sein (mit der Leertaste wird es zu einer minimierten Form). Die
meisten Applikationen benutzen die Protokolle TUIO oder Flash XML, diese sollten
also beide eingeschaltet sein. Um Windows über Berührungen steuern zu können, habe
ich TUIO-Mouse22 , ein von der NUI-Community selbst programmierter Maus-Treiber,
verwendet. Dieser lässt einem nach der Aktivierung, die Maus frei Steuern. Ein Linksklick
ist dabei eine stetige Berührung und eine kurze Berührung links davon. Ein Rechtsklick
entspricht dem Selben, aber auf der rechten Seite.
Abbildung 29: Wong (Wall-Pong) als Client-Software. Bildquelle: [Sanb]
Andere Applikationen funktionieren über das Flash-Protokoll. Dazu ist ein Flashoberfläche, genannt Flash-Projektor23 , notwendig. Applikationen wie Wong (Wall-Pong), zu
sehen in Abbildung 29 müssen nur in den Flash-Projektor gezogen werden. Zum Teil
muss dem Ordner in dem sich die Applikation befindet noch, wie hier beschrieben24 ,
Zugriff erlaubt werden. Eine kleine Liste von Applikationen ist hier25 zu finden. Jedoch
ist zu beachten, dass Maustreiber und Flash Applikationen nur bedingt gleichzeitig verwendet werden können, da man sonst immer Rechtsklicks macht beim Wong spielen.
22
http://nuigroup.com/forums/viewthread/3447/
download.macromedia.com/pub/flashplayer/updaters/11/flashplayer_11_sa.exe
24
http://sethsandler.com/multitouch/community-core-vision-flash-setup/
25
http://sethsandler.com/my-software/
23
33
5 Resultat
5.1 Ergebnisse
Schlussendlich gelang es mit alltäglichen Mitteln einen komplexen Interaktiven Display
zu bauen. Der Multitouch-Table ist voll funktionsfähig und erreicht, mit der eingesetzten
alternativen Technik (FTIR), alle gesetzten Ziele.
Auf der grossen Berührungsoberfläche mit einer Diagonalen von 34 Zoll lässt sich angenehm Windows steuern und Spiele wie Wong26 mit mehreren Personen gleichzeitig
spielen. Die Geschwindigkeit der verfolgten Bewegungen ist mit 30 fps mehr als ausreichend für diese Anwendungen. Die Genauigkeit ist hervorragend und nicht vom System,
sondern durch die Grösse der Fingerspitzen limitiert.
Mein Multitouch-Table stellt durchaus eine Konkurrenz für die konventionellen Techniken dar und punktet vor allem mit den Kosten. Für den Bau meines Multitouch-Tables
musste ich lediglich 150 CHF aufwenden, was kein Vergleich ist zum in der Theorie
erwähnten SUR40 von Samsung, der 10’000 CHF kostet. Jedoch war mein MultitouchTable auch für eine alternative Technik sehr günstig. Besonders weil der Projektor von
der Schule zur Verfügung gestellt wurde und nur Restholz für die Konstruktion verwendet wurde. Damit umging ich die zwei grössten Kostenpunkte und konnte einiges
an Geld sparen. Für einen vollständigen Multitouch-Table schätze ich die Ausgaben auf
mindestens 630 CHF, die Preisschätzung ist der Tabelle 1 zu entnehmen.
Bestandteil
Projektor
Holz
Plexiglas
115 LT-0592 IR LEDs
Logitech C270 Webcam
Compliant-Surface
Total
Preis
ca. 400 CHF
ca. 90 CHF
50 CHF
44.20 CHF
35 CHF
5 CHF
624.20 CHF
Tabelle 1: Ungefähre Kosten für einen Multitouch-Table mit alternativer Technik.
26
beschrieben im Kapitel 4.3
34
5.2 Schlussbetrachtung
Ich bin sehr zufrieden mit dem Ergebnis und hoffe, dass diese Arbeit für andere von
Nutzen ist. Aus diesem Grund habe ich die Dokumentation so verfasst, dass sie als Anleitung zum Bau eines Multitouch-Tables benutzt werden kann. Ich werde diese Arbeit
ausserdem im Forum der NUI-Community veröffentlichen.
Da ich zu Beginn dieser Arbeit keinerlei Erfahrung mit Holzarbeiten oder Elektronik
hatte, gibt es zum Teil sicherlich bessere Methoden oder Herangehensweisen als die meinen. Deshalb habe ich die Holzarbeiten, wie das Gehäuse und den Rahmen, bewusst
schlicht gehalten. Jedoch konnte ich während der Konstruktion viele wertvolle Erfahrungen in diesem Bereich sammeln.
Ausserdem habe ich mir einen groben Überblick über die Entwicklung der Displaytechnologien verschaffen können. Ich kenne deren Anfänge mit dem resistiven Touchscreen
und die heute am häufigsten verwendete Technologie des Projiziert-kapazitiven Touchscreens. Dabei bin ich mir bewusst, dass diese konventionellen Technologien eine enorm
hohe technische Komplexität besitzen und kenne mich mit möglichen, auf der optischen
Physik basierenden, alternativen Technologien aus.
5.2.1 Limitationen
Mein Multitouch-Table ist sehr viel immobiler als erwartet und nimmt dabei sehr viel
Platz ein. Dazu ist er, für eine voll und ganz entspannte Bedienung, ein wenig zu hoch.
Bevor der Multitouch-Table benutzt werden kann, muss er auch meistens neu kalibriert
werden. Das liegt daran, dass es schwer ist, alle Komponenten zu fixieren und schon eine
kleine Verschiebung von Kamera, Projektor oder Spiegel die Genauigkeit der Übereinstimmung von Berührung und Aktion verschlechtert. Aufgrund der Kalibrierung kann
nicht auf eine normale Computermaus und Tastatur verzichtet werden. Dies ist auch
darauf zurück zu führen, dass die meisten Betriebssysteme (in meinem Fall Windows 7)
nicht für eine Benutzung mit Berührungen (wie iOS oder Android) konzipiert sind. Dies
fällt auf, wenn zum Beispiel der Maustreiber mit anderen Applikationen in Konflikt gerät und somit nicht gleichzeitig verwendet werden kann.
Der Multitouch-Table ist ausserdem ziemlich schwer, auch wenn der grösste Teil des
Gewichts vom Projektor und Gehäuse stammt. Deshalb müssen beim Transport meistens
Projektor und Gehäuse einzeln transportiert werden.
5.2.2 Verbesserungs- und Erweiterungsmöglichkeiten
Eine Verbesserungsmöglichkeit wäre das weitere Entfernen von selten auftretenden falschen
Blobs, wie zum Beispiel Reflexionen. Diese entstehen meistens, da ein Teil des vom Projektor ausgesandten Lichts sich im Infrarotbereich befindet. Dieses Licht wird an der
Plexiglasplatte reflektiert und bildet Hotspots, welche unsere Kamera als Blobs wahrnimmt Diese Hotspots können zwar mit dem Background-Filter, wie im Kapitel 4.3
35
erläutert, entfernt werden, wird das Plexiglas aber bei hoher Druckausübung verbogen,
so befindet sich der Hotspot an einem anderen Ort und wird dadurch am falschen Ort
vom Bild subtrahiert. Um diese falschen Blobs zu entfernen, kann man einen Filter, der
genau auf die Wellenlänge der LEDs zugeschnitten ist, in die Kamera einsetzen und/oder
man benutzt einen Tiefpassfilter oder ein Hitze absorbierendes Glas, das vor den Projektor platziert wird, um die Infrarotwellen zu filtern. Dies war für mich jedoch zu teuer.
Eine weitere Verbesserungsmöglichkeit wäre zum Beispiel die Erhöhung der Helligkeit der
Blobs mit einer höheren Anzahl an eingesetzten LEDs. Ebenfalls wäre eine Verbesserung
des Bildkontrastes mithilfe einer Projektionsfläche, welche auf die Compliant-Surface gelegt wird, oder eine Erhöhung der Auflösung des Projektors um ein schärferes Bild zu
erhalten, denkbar.
Eine aufwändigere Erweiterungsmöglichkeit wäre eine Verbesserung des schlichten Designs, zum Beispiel die Verringerung des Volumens des Gehäuses mit einem Short-Throw
Projektor. Damit könnte die Grösse der Berührungsoberfläche bei einer kleineren Dimension des Gehäuses beibehalten werden. Ebenfalls wäre eine Erhöhung der Mobilität
in Betracht zu ziehen. Dies wäre zum Beispiel mit einem cleveren Design, wie einem zusammenlegbaren Gehäuse (Abbildung 30) und der Benutzung eines trasparenten LCDs
anstatt eines Projektors als Bildquelle, möglich.
Abbildung 30: Design eines zusammenlegbaren Multitouch-Tables. Bildquelle: [neb]
Es wäre auch denkbar, eine eigene Tracker- oder Client-Software zum Beispiel mit Python zu programmieren oder vielleicht sogar ein schlichtes, für Multitouch optimiertes,
Betriebssystem zu entwerfen. Jedoch wäre das ein enormes Unterfangen und für sich
allein genug Aufwand für eine weitere Maturaarbeit.
36
6 Danksagung
Ich danke vor allem meiner Betreuerin Anna-Sabina Rüetschi für ihre konstruktiven Beiträge, die sorgfältigen Korrekturen und die sehr angenehme Betreuung. Ebenfalls danke
ich meinem Bruder Simon Wenner für die Inspiration zu einer Arbeit in dieser Thematik
und seiner immensen Hilfestellung im praktischen, wie auch im theoretischen Teil meiner Arbeit. Sein grosses Interesse und Engagement gab mir in so manchen verzweifelten
Situationen die Motivation, um weiter zu arbeiten. Grossen Dank schulde ich Herrn
Thomas Pfund aus der Informatik Abteilung meiner Schule, für die Zurverfügungstellung des Projektors, ohne welchen dieses Projekt nicht möglich gewesen wäre.
Dank gilt auch meinen Eltern die mir meine Arbeit finanzierten und mich unterstützten.
Meinem Vater danke ich zusätzlich für all die grosse Hilfe in handwerklichen Problemsituationen, in denen ich nicht mehr weiter wusste. Des weiteren danke ich allen Personen
die meine Arbeit Korrektur gelesen haben.
38
39
Quellenverzeichnis
[ccv]
Community Core Vision (CCV) – Calibration. – Besucht: 7. November 2013
[eiz]
Projected Capacitive. http://www.eizo.com/global/library/basics/basic_
understanding_of_touch_panel/. – Besucht: 06. Oktober 2013
[Jos12] JoshMc: Webcam Conversion to (Near-) Infrared. http://publiclab.
org/notes/joshmc/10-12-2012/webcam-conversion-near-infrared.
Version: Oktober 2012. – Besucht: 06. Oktober 2013
[Lc]
Liquid-core: How to Wire LEDs: A detailed tutorial. http://nuigroup.com/
forums/viewthread/1030/. – Besucht: 13. Oktober 2013
[neb]
nebulus: 26” Portable Folding Frame. http://nuigroup.com/forums/
viewthread/2059/. – Besucht: 10. November 2013
[sam]
Large Format Display SUR40 mit Microsoft PixelSense.
http://www.
samsung.com/de/consumer/notebooks-displays/large-format-displays/
surface-2/LH40SFWTGC/EN. – Besucht: 06. Oktober 2013
[Sana] Sandler, Seth:
Community Core Vision (CCV) – Installation
and
Configuration.
http://sethsandler.com/multitouch/
community-core-vision-installation-configuration/. –
Besucht: 7.
November 2013
[Sanb] Sandler, Seth:
Seth Sandler Software.
my-software/. – Besucht: 9. November 2013
[Set]
http://sethsandler.com/
Seth: Getting Started With MultiTouch. http://nuigroup.com/forums/
viewthread/1982/. – Besucht: 06. Oktober 2013
[wika] Evaneszenz. http://de.wikipedia.org/wiki/Evaneszenz. – Besucht: 16. Oktober 2013
[wikb] Touchscreen (Deutsches Wikipedia).
http://de.wikipedia.org/wiki/
Touchscreen. – Besucht: 06. Oktober 2013
[wikc] Touchscreen (Englisches Wikipedia).
http://en.wikipedia.org/wiki/
Touchscreen. – Besucht: 06. Oktober 2013
40
Herunterladen
Explore flashcards