Table-Systeme - Institut für Pervasive Computing

Table-Systeme - Institut für Pervasive Computing

Seminar aus Software Engineering:
Mensch-Maschine-Kommunikation
Table-Systeme
Arno Weinzettl, Erika Wahl
Institut für Pervasive Computing
Johannes-Kepler-Universität Linz
Juni 2009
Kurzfassung
Table-Systeme sind großflächige interaktive
Ein-/Ausgabegeräte, die von mehreren Benutzern
gleichzeitig verwendet werden können. Sie sind auf den
Grundlagen des ubiquitous computing, der tangible user
interfaces und der natural user interfaces entwickelt.
1
Geschichte
Die Entwicklung der ersten digitalen Computer während des 2. Weltkriegs legte schon bald
deren Verwendung zur Wissensverarbeitung nahe.
1945 stellte Vannevar Bush ein theoretisches
Hypertext-System mit dem Namen Memex
(memory extender) vor. Es sollte zur Verknüpfung
und Bearbeitung einer umfangreichen MikrofilmDatenbank dienen und die äußere Form eines Büroschreibtisches haben.
Bestrebungen zur Realisierung einer solchen „den
menschlichen Geist zu erweiternden“ Maschine
gipfelten 1968 in der Präsentation des revolutionär- Abbildung 1: Memex
en NLS („oN-Line System“) durch Douglas Engelbart. Das NLS begründete das „persönliche“
Computer-Interface mit Bildschirm, Maus und Tastatur. Der erste Computer mit der Fähigkeit
zu graphischer Bildschirmausgabe wurde 1973 am neu gegründeten Xerox Palo Alto Research
Center (PARC) entwickelt. Für diesen wurde im folgenden Jahr die erste konsistente graphische
Benutzeroberfläche entworfen – als Basis für die Programmierumgebung Smalltalk. Mit dieser
GUI war das WIMP-Paradigma erfunden (Windows, Icons, Menus, Pointer), das praktisch von
allen folgenden graphischen Benutzeroberflächen beinahe unverändert übernommen wurde. Die
Desktop-Metapher (mit Papierkorb und als grundlegender „Behälter“ für alle zugänglichen
Dateisysteme) wurde spätestens durch den Ur-Macintosh von Apple (1984) popularisiert. Diese
Entwicklungen aus den 60er- bis frühen 80er-Jahren des 20. Jahrhunderts bleiben die Grundlage
für alle modernen graphischen Benutzeroberflächen.[Reim05]
Selbst die aktuellen Arbeiten an dreidimensionalen Desktop-Umgebungen, wie BumpTop oder
das Project Looking Glass, heben das WIMP-Prinzip lediglich in die dritte Dimension.
1991 prägte Mark Weiser, Chief Scientist am Xerox PARC, in dem Artikel „The Computer for
the 21st Century“ den Begriff des ubiquitous computing. Weiser propagierte darin die nahtlose
Integration von Computern in die menschliche Umwelt. Diese vielen kleinen Computer sollten
dabei von ihren Benutzern nicht mehr als technologische Gegenstände wahrgenommen
werden. [Weis91] Hiroshi Ishii und Brygg Ulmer stellten 1997 in ihrem Paper „Tangible Bits:
Towards Seamless Interfaces between People, Bits and Atoms“ mehrere Prototypen von
tangible user interfaces vor. Darunter die Projekte metaDESK und transBOARD.[Ishi97]
Diese Ideen stellen eine Abkehr vom WIMP/Desktop-Paradigma dar und bilden die theoretische
Grundlage der hier besprochenen interaktiven Systeme.
2
„Natürliche“ Multi-User-Interfaces – Table/Wall-Systeme
Mark Weiser stellte sich in seinem Artikel von 1991 drei verschiedene Größenklassen von
ubiquitären Computern vor – tabs (vergleichbar mit den späteren RFID-Tags), pads
(beschrieben als eine Art extrem vereinfachter Tablet-PC) und boards. Die hier behandelten
Table-Systeme können als Realisierung dieser „boards“ interpretiert werden.
Ab Ende der 1990er-Jahre (ein erstes Beispiel bereits 1991 [Buxt]) stellten verschiedene
Forschergruppen bzw. Hersteller interaktive Tisch-Systeme mit tangible user iterfaces vor.
Nachfolgend wollen wir einen Überblick über den aktuellen Stand bei deren technischen Aufbau
und deren Interaktions-Möglichkeiten bieten.
2.1
Hardware
In den letzten Jahren hat sich eine bestimmte Konstruktionsweise für große Multi-TouchOberfächen durchgesetzt. Sie ist nicht beschränkt auf die Realisierung von Table-Systemen,
sondern kann auch für interaktive Wände oder, in abgewandelter Form, sogar für interaktive
Fußböden verwendet werden.
Beamer und Projektionsfläche
Wegen der gewünschten Größe der interaktiven Fläche kommt für die Bildausgabe
fast nur ein Digitalprojektor in Frage. Die
Rückprojektionstechnik ermöglicht außerdem
erst die nachfolgend beschriebene MultiTouch- und tangible-user-interface-Technik.
Der Projektor wird nach der benötigten
Bildgröße, dem möglichen Projektionsabstand, der Bildauflösung und der Helligkeit
ausgewählt.
Die Projektionsfläche muss aus einer
transparenten Platte bestehen, die eine ausreichende Dicke aufweist um unter FingerDruck nicht nachzugeben.
Abbildung 2: Üblicher Aufbau eines TableSystems
Die lichtstreuende Oberfläche der Scheibe ermöglicht einerseits die Rückprojektion durch den
Beamer und lässt andererseits Finger und Gegenstände nur dann hell und mit hohem Kontrast
für die Infrarotkamera erscheinen, wenn diese direkt auf die Oberfläche gelegt werden.
Um diese Kriterien mit der für die jeweilige Anwendung geforderten Qualität zu erreichen
werden oft mehrlagige Materialen verwendet.[Mult09]
Multi-Touch
Die Erkennung der Finger und Objekte erfolgt per Infrarotkamera von der selben Seite wie die
Projektion aus. Dazu muss die Kamera mit einem Filter gegen das sichtbare Licht des Beamers
ausgestattet sein.
Die Lichtquelle für das Infrarotbild stellen entweder IR-Illuminatoren innerhalb des Gehäuses
der Multi-Touch-Vorrichtung (rear diffused illumination – rear DI) oder die seitliche
Einkopplung von Infrarotlicht direkt in die Projektionsscheibe (bei Verwendung der frustrated
total internal reflection (FTIR) Technik) dar.
Je nach Anwendungserfordernis muss die Kamera eine gewisse Abbildungsqualität (möglichst
verzerrungsfrei), Auflösung, Bildrate und/oder Latenz aufweisen. In den einfachsten Fällen
reicht eine modifizierte Webcam, für höhere Anforderungen werden professionelle Kameras mit
IEEE-1394-Interface empfohlen.[Mult09]
Tangible User Interface
Charakteristischerweise erkennen interaktive Oberflächen mit natürlichem User-Interface nicht
nur Fingergesten der Benutzer, sondern auch dafür vorgesehene Objekte, die mit der Fläche in
Kontakt gebracht werden. Diese Objekte werden als tangible widgets oder einfach als tangibles
bezeichnet.
Eine Technologie die zu diesem Zweck benutzt werden kann ist RFID. Diese erlaubt allerdings
nur die Erkennung von Präsenz oder Abwesenheit der Objekte an jenen Stellen, die mit LeseAntennen ausgestattet sind. (z.B. bestimmte Stellen am Rand des Geräts)
Viel häufiger werden Objekte benutzt, die mit kontrastreichen reflektierenden Mustern versehen
werden, welche bei Kontakt mit der interaktiven Fläche durch die Software des Systems im Bild
der Infrarotkamera erkannt werden. Diese Technik bietet nicht nur den Vorteil, dass bei
bestehender Infrarotbeleuchtung von der Rückseite der Projektionsfläche (rear DI) keine
weiteren technischen Einrichtungen dafür notwendig sind, sondern liefert auch Positions- und
Lageinformation über die Objekte auf der Oberfläche.
Weitere Hardware
Außerdem kann weitere Hardware integriert sein, um anwendungsspezifische Möglichkeiten zur
Interaktion mit dem System zu ermöglichen.
•
Drahtlose Kommunikationsschnittstellen (Bluetooth, etc.)
•
Weitere Kameras, um das System auf seine Umgebung reagieren zu lassen [Natu] oder
sogar um damit reale Objekte zu digitalisieren [Blue06].
•
Audio-Ein/Ausgabe
•
Duft-Ausgabe [Natu]
2.2
Software
Auch die Software für ein Table-System muss unter den Gesichtspunkten des ubiquitous
computing entwickelt werden.
Natural User Interface (NUI)
Das Ziel von natürlichen Benutzerschnittstellen ist es, dass sie Menschen ermöglichen soll mit
technologischen Systemen in der gleichen Weise zu interagieren wie mit der „wirklichen Welt“
im Alltag.[Vall07] Diese Art von Benutzerschnittstelle führt zu einer Verringerung der
kognitiven Belastung, ist intuitiv erlernbar und kann als Teil der natürlichen Umgebung der
Benutzer wahrgenommen werden. Durch die natürliche Präsentation der Inhalte können Daten
detaillierter dargestellt und vermittelt werden wobei jedoch gleichzeitig ein information
overload vermieden wird.[Weis95]
Damit eine Benutzerschnittstelle als natürlich empfunden werden kann müssen einige
Bedingungen, die ein menschlicher Benutzer von seiner realen Umwelt erwartet, erfüllt werden.
•
Unsichtbarkeit – Einerseits sollen die Computer selbst in den Hintergrund treten bzw.
(im Fall von embedded systems) tatsächlich „von der Bildfläche verschwinden“
[Weis91] – die verwendeten Geräte sollen zu Interaktions-bezogenen Objekten werden
und nicht als Technologie-bezogen empfunden werden.[Vall07] Andererseits soll auch
der vermittelnde Charakters des Interfaces, und damit das Interface selbst, unsichtbar
werden. Die Inhalte selbst sollen das Interface sein.
Dies verbietet die Verwendung von Icons und Thumbnails, da diese eine Abstraktion
von Inhalten darstellen. Ebenso dürfen keine GUI-üblichen Widgets Teil des Interfaces
sein, sie verhindern einen natürlichen Eindruck des Interfaces und lenken den Benutzer
vom Inhalt ab.[Vall07]
•
Analogie – Ein natürliches Interface stellt ein „Simulacrum der Realität“ dar. Es ist
nicht-modal, sprunghafte Zustandswechsel sind nicht erlaubt. Die Objekte innerhalb des
Interfaces behalten ihre räumliche Ordnung (spatial organisation) bei und zeigen ein
(simuliertes) physisches Verhalten.[Vall07]
•
Affordance („Aufforderungscharakter“) – Die Gestaltung des Interfaces legt dem
Beutzer nahe, welche Aktionen damit ausgeführt werden können.[Weis95][Vall07]
•
Natürliche Interaktion – Die bevorzugte Art der Interaktion ist die direkte Manipulation
der betreffenden Objekte. Dies geschieht durch Multi-Touch-Gesten (wie ziehen,
dehnen/zusammenstauchen, rotieren).
Komplexere Aufgaben werden auf tangibles übertragen. Inhalte, die bearbeitet werden
sollen, können mit diesen physischen Objekten berührt werden oder diese können
einfach in die Nähe des Inhalts gebracht werden, um die gewünschte Funktion
auszulösen.[Vall07]
Programmierung
Zur Entwicklung von Software für Multi-Touch-Systeme stehen bereits Frameworks für viele
Programmiersprachen zur Verfügung, die die dazu notwendigen Operationen
Blob-/Mustererkennung, Tracking und Gestenerkennung implementieren. Viele davon basieren
auf TUIO (Tangible User Interface Objects), einem Protokoll das Position, Größe und relative
Geschwindigkeit von blobs (Regionen, die von der Bildverarbeitung erkannt ) über UDP zur
Verfügung stellt. Es wurde ursprünglich im Rahmen des reacTable/reacTIVision-Projekts
entwickelt.[Mult09][TUIO]
2.3
Beispiele
Microsoft Surface
Das bekannteste kommerzielle Table-System ist Microsofts Surface. Das 90 Kilo schwere und
107 × 53 × 56 cm große Leichtgewicht wurde 2007 vorgestellt.
Zur Darstellung eines Bildes auf der Oberfläche (Diagonale 76 cm) dient ein DLP-Projektor.
Für die Erkennung der Benutzereingaben ist eine LED Lichtquelle, die die Projektionsfläche
gleichmäßig ausleuchtet und 5 Infrarotkameras zuständig. Wenn irgendein Objekt die
Oberfläche berührt, wird das reflektierte Licht von mindestens einer Infrarotkamera
aufgenommen.
Die Infrarotkameras liefern zusammen ein Bild
mit einer Auflösung von 1260 × 960 Pixel.
Diese Kameraauflösung ist ausreichend für die
Fingereingaben und Umrisserkennung der
daraufliegenden Objekte, allerdings reicht das
z.B. nicht für EAN-Strichcodes. Das System
unterstützt tangibles namens „Domino-Tags“,
die durch Mustererkennung registriert werden.
Mit diesen Tags können 256 verschiedene
Zustände unterschieden werden.[Dere07]
Abbildung 3: MS Surface bei MSNBC
[Jans09]
Einsatzgebiete
Surface ist mit einem Preis von 11.000 € bis 13.000 € bis jetzt nicht für den Heimgebrauch
vorgesehen.
Die derzeitige Zielgruppe von Microsoft sind öffentliche Einrichtungen und Firmen. Microsoft
versucht ihren Multitouch-Tisch auch im Schulungsbereich zu vermarkten. Auch der
Fernsehsender MSNBC setzte bereits Surface ein. Die Fernsehstation verwendete Microsofts
Tisch zum ersten mal bei der US-Präsidentenwahl 2008 (siehe Abbildung 3).
CUBIT/TouchKit
Das Forschungs- und Entwicklungsstudio NOR_/D entwickelte das kleine Multi-Touch-System
CUBIT. Es verwendet die FTIR-Technik und Open-Source-Software.
Davon abgeleitet wurde das „TouchKit“ entwickelt, mit einer interaktiven Fläche von 70 × 50
cm, das direkt bei NOR_/D bestellt werden kann. Es beinhaltet bis auf den Projektor und ein
allfälliges Gehäuse alles, was benötigt wird um ein Multi-Touch-System zu realisieren.
Zusammen mit dem Beamer kommt dieses Paket auf ca. 1560 €. [Nord]
Einsatzgebiete
Mit TouchKit lassen sich Multi-Touch-Systeme für vielfältige Anwendungen entwickeln. Wegen
dem Einsatz von FTIR ist allerdings die Verwendung von tangibles nicht vorgesehen.
reacTable / Tabletop Modeling Support
Der Aufbau dieses System gleicht dem eines klassischen MultitouchTables. Als Oberfläche wird eine sandgestrahlte Plexiglasplatte
verwendet. Das System verwendet tangibles mit visuellen Markern
(sog. fiducials). Diese fiducials sind für die Kamera optisch gut
erfass- und unterscheidbar.
Zum Einsatz kommt das kostenlose Framework reacTIVision, das
mit Unterstützung der Universität Pompeu Fabra in Barcelona
entwickelt wurde.[Reac]
Abbildung 4: Marker für
Tangibles
Einsatzgebiete
Der reacTable ist ein neues elektro-akustisches Musikinstrument mit berührbarem Benutzerinterface.
Basierend auf dem reacTIVision-Framework wird auch an der JKU-Linz, am Institut für
Communications Engineering, ein interaktiver Tisch eingesetzt. Das Hauptaugenmerk liegt
hierbei auf der Modellierungsunterstützung, die mehreren Benutzern gleichzeitig ermöglicht an
einem Modell zu arbeiten, z.B. Modellierung von Geschäftsprozessen.
Die Benutzer können mit Modellierungsbausteinen ihr gewünschtes Modell entwerfen. Die
Modellierungsbausteine sind mit optischen Markern versehen. Die Bausteine können benannt
und durch berühren oder Fingergesten miteinander verbunden werden.
Als besondere Funktion können Submodelle in speziellen, kleineren Bausteinen „gespeichert“
werden, die physisch in einem neuen Baustein abgelegt werden, der auf der nächsten
Modellierungsstufe das Submodell repräsentiert.[Oppl]
Vertikale Tables – Wall-Systeme
Wie erwähnt ist der Aufbau von Multi-Touch-Tables nicht auf einen horizontalen Einsatz fixiert.
Durch vertikalen Aufbau erhält man eine Multi-Touch-Wand.
Die finnische Firma Multitouch bietet zum Beispiel multitouchfähige modulare LCD-Boxen
(sog. MultiTouch Cells) und Multitouch-Projektor-Boxen. Es besteht die Möglichkeit die LCDBoxen und die Projektor-Boxen zu kombinieren.[Mult]
2.4
Grenzen
Display-Auflösung
Obwohl die definierende Eigenschaft der hier besprochenen Systeme die Größe der
Bildschirmfläche ist, müssen diese prinzipbedingt auch aus nächster Nähe bedienbar sein, was
eine gewisse minimale Bildschirmauflösung erfordert. Rechnet man allerdings z.B. die
Auflösung eines herkömmlichen Bildschirms von 80dpi auf eine Fläche mit einer Seitenlänge
von mehr als einem Meter um so wäre ein Display mit mehreren 10 Millionen Pixeln
notwendig.[Weis91] Ein Beamer mit „Full-HD“-Auflösung (1920 × 1080 Pixel) bietet
allerdings „nur“ knapp über 2 Millionen Pixel. Höhere Auflösungen sind, allerdings wiederum
begrenzt auf eine bestimmte Größe des Displays, durch Einsatz von LCD-Panels möglich.
Beschränkung auf zweidimensionale Interaktion
Table-Systeme erlauben von ihrer Konzeption her nur die Interaktion auf ihrer zweidimensionalen Oberfläche. Will man gleichzeitig das Natural-User-Interface-Paradigma
bewahren, so sind nur Interaktionen mit dünnen zweidimensionalen Objekten, wie sie auch auf
der Oberfläche eines realen Tisches liegen könnten (z.B. Fotos oder Videos), möglich.
An der TU-Wien wurde in Kooperation mit dem Fraunhofer Center for Research in Computer
Graphics zum Beispiel an einem System gearbeitet, das das Arbeiten mit dreidimensionalen
Objekten über einer Projektionsfläche erlaubt. Das System enthielt auch eine tangible-userinterface-Komponente, war aber nicht als Multi-User-System konzipiert.[Virt]
Texteingabe
Selbst eine herkömmliche Computertastatur widerspricht der Idee von Natural-User-Interfaces.
Auf einem (Multi-)Touch-Display kann zwar jederzeit eine Bildschirmtastatur eingeblendet
werden, aber eine solche bietet kein taktiles Feedback.
Eine natürliche Form der Texteingabe wäre Handschrifteingabe mit einem Griffel. Im
allgemeinen scheint jedoch die Eingabe von Text in bisheren Anwendungen von TableSystemen keine große Rolle zu spielen.
Anwendungen
Table-Systeme scheinen bisher vor allem im künstlerischen Bereich und für Werbezwecke (z.B.
als Teil von Messeständen) eingesetzt zu werden. Die häufigste Art der Demonstration besteht
aus dem Herumschieben, Rotieren und Vergrößern und Verkleinern von Bildern. Microsoft gibt
selbst zu, dass Anwendungen wie z.B. Excel auf ihrem Surface nicht funktionieren. Es bleibt
abzuwarten ob sich noch zwingende Anwendungen mit breiterem Publikum für Table-Systeme
ergeben oder ob sie auf lange Sicht ein Nischenprodukt bleiben werden.
3
Referenzen
[Reim05] Jeremy Reimer, A History of the GUI, ars technica,
http://arstechnica.com/old/content/2005/05/gui.ars 2005
[Weis91] Mark Weiser, The Computer for the 21st Century, Scientific American Special Issue
on Communications, Computers, and Networks, September 1991
[Ishi97]
Hiroshi Ishii & Brygg Ullmer, Tangible Bits: Towards Seamless Interfaces between
People, Bits and Atoms, Proceedings of Human Factors in Computing Systems: CHI
97, Denver 1997
[Weis95] Mark Weiser & John Seely Brown, Designing Calm Technology, Xerox PARC 1995
[Buxt]
Multi-Touch Systems that I Have Known and Loved, Bill Buxton,
http://www.billbuxton.com/multitouchOverview.html 2009
[Mult09] NUI Group Authors, Multi-Touch Technologies, NUI Group 2009
http://nuicode.com/attachments/download/112/First_Edition_Community_Release.pdf
[Vall07] Allessandro Valli, Natural Interaction White Paper, Natural Interaction 2007
http://www.naturalinteraction.org/images/whitepaper.pdf
[Blue06] Jean-Bernard Martens et al., Blue Eye – Making Mood Boards in Augmented Reality,
Eindhoven University of Technology – Department of Industrial Design 2006
http://www.vip.id.tue.nl/papers/blueeye.pdf
[Natu]
Natural Interaction, Alessandro Valli, http://www.naturalinteraction.org/ 2009
[TUIO]
TUIO, TUIO Community, http://www.tuio.org/ 2009
[Nord]
http://studio.nortd.com/ (2008)
[Dere07] http://www.popularmechanics.com/technology/industry/4217348.html?page=1
[Jans09] http://www.heise.de/ct/Microsofts-Multitouch-Tisch-Surface--/artikel/135188
[Reac]
http://mtg.upf.edu/reactable/pdfs/reactivision_tei2007.pdf (2006)
[Oppl]
http://www.oppl.info/ (2009)
[Mult]
http://www.multitouch.fi/ (2009)
[Virt]
http://www.cg.tuwien.ac.at/research/vr/studierstube/arcade/ (2000)