Your Title

IMMERSIVE MEDIEN 2 - PROF. DR. BRUNO FRIEDMANN, ROBERT EIKMEYER - HOCHSCHULE FURTWANGEN UNIVERSITY
1
Komposition der virtuellen und physischen Welten
Thomas Mendelssohn
Sommersemester 2011
Zusammenfassung—Diese Arbeit beschäftigt sich mit der
Komposition von virtueller und physischer Welt. Dabei werden
sowohl Prinzipien der Mensch-Computer Interaktion betrachtet,
als auch technologische Entwicklungen, die eine Verschmelzen
der Welten begünstigen.
I NHALTSVERZEICHNIS
I
Einleitung
1
II
Fragestellung
1
III
Grundlagen
III-A
Human Computer Interfaces . . . . . .
III-B
Grafische Oberflächen und Direkte Manipulation . . . . . . . . . . . . . . . .
III-B1
Grafische Benutzeroberflächen
III-B2
Direkte Manipulation . . . .
III-B3
Kritik und Problematik der
Definition . . . . . . . . . .
1
1
Virtuelle und physische Welt
IV-A
Simulation vs. Repräsentation . . . . . .
IV-B
Virtuelle Objekte in der physischen Welt
IV-C
Immersion . . . . . . . . . . . . . . . .
3
4
4
4
IV
2
2
2
3
V
Komposition der physischen und virtuellen Welt
- Der Wegfall der Interfaces
V-A
Ausgabe . . . . . . . . . . . . . . . . .
V-B
Oberfläche . . . . . . . . . . . . . . . .
V-C
Eingabe . . . . . . . . . . . . . . . . .
V-C1
Microsofts Kinect . . . . . .
5
5
6
7
7
VI
Installation
8
VII
Ergebnis und Ausblick
8
Literatur
Thomas Mendelssohn | Matrikel-Nr.: 236059
8
I. E INLEITUNG
as Thema der Veranstaltung “Immersive Medien 2”
lautete im Sommersemester 2011 “Montage”. Während unter Montage das Zusammenfügen von Elementen zu
einem Ganzen verstanden wurde, wobei die einzelnen Teile
noch als solche zu identifizieren sind, wurde die Komposition
als nahtloses Zusammensetzten von Teilelementen begriffen.
Komposition und Montage wurde dann unter Verwendung des
Buches “The Language of new Media” von L EV M ANOVICH
diskutiert. Im Zuge der Veranstaltung sollte eine Ausarbeitung
entstehen, die sich mit der Montage oder Komposition im
Bereich der Medien befasst.
D
II. F RAGESTELLUNG
Im Zuge des oben genannten Semesterthemas beschäftigt
sich diese Ausarbeitung mit der Frage, inwiefern sich die
physische und die virtuelle Welt aneinander annähern. Dazu
sollen Prinzipien wie Grafische Oberflächen und die direkte
Manipulation betrachtet werden, da diese die Schnittstelle
zwischen der physischen Welt des Menschen und der virtuellen Welt des Computers beschreiben. Weiterhin werden
Technologien betrachtet, die in den letzten Jahrzehnten das
Verschmelzen der beiden Welten begünstigen.
III. G RUNDLAGEN
A. Human Computer Interfaces
Das Human Computer Interface (HCI) beschreibt die
Schnittstelle zwischen Benutzer und Computer. Dazu gehören
sowohl die Eingabegeräte, wie Maus und Tastatur, die der
Benutzer verwendet, um mit dem Computer zu interagieren, als auch die Ausgabegeräte wie der Monitor, die die
Rückmeldung des Computers an den Benutzer wiedergibt.
Weiterhin ist auch das auf dem Ausgabegerät Angezeigte ein
Teil der HCI, wodurch sämtliche Konzepte des Organisierens
und Manipulierens von Daten in diesem Prinzip beinhaltet sind
[Manovich, 2002, S. 69].
Dabei wird angenommen, dass es eine Kluft zwischen den
Zielen des Menschen im Umgang mit Computern und dem
IMMERSIVE MEDIEN 2 - PROF. DR. BRUNO FRIEDMANN, ROBERT EIKMEYER - HOCHSCHULE FURTWANGEN UNIVERSITY
2
tatsächlichen Ergebnis gibt (s. Abb. 1). N ORMAN spricht dabei
vom Gulf of Execution (Ausführungskluft) und Gulf of Evaluation (Auswertungskluft). Die Ausführungskluft beschreibt
dabei den Unterschied zwischen den Zielen, die ein Benutzer
hat und den dazu passenden Funktionen einer Maschine. Die
Auswertungskluft stellt die Schwierigkeit dar, die Wirkung
der Handlung einzuschätzen und entsprechend zu reagieren.
Aufgabe des Interaktionsdesigns ist, genau diese Klüfte zu
überwinden.
Um dies zu verwirklichen, wurde das WIMP-Prinzip entwickelt, dessen Name sich aus den Anfangsbuchstaben der
Wörter „Windows“, „Icons“, „Menus“ und „Pointers“ zusammensetzt. Windows stellen bei diesem Konzept Inhalte in Form
von Fenstern dar. Icons bieten eine grafische Darstellung von
Objekten in Form kleiner Bilder, Menüs ermöglichen den
Aufruf von Funktionen über die Auswahl von Menü-Punkten.
Das Pointing Device stellt das Eingabegerät dar [Dahm, 2006,
S. 199]. Grundlegend wurden dabei verschiedene Gegebenheiten des Büroalltags übernommen. M ENOVICH erkennt z.B.
in den hintereinander angeordneten Fenstern dieses Systems
eine Ähnlichkeit zu verschiedenen Seiten eines Buches, wobei
jedes Seite Informationen wie Text, Grafiken und Tabellen enthalten kann. Der Benutzer hat dabei die Möglichkeit, zwischen
diesen Seiten hin und her zu springen, als würde er in einem
Buch blättern [Manovich, 2002, S. 74].
Abbildung 1.
N ORMANS Klüfte, die während der Mensch-ComputerInteraktion auftreten. Darstellung angelehnt an [Norman, 1986, S. 39]
Trotz der heute immer performanter werdenden Computer
und der daraus resultierenden größer werdenden Anzahl an
möglichen Aktionen, wird bei vielen Systemen an dem WIMPPrinzip festgehalten. Damals war es auf Grund der geringen
Anzahl an Operationen möglich, dem Benutzer diese alle
gleichzeitig anzuzeigen. Heute würde die Anzeige aller Aktionen Ratlosigkeit beim Benutzer hervorrufen. Das Resultat
sind lange und verschachtelte Menüs, durch die der Benutzer
navigieren muss. Als Beispiel ist hier Adobe Photoshop zu
nennen, dessen Umfang ein gewaltiges Ausmaß angenommen
hat. Kaum ein Benutzer kennt dabei alle Funktionen, wobei
erschwerend hinzukommt, dass die kurze Benennung von
Aktionen, wie sie auf Grund der Breite von Menüs nicht anders
möglich ist, meist nicht direkt verständlich ist. Dies führt dazu,
dass der Benutzer Funktionen nicht als die Lösung seines
Problems erkennt und dementsprechend umständlich andere
Wege sucht oder sogar aufgibt.
B. Grafische Oberflächen und Direkte Manipulation
1980 fand ein Umbruch im Bereich der Computer statt.
Bis dahin wurden Computer hauptsächlich zu militärischen
Zwecken und in der Forschung verwendet und oftmals wurde ein Computer von mehreren Anwendern verwendet. Mit
sinkenden Produktionskosten wurde für die Industrie der
Massenmarkt interessant und der Personal Computer wurde
geboren. Zunächst waren diese Computer für Arbeitsplätze im
Büro gedacht und sollten es ermöglich, alltägliche Aufgaben
effizienter zu erledigen Harper [2008].
Problematisch war dabei das unterschiedliche Vorwissen
der Benutzer solcher Geräte. Das Erlernen komplexer Befehle
und das Eintippen in Kommandozeilen, wie es vorher lange
Zeit üblich war, erforderte eine lange Einarbeitungszeit und
Vorstellungskraft, um die ausgeführten Aktionen nachzuvollziehen. Die vermeintliche Lösung dieser Probleme sollten zwei
Prinzipien bilden: Die Grafischen Benutzeroberflächen und die
direkte Manipulation von Objekten[Norman, 1998, S. 73ff].
1) Grafische Benutzeroberflächen: Die Grafischen Benutzeroberflächen sollten im Vergleich zu den Kommandozeilenbasierten Systemen wesentlich mehr Informationen über den
aktuellen Status des Arbeit wiedergeben und das schnelle
Wechseln zwischen unterschiedlichen Arbeiten ermöglichen.
Dadurch sollte verhindert werden, dass der Benutzer andauernd Befehle nachschlagen muss und er zu jedem Zeitpunkt
einen Überblick über alle möglichen Schritte und Optionen
hat [Norman, 1998, S. 73ff].
“I don’t want to use a computer. I don’t want to
do word processing. I want to write a letter, or find
put what the weather will be, or pay a bill, or play
a game.” [Norman, 1998, S. 75]
Dieses Zitat des Usability-Spezialisten D ONALD A. N ORMAN
verdeutlicht genau das Verständnis des Benutzers: Der Computer soll zur Lösung von Problemen oder Erledigen von
Aufgaben dienen und nicht durch Komplexität das Arbeiten
verhindern. Die Grafische Benutzeroberfläche ist also dafür
verantwortlich, dem Benutzer entsprechenden Problemlösungen zu präsentieren, ohne ihn zu verwirren.
2) Direkte Manipulation: Den Begriff der direkten Manipulation führte B EN S HNEIDERMAN 1984 ein, auch wenn
IMMERSIVE MEDIEN 2 - PROF. DR. BRUNO FRIEDMANN, ROBERT EIKMEYER - HOCHSCHULE FURTWANGEN UNIVERSITY
das Prinzip bereits von anderen Interfaces wie dem 1963 von
I VAN S UTHERLAND entwickelten Zeichen-Systeme Sketchpad
bekannt war[Myers, 1996, S. 45f]. Grundlegender Gedanke der
direkten Manipulation ist, dass der Benutzer Objekte manipulieren oder Aktionen auf Objekte ausführen kann, wobei das
Ergebnis unmittelbar sichtbar wird. Nur so hat der Benutzer
das Gefühl, in die Anwendungswelt mit einbezogen zu sein
und der Computer wird immer weniger wahrgenommen. Das
Gefühl der Kontrolle über die Anwendungswelt kommt beim
Benutzer auf, wenn er Aktionen auslösen, kontrollieren und
das Ergebnis vorhersehen kann.
S HNEIDERMAN erläutert ein Beispiel, an dem sich die
Bedeutung der direkten Manipulation für Computersysteme
deutlich machen lässt: Fährt man in der realen Welt ein
Auto, so ist die Szene durch die Windschutzscheibe direkt
sichtbar. Das Gas geben, Lenken und Bremsen haben eine
direkte Änderung des Fahrverhaltens zur Folge. Überträgt man
dieses Verhalten auf ein Rennspiel im Computer, so muss
die Reaktion auf Eingaben sofort kommen um dem Benutzer
das Gefühl zu geben, in einem echten Auto zu sitzen und
dieses steuern zu können. Dazu wird als Eingabegerät ein
Lenkrad verwendet, das das im Spiel vorhandene digitale
Lenkrad direkt beeinflusst [Shneiderman, 1983, S. 62]. Die
digitalen Objekte werden also über Eingabegeräte „in die
Hand genommen“. Dieser Fakt wird gezielt ausgenutzt, indem z.B. der Pilot bei Flugzeugsimulationen meist in einem
(nachgebauten) Cockpit sitzt und das virtuelle Flugzeug somit
über das zu simulierende Objekt an sich steuert. Je ähnlicher
die Funktion und das Aussehen des Eingabegerät denen des
physischen Objektes, das in der virtuellen Welt gesteuert
werden soll, ist, desto eher kann der Benutzer einen Bezug zu
der virtuellen Welt aufbauen und Prinzipien aus der physischen
Welt übertragen.
S HNEIDERMAN gibt eine Reihe von Eigenschaften an, die
Interfaces mit direkter Manipulation ausmachen:
•
•
•
•
Durchgängige Repräsentation der Objekte von Interesse.
Physische Aktionen oder beschriftete Schaltflächen statt
komplexe Syntax.
Schnelle, fortlaufende und umkehrbare Operationen, deren Einfluss auf die Objekte von Interesse unmittelbar
sichtbar ist.
Anfänger können eine begrenzte und nützliche Reihe
von Kommandos nach und nach erlernen, bis sie zum
Experten werden. Erhalten die Benutzer eine bestätigende
Rückmeldung über erfolgreiche Operationen, können sie
ihr Wissen über Kommandos erweitern und damit einen
3
flüssigeren Arbeitsablauf schaffen [Shneiderman, 1983,
S. 64].
Weiterhin nennt S HNEIDERMAN Vorteil der direkten Manipulation:
•
•
•
•
•
•
•
Anfänger können grundlegende Funktionen schnell erlernen, meistens durch die Demonstration eines erfahreneren
Benutzers.
Experten können sehr schnell arbeiten, um eine große
Anzahl an Aufgaben auszuführen. Sie können neue Funktionen und Eigenschaften festlegen.
Sachkundige gelegentliche Nutzer können sich Konzepte
der Operationen behalten
Fehlermeldungen sind kaum nötig.
Benutzer können direkt sehen, ob ihre Aktionen den
eigenen Zielen entsprechen. Ist dies nicht der Fall, können
sie in eine andere Richtung weiter arbeiten.
Der Benutzer hat weniger Angst vor Fehlern, da das
System verständlich und Aktionen leicht rückgängig zu
machen sind.
Benutzer bekommen Sicherheit und das Gefühl der Kontrolle, da sie Aktionen ausgeführt haben und die Antworten des Systems vorhersagen können [Shneiderman,
1983, S. 64ff].
3) Kritik und Problematik der Definition: Sowohl Grafische Benutzeroberflächen als auch die direkte Manipulation
in den Kreisen der damaligen Informatiker und Spezialisten
kontrovers betrachtet. Ein Kritikpunkt war beispielsweise, dass
solche Oberflächen die Entwicklung von Software zusätzlich
komplexer machen würden [Sears, 2007, S. 14]. H UTCHINS
ET AL . sagen zudem:
“We would not be surprised if experts are
slower with Direct Manipulation systems than with
command language systems.” [Hutchins u. a., 1986,
S. 121]
Dass der Begriff der direkten Manipulation auch von führenden Wissenschaftlern der Mensch-Computer-Interaktion noch
nicht klar definiert werden kann, zeigt diese Aussage von
H UTCHINS ET AL .:
„For us the notion of Direct Manipulation is not
a unitary concept nor even something that can be
quantified in itself.”[Hutchins u. a., 1986, S. 42]
IV. V IRTUELLE UND PHYSISCHE W ELT
Schon seit vielen Jahrhunderten werden mit Gemälden
virtuelle Realitäten geschaffen. Der Rahmen des Gemäldes
stellt dabei die Isolation zwischen dem physischen und dem
IMMERSIVE MEDIEN 2 - PROF. DR. BRUNO FRIEDMANN, ROBERT EIKMEYER - HOCHSCHULE FURTWANGEN UNIVERSITY
virtuellen Raum dar, wobei diese Räume nebeneinander existieren. Während sich der Betrachter im normalen Raum, also
dem Raum des Körpers befindet, ist das Gemälde ein Fenster
in einen anderen Raum, der Inhalte repräsentiert, die so nicht
in der physischen Welt existieren (entweder, weil es sie nicht
gibt, weil sie in dieser Zusammenstellung nicht vorkommen
oder weil sie nicht in dieser Größe existieren). Virtuelle
Realitäten geben uns somit die Möglichkeit, nicht existierende
Räume zu betrachten, ohne unsere physische Welt zu verlassen
[Manovich, 2002, S. 94ff].
Auf dem Weg zum Verschmelzen der beiden Welten liegt
die Entwicklung der Fotografie, des Kinos, des Bildschirms
und des Computers. Während bei Fotografie und Kino die
virtuelle und die physische Welt nichts miteinander zu tun
haben, machte es die Kombination des Bildschirms und des
Computers möglich, eine Interaktion zwischen den Welten
stattfinden zu lassen. Diese Interaktion gipfelt in Simulationen
Virtueller Realitäten (VR), in denen die virtuelle Welt präzise
mit der physischen synchronisiert wird [Manovich, 2002,
S. 111].
4
Abbildung 2. Milgramm Kontinuum. Darstellung aus Milgram und Kishino
[1994].
Gegenrichtung der Fall. Viele der für Grafische Benutzeroberflächen (s. III-B1 auf Seite 2) entwickelte Objekte finden ihren
Weg zurück in die physische Welt [Manovich, 2002, S. 213ff].
Eines der prominentesten Beispiele ist der Like-Button von
Facebook , der auf T-Shirts (s. Abb.4), Stempeln (s. Abb. 3)
und vielen anderen physischen Produkten sehr beliebt ist.
A. Simulation vs. Repräsentation
Im Zuge der komposition der beiden Welten ist es sinnvoll,
zwischen Simulation und Repräsentation zu unterscheiden.
Während bei einer Simulation versucht wird, beide Welten
so zu überblenden, dass eine Trennung der beiden nicht mehr
möglich ist, wird bei der Repräsentation eine klare Trennung
der Welten vorgenommen, indem der illusionäre Raum hinter
der Oberfläche des Anzeigegerätes beginnt [Manovich, 2002,
S. 112f].
Während Manovich eine klare Unterscheidung zwischen Simulation und Repräsentation voraussetzt, erstellte M ILGRAM
und K ISHINO ein Kontinuum, das einen fließenden Übergang zwischen den Welten annimmt. Nach M ILGRAMS und
K ISHINOS Einordnung würde sich eine Repräsentation am
linken Rand des Kontinuums befinden (Virtual Environment),
während Simulationen im Bereich der “Mixed Realitys” ein
weites Spektrum an möglichen Umsetzungen umfassen. Äußerst schwierig ist dabei allerdings sein Begriff der Realität, da
dieser eine Vielzahl an Interpretationen zulässt Milgram und
Kishino [1994].
B. Virtuelle Objekte in der physischen Welt
Obwohl der Eindruck entsteht, dass die virtuelle Welt nur
von der physischen Welt beeinflusst wird, ist dies auch in der
Abbildung 3.
Facebook-Stempel. Abbildung von www.computerwoche.de.
Ein weiteres Beispiel ist das Logo von Google Places,
welches sich in den USA mittlerweile als Aushängeschild für
Geschäfte etabliert hat (s. Abb. 5).
C. Immersion
Im Zusammenhang mit virtuellen Welten wird immer wieder der Begriff der “Immersion” verwendet. Auf Grund einer fehlenden Definition ist die Beschreibung allerdings sehr
schwierig. Immersion kommt aus dem Lateinischen vom Wort
“immersio” was “das Eintauchen” bedeutet. Grundlegend ist
damit gemeint, dass eine Person in eine (künstliche) Umgebung eintaucht, sich also selbst weniger wahrnimmt. Im
Bereich der Computerspiele wird diese Erfahrung besonders
durch die Interaktion intensiviert. Dabei sind verschiedene
Variablen, wie die Persönlichkeit des Spieler, die Dauer des
Spielens und die Bereitschaft des Spielers, sich in die virtuelle
Welt einzudenken, von Relevanz, wenn es um das Ausmaß der
IMMERSIVE MEDIEN 2 - PROF. DR. BRUNO FRIEDMANN, ROBERT EIKMEYER - HOCHSCHULE FURTWANGEN UNIVERSITY
Abbildung 4.
5
Facebook-T-Shirt. Abbildung von www.reface.me.
Immersion geht.1
Richard Bartle unterscheidet vier Stufen der Immersion:
•
•
•
•
player: Der Benutzer sieht die Spielfigur als Mittel, um
mit der virtuellen Welt zu interagieren.
avatar: Der Benutzer sieht sich in der virtuellen Welt
dargestellt, wobei er von seiner Spielfigur in der dritten
Person redet.
character: Der Benutzer sieht die Spielfigur als seine
Representation in der virtuellen Welt, wobei er von ihr in
der ersten Person redet.
persona: Der Benutzer fühlt sich, als wäre er die Spielfigur. Eine Unterscheidung findet nicht mehr statt, der
Benutzer denkt, er wäre im Spiel [Bartle, 2004, S. 154f].
In dieser Arbeit soll Immersion für die Identifikation des
Benutzers mit der Spielfigur und der Spielwelt stehen.
V. KOMPOSITION DER PHYSISCHEN UND VIRTUELLEN
W ELT - D ER W EGFALL DER I NTERFACES
A. Ausgabe
Schon im 19. Jahrhundert wurde mit den Panorama-Fotos,
die man sich an die Augen halten musste, versucht, den
1 http://de.wikipedia.org/wiki/Immersion_%28virtuelle_Realit%C3%A4t%29
Abbildung 5.
Google Places-Logo als Aushängeschild. Abbildung von
www.notixtech.com.
Rahmen um die Leinwand zu entfernen. Das Ziel dabei war,
die physische Welt gänzlich auszublenden, damit sich der
Betrachter vollkommen auf die virtuelle Welt konzentrieren
kann und in sie eintaucht [Manovich, 2002, S. 113ff]. Auch
im Bereich des Kinos wird dieser Versuch unternommen. Zum
einen werden hier riesige Projektionen benutzt, die möglichst
viel des Gesichtsfeldes einnehmen und somit den Rand des
Bildes, der es zu physische Welt abtrennt, in einem Bereich
positioniert, der nur peripher wahrgenommen wird. Zum anderen wird die physische Welt ausgeblendet, indem der Raum,
in dem die Zuschauer sitzen, absolut dunkel gehalten wird
[Manovich, 2002, S. 97]. Durch das Hinzufügen von SurroundSound wird versucht, den Eindruck des Eintauchens in die
virtuelle Welt noch zu verstärken. Neuere Entwicklungen wie
3D-Kinos versuchen zudem mit Hilfe des stereoskopischen
Sehens vorzutäuschen, dass Objekte der virtuellen Welt in die
physische Welt hineinragen. Weitere Steigerungen sind 4DKinos, bei denen Bewegungen, Gerüche und Wasser, die in
IMMERSIVE MEDIEN 2 - PROF. DR. BRUNO FRIEDMANN, ROBERT EIKMEYER - HOCHSCHULE FURTWANGEN UNIVERSITY
der virtuellen Welt dargestellt werde, in der physischen Welt
reproduziert werden.
Auch im Bereich der Fernseher und Computerbildschirme
lässt sich diese Entwicklung belegen. Fernseher werden immer
größer und dünner, wobei der Rahmen um das Display so
schmal wie möglich gehalten wird (im Gegensatz zu Gemälden, bei denen der Rahmen oftmals Teil des Kunstwerkes ist
und daher aufwändig gestaltet wird). Das Breitbild-Format,
das immer mehr Einzug in die Welt der Anzeigegeräte hält,
lässt sich darauf zurückführen, dass der menschliche Sehapparat ein wesentlich größeres Sichtfeld in die Breite als in
die Höhe hat und damit mehr Bildschirmfläche in die Breite
gebraucht wird. Hier kollidiert der Bereich des Entertainments
mit dem Arbeitsgerät Computer. Im Bürobereich, in dem wie
bereits beschrieben die Metapher des Papiers oder Buches
eine große Rolle spielt, wäre daher ein Portrait-Format besser
geeignet.
Mit Hilfe von Beamern können virtuelle Welten nun auch
zuhause auf eine große Fläche projiziert werden. Auch 3Dfähige Fernseher und Beamer sind mittlerweile für den Endkunden erschwinglich geworden, sodass das Erlebnis des Kinos zuhause nachgebildet werden kann.
6
Variante oft als HUD bezeichnet, doch die Beschränkung des
eigentlichen Spielinhalts durch die Statusanzeige widerspricht
dem HUD-Prinzip.
Abbildung 6. Der Status des Spiels wird bei Doom als Teil des Monitors
behandelt. Abbildung von http://wolfwnfan24.webs.com/.
Auch heute finden HUDs in vielen bekannten Spielen
Anwendung, so z.B. in Crysis 2. Trotzdem wurde über die
letzten 20 Jahre immer wieder versucht, HUDs zu minimieren
oder ganz zu entfernen.
Mit den sogenannten Head-Mounted Displays knüpft man
an die erwähnten Panorama-Fotos an. Hierbei werden Displays
so nah vor dem Auge platziert, dass das Wahrnehmen des
Rahmens kaum mehr möglich ist. Dies ist beispielsweise bei
Flugsimulatoren zum Training von Piloten sehr wichtig, da
dort die Flugsituation so realitätsnah wie möglich simuliert
werden soll und der Pilot daher die physikalische Welt vollkommen vernachlässigen muss.
B. Oberfläche
Während im Arbeitsumfeld das beschriebene WIMPKonzept noch immer finden lässt, zeigt sich gerade im Bereich
der Spiele ein vollständig anderes Bild. Hier wird in der
Regel nicht von Grafischen Oberflächen, sondern von Headsup-Displays (HUDs)2 zur Anzeige des aktuellen Status gesprochen. Wie bei Piloten von Jets oder neuerdings auch in Autos,
werden dabei Informationen direkt im Sichtfeld des Benutzers
angezeigt und überdecken damit (wie es auch bei Augmented
Reality der Fall ist) Objekte der physischen Welt.
Allerdings wurden nicht immer HUDs eingesetzt. Spiele wie
Doom zeigten den aktuellen Status des Spiels z.B. noch in
Grau am Rand des Monitors an, wodurch der Status Teil des
Rahmens des Bildschirms wurde (s. Abb. 6). Zwar wird diese
2 http://en.wikipedia.org/wiki/HUD_%28video_gaming%29
Abbildung 7. Viele neuere Spiele wie Crysis 2 verwenden immer noch ein
HUD. Abbildung von www.pcgameshardware.de.
Problematisch ist dabei, dass die Informationen, die das
HUD präsentierte, auch ohne dies sichtbar sein müssen. Dadurch kam es über die Jahre zu vielen kreativen Ansätzen. Das
Spiel Jurassic Park: Trespasser von 1998, in dem der Spieler
die Ereignisse aus Sicht der Protagonistin Anna erlebt, kommt
vollkommen ohne HUD aus. Da es sich um einen Shooter
handelt, mussten die typischen Elemente wie Gesundheitszustand oder vorhandene Munition wiedergegeben werden. Dies
erreichten die Programmierer, indem sie den Körper von Anna
sichtbar machten, wobei ein Herz-Tattoo auf ihrer linken Brust
den Gesundheitszustand angab (S. Abb.8). Die vorhandene
Munition wurde von Anna verbal ausgegeben.3
3 http://www.giantbomb.com/trespasser-jurassic-park/61-1109/
IMMERSIVE MEDIEN 2 - PROF. DR. BRUNO FRIEDMANN, ROBERT EIKMEYER - HOCHSCHULE FURTWANGEN UNIVERSITY
7
einen Beitrag dazu, dass der Benutzer das Wiedergabegerät
weniger wahrnimmt.
C. Eingabe
Abbildung 8.
In Jurassic Park: Trespasser gibt das Herz-Tattoo
im Ausschnitt der Heldin den Gesundheitszustand an. Abbildung von
http://www.giantbomb.com.
Ein bekannteres Beispiel, dass ohne HUD auskommt ist
Black and White aus dem Jahr 2001. Hier gibt z.B. der Mauszeiger an, ob sich der Spieler im Moment auf der guten oder
bösen Seite befindet. Auch in vielen anderen Spielen werden
Elemente, die üblicherweise durch ein HUD angezeigt werden,
in die Spielwelt integriert. So wird der Zustand der Spielfigur
im Science-Fiktion-Spiel Dead Space durch eine leuchtende
Leiste auf dem Rücken derselben dargestellt, während im Spiel
Mirrors Edge 4 bei einem schlechten Gesundheitszustand der
Spielfigur die Sättigung des Bildes reduziert wird. Beide Spiele
kommen auf diese Weise vollständig ohne HUD aus, wobei
vor allem Mirrors Edge durch die Ego-Perspektive, in der man
immer wieder Gliedmaßen der Protagonistin sieht, ein hohes
Potenzial zur Identifikation mit der Spielfigur hat.
Abbildung 9. Mirrors Edge kommt vollständig ohen HUD aus. Abbildung
von www.4players.de
Gerade im Bereich der Spiele ist das HUD eines der Element, dass dafür sorgen kann, dass keine Immersion des Spieler erfolgen kann, da sie dem Benutzer durch ihre Anordnung
die Oberfläche des Anzeigegerätes immer wieder vor Augen
führen. Ein Weglassen der Elemente leistet demnach ebenfalls
4 Mirrors
Edge ist eine Mischung aus Action-Adventure, Jump ’n’ Run und
Ego-Shooter, wobei das Kernelement die Fortbewegung ähnlich der Sportart
Parkour ist.
In den vorhergehenden Kapiteln wurde beschrieben, inwiefern versucht wurde und wird, die Ausgabe für eine
Verbindung der physischen und virtuellen Welt vorzubereiten.
Trotzdem besteht noch eine Distanz, die dem Benutzer immer
wieder vor Augen führt, dass er sich in der physischen Welt
befindet: Die Eingabegeräte.
Bis heute sind Maus und Tastatur die am weitesten verbreiteten Eingabegeräte. Gerade die Tastatur kann als Weiterentwicklung der Tasten der Schreibmaschine gesehen werden
und bestätigt damit die Herkunft des aktuell vorherrschenden
Mensch-Computer Interfaces vom Bürowesen.
Die Eingabe über zweier Geräte, die physisch nichts mit
den manipulierten virtuellen Objekten zu tun haben, erzeugt
eine durchgängige Kluft zwischen Benutzer und Computer
und verhindern damit eine wirkliche Immersion. Gerade bei
der Entwicklung von neuen Eingabegeräte wird daher das beschrieben Prinzip der direkten Manipulation angewendet. Dazu
wurden in den letzten Jahrzehnten einige neue Eingabegeräte,
wie Datenhandschuhe5 , Nintendos Wii6 , Sonys Playstation
Move7 oder Microsofts Kinect, entwickelt. Bisher ist die
Kinect das einzige Gerät, das Eingaben ohne Berühren eines
physischen Objektes möglich macht und damit unabhängig
von den physischen Gegebenheiten der virtuellen Objekte ist.
Daher soll im Folgenden lediglich auf die Kinect eingegangen
werden.
1) Microsofts Kinect: Die Kinect wurde 2010 von Microsoft veröffentlicht und ist ein Gerät zur Steuerung von
Software, das die Körperbewegungen der Benutzer mittels
Tiefensensor-Kamera, 3D-Mikrofon und Farbkamera in Echtzeit in die virtuelle Welt umsetzt. Das Gerät wird dabei nahe
dem Ausgabegerät positioniert und muss danach nicht mehr
bewegt werden. Bemerkenswert ist, dass die Kinect aus den
Daten der Sensoren ein virtuelles Skelet des Benutzers erstellt,
wobei verdeckte Skelet-Teile durch Auswerten anderer SkeletTeile bestimmt werden können. Das Resultat dieses Trackings
ist ein System, dass nahezu jede Bewegung und Geste des
menschlichen Körpers erkennen kann.8
Gerade wegen des sehr schnell und gut funktionierenden Trackings ist die Kinect sowohl bei den Endanwen5 Mehr
Informationen unter http://de.wikipedia.org/wiki/Datenhandschuh.
Informationen unter http://de.wikipedia.org/wiki/Wii.
7 Mehr Informationen unter http://de.wikipedia.org/wiki/PlayStation_3#PlayStation_Move.
8 http://de.wikipedia.org/wiki/Kinect
6 Mehr
IMMERSIVE MEDIEN 2 - PROF. DR. BRUNO FRIEDMANN, ROBERT EIKMEYER - HOCHSCHULE FURTWANGEN UNIVERSITY
dern als auch im Forschungsbereich sehr beliebt. Seiten wie
www.kinecthacks.net informieren fast täglich über neue Anwendungsbereiche und kreative Ideen im Bereich der KinectEntwicklung.
8
Systems nicht aufkommen kann. Über den Tag hinweg wurde die Verzögerung immer weiter minimiert. Auffällig war,
dass mit sinkender Verzögerung die Länge des Spiels eines
einzelnen Spielers und seine Begeisterung dafür zunahmen.
Da die Kinect ursprünglich nur für die XBOX 360 gedacht
war, gibt es für die Konsole mittlerweile eine ganze Reihe
an innovativen Spielen. Da zur Steuerung kein physischer
Gegenstand in die Hand genommen werden muss, findet eine
wesentlich direktere Interaktion mit der virtuellen Welt statt.
Im Spiel Kinectimals kann der Spieler z.B. mit einem
virtuellen Tier interagieren, so wie er es mit einem echten
Haustier machen würde. Dazu streichelt der Benutzer das
Tier, indem er seine Hände in der Luft bewegt, als würde
sich dort ein reales Tier befinden. Zusätzlich werden auch die
Mikrofone der Kinect zur Spracherkennung eingesetzt und die
virtuellen Tieren reagieren auf Anweisungen.9
Dass die Kinect gleichzeitig auch zum Bewegen anregt,
zeigt das Programm “Your Shape: Fitness Evolved” von Ubisoft. Ähnlich wie in vielen anderen Spielen sieht man sich
hier selbst in der virtuellen Welt. Man kann dann FitnessÜbungen ausführen, wobei das Programm die Übungen durch
einen virtuellen Trainer vermittelt und die Bewegungen des
Benutzers auf die richtige Ausführung überprüft. Gerade die
persönliche Ansprache durch den Trainer und das Speichern
von Fortschritt und Erfolgen trägt hier maßgeblich zur Immersion bei.10
VI. I NSTALLATION
Die Installation Direct Manipulation setzte sich im Zuge
des Tag der Medien an der Hochschule Furtwangen mit dem
Prinzip der direkten Manipulation auseinander. Dazu wurde
ein Spiel programmiert, in dem der Spieler einen Fußball
mit Hilfe seines Fußes hochhalten musste, um Punkte zu
erhalten (s. Abb. 10). Die Eingabe wurde über die Kinect
gelöst, um die Komposition der physischen und virtuellen Welt
zu verdeutlichen, wobei der Fuß des Spielers innerhalb des
Spieles als Symbol dargestellt wurde. Da für das Spielprinzip
eine Metapher aus der physischen Welt übernommen wurde,
konnten die Benutzer mit sehr wenig Instruktion und etwas
Ausprobieren schnell in das Spiel finden.
Zusätzlich wurde die Reaktion auf die Eingaben des Benutzers verzögert, um zu zeigen, dass ein richtiges Spielgefühl
ohne eine direkte Rückmeldung (direkte Manipulation) des
9 Eine
Demonstration
des
Spiels
findet
sich
unterhttp://www.youtube.com/watch?v=jY-9_VPcLR4.
10 Eine Demonstration des Spiels findet sich unterhttp://youtu.be/iHcCQ4jhZM.
Abbildung 10. Bildschirmfoto der Anwendung, die während der Installtion
zum Einsatz kam.
VII. E RGEBNIS UND AUSBLICK
Diese Arbeit hat gezeigt, dass gerade im Bereich der
Unterhaltung auf mehreren Ebenen versucht wird, die physische und die virtuelle Welt zu verbinden. Da das Arbeiten
mit Eingabegeräten für Unterhaltung problematisch ist, wird
heute noch immer die Tastatur und die Maus verwendet oder
durch Touchscreens abgelöst, die letztendlich die gleichen
Funktionalitäten aufweisen bzw. sie minimal erweitern. Auch
das WIMP-Konzept scheint sich im Büro-Bereich noch zu
halten und wird wohl so schnell nicht ersetzt werden. Dies
hat unter anderem den Grund, dass die Prinzipien den meisten
Anwendern nun seit vielen Jahren bekannt sind und ein
Umgewöhnen schwierig ist.
Der sich abzeichnende Trend, dass die Grenzen zwischen
virtueller und physischer Welt in manchen Anwendungsbereichen verschwinden, wirft die Frage auf, wie weit diese Entwicklung unter der Verwendung von Bildschirmen noch gehen
kann. Möglicherweise wird in naher Zukunft eine alternative
Ausgabemöglichkeit gefunden, die eine Unterscheidung der
beiden Welten nicht mehr zulässt.
L ITERATUR
[Bartle 2004]
BARTLE, Richard A.: Designing virtual
worlds. Berkeley, Calif : New Riders, 2004. – URL http:
//www.worldcat.org/oclc/475277858. – ISBN 0131018167
[Dahm 2006] DAHM, Markus: Grundlagen der MenschComputer-Interaktion. München [u.a.] : Pearson Studium,
2006. – URL http://www.worldcat.org/oclc/162258193. –
ISBN 9783827371751
IMMERSIVE MEDIEN 2 - PROF. DR. BRUNO FRIEDMANN, ROBERT EIKMEYER - HOCHSCHULE FURTWANGEN UNIVERSITY
[Harper 2008] H ARPER, Richard: Being human: Humancomputer interaction in the year 2020. Cambridge, England : Microsoft Research, 2008. – URL http://www.
worldcat.org/oclc/228138514. – ISBN 978-0-9554761-1-2
[Hutchins u. a. 1986]
H UTCHINS, Edwin ; H OLLAN, James D. ; N ORMAN, Donald A.: Direct manipulation
interfaces. In: N ORMAN, Donald A. (Hrsg.) ; D RAPER,
Stephen W. (Hrsg.): User centered system design. Hillsdale,
N.J : L. Erlbaum Associates, 1986. – URL http://www.
worldcat.org/oclc/37991140. – ISBN 9780898597813
[Manovich 2002] M ANOVICH, Lev: The language of new
media. 1st MIT Press pbk. Cambridge, Mass : MIT Press,
2002. – URL http://www.worldcat.org/oclc/44509405. –
ISBN 9780262632553
[Milgram und Kishino 1994] M ILGRAM, P. ; K ISHINO, F.:
A taxonomy of mixed reality visual displays. In: IEICE
Transactions on Information and Systems E series D 77
(1994), S. 1321–1321
[Myers 1996] M YERS, Brad A.: A brief history of human
computer interaction technology. Pittsburgh, Pa : School
of Computer Science, Carnegie Mellon University, 1996. –
URL http://www.worldcat.org/oclc/36502616
[Norman 1986]
N ORMAN, Donald A.: Cognitive Engineering. In: N ORMAN, Donald A. (Hrsg.) ; D RAPER,
Stephen W. (Hrsg.): User centered system design. Hillsdale,
N.J : L. Erlbaum Associates, 1986. – ISBN 9780898597813
[Norman 1998] N ORMAN, Donald A.: The invisible computer: Why good products can fail, the personal computer
is so complex, and information appliances are the solution.
Cambridge, Mass : MIT Press, 1998. – URL http://www.
worldcat.org/oclc/39007119. – ISBN 9780262140652
[Sears 2007] S EARS, Andrew: The Human-Computer Interaction Handbook: Fundamentals, Evolving Technologies,
and Emerging Applications. 2nd. Hoboken : Lawrence
Erlbaum Associates, 2007. – URL http://www.worldcat.org/
oclc/437193645. – ISBN 1410615863
[Shneiderman 1983]
S HNEIDERMAN, Ben: Direct manipulation: A step beyond programming languages. College
Park, MD : Department of Computer Science, University
of Maryland, 1983. – URL http://www.worldcat.org/oclc/
80460615
9