BA Theorie _-Abbildungen_

Inhaltsübersicht
1. Einführung ................................................................................................................ 1
1.1 Motivation ............................................................................................................................ 1
1.2 Gliederung ........................................................................................................................... 1
2. Was ist Motion Capturing? ........................................................................................ 2
2.1 Definition.............................................................................................................................. 2
2.2 Aufnahmetechniken............................................................................................................. 3
2.3 Arten von Systemen ............................................................................................................ 4
2.4 Anwendungsgebiete............................................................................................................ 6
3. Geschichtlicher Überblick.......................................................................................... 7
3.1 Motion Capturing ................................................................................................................. 7
3.2 Vicon und OMG ................................................................................................................... 9
3.3 MotionBuilder von Kaydara ............................................................................................... 10
4. Komponenten des Vicon Systems .......................................................................... 11
4.1 Hardware ........................................................................................................................... 11
4.1.1 MX Cameras ............................................................................................................ 11
4.1.2 MX Ultranet .............................................................................................................. 13
4.1.3 Host-Computer......................................................................................................... 13
4.1.4 Calibration Kit........................................................................................................... 14
4.2 Software Vicon iQ.............................................................................................................. 15
5. Workflow................................................................................................................. 16
5.1 Pipelines ............................................................................................................................ 17
5.1.1 Vicon iQ-Pipeline...................................................................................................... 17
5.1.2 MotionBuilder-Pipeline ............................................................................................. 17
5.2 Pre-Production .................................................................................................................. 18
5.3 Einbindung des Performers............................................................................................... 19
5.4 Kamera-Kalibrierung ......................................................................................................... 20
5.5 Labeling und Subjekt-Kalibrierung .................................................................................... 21
5.6 Capturing der Bewegungen............................................................................................... 21
5.7 Post- und Data-Processing ............................................................................................... 22
5.8 Weiterverwendung ............................................................................................................ 24
6. Anhang ................................................................................................................... 25
6.1 Literaturverzeichnis ........................................................................................................... 25
6.2 Abbildungsverzeichnis....................................................................................................... 25
7. Leitfaden
1. Einführung
1.1 Motivation
Ein Vicon MX Motion-Capturing-System befähigt ein Produktionsteam zu
erstaunlichen Projekten. Damit man sich nicht mit der Komplexität der Hardund Software auseinandersetzen muss, soll dieser Leitfaden dazu beitragen,
Prozesse zu verstehen, zügig zu arbeiten, Zeit zu sparen und das jeweilige Ziel
auch wie gewünscht zu erreichen.
1.2 Gliederung
Diese Arbeit unterteilt sich in einen theoretischen und einen praktischen Teil.
Die Theorie wird im Hauptteil behandelt, der praktische Teil ist als „Leitfaden“
im Anhang zu finden. Er ist es, der dem Anwender während des
durchzuführenden Motion Capturing zur Seite steht.
Die nachfolgend behandelte Theorie dient ausschließlich dazu, sich mit dem
Thema und dessen Begrifflichkeiten vertraut zu machen.
1
2. Was ist Motion Capturing?
2.1 Definition
Motion
Der Begriff Motion [mō’shən] ist deriviert aus dem Verb mo|vie|ren, dessen
ursprüngliche lateinische Herkunft movere ins Deutsche mit bewegen übersetzt
wird. Die Urwurzel des Wortes findet man im indoeuropäischen Begriff „meuə“.
Im Englischen ist Motion definiert als: „The act or process of changing position
or place.”1
Laut Wortschatz-Projekt2 der Universität Leipzig ist für das Wort Motion der
signifikanteste rechte Nachbar der Begriff Capture. Das heißt, beide Wörter
treten in der deutschen Sprache überwiegend zusammen auf.
Capture
Das Wort Capture [kǎp’chər] stammt vom lateinischen Begriff captūra und kann
mit (ein)fangen übersetzt werden. Die Urwurzel des Wortes liegt im indoeuropäischen „kap“3.
Eine geeignete Definition aus dem Englischen lautet: „The act of catching,
taking, or holding a particle or impulse.”4
Motion Capture (MoCap)
Die Kombination beider vorgenannter Ausdrücke ergibt schließlich einen neuen
Begriff, den des Motion Capture, welcher als die Aufzeichnung von
Bewegungen beziehungsweise als Bewegungserfassung verstanden wird.
An dieser Stelle sei erwähnt, dass Motion Capture bzw. Motion Capturing häufig
mit MoCap abgekürzt wird, so auch in dieser Bachelor Thesis.
Albert Menache, der Autor des Buches „Understanding Motion Capture for
Computer Animation and Video Games“ (Verlag Morgan Kaufmann, 1999)
beschreibt Motion Capturing als „the process of recording a live motion event
and translating it into usable mathematical terms by tracking a number of key
points in space over time and combining them to obtain a single threedimensional representation of the performance.”
1
The American Heritage Dictionary of the English Language, Fourth Edition.
2
Projekt „Der Deutsche Wortschatz“, Universität Leipzig, Website-Zugriff vom 2007-04-22: wortschatz.uni-leipzig.de
3
The American Heritage Dictionary of the English Language, Fourth Edition.
4
The American Heritage Stedman’s Medical Dictionary.
2
Die Technik des Motion Capturing ermöglicht es, Bewegungen eines realen
Objektes (Mensch, Tier, Maschine etc.) in Echtzeit aufzunehmen und sie als
dreidimensionalen Bewegungsablauf im Computer zu speichern, um sie dann
auf einen virtuellen Charakter zu übertragen.
Eine der bekanntesten Anwendungen ist die Animation von computergenerierten Figuren in Filmen und Computerspielen. Weitere Anwendungsgebiete werden im Kapitel 2.4 aufgeführt.
Beim Motion Capturing trägt der sogenannte Performer einen mit Markern oder
Sensoren versehenen Anzug, deren Ortsänderungen von Spezialkameras
erfasst werden. Aus der Analyse der Marker/Sensoren (Positionen,
Orientierungen) über die Zeit werden dreidimensionale Bewegungsaufzeichnungen generiert.
Nach dem Post-Processing, das heißt der Verarbeitung der Bewegungsdaten
verbunden mit der Korrektur von Fehlaufzeichnungen, können die Daten in 3DSysteme importiert werden. Dort werden sie mit dem Skeleton eines 3DKörpers verknüpft (Mapping), der die Bewegungen aufnimmt und entsprechend
wiedergibt.
Der herausragende Nutzen, der sich durch die Technik des Motion Capturing
ergibt, ist die realwirkende, komplexe Bewegung des virtuellen Charakters. Im
Gegensatz dazu wirkt die bisher von Animationsstudios eingesetzte Technik der
Interpolationen zwischen Keyframes wesentlich unwirklicher.
2.2 Aufnahmetechniken
Die auf dem Markt existierenden Systeme zur MoCap-Aufnahme können in drei
Typen unterteilt werden:
1. Inside-In Systeme
Hierbei befinden sich die Sensoren und die Signalaufnahme auf dem Körper
des Performers. Beispiel wäre ein elektromechanisches Außenskelett, bei dem
das Tracking über die Potentiometer erfolgt.
2. Inside-Out Systeme
Die Sensoren sind am Körper des Performers, jedoch ist die Signalaufnahme
entfernt. Beim XSENS-System5 wird beispielsweise eine extern generierte
magnetische Feldstärke gemessen. Es handelt sich um ein Funknetz.
5
XSens Motion Technologies: www.xsens.com
3
3. Outside-In Systeme
Bei diesem System sind die Sensoren auf den Performer gerichtet (oder einen
Raum, in dem sich der Performer befindet). Optische Systeme, bei denen die
reflektierenden Marker verfolgt werden, gehören zu diesen Systemen.6
2.3 Arten von Systemen
Elektromechanische Systeme
Bei diesen Systemen werden elektromagnetische Anzüge (Exo-SkelettSysteme) genutzt. Dabei messen Potentiometer die Rotationen und die
Orientierungen der Gelenke.
Vorteil dieses Systems sind das geringe Gewicht und die geringen Kosten,
außerdem kommt es nicht zu Verdeckungsproblemen. Nachteil ist die
Behinderung des Performers bezüglich seiner Bewegungsfreiheit, da das
Skelett begrenzt ist. Veränderungen der Sensorpositionen sind ebenfalls
problematisch und die Anzahl der Sensoren ist vorbestimmt.7
Elektromagnetische Systeme
Bei diesem System wird ein elektromagnetisches Feld durch die Sender
erzeugt und die Empfänger, welche am Performer befestigt sind, ermitteln
Position und Orientierung. Nachteil bei elektromagnetischen Systemen ist der
kleine Bewegungsraum, eine aufwändige Kalibrierung sowie die Gefahr der
Verzerrung des Magnetfeldes durch Kabel und Metalle.
Akustische Systeme
Ultraschall-Sender werden bei akustischen Systemen am Körper des
Performers angebracht, die Impulse aussenden. In der Nähe aufgestellte
Ultraschallempfänger registrieren diese Impulse und messen deren Positionen.
Dieses System birgt Probleme der Verdeckung und Reflektion in sich,
außerdem ist die Luftbeschaffenheit von Bedeutung, da sie die Ergebnisse
beeinflussen kann.
Lichtleitersysteme
Hierbei werden die Beugungswinkel der Gelenke über Glasfaserkabel optisch
gemessen. Fotosensoren bestimmen dabei die Intensität, mit der das Licht bei
Biegung der Kabel entweicht. Da die Änderung der Lichtintensität der Messung
dient, kommt es bei geringfügigen äußeren Einwirkungen leicht zu Fehlern.
6
Vergleiche Jackel, Neunreither, Wagner: „Methoden der Computeranimation“, Springer-Verlag 2006.
7
Vgl. ebenda.
4
Bilderfassungssysteme
Diese Systeme versuchen, aus Videos oder Bildern die Bewegungen einer
Person zu extrahieren. Hierzu werden geeignete Stellen im Bild identifiziert, die
im Anschluss einer Analyse verbunden werden. Dadurch wird versucht,
Animationsdaten zu extrahieren.
Optische Systeme
Das von uns genutzte Vicon System gehört zu den optischen Systemen mit
Tracking von passiven Markern. Optische Systeme gehören zu den
bekanntesten Verfahren. Der Entschluss zur Anschaffung dieser Systemart
wurde getroffen, nachdem folgende Aspekte betrachtet wurden:
Optische Systeme haben gemeinsam, dass bei ihnen Spezialkameras zum
Einsatz kommen, unterteilen sich jedoch in zwei verschiedene Aufnahmearten:
1. Tracking mit aktiven Markern: Pulsierende Leuchtdioden befinden sich auf
dem Körper des Performers, wobei diese von den Kameras erfasst werden.
2. Tracking mit passiven Markern: Reflektierende, nicht selbstleuchtende
Marker befinden sich auf dem Körper des Performers, die von den
Infrarotpulsen der Spezialkameras zum Reflektieren gebracht werden.
Vorteile von optischen Systemen sind:
•
die extreme Genauigkeit, die aus der Sensorerfassung im
Infrarotbereich resultiert,
•
die Flexibilität, da die Anzahl der Marker beliebig erweitert werden kann,
•
die Bewegungsfreiheit des Performers, da ihn keine Kabel behindern,
und
•
die Möglichkeit, höhere Frequenzen zu benutzen, um damit die
Framerate (Bilder pro Sekunde) zu erhöhen und eine detailliertere
Aufnahme zu erhalten.
Das System hat auch Nachteile, welche im Wesentlichen Verdeckungen sind,
bei denen Marker nicht von ausreichend Kameras gesehen werden, und
Überdeckungen, bei denen das System Marker verwechselt.
Weiterhin kann es problematisch sein, einen Raum zu finden, der dunkel ist und
in dem keine Reflektionen auftreten, da diese als Ghost Marker erkannt werden
könnten.
5
2.4 Anwendungsgebiete
Motion Capturing wird in den unterschiedlichsten Bereichen verwendet, die im
Nachfolgenden grob abgegrenzt und mit Beispielen versehen sind:
Unterhaltungsindustrie
Entertainment steht mittlerweile an erster Stelle, mit Character-Animation in
Computerspielen, Filmen und Werbespots, Character-Vorschau am Set und
Full Motion Video8.
Als Beispiele für erste erfolgreiche Filme unter Einsatz der MoCap-Technik
können genannt werden: Jurassic Park (1993), Toy Story (1995), Titanic (1997),
Batman and Robin (1997) sowie The Mummy (1999). Mit Beginn des 21.
Jahrhunderts kam es zum endgültigen Durchbruch für das Motion Capturing mit
Filmen wie Gladiator (2000), The Patriot (2000), The Lord of the Rings: The
Fellowship of the Ring (2001), Star Wars Episode 1 (2001), Final Fantasy: The
Spirits Within (2001), Pearl Harbor (2001) etc.
Wie man leicht vermuten kann, gehört Motion Capturing bei den heutzutage
produzierten großen Filmen inzwischen zum Standard.
Gleiches gilt für den Bereich der Computerspiele, bei denen die Animation
virtueller Charaktere mittels MoCap-Technik gewonnen wird. Beste Beispiele
hierfür sind die Sportspiele von EA Sports.
Biomedizin
Bewegungsanalysen in der Orthopädie, Pädiatrie und Neurologie, physikalische
Therapien, Objekt-Tracking in medizinischen Umgebungen.
Ingenieurwesen
Visualisierung von Simulationen, virtuelles Prototyping und virtuelle Realität .9
Sport
Optimierung der Performance von Sportlern (so zum Beispiel Verbesserung der
Schlagtechnik eines Golfers oder des Trainings für Rad- und Skifahrer).
Militär
Technisches Training, Einsätze im Übungsspiel America’s Army.10
Justiz
Rekonstruktion und Animation von Handlungsabläufen.
8
Bei FMV handelt es sich um ein im Voraus aufgenommenes Video in Fernsehqualität oder eine computergenerierte
Animation, die in ein Computerspiel integriert wird. (Vgl. Vicon Product Glossary, Seite 10.)
9
Vicon MX Hardware System Reference, Revision 1.3.
10
America’s Army, Zugriff am 2007-05-07: www.americasarmy.com/intel/makingof_motioncap.php
6
3. Geschichtlicher Überblick
3.1 Motion Capturing
Recherchiert man zum Thema Motion Capturing stößt man häufig auf
Informationen zu zweidimensionalen Bewegungsaufzeichnungen, die im 19.
Jahrhundert von Eadweard Muybridge und Etienne-Jules Marey an Menschen
und Tieren durchgeführt wurden.
Nachstehend soll jedoch die Geschichte der heutzutage bekannten MoCapTechnik kurz umrahmt werden, die sich dadurch auszeichnet, dass die
Bewegungen eines realen Menschen auf einen dreidimensionalen Character
übertragen werden.
Es begann damit, dass Ende der 1970er/Anfang der 1980er Jahre mehrere
amerikanische Universitäten unabhängig voneinander verschiedene Systeme
zur Bewegungsaufzeichnung entwickelten. Dabei sahen die Universitäten den
Zweck des Motion Capturing seinerzeit jedoch weniger in den Bereichen des
Entertainments, sondern in Gebieten der Medizin (Prothesen, Sportmedizin).11
Ein Beispiel für solch eine Universität ist die Simon Fraser University, Kanada,
die in ihrem biomechanischen Labor Personen mit Potentiometern ausstattete,
ihre Bewegungen aufzeichnete und Computer benutzte, um computeranimierte
Figuren durch die gewonnenen Daten zu steuern und grafisch darzustellen.12
Mit „Brilliance“, einem Werbespot für Dosennahrung, wurde 1984 erstmals die
Technik des MoCap kommerziell angewendet. Der von Robert Abel produzierte
Werbespot zeigte eine dreidimensionale Roboterfrau, die sich wie eine reale
Frau bewegte.
Um dies zu erreichen, hatte das Produktionsteam schwarze Marker auf den
Gelenken einer echten Darstellerin befestigt und deren Bewegungen mittels
Polaroid-Kameras aus unterschiedlichen Perspektiven fotografiert.
Das Filmmaterial wurde benutzt, um die Markerpositionen mithilfe von
Computern zu analysieren und Bewegungsalgorithmen herzuleiten. Die
Bewegungsalgorithmen wendete man auf die Gelenke an, kombinierte sie und
exportierte sie als Vektorgrafiken.
11
Vgl. Matt Liverman “The Animator's Motion Capture Guide: Organizing, Managing, Editing”, Verlag Charles River
Media, 1. Auflage 2004.
12
T. W. Calvert, J. Chapman and A. Patla, "Aspects of the kinematic simulation of human movement," IEEE Computer
Graphics and Applications, Vol. 2, No. 9, November 1982, pp. 41-50. Entnommen aus:
www.siggraph.org/education/materials/HyperGraph/animation/character_animation/motion_capture/history1.htm
7
Ein erstelltes Drahtgittermodell der Roboterfrau konnte damit angetrieben
werden.
Der Spot, der eine Produktionszeit von vier Wochen und eine Länge von
30 Sekunden hatte, wurde unter dem Namen „Sexy Robot“ bekannt.13
Abbildung 1 - Szene aus dem Werbespot Brilliance
In den Folgejahren entstanden weitere Projekte, die unter anderem von Pacific
Data Images entwickelt wurden, so zum Beispiel im Jahre 1988 das Waldo C.
Project (Echtzeitanimation einer Polygon-Puppe) und das Exoskelett, welches
zur Animation im Film Toys zum Einsatz kam.
DeGraf-Wahrman Inc. entwickelte 1988 Mike The Talking Head, bei dem ein
Puppenspieler in Echtzeit eine animierte Figur steuerte.
Ein weiteres Aufsehen erregendes Projekt war das 1989 vom Animationsstudio
Kleiser-Walczak produzierte Musikvideo „Dozo - Don’t Touch Me”14, in dem eine
Sängerin komplett modelliert und durch MoCap-Bewegungen animiert wurde.
Der erste weibliche Synthespian (synthetischer Schauspieler) war geschaffen.
Für die MoCap-Aufnahme wurde ein optisches System mit reflektierenden
Markern benutzt.
Abbildung 2 - Dozo aus dem Musikvideo „Don’t Touch Me“
13
Vgl. Alberto Menache „Understanding Motion Capture for Computer Animation and Video Games”, Kaufmann, 1999.
14
Verfügbar auf Youtube: www.youtube.com/watch?v=PlqOOYlXzU8 (Zugriff vom 2007-05-15).
8
Weiterhin ist das 1993 produzierte Musikvideo „Steam“15 erwähnenswert, das
aufgrund seiner Spezialeffekte, bei denen die Technik des Motion Capturing
verwendet wurde, einen Grammy erhielt.
Mit Fifa 97 von EA Games erschien 1996 das erste Computerspiel, das MoCapAnimationen enthielt. EA Games benutzt seitdem die MoCap-Technik für Sportspiele, um sie so realistisch wie möglich erscheinen zu lassen.
Mitte der 1990er begann die Filmindustrie die nunmehr professionellen MoCapSysteme zu benutzen, um Spezialeffekte in ihren Filmen zu erzeugen. Damit
war der Durchbruch im Entertainment-Bereich gelungen.16
3.2 Vicon und OMG
Die Hard- und Software, die von uns für die MoCap-Sessions benutzt wird
stammt von Vicon. Dieses Unternehmen ist Weltmarktführer in Hinblick auf
Motion-Systeme und existiert bereits seit mehr als zwei Jahrzehnten.
Nachstehend folgt ein kurzer geschichtlicher Überblick:
Julian Morris gründete im Jahr 1984 in Großbritannien die Oxford Metrics Ltd.
(heute: OMG plc17) sowie deren Tochterunternehmen Vicon Motion Systems,
welches bereits nach wenigen Jahren des Bestehens zum Weltmarktführer in
Sachen Motion Capturing avancierte. Zu Beginn verkaufte Vicon Motion
Systems seine Systeme ausschließlich an Forschungsgruppen in den
Bereichen Biomechanik, Orthopädie und Ganganalyse. Jedoch wurde Mitte der
1990er Jahre das Geschäftsfeld auf den Entertainment-Bereich ausgedehnt
und seitdem MoCap-Systeme auch an Animationsstudios verkauft.18
Peak Performance Technologies Inc., ein 1984 in Colorado, USA entstandenes
Unternehmen, das sich mit der Produktion von computer- und video-basierten
biomechanischen Analysetools für Sportler beschäftigte19, wurde 2005 in die
Oxford Metrics Group eingegliedert und mit Vicon Motion Systems zu einem
einzigen Unternehmen kombiniert: Vicon.
Abbildung 3 - Logos von OMG und Vicon
15
Verfügbar auf Youtube: www.youtube.com/watch?v=aphQNGOz7v8 (Zugriff vom 2007-05-07).
16
Movement Research Lab, mrl.snu.ac.kr/courses/CourseAnimation/notes/MotionCapture.pdf (Zugriff am 2007-05-07).
17
OMG Oxford Metrics Group, Website: www.omg3d.com
18
OMG Website, Zugriff am 2007-05-20: www.omg3d.com/html/3~company.html
19
Vicon Website, Zugriff am 2007-05-20: www.vicon.com/company/
9
Auszeichnungen:
1996 und 2001 gewann Vicon Motion Systems den Queen's Award for
International Trade und im Jahre 2005 wurde einer der Academy Scientific and
Technical Awards als Würdigung für die Entwicklung der Vicon Motion Capture
Technologie verliehen.20
3.3 MotionBuilder von Kaydara
MotionBuilder ist eine Software, die von uns zum Data-Processing benutzt wird.
Sie ist wesentlicher Bestandteil des MoCap-Workflows, da sie mannigfaltige
Funktionen, die das differenzierte Bearbeiten von Animationen stark erleichtern,
zur Verfügung stellt. In späteren Kapiteln wird darauf genau eingegangen, es
folgt ein kurzer Blick auf die Geschichte:
Das Unternehmen Kaydara Inc., das 1993 in Montreal (Kanada) gegründet
wurde, entwickelte ein auf Animationsstudios ausgerichtetes Produkt namens
FiLMBOX, welches unter anderem die Fähigkeit besaß, MoCap-Daten und 3DDaten zu importieren, in Echtzeit zu bearbeiten und wieder zu exportieren.
FiLMBOX war sehr erfolgreich und wurde in Filmen, im Fernsehen, für
Werbungen, im Web und für Spieleentwicklungen verwendet. Die Software
avancierte zum Industriestandard für das Editieren, Säubern und Modifizieren
von MoCap- und Animationsdaten. 21
Im März 2004 brachte Kaydara MotionBuilder heraus, eine Weiterentwicklung
von FiLMBOX mit neuem User-Interface und erweiterten Funktionen sowie Imund Export-Möglichkeiten für eine Vielzahl von Formaten. 22
Da eine wachsende Zahl von Animationsstudios, die die Technik des Motion
Capture nutzten, mit MotionBuilder arbeitete und die Software zunehmend den
Markt beherrschte, kaufte schließlich Alias im Oktober 2004 das Unternehmen
Kaydara. Im Januar 2006 wurde Alias wiederum von Autodesk übernommen,
sodass die Software nun Autodesk MotionBuilder heißt und mit heutigem Stand
in Version 7.5 vorliegt. 23
Fazit: Mit dem modernen Vicon MX System und der aktuellen Version der
Software MotionBuilder ist ein Produktionsteam technisch in der Lage,
hochqualitative Ergebnisse im Bereich der Animationen zu erzielen.
20
Academy of Motion Picture Arts and Sciences: www.oscars.org/scitech/2004/winners.html (Zugriff am 2007-05-20).
21
Measurand: “History Of Animation Companies, 2001 - 2007 “
22
Golem: „Kaydara kündigt Animationssoftware Motionbuilder 4.0 an“ www.golem.de/0205/19788.html (2007-05-21)
23
Autodesk MotionBuilder: www.autodesk.com (Zugriff vom 2007-05-07).
www.measurand.com/motion-capture-resources/Motion-Capture-history-2001.htm (Zugriff vom 2007-05-20)
10
4. Komponenten des Vicon Systems
4.1 Hardware
Das uns zur Verfügung stehende Vicon-System besteht aus den nachfolgend
beschriebenen Hardware-Komponenten, die zusammen als Vicon MX
Architecture bezeichnet werden. 24
Abbildung 4 - Vicon MX Architecture mit 6 Kameras
4.1.1 MX Cameras
Die von uns genutzten sechs Kameras vom Typ Vicon MX3 sind mit mehreren
Hochgeschwindigkeitsprozessoren ausgestattet, welche eine Bildverarbeitung
in Echtzeit ermöglichen.
Die Auflösung je Kamera beträgt 659 x 494 Pixel (Bildseitenverhältnis 4:3), die
maximale Framerate liegt bei 242 und der Sensor ist vom Typ CMOS.25
Das Kamerasystem besteht neben den Videokameras und deren StroboskopEinheiten aus passenden Linsen, optischen Filtern und Kabeln.
24
Die in diesem Kapitel aufgeführten technischen Daten sind der Vicon MX Hardware System Reference, Revision 1.3
entnommen.
25
Complementary Metal Oxide Semiconductor (komplementärer Metall-Oxid-Halbleiter).
11
Abbildung 5 - Vicon MX Kamera
Abbildung 6 - MX Camera Rear Panel
Kameralinsen und Stroboskop-Einheit
Die Strobe Unit wird auf der Frontseite der Kamera befestigt und lässt das
Capture Volume26 erleuchten, indem sie einen Infrarot-Lichtimpuls erzeugt, der
die auf dem Performer befestigten Marker zum Reflektieren bringt. Das
reflektierte Licht gelangt durch einen optischen Kamerafilter, der nur Licht mit
benötigter Wellenlänge zur Linse durchlässt. Die Kameralinse nimmt das
reflektierte Licht aus der Szene auf und formt ein scharfes Bild auf der
Sensoroberfläche. Die Kamera konvertiert daraufhin das Lichtmuster in digitale
Daten, die die Position und den Radius jedes Markers im Bild repräsentieren,
und gibt sie an die MX Ultranet Einheit weiter.
MX Cables
Proprietäre MX Kabel verbinden die Systemkomponenten und bieten eine
Kombination aus Strom, Ethernet Kommunikation, Synchronisations- und
Videosignalen.27
26
Als Capture Volume wird der Raum bezeichnet, in dem die Bewegungserfassung erfolgt und der von den Kameras
erfasst werden kann. Dieses Volume wird im 3D-Workspace von Vicon iQ rekonstruiert und in 3D dargestellt.
27
Detaillierte Informationen können der Vicon MX Hardware System Reference, Revision 1.3 entnommen werden.
12
4.1.2 MX Ultranet
Die MX Ultranet Einheit nimmt die Daten der Kameras auf und gibt sie an den
Host-Computer weiter. Sie sorgt für die Stromversorgung der Kameras und die
synchronisierte Kommunikation zwischen Kameras und Host-Computer.
Abbildung 7 - MX Net Front Panel
Abbildung 8 - MX Net Rear Panel
Informationen zu den rückwärtigen Anschlüssen entnehmen Sie bitte der Vicon
Hardware System Reference, Revision 1.3.
4.1.3 Host-Computer
Der Host-PC nimmt die MoCap-Daten auf, visualisiert sie und verarbeitet sie mit
der auf ihm installierten Vicon iQ Software. Die Prozessorgeschwindigkeit und
der Arbeitsspeicher sind die wichtigsten Faktoren für die System-Performance.
Von Vicon werden daher eine schnelle Festplatte und 1 GByte Arbeitsspeicher
empfohlen.
Ebenfalls sollte eine hochwertige Grafikkarte benutzt werden, damit die hohen
Grafikansprüche der Vicon RealTime Engine befriedigt werden können. Das
Vicon MX System nutzt Gigabit-Ethernet-Verbindungen, sodass der Host-PC
eine geeignete Netzwerkkarte benötigt (PC mit dedicated Ethernet-Port), um mit
den Kameras kommunizieren zu können.
13
4.1.4 Calibration Kit
Das Calibration Kit enthält Werkzeuge zur exakten Kalibrierung des Systems.
Mit dem Kit lassen sich die beiden notwendigen Kalibrierungstypen realisieren:
Kamerakalibrierung mittels Wand (Kalibrierungsstab) und Kalibrierung des
Globalen Koordinatensystems mittels L-Frame.
Abbildung 9 - Calibration Kit
Nachfolgend eine Übersicht zu den im Calibration Kit verfügbaren Elementen.
Nur die Geräte 1, 2, 8 und 11 werden von uns benutzt und hier aufgeführt:
Nummer
Kalibrierungsgerät
Beschreibung
1
240 mm Wand Spacer Bar
Ein 3-Marker Stab mit 14 mm Markern.
2
Wand Handle
Mit dem 240 mm Stab (1) oder dem 390 mm
Stab (5) nutzbar.
8
L-Frame (auch Ergo Calibration
Statisches Kalibrierungsobjekt mit vier 9,5 mm
Frame genannt)
Markern (Tausch mit 14 mm oder 25 mm
Markern möglich). Vergleiche (11).
11
Calibration Marker Pack
Das Marker Paket beinhaltet Marker Sets der
Größen 9,5 mm, 14 mm, und 25 mm, die am
Ergo Calibration Frame (8) befestigt werden.
Static Calibration Object
Der L-Frame (siehe Nr. 8 in obiger Tabelle) ist ein statisches Kalibrierungsobjekt, das benutzt wird, um das globale Koordinatensystem im Capture
Volume einzurichten. Standardmäßig sind 9,5 mm Marker befestigt, die wir
auch für unsere Motion-Capture-Sessions benutzen.
14
Accessory Kit
Das Accessory Kit beinhaltet Utensilien, die vor Beginn der Systembenutzung
benötigt werden: Klebebänder (Mikropore, Gaffer) zum Fixieren von Markern,
den HASP-Lizenzdongle, Velcro-Rollen (Klettverschluss), den Vicon Lycra
Anzug und weitere reflektierende Marker.
4.2 Software Vicon iQ
Die zum Vicon-System dazugehörige und von uns zur Aufzeichnung der
Bewegungen des Performers, zum Processing und zum Post-Processing
verwendete Software heißt Vicon iQ und liegt in Version 2.5 vor.
Vicon iQ wird benutzt, um eine MoCap-Produktion zu managen. Es unterstützt
das MoCap-Team beim Abarbeiten des Workflows und dient dazu, gewonnene
Daten zu verwalten.
Aufgrund der integrierten Real-Time-Engine Tarsus kann Vicon iQ die 2D-Daten
der MX Kameras aufzeichnen und dreidimensional in Echtzeit wiedergeben.
Weiterhin ist es möglich, im Post-Processing diverse Operationen anzuwenden,
dazu gehören unter anderen Rekonstruktion, Labelen der Bewegungsbahnen,
Lücken füllen und die Anpassung an ein kinematisches Modell. Hierauf wird im
Zusammenhang mit der Batch-Pipeline detailliert im Leitfaden eingegangen.28
An dieser Stelle sei der Hinweis gegeben, dass die Vicon MX Architecture
neben Vicon iQ auch mit anderer Software betrieben werden kann, unter
anderem: BodyBuilder, Workstation, Polygon, Tracker.
28
Vgl. Vicon: www.vicon.com/products/viconiq.html (Zugriff vom 2007-05-20).
15
5. Workflow
Sehr grob gegliedert kann man den Prozess des Motion Capturing einteilen in:
1. Planung,
2. Bewegungsaufzeichnung,
3. Datenbereinigung,
4. Nachbearbeitung und
5. Abbildung der Bewegung auf eine zu animierende Figur.
Die nachfolgende Übersicht ist um einige Detailgrade erhöht und hilft, sich
einen besseren Überblick über den MoCap-Produktionsprozess zu verschaffen:
Abbildung 10 - Workflow einer MoCap-Produktion
16
5.1 Pipelines
5.1.1 Vicon iQ-Pipeline
Nachdem die Hardware aufgebaut wurde (siehe Leitfaden) kann mit dem
Arbeitsablauf der Software Vicon iQ begonnen werden. Dieser Ablauf lässt sich
mit folgender Pipeline darstellen:
1. Anlegen der Datenbank, Start der Real-Time-Engine
2. Kamera-Kalibrierung
3. Kalibrierung des Capture Volumes
4. Range of Motion
5. 3D-Rekonstruktion der Daten
6. Labeling des Skeletons (anhand Vicon Skeleton Template)
7. Subjekt-Kalibrierung (Struktur des Vicon Skeletons berechnen)
8. Bewegungen aufzeichnen (Motion Capturing)
9. Bereinigung der MoCap-Daten (Verdeckungen und Störungen)
10. Export als C3D-Datei
5.1.2 MotionBuilder-Pipeline
Die in MotionBuilder vorzunehmenden Arbeitsschritte können allgemein wie
folgt abgebildet werden:
1.
2.
3.
4.
5.
6.
7.
Import der MoCap-Daten (C3D-Datei)
Erstellen eines Actors
Verbinden von MoCap-Daten mit Actor
Import 3D-Figur mit Skeleton aus Maya
Charakterisieren des Skeletons der 3D-Figur
Actor und Skeleton verbinden
Optional:
a. Fehlerkorrekturen
b. Modifizierung von Bewegungen
c. Kombination von Motion Tracks
8. Plotting von Animation und Skeleton
9. Export zur Weiterverarbeitung
17
5.2 Pre-Production
1. Performer
Zu häufigen Aufnahmen der Full-Body-Animation gehören: Laufen, Rennen,
Springen, Tanzen, Fallen, Kämpfen, Akrobatik. Bevor man mit einer Session
anfängt, sollte man sich jedoch ein Skript anfertigen, indem man festlegt,
welche Bewegungen benötigt und aufgenommen werden sollen.
Beim Durchführen der Bewegungen sollte der Performer daher den virtuellen
Character besonders gut verinnerlicht haben, um dessen Eigenschaften
bestmöglich darzustellen. Wichtige Charakteristika wären unter anderen: Alter,
Geschlecht, Größe, Statur und Gewicht, Beeinträchtigung bei Bewegungen,
Gewohnheiten und Intelligenz, Kleidung, Stimmung etc.
2. Drehbuch
Das Drehbuch sollte aus folgenden Elementen bestehen:
- Namen: Auflistung aller Charaktere.
- Szenenkopf: Eine kurze Beschreibung der Örtlichkeit und der Tageszeit.
- Action: Eine Beschreibung aller vorkommenden Szenenelemente und
Handlungen.
- Dialoge: Gespräche zwischen Charactern in der Szene. In den Dialogen erscheint der Name des sprechenden Characters jeweils am Anfang der Zeile.
- Übergänge: Bemerkungen zu den Kamera-Übergängen wie „Auflösen nach“
(hierbei wird das Kamerabild unscharf und geht in eine andere Szene über).
3. Storyboard
Ein Storyboard ist ein konzeptueller Ablaufplan und löst im Stile eines ComicStrips eine Drehbuchhandlung in einzelne Bilder auf. Es wird benutzt, um die
grundsätzlichen Ideen visuell darzustellen, darunter fallen die Handlungen des
Charakters, Zeitabläufe der Bewegungen und Übergänge zwischen den
Szenen. Anhand des Comic-Strips lässt sich eine Motion List erstellen, die dem
Produktionsteam die notwendigen Aufnahmen vorgibt.
4. Liste der Aufnahmen
Es sollte festgehalten werden, in welcher Aufnahme die Kamera welche Szene
aufzeichnet. Hierzu ist eine nummerierte Liste aller Aufnahmen (engl. Takes) zu
erstellen, mit einer jeweiligen Erklärung der gezeigten Performance. Ebenfalls
können die für die jeweilige Aufnahme beabsichtigten Kameraeinstellungen
festgehalten werden (Tracking, Close-Up, Wide Shot). 29
29
Vgl. Kurs ATEC 6351 der Universität Texas (Dallas), bei Professor Midori Kitagawa, Website:
atec.utdallas.edu/~midori/6351/Assignments/Assignment_1.htm (Zugriff am 2007-05-15).
18
5.3 Einbindung des Performers
Die Person, deren Bewegungen aufgezeichnet werden, wird im Englischen als
„Trial Subject“ bezeichnet, wir verwenden den Begriff „Performer“.
Es ist möglich, jedes beliebige Objekt (so auch Tiere und Maschinen) zu
capturen. Der Einfachheit halber und da am häufigsten verwendet, wird sich
jedoch an einem menschlichen Objekt orientiert.
Die nachfolgende Abbildung zeigt den Workflow, in den der Performer involviert
ist:
Abbildung 11 - Workflow für Performer
Auf die in diesem Workflow dargestellten Schritte wird ausführlich im Leitfaden
eingegangen.
19
5.4 Kamera-Kalibrierung
Die Kamera-Kalibrierung (auch bekannt als System-Kalibrierung oder
Dynamische Kalibrierung) ist der erste wesentliche Schritt einer MoCapProduktion. Er unterteilt sich in zwei verschiedene Phasen: In der dynamischen
Phase wird der Kalibrierungsstab (Wand) benutzt, um die physikalischen
Positionen und die Orientierung jeder einzelnen Vicon-Kamera im System zu
messen und Linseneinstellungen gegebenenfalls zu korrigieren. In der
statischen Phase wird ein statisches Kalibrierungsobjekt (L-Frame) genutzt, um
das globale Koordinatensystem für das Capture Volume einzustellen. Die
Kamera-Kalibrierung ist notwendig, um die 3D-Bewegungsdaten fehlerfrei
rekonstruieren zu können.30
Kalibrierungsprozess
Die Leistungsfähigkeit des Vicon MX Systems beruht wesentlich auf der
Genauigkeit, mit der das System kalibriert wurde.
Der Kalibrierungsprozess beinhaltet die Erfassung von internen und externen
Kamera-Parametern. Zu internen Parametern gehören die Blendweiten und die
Bildverzeichnung31, zu externen die Kamerapositionen und deren Orientierung.
Mit der dynamischen Kalibrierung werden alle vorgenannten Parameter
ermittelt. Es wird ein Linearisierungsverfahren verwendet, bei dem optische
Verzerrungen der Kameralinsen gemessen werden und eine Korrekturmatrix
erstellt wird. Die Korrekturen werden dann auf jeden Datenframe für jede
Kamera angewendet.32
Kalibrierungsobjekt
Hierbei handelt es sich um ein Gerät, das zur Kalibrierung des Capture Volume
genutzt wird. Wie bereits zuvor erwähnt, gibt es zwei Arten: den L-Frame und
den Wand. Beide bestehen aus Metall und an ihnen sind reflektierende Marker
befestigt.
Vicon iQ benutzt die von diesen Objekten bekannten physischen Maße, um die
Kalibrierungsparameter zu berechnen.
30
31
Vgl. Vicon iQ 2.5 - System Reference Volume I, Revision 1.0, Seiten 211 f.
Bildverzeichnung ist die Verzeichnung im Meßbild, sie enthält neben der Objektverzeichnung alle weiteren im
Messbild wirksam gewordenen Abweichungen von der Zentralprojektion (DIN).
32
Vgl. Vicon MX Hardware System Reference, Revision 1.3, Seite 79.
20
5.5 Labeling und Subjekt-Kalibrierung
Rekonstruierte dreidimensionale Bewegungsdaten bestehen aus Bewegungsbahnen (Trajectories), die die Markerpositionen im Raum über die Zeit
angeben. Vicon iQ berechnet die Bewegungsbahnen, indem es die Markerpositionen von Bild zu Bild verknüpft. Das rekonstruierte Bild kann im 3D Live
Workspace von Vicon iQ betrachtet werden.
Um die Marker einer Hierarchie zuzuordnen bzw. die Unterscheidbarkeit der
Marker voneinander zu ermöglichen, werden weitere Schritte notwendig:
1. Range of Motion (RoM)
Um eine Subjekt-Kalibrierung durchführen zu können, wird eine essentielle
Erst-Aufnahme, die sogenannte Range of Motion, notwendig. Während dieser
Aufnahme bewegt der Performer seine Gliedmaßen und Gelenke auf jegliche
erdenkliche Art und Weise, damit Vicon iQ im Nachhinein aus der Vielzahl der
gewonnenen Daten die Markerpositionen auf dem Anzug und deren Maße
zueinander errechnen kann.
2. Labeling
Labeling bedeutet, dass jeder im 3D Live Workspace von Vicon iQ abgebildete
Marker mittels der vordefinierten Marker eines Vicon Skeleton Templates
gekennzeichnet wird. Diesen Vorgang muss das Produktionsteam manuell
vornehmen.
3. Subjekt-Kalibrierung
Die Vicon iQ-Software orientiert sich an dem Vicon Skeleton Template und
ordnet bei allen folgenden Bildern die Markerbezeichnungen eigenständig zu.
Danach kalibriert sie das Template und passt es der Struktur des Skeletons an.
Diese proportionierten Daten werden als Vicon Skeleton (VSK) gespeichert und
können nun mit diversen Operationen der Batch-Pipeline bearbeitet werden.
5.6 Capturing der Bewegungen
Wenn die in den Kapiteln zuvor beschriebene Kalibrierung erfolgreich verlaufen
ist, kann mit den Bewegungsaufnahmen begonnen werden.
Dazu stellt sich der Performer in die Mitte des Capture Volumes und der
Capture-Prozess wird in Vicon iQ gestartet. Während des MoCap-Prozesses
wird der Performer entsprechend der Anweisungen des Produktionsteams eine
Anzahl von Bewegungsabläufen im Capture Volume ausführen. Während
dieser Zeit nehmen die Vicon MX Kameras alle Marker auf und senden die
Daten zum MX Ultranet, das als zentrale Einheit des Vicon Systems die 2D-
21
Videodaten sammelt und verarbeitet. Danach kombiniert es die Daten mit den
Kamerakoordinaten und ermittelt ein dreidimensionales Bild, wobei die
dreidimensionalen Daten für jeden Marker separat bestehen.
Die 3D-Daten werden anschließend von Frame zu Frame so kombiniert, dass
Bewegungsbahnen entstehen.
Idealerweise sollte der vorgenannte Prozess durchgängige, vollständige
Bewegungen hervorbringen. In der Realität kommt es jedoch zu Verdeckungen
(Occlusion) oder es können nicht genügend Kameras den jeweiligen Marker
sehen oder Marker sind so dicht beieinander (Crossover), dass sie nicht
interpretiert werden können. Andererseits kann es passieren, dass Reflektionen
von den Kameras wahrgenommen werden, die nicht von den Markern
stammen, aber trotzdem als Marker dargestellt werden (Ghost Marker).
Weiterhin können Fehldarstellungen auftreten, wenn der Performer die Grenzen
des Capture Volumes verlässt.
Als Folge der vorgenannten Fehlermöglichkeiten liegen die Bewegungsdaten
nie komplett vor. Die vorhandenen Lücken und Fehlbereiche müssen dann im
Post-Processing mit diversen Operationen ausgeglichen werden.
5.7 Post- und Data-Processing
Nach dem Aufbau des Vicon-Systems, dessen Kalibrierung sowie der SubjektKalibrierung und der erfolgten MoCap-Aufnahme kommt es zum PostProcessing der gewonnenen Daten. Dies wird notwendig, da es zu den im
vorigen Abschnitt beschriebenen technischen Fehlern kommen kann.
Unter das Post-Processing fallen Operationen wie die 3D-Rekonstruktion der
2D-Kameradaten (Erzeugen von Bewegungsbahnen), die Bereinigung der
MoCap-Daten (Clean-Up, Fill Gaps) und deren Nachbearbeitung (Labeling,
Vicon Skeleton).
Unter Data-Processing hingegen ist die Nutzung der fertigen Daten zu
verstehen.
Post-Processing
Unter diesen Prozess fallen eine große Bandbreite von möglichen Operationen
in Vicon iQ. Um nur einige zu nennen: Herausfiltern von Rauschen bei
undeutlichen Aufnahmen, Füllen von nicht-kontinuierlichen oder fehlenden
Bewegungsbahnen durch lineare, quadratische oder Spline-Interpolationen (Fill
Gaps), Verwendung von Kinematic Fitting, bei dem das fehlerhaft rekonstruierte
Modell über ein generisches Skeleton-Modell wieder hergestellt wird, etc.
Im beiliegenden Leitfaden wird detailliert auf die verschiedenen verfügbaren
Prozesse eingegangen.
22
Data-Processing
Im Data-Processing lassen sich in MotionBuilder die MoCap-Daten mit dem
Skeleton einer 3D-Figur kombinieren. Dies erfolgt über die Zwischeninstanz
eines sogenannten Actors. Anschließend können mithilfe der Software unter
anderem folgende Veränderungen erzielt werden:
•
•
•
•
•
•
•
•
•
•
•
33
Bewegungen sind modifizierbar (so kann beispielsweise die Sprunghöhe
wesentlich erhöht werden).
Ungenauigkeiten und Fehler sind mit verschiedenen Tools ausgleichbar.
Bewegungen aus verschiedenen Aufnahmen können zu einer
Gesamtbewegung kombiniert werden, ohne dass Übergänge zu
erkennen sind (Motion Blending).
Zwangsbedingungen (Constraints) sind möglich (darunter fällt beispielsweise das Nicht-Bewegen eines Körperteils).
Keyframing ist für den vorhandenen Animationsclip verfügbar.
Objekte können eingebaut und analog der animierten Figur bewegt
werden.
Zwischenposen können definiert werden, mit denen sich ebenfalls
animieren lässt.
Mit Hilfe von Control Rigs (Kontrollgerüste) werden Proportionen des
Skeletons eingehalten und Verzerrungen sowie unnatürlich
Bewegungen (z. B. das Einknicken des Knies nach hinten) verhindert.
Durch Gewichtungen wird festgelegt, wie stark das Rig den 3D-Körper
beeinflusst.
Techniken der inversen Kinematik33 führen zu Bewegungsabhängigkeiten zwischen den verschiedenen Gliedern (zum Beispiel
Anheben des Oberschenkels führt zusätzlich zur Bewegung des
Schienbeins).
Weiterhin sehr wichtig ist die Möglichkeit des Retargeting, bei dem die
Proportionen des Performers in den Bewegungsdaten denen der
virtuellen Figur angepasst werden. Durch das Retargeting ist eine
Wiederverwendung der MoCap-Daten auf jede beliebige Figur erlaubt.
Als letztes sind noch Verfeinerungen zu nennen, unter denen zum
Beispiel die Bewegung der Kleidung gehört, Atembewegungen oder
Muskeldeformationen.34
Bei der inversen Kinematik wird ausgehend von der Lage eines Endeffektors die Bewegung der übrigen Glieder
berechnet.
34
Vgl. Jackel, Neunreither, Wagner: „Methoden der Computeranimation“, Springer-Verlag 2006, Seiten 176 f.
23
5.8 Weiterverwendung
Sind Post- und Data-Processing abgeschlossen. Kann die fertige Bewegungsabbildung exportiert werden.
Zuvor müssen jedoch Animation und Skeleton der 3D-Figur in MotionBuilder
miteinander verbunden bzw. verschmolzen werden. Dieser Prozess wird
Plotting (oder auch Baking, Burning) genannt.
Ist dies geschehen, ist nur noch die 3D-Figur (in MotionBuilder als Character
bezeichnet) vorhanden, dessen Skeleton die Bewegungsdaten übernommen
hat.
Jetzt kann die Animation exportiert und in anderen Programmen wie Autodesk
Maya, Autodesk 3ds Max, Cinema 4D, LightWave 3D und Softimage XSI
weiterverwendet werden.
Für den Export bietet sich das FBX-Format (File Interchange Format für 3DContent) an, das von der meisten 3D-Software unterstützt wird.
24
6. Anhang
6.1 Literaturverzeichnis
[1] „Understanding Motion Capture for Computer Animation and Video Games“
Alberto Menache, Verlag Morgan Kaufmann, 1999
[2] „The Animator's Motion Capture Guide: Organizing, Managing, and Editing”
Matthew Liverman, Verlag Charles River Media, Inc., 2004
[3] „Methoden der Computeranimation“
Dietmar Jackel, Stephan Neunreither, Friedrich Wagner, Springer-Verlag, 2006
6.2 Abbildungsverzeichnis
[1] Szene aus dem Werbespot Brilliance
Quelle: Computer Animation, Neal Weinstock
accad.osu.edu/~waynec/history/tree/abel.html (2007-05-07)
[2] Dozo aus dem Musikvideo „Don’t Touch Me“
Quelle: Kleiser-Walczak, Timeline
www.kwcc.com/house/timeline/index_3frames.html (2007-05-15)
[3] Logos von OMG und Vicon
Quelle: Vicon Management Team
www.vicon.com/company/managementteam.htm (2007-06-14)
[4] Vicon MX Architecture mit 6 Kameras
Quelle: Vicon MX Hardware System Reference, Revision 1.3
[5] Vicon MX Camera
[6] MX Camera Rear Panel
[7] MX Net Front Panel
[8] MX Net Rear Panel
[9] Calibration Kit
Quelle: Vicon MX Hardware System Reference, Revision 1.3
[10] Workflow einer MoCap-Produktion
[11] Workflow für Performer
Quelle: Vicon MX Hardware System Reference, Revision 1.3
25