Erfassung, Verarbeitung und Ausgabe von 3D Daten

Erfassung, Verarbeitung und Ausgabe von
3D Daten
Vortrag im Seminar Medientechnik von Toni Zeitler
Warum 3D?
ƒ Vermessung von Objekten
ƒ Produktdesign bzw. CAD
ƒ Computerspiele
ƒ Kinofilme
ƒ Simulationen jeglicher Art
ƒ virtuelle Darstellungen und Welten
ƒ Bewegungsdaten von Objekten für Medizin, Sport,
Industrie und Forschung
ƒ …
2
Übersicht
ƒ Erfassung von 3D-Daten (Hardware)
ƒ Demo SIMI°MotionCapture 3D
ƒ Repräsentation von 3D-Daten im Rechner
ƒ Verarbeitung und Ausgabe (Software)
ƒ Demo Softimage|XSI
3
Erfassung von 3D Daten
Hardware (Teil 1)
ƒ Scannen von realen Objekten
ƒ Rekonstruktion anhand von Fotos
ƒ Scannen mit Laser
ƒ Scannen mit Ultraschall
ƒ 3D-Scanstift
ƒ Eingabe von Daten durch den Menschen
ƒ 2D-Maus
ƒ 3D-Maus
ƒ 3D-Handschuhe
ƒ 3D-Workstation, Headsets
4
Scannen von realen Objekten
Rekonstruktion anhand von Fotos
ƒ Rekonstruktion von 3D-Objekten
ƒ Teilbereich der Photogrammetrie
ƒ Rundumaufnahmen des Objekts
ƒ manuelles Positionieren von einfachen
3D-Grundobjekten auf den Fotos
ƒ 3D-Berechnung durch Positionierung eines
Objekts auf mehreren Fotos
ƒ automatische Texturierung durch die Fotos
5
Scannen von realen Objekten
Rekonstruktion anhand von Fotos
6
Scannen von realen Objekten
Abtastung durch Laser
ƒ Laserstrahl tastet Objekt ab
ƒ Laserpunkt auf Objekt wird erfasst
ƒ punkt-/streifenbasiert mit Sensor (Kamera)
ƒ Objektvermessung durch Triangulation
(Messung von zwei bekannten Orten aus)
ƒ Lichtlaufzeitmessung mit Empfangsdiode
ƒ Scannen nahezu beliebig großer Objekte
7
Scannen von realen Objekten
Abtastung durch Laser
8
Eingabe von Daten
3D-Scanstift
ƒ manuelle Abtastung
kleinerer Objekte
ƒ Stift an stehendem Arm mit
mehren Gelenken
ƒ sehr leichte Konstruktion
ƒ Messung der Bewegungen
durch optische Sensoren in
den Gelenken
ƒ sehr hohe Genauigkeit
möglich
9
Eingabe von Daten
3D-Maus
ƒ stehendes Gerät mit Kappe oder Kugel
ƒ Kugel lässt sich drücken, drehen und ziehen
ƒ ermöglicht 6 Freiheitsgrade
ƒ reagiert mit gummiähnlichem Widerstand je nach
Auslenkung bei der Bedienung
ƒ genaue optoelektronische Messung
10
Eingabe von Daten
3D-Handschuhe
ƒ Handschuhe mit eingearbeiteten, biegsamen Sensoren
für Finger und Handgelenk
ƒ fiberoptische Sensoren und andere Sensortechniken für
Fingerbewegungen
ƒ Tastsensoren an den Fingerspitzen
ƒ zusätzlicher beliebiger Sensor zur Verfolgung der Hand
im Raum
ƒ Force-Feedback-System zur Rückmeldung bei Berührung
virtueller Objekte möglich
11
Eingabe von Daten
3D-Workstation, Headsets
ƒ Workstation mit Schnittstelle für Hände mit ForceFeedback und 3D-Headset
ƒ Headset zur Augenverfolgung
ƒ Headset zur Mimikerkennung
12
Erfassung von 3D Daten
Hardware (Teil 2)
ƒ Motion Capturing (Bewegungserfassung)
ƒ Video
ƒ Infrarotvideo
ƒ Magnettechnik
ƒ Ultraschall
ƒ Funktechnik
ƒ Lasertechnik
ƒ LED-Technik
ƒ Mechanik
13
Motion Capturing
Video
ƒ direkte Datenerfassung vom Videobild
ƒ mindestens zwei Kameras aus verschiedenen
Perspektiven nötig
ƒ alles was sich bewegt kann erfasst werden
ƒ Kennzeichung mit Markern
ƒ Marker werden im Videobild markiert und
automatisch verfolgt
ƒ Berechnung der 3D-Koordinaten der Marker aus
2D-Position in mehreren Kameras und den
Kamerapositionen (DLT-Verfahren)
14
Motion Capturing
Infrarotvideo
ƒ spezielle Kameras mit Infrarotfilter
ƒ Infrarotausleuchtung der Szene
ƒ Kennzeichnung mit reflektierenden Markern
ƒ sehr hohe Kameraauflösung und
Aufzeichnungsgeschwindigkeit möglich
ƒ Verarbeitung der Rohdaten durch Hardware
ƒ Ausgabe der Markerkoordinaten
ƒ Echtzeitverarbeitung möglich
15
Motion Capturing
Infrarotvideo
16
Motion Capturing
Magnettechnik
ƒ basierend auf Sensoren in einem Magnetfeld
ƒ Sensoren an den zu erfassenden Gelenken
bzw. Objekten
ƒ Rückmeldung der Position im Magnetfeld
ƒ 6 Freiheitsgrade der Bewegung pro Sensor
ƒ relativ anfällig gegenüber Umwelteinflüssen
ƒ erfordert Laborbedingungen
ƒ Verarbeitung der Rohdaten durch Hardware
ƒ Ausgabe der Markerkoordinaten
ƒ Echtzeitverarbeitung möglich
17
Motion Capturing
Magnettechnik
18
Erfassung von 3D Daten
Sonstiges
ƒ Seismik
Untersuchung von Bodenstrukturen
ƒ Computertomographie
diverse Anwendungsbereiche
ƒ Topographie
Aufnahmen von Flugzeug oder Satellit
19
Demo SIMI°MotionCapture 3D
ƒ videobasiertes 3D-Motion-Capture-System
ƒ arbeitet mit beliebigen Videoquellen
ƒ Preis ab ca. 10.000 €
20
SIMI°MotionCapture 3D
Repräsentation von 3D-Daten
Übersicht
ƒ Punkte, Linien, Splines
ƒ Polygone
ƒ NURBS
ƒ Szenen
ƒ Animation
22
Repräsentation von 3D-Daten
Polygone
ƒ alle 3D-Objekte bestehen aus Polygonen bzw.
werden zur Berechnung in Polygone zerlegt
ƒ in der Regel Dreiecke
ƒ bei Modellierung oft Vierecke (zwei Dreiecke)
ƒ Polygone bilden Oberfläche der Objekte
ƒ auch Primitiven aus Polygonen (z.B. Kugel)
ƒ Grundlage für spätere, einheitliche, möglichst
einfache Berechnung der 2D-Darstellung
von 3D-Objekten
23
Repräsentation von 3D-Daten
Polygone
24
Repräsentation von 3D-Daten
NURBS
ƒ Non-Uniform Rational B-Splines (NURBS)
ƒ Prinzip sehr ähnlich der Bezier-Kurven
ƒ Interpolation der Verbindung zweier Punkte im
Raum mit Gewichtung durch „magnetische“
Kontrollpunkte
ƒ Ausweitung auf Flächen durch Interpolation der
Kontrollpunkte
ƒ Patches zwischen den Kontrollpunkten
ƒ Modellierung runder, organischer Formen
ƒ glatte Objektübergänge
ƒ kleinere Datenmenge (gegenüber Polygonen)
25
Repräsentation von 3D-Daten
NURBS
26
Repräsentation von 3D-Daten
Szene
ƒ Szene ist Menge von
3D-Objekten
ƒ Szenengraph - baumartige
Struktur zum Verwalten
und Rendern einer Szene
ƒ Lichter, Kameras
ƒ Attribute der Objekte
ƒ Beziehungen zwischen
Objekten
ƒ globale Eigenschaften
der Szene
27
Repräsentation von 3D-Daten
Animation
ƒ Szene mit bewegten Objekten heißt Animation
ƒ Animationen über Interpolation zwischen mehreren
Situationen realisiert (Keyframes)
ƒ physikalisch, mathematisch bestimmte
Bewegungsabläufe
ƒ programmgesteuerte Animationen
28
Verarbeitung von 3D-Daten
Übersicht
ƒ Reale Vorlage oder fiktives Objekt?
ƒ Auswahl der geeigneten Werkzeuge
ƒ die meisten Arbeitsschritte sehr aufwendig
ƒ viel Erfahrung nötig für gute Ergebnisse
ƒ Arbeitsabläufe
ƒ Scannen
ƒ Motion Capturing
ƒ Modelling
29
Verarbeitung von 3D-Daten
Arbeitsablauf Scannen
ƒ Wahl des richtigen Scanners
ƒ Umgebung, Größe etc.
ƒ Achten auf richtige Lichtverhältnisse
ƒ Nachbearbeitung nach dem Scanvorgang
ƒ riesige Datenmengen
ƒ sehr viele Polygone
ƒ Polygonreduktion
ƒ Transformation in NURBS
ƒ Probleme
ƒ Objektgröße, lebende Objekte
ƒ Hohlräume
30
Verarbeitung von 3D-Daten
Arbeitsablauf Motion Capturing
ƒ Wahl eines geeigneten Systems
ƒ Umgebung, Aktionsradius etc.
ƒ Aufbau des Systems, Kalibrierung
ƒ Vorbereitung der Akteure
ƒ Nachbearbeitung nach der Erfassung
ƒ Glättung, Filterung der Daten
ƒ manuelle Korrektur der Bewegungen
ƒ Keyframe Reduction
ƒ Verschmelzung mehrerer Bewegungen
ƒ Mapping der Bewegung auf 3D-Objekt
31
Verarbeitung von 3D-Daten
Arbeitsablauf Modelling (Teil 1)
ƒ Modellierung beliebiger Objekte, einer Szene
ƒ Polygone oder NURBS
ƒ mögliche Vorgehensweisen (Auswahl)
ƒ Polygone direkt erstellen
ƒ 3D-Primitiven kombinieren, modifizieren
ƒ 2D-Zeichnung erstellen und extrudieren
ƒ 2D-Scan im Hintergrund, nachbauen
ƒ NURBS-Umrisse zeichnen, Patches einfügen
ƒ 3D-Umrissscan als Grundlage (Scanstift)
ƒ …
32
Verarbeitung von 3D-Daten
Arbeitsablauf Modelling (Teil 2)
ƒ weitere Bearbeitung von Objekten (Auswahl)
ƒ Kontrollpunkte von NURBS verschieben
ƒ Werkzeuge auf Bereiche von Polygonen anwenden
ƒ Punkte, Kanten von Polygonen verschieben
ƒ boolesche Operationen von Objekten
ƒ Objekte zusammenfügen, Verschmelzen
ƒ Objektoberfläche (Material, Reflexion, Beschaffenheit)
ƒ Objekte zur Gesamtszene zusammenfügen
ƒ Lichtquellen, Umgebungslicht etc. setzen
ƒ Kameras und Kamerafahrten definieren
ƒ Objekte animieren
33
Ausgabe von 3D-Daten
Rendering
ƒ
Rendering-Pipeline (möglicher Ablauf)
1) Transformation von NURBS etc. in Polygone
2) Transformation in 3D-Szenenkoordinatensystem
3) Berechnung von Beleuchtung und Reflexion
4) Transformation in 3DKamerakoordinatensystem
5) Clipping unsichtbarer Polygone
6) Transformation in 2DKamerakoordinatensystem
7) Berechnung der Pixel
Texturen, Farbe, Struktur etc.
34
3ds max
discreet
LightWave 3D
NewTek
Maya
alias wavefront
Poser
Curious Labs
Cinema 4D
Maxon
Ausgabe von 3D-Daten
Compositing
ƒ Kombinieren von 3D-Objekten, Animationen mit
realen Bildern bzw. Videoaufnahmen
ƒ korrekte Beleuchtung
ƒ farbliche Stimmigkeit
ƒ Übergänge, Verdeckungen
ƒ Anpassung an Kamerafahrt, Schwenk, Zoom
40
Ausgabe von 3D-Daten
Sonstige Möglichkeiten
ƒ Export gescannter bzw. modellierter Daten
(z.B. für Spiele, Visualisierungen)
ƒ Programmierung
ƒ direktes Erstellen eigener Objekte, Szenen
ƒ Einbinden fertiger Objekte, Animationen
ƒ OpenGL, Direct3D, Java 3D…
ƒ Industrie
ƒ Rapid-Prototyping
ƒ CAD-Anwendungen
41
Demo Softimage|XSI
ƒ professionelles Tool zur 3D-Modellierung, Animation,
Rendering und Compositing
ƒ sehr umfangreich und leistungsstark
ƒ lange Einarbeitungszeit nötig
ƒ Preis ca. ab 10.000 €
ƒ verwendet für Jurassic Park, Star Wars,
Harry Potter, Resident Evil etc.
42
Softimage|XSI
Avid
Linksammlung
3D-Objekte aus Fotos
www.photomodeler.com
www.realviz.com
www.vexcel.com/fotog
3D-Scanner
www.isdale.com/jerry/VR/3DScanners/3DScannerReview.html
www.cyberware.com
graphics.stanford.edu/projects/mich
3D-Maus
www.3dconnexion.com
3D-Handschuhe, 3D-Stift, 3D-Workstation
www.immersion.com
www.5dt.com
Seismik
www.mtu.uni-bremen.de/3D-Seismik/3d-seismik.html
Motion Capture Hardware und Software
www.simi.com
www.peakperform.com
www.vicon.com
www.motionanalysis.com
www.ascension-tech.com
www.x-ist.de
www.puppetworks.com
www.polhemus.com
www.ptiphoenix.com
www.metamotion.com
www.eyematic.com
Motion Capture Mathematik und Theorie
www.kwon3d.com/theories.html
3D-Software
ƒ Softimage|XSI (kostenlose Testversion Softimage|EXP)
www.softimage.com
ƒ Maya (kostenlose Testversion Maya Personal Learning Edition)
www.aliaswavefront.com
ƒ 3ds max
www.discreet.com
ƒ LightWave 3D
www.newtek.com
ƒ Cinema 4D
www.maxon.de
ƒ Blender (kostenlos, Open Source)
www.blender3d.com
ƒ Poser (nur für Character)
www.curiouslabs.com
ƒ Motionbuilder (umfangreiches Motion Capture Tool)
www.kaydara.com
3D-Grafik allgemein (guter Einstieg)
www.highend3d.com
44
Softimage|XSI