docBildbasierte 3D Welten
download 
Report Transcription
Bildbasierte 3D Welten
Bildbasierte 3D Welten Eckehard Steinbach Fachgebiet Medientechnik Lehrstuhl für Kommunikationsnetze Technische Universität München EIKON e.V. Jahresversammlung 10 02 2009 10.02.2009 Traditionell: Geometrische Szenenmodellierung DC 10 DC-10 142000 Polygone Quelle: http://www.405themovie.com Eckehard Steinbach: Bildbasierte 3D Welten 2 Geometrie-basierte 3D Welten Reale Welt 3D Modelle Computer Vision Virtuelle Ansichten Computer Graphik Quelle: Shum et al., Springer 2007 Eckehard Steinbach: Bildbasierte 3D Welten 3 3D Rekonstruktion realer Objekte Kamera 1 … Kamera N Kamera 2 3D Modell Eckehard Steinbach: Bildbasierte 3D Welten 4 Limitierungen Feine geometrische Strukturen Transparente Objekte Spiegelnde Oberflächen Eckehard Steinbach: Bildbasierte 3D Welten 5 Bildbasierte 3D Welten Bildbasiertes Rendering Reale Welt 3D Modelle Computer Vision Virtuelle Ansichten Computer Graphik Quelle: Shum et al., Springer 2007 Eckehard Steinbach: Bildbasierte 3D Welten 6 Die Matrix: Bullet Time Walk Through Quelle: http://whatisthematrix.warnerbros.com Eckehard Steinbach: Bildbasierte 3D Welten 7 Video 1 Quelle: http://whatisthematrix.warnerbros.com Eckehard Steinbach: Bildbasierte 3D Welten 8 Video 2 Quelle: http://whatisthematrix.warnerbros.com Eckehard Steinbach: Bildbasierte 3D Welten 9 Plenoptische Funktion Adelson and Bergen, MIT Press, 1991 7-dimensionale Funktion, die das Licht in einer Szene beschreibt als Funktion der Wellenlänge λ (1 Freiheitsgrad) an jeder Stelle im Raum xx,y,z y z (3 Freiheitsgrade) in jede Richtung φ, θ (2 Freiheitsgrade) und zu jeder Zeit (1 Freiheitsgrad) Eckehard Steinbach: Bildbasierte 3D Welten 10 Aufnahme: Omnidirektionale Kamera Quelle: http://www.remotereality.com/ Eckehard Steinbach: Bildbasierte 3D Welten 11 Aufnahme: Lichtfeld-Kameraarray 16x8 Kameras Eckehard Steinbach: Bildbasierte 3D Welten Quelle: Stanford University 12 TRIVIS (TRIfocal VISion) Akquisitionsgerät für unstrukturierte bildbasierte Szenen am Fachgebiet Medientechnik - USB video cameras (1280*1024) - Laser-Line-Scanner - 180°/0.5° resolution - 50 Scans/second Eckehard Steinbach: Bildbasierte 3D Welten 13 TRIVIS Lichtfeldakquisition Lichtfelddarstellung ohne G Geometrie Szenendarstellung mit Geometrie und Texturemapping Eckehard Steinbach: Bildbasierte 3D Welten Lichtfelddarstellung mit G Geometrieunterstützung 14 Akquisition bildbasierter Szenen DV camera ~2m Motor + Getriebe Eckehard Steinbach: Bildbasierte 3D Welten Laser scanner 15 Aufnahme eines konzentrischen Mosaiks Kamerapfad Szene/Objekt r Eckehard Steinbach: Bildbasierte 3D Welten 16 Aufnahme eines konzentrischen Mosaiks Kamerapfad Szene/Objekt r Neue Ansicht Eckehard Steinbach: Bildbasierte 3D Welten 17 Aufnahme eines konzentrischen Mosaiks Kamerapfad Szene/Objekt r Neue Ansicht Eckehard Steinbach: Bildbasierte 3D Welten 18 Aufnahme eines konzentrischen Mosaiks Kamerapfad Szene/Objekt r Neue Ansicht Eckehard Steinbach: Bildbasierte 3D Welten 19 Aufnahme eines konzentrischen Mosaiks Kamerapfad Szene/Objekt r Neue Ansicht Eckehard Steinbach: Bildbasierte 3D Welten 20 Beispiel Fotorealistische interaktive Navigation Eckehard Steinbach: Bildbasierte 3D Welten 21 Stereodarstellung Kamerapfad Szene/Objekt linkes Auge 6cm rechtes Auge Eckehard Steinbach: Bildbasierte 3D Welten 22 Kombination mit Tiefeninformation 3D Zeilen-Laserscanner Eckehard Steinbach: Bildbasierte 3D Welten 23 Kombination mit Tiefeninformation Beispiel: Stereopanorama Akquisition Tiefeninformation: 3D Laserscanner RGB und Z für jedes Pixel Eckehard Steinbach: Bildbasierte 3D Welten 24 Beispiel: Stereopanorama Eckehard Steinbach: Bildbasierte 3D Welten 25 Anwendung: Aufmerksamkeitssteuerung CoTeSys (Sprecher: Prof. M. Buss) Projektpartner: Prof. Darius Burschka, Informatik Internes Modell Prädiktion Überraschungsg karte Bildbasierte Szenenbeschreibung Beobachtung Eckehard Steinbach: Bildbasierte 3D Welten 26 Szenenbeschreibung Referenzbilder … Blickpunktabhängige Geometrieapproximation … Eckehard Steinbach: Bildbasierte 3D Welten 27 Beispiel (Automatica 2008) Eckehard Steinbach: Bildbasierte 3D Welten 28 Ausblick Vollautomatische Akquisition Beleuchtungsinvariante Szenenbeschreibungen Dynamische Modelle Verknüpfung g mit kognitiven g Prozessen auf höherer Ebene Symbolische Wissensrepräsentation Aktionsplanung Eckehard Steinbach: Bildbasierte 3D Welten 29 Zusammenfassung Bildbasierte 3D Welten Referenzbilder + blickpunktabhängige Geometrie Plenoptische Funktion und deren Approximation Kompromiss zwischen Aufnahmekomplexität und Bewegungsfreiheit Anwendung in kognitiven technischen Systemen Aufmerksamkeitssteuerung Eckehard Steinbach: Bildbasierte 3D Welten 30
