QuickTime+VR_VL
Transcription
QuickTime+VR_VL
Medienarchitekturen und Virtual Reality Termine 42 12.10.09 1 Kompression und Datenformate 1 1 Bildbearbeitung 1 43 19.10.09 2 Kompression und Datenformate 2 1 Bildbearbeitung 1 44 26.10.09 3 Kompression und Datenformate 3 2 Bildbearbeitung 2 45 02.11.09 4 Audio 2 Bildbearbeitung 2 46 09.11.09 5 Videotechnik 1 3 Videobearbeitung 1 47 16.11.09 6 Videotechnik 2 3 Videobearbeitung 1 48 23.11.09 7 Medienarchitekturen 1 4 Videobearbeitung 2 49 30.11.09 8 Medienarchitekturen 2 4 Videobearbeitung 2 50 07.12.09 9 Farbe 5 VirtualReality 51 14.12.09 10 Multimedia XML 1 5 VirtualReality 2 04.01.10 11 Multimedia XML 2 6 XML 3 11.01.10 12 Authoring 1 6 XML 4 18.01.10 13 Authoring 2 7 Authoring/Flash 5 25.01.10 14 Mobile Multimedia 7 Authoring/Flash 6 01.02.10 15 Fazit, Konsultationen 9 AGENDA •Medienarchitekturen Anforderungen an Medienarchitekturen QT Architektur Technologien Entwicklungsgeschichte Werkzeuge •Interaktives QuickTime VR Beispiele Features VR Technik QTVR Authoring Weitere VR-Anwendungen/Ausblick AGENDA 10 Was ist eine Medienarchitektur? •Player für Videodateien ? •Multimedia-Standard ? •Ein Datenformat ? •Multimedia-Authoring Umgebung ? •... •Beispiele... Prolog 12 Anforderungen an Medienarchitekturen •Bild-/Tonqualität •Ezienz (Codierung) •Skalierbarkeit •Interoperabilität •... Anforderungen an Medienarchitekturen 13 Produktionsprozess zeitbasierter Medien Framework für die •Integration zeitbasierter Medien erforderlich Set aus Funktionen und Datenstrukturen zur Integration, Wiedergabe und Transformation statischer und dynamischer Medien • Anforderungen an Medienarchitekturen 14 Produktion von klassischen A/V-Anwendungen Encoder Sound Decoder Encoder Sync. Multiplex Transmission Movie Demultiplex Movie Decoder Encoder Sound Text Production Distribution Usage Anforderungen an Medienarchitekturen 15 Produktion von objektbasierten MM-Anwendungen Sound Encoder Picture Graphic Movie Decoder Movie Encoder Sync. Multiplex Transmission Demultiplex Decoder Compositing Rendering Sound Text Encoder Function Scene Decoder Server Interaction channel Client Interaction Scene graph Production Input Distribution Usage Anforderungen an Medienarchitekturen 16 Medienarchitektur QT • Anforderungen • Architektur • Technologien • Werkzeuge Was ist Quicktime? Die QuickTime-Systembibliotheken •für MacOS, Windows und Java ermöglichen: Abspielen und Erstellen von Audio und Video-Dateien (z. B. AIFF, MPEG) Abspielen und Erstellen von synthetischer Musik (z. B. MIDI) Abspielen und Erstellen von Animationen (z. B. Flash, Anim) Abspielen und Erstellen von »Virtual Reality Szenarien« (z. B. QTVR) Erweiterung des jeweiligen Betriebssystems um alle diese Fähigkeiten Anforderungen an Medienarchitekturen 18 Medienarchitekturen Marktverbreitung Player Quelle: Millward Brown Survey, September 2009 (US, Canada, UK, France, Germany, Japan) Anforderungen an Medienarchitekturen 19 Player/Format-Kompatibilität * depends on codec Anforderungen an Medienarchitekturen 20 Komponenten QuickTime Basics • Architektur • Komponenten 21 Komponenten QuickTime Basics • Architektur • Komponenten 22 Komponenten Zwei zentrale •Management- Komponenten: •Movie Toolbox Funktionsaufrufe von Anwendungen Bearbeitungsfunktionen Steuerungsfunktionen Dateizugri (Önen/Speichern von Dokumenten) •Compression Manager Funktionsaufrufe der Movie Toolbox oder von Anwendungen zur • • Geräteunabhängigen Komprimierung/Dekomprimierung Treiberunabhängigen Komprimierung/Dekomprimierung QuickTime Basics • Architektur • Komponenten 23 Komponenten •Weitere QuickTime Systemkomponenten (I) Movie Controllers • Media Handlers • Video Digitizers/Sequence Grabbers • • Data Exchange • Compressors/Decompressors (Codecs) • displays movies and provides playback controls interpret and manipulate media sample data convert analog video data to digital form. Allows the ability to obtain digitized data from external sources import and export data from non-movie sources and non-movie formats. provide compression and decompression services for media (such as sounds and image sequences) QuickTime Basics • Architektur • Komponenten 24 Komponenten •Weitere QuickTime Systemkomponenten (II) Transcoders • Video Output • Graphics Importers • Graphics Exporters • Preview • Tween • translate data from one compressed format to another send video to devices (e.g. DV Cameras) not recognized as displays display still images obtained from data in various le formats store still images in the same format that graphics importers handle create and display previews perform interpolation between values of various data types QuickTime Basics • Architektur • Komponenten 25 Komponenten Weitere QuickTime •Systemkomponenten (III) Eects • Text Channel • provide real-time eects and transitions imports and exports text between movies and external text handling applications such as word processors Clock • generate timing information and schedule time-based callback events. Real-time streaming • allow you to receive movies and live video in real time without downloading large les QuickTime Basics • Architektur • Komponenten 26 Unterstützung von Standards MPEG-1 DV Cinepak RGB TIFF MLP ALaw SMPTE 253M AAC Unicode CCIR 601 DVC-Pro RTP SMIL AMR PNG MIDI MPEG-2 3GPP 3GPP2 GIF QCELP IEEE 1394 XML JPEG2000 JPEG IMA MP3 IIDC RTSP /Law Java SDV SDP ITU BT.709 YUV MPEG-4 H.261 H.263 H.264 QuickTime Basics • Architektur • Datenformate 27 Datenformate QuickTime Import Datenformate • • • • • • • • • • • • • • • • • • • • 3DMF AIFF AU Audio CD Data (Macintosh) AVI BMP Cubic VR DV FlashPix* FLC GIF JPEG/JFIF Karaoke MacPaint Macromedia Flash MIDI MPEG 1(Macintosh) MPEG 1, Layer 3 (MP3, M3U) Photoshop* PICS • PICT • PLS • PNG • QuickTime Image File • QuickTime Movie • SF2 (SoundFont 2) • SGI • SMIL • Sound • Targa • Text • TIFF* • TIFF-fax • Virtual Reality (VR) • Wave QuickTime Basics • Architektur • Datenformate 28 Datenformate QuickTime Export Datenformate • AIFF • AU • AVI • BMP Stream • DV • FLC Sequence movie exporters • Image • JPEG/JFIF • MacPaint • MIDI (lizenzabhängig) • MPEG2 • Photoshop • PICT • Picture • PNG Image • QuickTime Movie • QuickTime • SGI System 7 Sound • TargaText • TIFF • TIFF-fax • WAV • QuickTime Basics • Architektur • Datenformate 29 Codecs + Eekte Unterstützte Codecs/Eekte (mitgelieferte, ohne Produkte von Drittherstellern) Video compressors • • • • • • • • • • • • • • • • • H.261 H.263 H.264 Animation Apple BMP Apple Video Cinepak Component video DV NTSC and PAL Graphics Intel Indeo Video 3.2, 4.4, 5.0 Microsoft RLE Microsoft Video 1 Motion JPEG A and B Photo JPEG Planar RGB Sorenson Video 1, 2 und 3 • • • MPEG1 MPEG2 MPEG4 Sound compressors • • • • • • • • • • • • 24-bit integer 32-bit oating point 32-bit integer 64-bit oating point ALaw 2:1 AU IMA 4:1 MACE 3:1 MACE 6:1 MS ADPCM QDesign Music 1 and 2 Qualcomm PureVoice Video eects • Alpha gain • Blur • Color balance • Color style • Color tint • Edge detection • Emboss • Film noise • General convolution • Lens are • HSL balance • RGB balance • Sharpen • Zoom QuickTime Basics • Architektur • Datenformate 30 Quicktime Datenformat QT-Datenformat Movie (.mov) • Containerformat für zeitbasierte Medientypen • Ein »Movie« besteht aus einem oder mehreren »Tracks« • Ein »Track« beinhaltet »Media Samples« gleichen Datentyps und gleicher Zeitbasis • »Movies« können auch externe Referenzen auf »Media Samples« enthalten (z.B. URL) QuickTime Basics • Architektur • MOV-Datenformat 32 QT-Datenformat Movie (.mov) »Movie« deniert ein zeitbasiertes Koordinatensystem (Sekunden) für alle • Ein Tracks jeder Track ein eigenes Zeitsystem haben kann (z. B. Sample Rates), • Da werden diese in das Zeitsystem des Movies transformiert (Time Scaling) QuickTime Basics • Architektur • MOV-Datenformat 33 QT-Datenformat Movie (.mov) •Movie Struktur Erstellungs-/Änderungsdatum Time Scale und Länge Aktuelle Zeitmarke im Movie Auswahl-Information Startzeit und Länge der Vorschau Zeitmarke für »Movie Poster« Transformations-Matrix für die Wiedergabe Wiedergabeparameter (Rate, Lautstärke usw.) Track-Daten Benutzerinformationen (copyright, credits, usw.) QuickTime Basics • Architektur • MOV-Datenformat 34 QT-Datenformat Movie (.mov) •Track Struktur Erstellungs-/Änderungsdatum Track ID Feste Referenz im Movie alternative Gruppen ID gleichen Typs z. B. für Mehrsprachigkeit Informationen zur visuellen Wiedergabe z. B. Höhe, Breite, TransformationsMatrix, ... Lautstärke und Balance bei AudioTracks Media-Sample-Daten Benutzerinformationen z. B. Beschreibung des Track QuickTime Basics • Architektur • MOV-Datenformat 35 QT-Datenformat Movie (.mov) •Media Sample Struktur Erstellungs-/Änderungsdatum Zeit-Koordinaten-System Time-Scale und Dauer Media-Handler Referenz auf QuickTime Komponente zur Dekodierung und Anzeige Media-Information Art, Kompression und Ablageort des Mediums Sprache und Wiedergabequalität Benutzerinformationen copyright, credits, usw. QuickTime Basics • Architektur • MOV-Datenformat 36 Quicktime Basics – Technologien •QT Streaming/TV •QuickTime VR QuickTime Streaming/TV •Wie funktioniert QT-Streaming? QuickTime Basics • Technologien • Streaming 38 Technologien – QT Streaming/TV •QuickTime Streaming Format Streaming-Track als Steuerspur im Movie •QuickTime Streaming Server verteilt lokal auf dem Server abgelegte QuickTime Streams (video on demand) unterstützt mehrere tausend gleichzeitige Nutzer unterstützt einige hundert Dateien fungiert als Reektor für Live-Streaming Bietet Zugriskontrolle auf Dateien über Authentizierungsmodule QuickTime Basics • Technologien • Streaming 39 QuickTime Streaming/TV •QuickTime Streaming Server Bestandteil von Mac OSX 10.X Server •Open Source Darwin Streaming Server Kostenlos als Binary & OpenSource • http://dss.macosforge.org/ Für viele verbreitete Betriebssysteme entwickelt • • • • • FreeBSD Red Hat Linux Solaris 9 Windows NT Server/Windows 2000/XP MacOS X QuickTime Basics • Technologien • Streaming 40 QuickTime Streaming/TV Keine volumenabhängigen •Lizenzgebühren •Volle Streaming-Unterstützung für aktuelle Codecs und Formate z.B. MP3 Audio z.B. MPEG 4 Unterstützung gemäß ISO/ISMA-Standard H.264 •Player-Basis 66,8% (2007) QuickTime Basics • Technologien • Streaming 41 QuickTime VR •Virtual Reality (VR) •360° horizontale Rundum-Projektion •»Cubic VR« Sphärische Projektion von 2D Real- oder virtuellen •Bilderserien •Vergrösserung Hot-Spots denieren Übergang in einen anderen •»Raum« QuickTime Basics • Technologien • VR 42 Quicktime Basics – Entwicklungsgeschichte Knowledge Navigator, Apple 1992, QTv1.2, Cinepak QuickTime Entwicklungsgeschichte •QuickTime 1.0 (1991) •QuickTime Version 2 (1994) QuickTime für Windows Interactive Televsion music Full Screen Video Text Tracks •QuickTime VR (1995) •QuickTime 2.5 (1996) QuickTime Conferencing QuickTime für OS/2 Warp QuickTime Basics • Historie 45 QuickTime Entwicklungsgeschichte •QuickTime 2.5 (II) (1997) MPEG-1 Codec QuickTime Plug-in 2.0 •QuickTime Version 3 (1998) Sorenson Video Codec Qualcomm PureVoice Codec QDesign MusicCodec QuickTime für Java Flash 3 Integration Sprites Transparency QuickTime Basics • Historie 46 QuickTime Entwicklungsgeschichte •QuickTime Version 4 (1999) Streaming Server Software QuickTime TV Movie in a Movie (MIAM) SMIL 1.0 Javascript AppleScript QuickTime Basics • Historie 47 QuickTime Entwicklungsgeschichte •QuickTime Version 5 (2001) Automatic Component Downloader neuer Music Synthesizer Cubic VR • XML Import 360° vertikales Panorama Broadcaster APIs • Flash 4 Integration MacOS (Classic) und MacOS X MPEG-1 Streaming Support Optimierter DV Codec QuickTime Basics • Historie 48 QuickTime Entwicklungsgeschichte •QuickTime Version 6 (Q1/2000) ISO-konforme Unterstützung von MPEG-4-codecs MPEG-4 Streaming Support Flash 5/MX Unterstützung Audio-Format AAC Sprachausgabeformat CELP ISMA 1.0 (Internet Streaming Media Alliance) compliant DVC Pro 5.0 (PAL) QuickTime Broadcaster als kostenloses Zusatztool QuickTime Basics • Historie 49 QuickTime Entwicklungsgeschichte •QuickTime Version 7 (2005) H.264 Video Mehrkanal-Audio AV-Capture Steuerung im Vollbild-Modus Neu programmierte Medienarchitektur • • • • Zero-Conguration Streaming Core Core Core Core Video Graphic Image Audio Automator-Support Media Skins QuickTime Basics • Historie 50 QuickTime Werkzeuge •Edit, Cut, Authoring, •Broadcast, Streaming, WebCam ... eZediaMX – eZediaQTI •Drag & Drop Multimedia für WEB und Oine-Medien •Windows & Mac 52 LiveStage Pro 4.6 • Produktinformation • Authoring Tool für interaktives QuickTime http://www.totallyhip.com Unterstützung der Apple QuickTime Media Layer Technologie • Zeitachsenbasierte (timeline) Programmierung • Authoring für Macintosh/Windows • Export als QuickTime Filmdatei • QuickTime Media- und Track Typen Scriptunterstützung durch QScript Graphische Drag-and-drop Programmierung Sprite, Instrument, Eect, Tween, Modier, Picture, Text, Flash, Video, QT 3D, QT VR, Sound, MP3 audio, MIDI, JPEG • Kosten Entwickler-Einfachlizenz USD 500, Runtime frei (QuickTime Player/Plug-in) QuickTime Basics • Werkzeuge 54 55 Adobe Golive •QuickTime-WEB Authoring Environment •US$ 500 •http://www.adobe.com Produkt quasi ersatzlos gestrichen (3-2008) QuickTime Basics • Werkzeuge 56 FinalCut Pro •Professional Video Editing, Compositing and Eects •EUR 1300 (Studio), EUR 199 (Express) •http://www.apple.com/nalcutpro/ QuickTime Basics • Werkzeuge 57 Shake • Professional Video Compositing and Eects • US$ 500 • http://www.apple.com/shake/ QuickTime Basics • Werkzeuge 58 Shake QuickTime Basics • Werkzeuge 59 DVD Studio Pro •DVD-Video Authoring Tool MPEG encoding, menu creation, asset organization, linking, output formatting Based on Quicktime Architecture QuickTime Basics • Werkzeuge 60 QuickTime VR Authoring QuickTime Basics • Werkzeuge 61 Weitere Quicktime-Anwendungen • VideoScript - Bearbeitung/Manipulation/Steuerung von QuickTime Dateien oder Firewire/USB-Videoquellen mit Hilfe der VideoScriptSprache. • NicePlayer - Quicktime Erweiterung für verschiedenste Codecs, exible Wiedergabeoptionen, Bildausschnitte uvm. • FLVPlay - Youtube Zugri und Konvertierung • ScreenFlow - Mächtige und performante Screen Recording Anwendung • iStopMotion - StopMotion Animationsprogramm • Annotation Edit - Metadaten-Editor für Untertitel, Closed Caption, MPEG-7 usw. • VR Toolbox - Programme zur Erstellung von QTVR Panoramen, Objekten und Multi-node Szenen (mit Objekten und Panoramen). • MediaWorks - Multimedia Authoring Tool • ... QuickTime Basics • Werkzeuge 62 Quicktime-Downloads • http://www.apple.com/quicktime/download QuickTime FullInstaller für MacOS und Windows. • http://heroinewarrior.com QuickTime for Linux • http://www.openquicktime.org OpenQuicktime, OpenSource Quicktime Projekt für die UNIX Plattform QuickTime Basics • Werkzeuge 63 Weitere nützliche Links • http://developer.apple.com/techpubs/quicktime/ QuickTime Developer Documentation Ein absolutes Muss für Entwickler. • http://developer.apple.com/quicktime/qtjava/ Quicktime for Java Developer Ressourcen • http://developer.apple.com/quicktime/quicktimeintro/tools Apple - QuickTime Tools - Eine Liste von kostenlosen Tools für die Arbeit mit Quicktime. http://www.2-pop.com • The FilmMakers Ressource Site • http://www.slashcam.de/ Forum und Informationsportal zu Videobearbeitung/Hardware/ Filmpraxis QuickTime Basics • Werkzeuge 64 Quicktime VR Begri VR, Beispiele, Features, VR Technik QTVR Authoring Weitere VR-Anwendungen/Ausblick Virtual Reality virtuelle Welt, auch als Virtual Reality (VR) Objekt bezeichnet, ist • Eine ein abstraktes Modell einer dreidimensionalen Szene, welches aus wechselnden virtuellen Ansichten betrachtet werden kann. (Henning 2001) Beispiel: VRML (Virtual Reality Markup Language), X3D • 'Virtual Reality' (VR) Jaron Lanier, founder of VPL Research (1989). • 'Articial Reality' (Myron Krueger, 1970s), • 'Cyberspace' (William Gibson, 1984), • 'Virtual Worlds' and 'Virtual Environments' (1990s). 'Virtual Reality' is used in a variety of ways and often in a • Today, confusing and misleading manner. Originally, the term referred to 'Immersive Virtual Reality.' In immersive VR, the user becomes fully immersed in an articial, three-dimensional world that is completely generated by a computer. QuickTime VR • Virtual Reality Begri 66 Immersive Virtual Reality Präsentations- und •Interaktionsumgebungen Head Mounted Display (HMD) Cave Automatic Virtual Environment (CAVE) Datenhandschuh QuickTime VR • Virtual Reality Begri 67 Sensorbasierte Interfaces Quelle: Otthein Herzog et. al. TZI Bremen 2006 QuickTime VR • Virtual Reality Begri 68 Beispiel: Assistenzsystem für die Anlagenwartung Head Mounted Display Hände frei! Drahtlose Kommunikation Gürtelschnallen- Computer Quelle: Otthein Herzog et. al. TZI Bremen 2006 QuickTime VR • Virtual Reality Begri 69 Non-immersive VR: QTVR-Panoramen •Las Vegas • Red Rock http://www.apple.com/quicktime/gallery/cubicvr/ QuickTime VR • Beispiele 70 Objects QuickTime VR • Beispiele 71 Multinode VR • Szenes & Hotspots QuickTime VR • Beispiele 72 QuicktimeVR Player QuickTime VR • Features 73 http://www.neues-museum.de/nm/index.html?r=vestibuel 74 http://www.expedition-zukunft.org/science_express/virtuelle_tour/ 75 VR Technik Speichern: Image Array/ Matrix/ Track Aufnahmetechnik Panoramaprinzip QuickTime VR • Technik 77 Cubic VR Panorama Prinzip QuickTime VR • Technik 78 Objektprinzip QuickTime VR • Technik 79 VR Objekt Image Array QuickTime VR • Technik 80 VR Objekt Image Matrix QuickTime VR • Technik 81 VR Objekt Image Track QuickTime VR • Technik 82 VR Panorama Aufnahme QuickTime VR • Technik 83 VR Panorama Aufnahme QuickTime VR • Technik 84 VR Objekt Aufnahme QuickTime VR • Technik 85 QTVR Authoring Stitching, PanoramaMaker QTVR Struktur, Singlenode and Multinode Movies Scene Maker, ProjectManager, HTML-Integration VR Panorama Stitching QuickTime VR • Authoring 87 VR PanoramaMaker QuickTime VR • Authoring 88 QTVR Movie Structure QuickTime VR • Authoring 89 QTVR Multinode Movies QuickTime VR • Authoring 90 QTVR Multinode Movies QuickTime VR • Authoring 91 QuickTime HTML-Integration • Spezieller HTML-Tag enthält die notwendigen Angaben für das QuickTime Plugin, z.B. den Namen der Filmdatei • Beispiel für ein Video On Demand: <embed src="anfangsbild.jpg“ href="rtsp://stream.f4.fhtw–berlin.de/sample.mov" width="256" height="208" bgcolor="#000000" border="2" target="myself" type="video/quicktime"> • Beispiel für einen Live Stream: <embed src="screen.jpg" href="rtsp://stream.f4.fhtw–berlin.de/ live_event.sdp" width="240" height="180" border="2" target="myself" type="video/ quicktime" pluginspage="http://www.apple.com/quicktime/download/"> QuickTime VR • Authoring 92 QuickTime HTML-Integration der Film im HREF-Tag speziziert wird, muss auch ein • Wenn TARGET-Tag enthalten sein. Damit wird angegeben, ob der Film • • • • im selben Fenster (myself) oder in einem neuen Fenster (blank) dargestellt werden soll. Im vorigen Beispiel wird der Film erst nach einem Klick auf das Standbild begonnen. Soll der Film selbstständig anlaufen, wird der Tag autohref="true" eingefügt. pluginspage="http://www.apple.com/quicktime/download/" verweist bei fehlendem oder veraltetem QuickTime Plugin auf die entsprechende Seite zum Download. Soll die Kontrollleiste angezeigt werden (Voreinstellung), so muss dafür der Wert 16 zur Höhe des Videofensters (height) addiert werden! Die komplette Liste aller Tags, die das Quicktime-Plugin kennt, ist auf den Web-Seiten von Apple zu nden: http://www.apple.com/quicktime/tutorials/embed.html QuickTime VR • Authoring 93 <object CLASSID="clsid:02BF25D5-8C17-4B23-BC80D3488ABDDC6B" width="320" height="256" CODEBASE="http://www.apple.com/qtactivex/qtplugin.cab"> <param name="src" value="sample.mov"> <param name="qtsrc" value="rtsp://realmedia.uic.edu/itl/ ecampb5/demo_broad.mov"> <param name="autoplay" value="true"> <param name="loop" value="false"> <param name="controller" value="true"> <embed src="sample.mov" qtsrc="rtsp://realmedia.uic.edu/itl/ ecampb5/demo_broad.mov" width="320" height="256" autoplay="true" loop="false" controller="true" pluginspage="http://www.apple.com/quicktime/"></embed> </object> 94 QT Literaturempfehlungen 95 Vielen Dank für Ihr Interesse!