Kompression und Datenformate
Transcription
Kompression und Datenformate
Kompression und Datenformate (3) Grundlagen der Bildspeicherung, Kompressionsverfahren, Datenformate • JPEG teilt Bild in Makroblöcke, Frequenztransformation blockweise • Wavelet transformiert gesamtes Bild in den Frequenzraum (Koeffizienten) • Koeffizienten leichter zu komprimieren, – Information auf einige wenige Koeffizienten konzentriert – Dieses Prinzip heißt auch Transform Coding. • Koeffizienten werden quantisiert und die quantisierten Werte entropiekodiert und/oder lauflängenkodiert. Kompression • Verlustbehaftete Verfahren Folie 50 Kompression • Verlustbehaftete Verfahren Folie 51 TP(n) = 0.5 (x(n) + x(n+1)) HP(n) = 0.5 (x(n) – x(n+1)) Kompression • Verlustbehaftete Verfahren Folie 52 Kompression • Verlustbehaftete Verfahren Folie 53 Rasterformate Vektorformate Wie lassen sich Datenformate klassifizieren? Was gibt es für gängige Formate? Wie sind diese Formate aufgebaut? Für welchen Zweck eignen sich die Formate? Bilddateiformate Folie 55 Foto-/Rasterformate – TIFF, GIF, PNG, JPEG/JFIF/EXIF... Grafik-/Vektorformate – DXF, HPGL, EPSF, SVG, ... Bilddateiformate Folie 56 TIFF, GIF, BMP, PNG Speicher sparen Schnelles Öffnen und Speichern Kompatibilität: Austauschbarkeit und Verwendbarkeit mit verschiedenen Programmen und Betriebssystemen Verwendbarkeit für das World Wide Web Verwendung von Ebenen, Alphakanälen u.a. Bildformate • Rasterformate Folie 58 Rasterung – Digitalisierung/Scannen eines Bildes – Bildung von Pixelwerten mit Helligkeitsund/oder Farbwerten Bildformate • Rasterformate Folie 59 Auflösung – 72-100 dpi Bildschirm – 300-1200 dpi Laserdrucker – 1200-2400 dpi Fotosatz-Belichter Beispiel: 72dpi 300dpi 1200dpi 2400dpi 500fache Vergrößerung Bildformate • Rasterformate Folie 60 Bildgröße – Abmessung in cm oder Pixel in Abhängigkeit von der Auflösung – Grösse des Bildes hat unmittelbaren Einfluss auf die Dateigröße Farbtiefe – Anzahl der Farben insgesamt oder pro (Farb-)Kanal Farbmodelle – RGB, CMYK, HSB, LAB, YUV, YIQ Kanäle – Farbkanäle, z. B. RGB, ... – Alphakanäle, z. B. Masken, Transparenz, ... – Volltonkanäle, z. B. Gold, Pantone, ... Bildformate • Rasterformate Folie 61 Header oder Trailer – Dateiidentifikation z. B. »GIF« (GIF), »%!« (PostScript), »0x59a66a95h« (Sun Raster) – Dateiversion z. B. »GIF87a«, »GIF89a« – Anzahl der Zeilen pro Bild – Anzahl der Pixel pro Zeile – Anzahl der Bit pro Pixel – Anzahl der Farbebenen – Art der Kompression – Kommentartext, ... Datenteil Beispiel GIF Header LSD GCM Extension Data Term Bildformate • Rasterformate Folie 62 Am weitesten verbreitetes und am häufigsten unterstütztes Print-Format Unterstützt die LZW Komprimierung (20-50% Speicherersparnis) Unterschiedliche Kodierung im Mac/PC-Format Bildformate • Rasterformate Folie 63 TIFF-Dateien zerfallen in drei Hauptbestandteile – Image File Header (IFH) markiert eine Tiff-Datei – File Directory (IFD) enthält eine beliebige Liste von »tags« mit Pointern – Bitmapdaten Bildformate • Rasterformate Folie 64 Neben LZW werden weitere Verfahren zur Datenverdichtung angeboten (Erweiterte TIFF-Speicherungsoptionen): – Verlustlose ZIP-Kompression (geringfügig effektiver als LZW ) – PACKBITS- Export (RLC) – Verlustbehaftete JPEG-Kompression (nicht für mehrere Ebenen) Unterstützung von Transparenz. Bildpyramide für schnellere Bildübersicht bei großen Dateien. ACHTUNG: Das erweiterte TIFF-Format wird nicht von allen Anwendungen unterstützt. Bildformate • Rasterformate Folie 65 Entwicklung durch CompuServe zur WEB-Übertragung GIF, das erste Streamingformat ??? Nur 256 Farben! Unterstützung von Transparenz Kompression immer LZW Animated GIF: Standard für kleine Filme im WEB In allen Internet-Browsern darstellbar Geeignet vor allem für plakative Grafiken (Schriftzüge, Logos, Zeichnungen, Bildschirmfotos etc.) Bildformate • Rasterformate Folie 66 Folge von Datenpaketen (Blocks) und Protokollinformationen Pixeltiefe zwischen 1 und 8 Bit, Palette im RGB-Farbmodell Versionen – GIF87a (Ursprungsformat, Mai 1997) – GIF89a (Ermöglicht Definition von Erweiterungsblöcken, z. B. für Kommentare, Transparenzangaben, usw.) Bildformate • Rasterformate Folie 67 »ping« wurde speziell für das WEBPublishing entworfen Bis zu 48-Bit Farbtiefe und 16 Bit Graustufen und Transparenz Alpha-Kanäle Gamma-Korrektur 2-dimensionales Interlacing Lizenzfreie verlustfreie Kompression: Huffman Eher begrenzte Verbreitung im WEB www.w3.org/graphics/PNG/overview.html Bildformate • Rasterformate Folie 68 Windows - OS/2 System-Grafikformat (Icons, Mauszeiger, ...) 1 bis 24-Bit Farbtiefe Datei besteht aus – Bitmap-file header, Bitmap-information header, Farbtabelle, – Bitmap-Bits (Anordnung der Bitmapdaten) Verlustfreie Kompression (RLE) Bildformate • Rasterformate Folie 69 JPEG-Dateiformat, basiert auf JPEG-Kompression Farbtiefe von 8 und 24 Bit, Thumbnail-Preview möglich Tags für Copyright- & Dateiinformationen (IPTC-Informationen) Tags für Farbprofile zum Farbmanagement (ICM-Daten) Frame Header Sample Precision Bit/Pixel Width, Height Breite und Höhe in Pixel # of components Anzahl der Komponenten ID Eindeutige Benennung Horizontal/Vertical Sampling Factor Auflösung Quantisation Table Scan Header # of components Anzahl der Komponenten Component ID Eindeutige Benennung Huffman Table Bildformate • Rasterformate Folie 70 JPEG-Variante mit Zusatzinformationen für Digitalkameras Informationsfelder (Tags) für Kameraeinstellungen Blende, Belichtungszeit, Weißabgleich, GPS-Koordinaten Bildformate • Rasterformate Folie 71 DXF, IGES, HPGL, EPSF, SVG Vektorformate können aus Vektordaten und Text bestehen Sammlung geometrischer Figuren Repräsentation durch mathematische Formeln als interpretierbare Textdatei Ohne Verzerrungen stufenlos skalierbar (auflösungsunabhängig) kleinere Dateien als Rasterbildformate Bildformate • Vektorformate Folie 73 AutoCAD Export-Format (Autodesk) 2D und 3D Varianten Block Definitionen, Layer, Linientypen, Text Stile, Dimensions-Stile, Koordinatensysteme, usw. ASCII-Textdatei Einbettung von Pixelgrafiken möglich Bildformate • Vektorformate Folie 74 Protokollspezifikation zur Übermittlung und Darstellung von Grafikdaten über Telefon und Computernetzwerke Austausch von Geometrie-, Struktur- und Meta-Informationen Darstellung von 3D-Drahtmodellen ANSI-Standard, Eigentum vom National Institute of Standards and Technology (NIST) In CAD-Pakete wie AutoCAD integriert Bildformate • Vektorformate Folie 75 Plotter-Ausgabe-Format und Maschinensteuerung (CNC) Repräsentation von grafischen Objekten wie Texte, Polygone, Rechtecke, Kreise Seitenbeschreibungssprache ASCII-Textdatei Bildformate • Vektorformate Folie 76 Ausgabeformat für Text- und Grafikdateien Geräteunabhängige Ausgabe Grafik-Operatoren PostScript ist eine Programmiersprache Erlaubt die Verwendung von Variablen, Prozeduren, Funktionen und Kontrollstrukturen Einbettung von komprimierten Binärdateien möglich Rastergrafiken, Zeichensätze, Farbprofile, druckerspezifische Steuerdateien Standardisierung umfasst PostScript Level 1 bis 3 Zukünftige Verschmelzung mit dem Adobe PDFFormat Bildformate • Vektorformate Folie 77 Bildformate • Vektorformate Folie 78 Beschreibung zweidimensionaler Vektorgrafiken in XML-Syntax W3C Standard – v1.0 seit 2001 – v1.1 seit 2003 Von vielen Web-Browsern und Anwendungen unterstützt GZIP Kompression Mobile Variante SVG Tiny Bildformate • Vektorformate Folie 79 Umfangreiche Funktionen – Grafische Primitiven: Pfad, Kreis, Ellipse, Rechteck, Linie, Polyline, Polygon, Text, – Einbettung von Rastergrafiken – Grafische Effekte/Filter – Animationen und Scripting ( Javascript/ECMAScript) <path id="Pfad" d="M50,100 C50,50 125,50 125,100 S200,150 200,100" fill="orange" stroke="black" stroke-width="3px" stroke-linecap="round" /> <circle cx="-10" cy="-2.5" r="5" fill="yellow" stroke="white"> <animateMotion id="kreis_ani" dur="5s" repeatCount="indefinite" begin="play.click" end="stop.click" rotate="auto"> <mpath xlink:href="#Pfad" /> </animateMotion> </circle> Bildformate • Vektorformate Folie 80 Foto-/Rasterformate – TIFF, GIF, PNG, JPEG/JFIF/EXIF, ... Grafik-/Vektorformate – DXF, HPGL, EPSF, SVG, ... Bildformate Folie 81 Babylonisches Formatgewirr... Multimediaformate Folie 83 Begriffe Übersicht/Klassifikation Integrierende Formate/Allgemeines Standards: – – – – – – – – – HTML, Java, Flash, SVG, MPEG, WMF QuickTime Real PDF Multimediaformate • AGENDA Folie 84 CODEC – – – – Abkürzung für COder/DECoder Komprimierungs-Algorithmus Verfahren für Kodierung von Audio-/Video-Daten Beispiele MPEG JPEG H.261 MLP Multimediaformate • Begriffe Folie 85 Dateiformat/Datenformat – Datei-, Container- oder Streaming-Format – Enthält Metadaten (z. B. Bildauflösung, Synchronisationsdaten, Farbtiefe, Kodierung ...) – Nutzdaten sind kodiert oder entsprechen einem CODEC (z. B. RLE, Sorenson, MPEG) Multimediaformate • Begriffe Folie 86 Vermischung beider Begrifflichkeiten – z. B. JPEG CODEC Dateiformat Multimediaformate • Begriffe Folie 87 Wie lassen sich Datenformate klassifizieren? Was gibt es für gängige Formate? Wie sind diese Formate aufgebaut? Für welchen Zweck eignen sich die Formate? Multimediaformate • Übersicht/Klassifikation Folie 88 zeitbasierte/nicht zeitbasierte Datentypen/Formate atomare/zusammengesetzte Datentypen/Formate – kontinuierliche Medien, z. B. Video, Audio – diskrete Medien, z. B. Fotos, Grafik, Text – einfache Datentypen, z. B. Text, Bitmaps – kombinierte Datentypen (Metafiles) , z. B. Video (Bewegtbilder, Ton) Multimediaformate • Übersicht/Klassifikation Folie 89 atomare Datentypen/Formate – diskret (nicht zeitbasiert) Grafikformate – kontinuierlich (zeitbasiert) Audioformate zusammengesetzte Datentypen/Formate – diskret (nicht zeitbasiert) PDF – kontinuierlich (zeitbasiert) QuickTime Multimediaformate • Übersicht/Klassifikation Folie 90 Format-Vielfalt – HTML, DHTML – Java, Javascript – Flash/Shockwave, SVG – MPEG, SMIL, Real System – QuickTime, Windows Media Technologies ( WMF) – PDF Multimediaformate • Integrierende Formate Folie 91 Ausgabeformat von Autoren-Systemen – Integration von Video Audio Text Animation ... Erwartung an Medienformat – – – – – Integration verschiedener Formate Interaktionsfähigkeit Scriptfähigkeit Laufzeitumgebung (Player) Autorenwerkzeuge Multimediaformate • Integrierende Formate Folie 92 Klassifizierung – Datenformate – Codecs – Medienarchitektur Verwendungsaspekte – online Produktion – offline Produktion Multimediaformate • Integrierende Formate Folie 93 Streaming Technologien – progressive streaming z. B. download per http – realtime streaming Serverbasiertes Streaming, z. B. per rtp, rtsp Kommerzielle/Rechtliche Aspekte Krisen der Formate... – – – – Spezifikation verfügbar Player-Sourcecode verfügbar Eigentumsrechte/Lizenzen Patentschutz Multimediaformate • Integrierende Formate Folie 94 Hypertext Markup Language (HTML) – Versionen HTML 1 nur Text (1992) HTML 2 mit Knöpfen, Menüs und Eingabefeldern HTML 3, HTML+ nicht standardisiert HTML 4 mit CSS (Formatvorlagen), ladbaren Schriften (1997) aktuell HTML 4.03 XHTML 1.01 (2001) Multimediaformate • HTML Folie 95 Geschichte Douglas Engelbart – 1963 Douglas Engelbart (NLS) Hypertext-System (Baumstruktur, Links) – 1967 Ted Nelson (Xanadu) HTML-ähnliche Sprache – 1989/90 Tim Berners-Lee (CERN) Entwicklung des WWW (HTML) – 1991 Steve Jobs (NeXT) erster Webbrowser – 1993 Mosaic & Netscape kommerzielle Entwicklung plattformübergreifender Browsertechnologie Tim Berners-Lee Steve Jobs Multimediaformate • HTML Folie 96 Kompatibilität Copyright – diverse Varianten der Darstellung/ Interpretation von HTML – inkompatible Erweiterungen – W3C Organisation (nichtkommerziell) Multimediaformate • HTML Folie 97 Javascript DHTML – interaktive Formulare – Generierung von HTML-Code – Schaltflächen, Rollovers, usw. – wie Javascript – dynamische Änderung von Inhalten (Animationen, ...) – Probleme bei der korrekten Interpretation von DHTML-Inhalten Multimediaformate • HTML Folie 98 XHTML – Verschmelzung von XML, HTML, CSS – Unterstützung von diversen Browserplattformen (Mobiltelefone, Fernseher, Autos, Wireless PDAs, Kiosk-Systeme, usw...) – XHTML 1.1 reguläre Version der W3C – Aktuell wird XHTML 2.0 spezifiziert Multimediaformate • HTML Folie 99 Plattformunabhängige Programmierumgebung – objektorientierte Programmierung – Diverse Funktionsbibliotheken (2D, 3D, Media Framework, ...) – Laufzeitumgebung ( VMs) vergleichweise langsam Java (6.0) – Multimediabibliotheken – Swing-Klassen (Interface Biblotheken) – Viele Betriebssysteme unterstützt (Solaris, Linux, Windows, MacOS X, SymbianOS, ...) – Copyright bei Sun Microsystems Multimediaformate • Java Folie 100 Shockwave File Format (SWF) Authoring/Player – – – – – Kantengeglättete Vektorgrafik (mit Transparenz) Animation für alle Objekte Audio (MP3), Video (QuickTime) Interaktionsmöglichkeiten Skriptfähig (Action Script) – Flash Player, Real Player, QuickTime Player – Flash MX (Macromedia), LiveMotion (Adobe), ... – Format ist Eigentum vom Macromedia Multimediaformate • Flash Folie 101 Scalable Vector Graphics (SVG) – Sprache zur Beschreibung 2-dimensionaler Objekte in XML (textbasiert) Vektorgrafik, Text, Bilder – Features verschachtelte Transformationen Schnitt-Pfade Alpha Masks Filter Effekte Farbverläufe Template Objekte und erweiterbar – scriptable ( JavaScript) Filter, Farbverläufe. usw. – W3C-Empfehlung Viewer (Plug-in) und Authoring (Illustrator & GoLive) von Adobe Eigentum und copyright des W3C Multimediaformate • SVG Folie 102 Moving Pictures Experts Group – Arbeitsgruppe der ISO zur Standardisierung von Audio- und VideoKodierungen – gegründet 1988 – zusammengesetzt aus 350 Experten aus 200 Firmen und Organisationen aus 20 Ländern – – – – MPEG-1 Audio und Video ( Juli 1989) MPEG-2 Audio und Video ( Juli 1991) MPEG-4 Audio und Video ( Juli 1995) Synthetic/Natural Hybrid Coding (März 1996) Multimediaformate • MPEG • Übersicht Folie 103 MPEG-1 – Kodierung von Bewegtbildern und dazugehörigem Audio für digitale Speichersysteme bis zu 1,5 Mbit/s – Auflösungen 360 x 288 Pixel, 25 fps (PAL) 352 x 240 Pixel, 30 fps, (NTSC) – 2 Audiokanäle – VHS-Qualität – MP3 ist Ableger des MPEG-1 Audiostandards (MPEG-1, Audio Layer 3) Multimediaformate • MPEG-1 Folie 104 MPEG-2 – allgemeine Kodierung für Bewegtbilder und dazugehörigem Audio – verbesserte Video-Auflösungen gegenüber MPEG1 Einteilung in Profile (Low-, Main-, High-Profiles) räumliche Skalierbarkeit (Datenstrom mit verschiedenen Auflösungen) zeitliche Skalierbarkeit (Datenstrom reagiert adaptiv auf Übertragungsbandbreite) – variable Bitraten – mehrkanaliges Audio Multimediaformate • MPEG-2 Folie 105 MPEG-3 – nicht standardisiert – ursprüngliches Ziel: HDTV-Video-Auflösungen – jedoch: Skalierbarkeit von MPEG-2 ausreichend Multimediaformate • MPEG-3 Folie 106 Framework – Integration von Medienobjekten(AVO) Audio-Visuelle-Objekte mit zeitlicher räumlicher Beziehung zueinander – Interaktionsmöglichkeiten Mensch, AV-Daten – Flexible Verwendung von Datentypen Mono-, Stereo, Mehrkanal-Audio 2D-, 3D, Mono- oder Stereo-Video – Erweiterbarkeit MSDL (MPEG-4 Syntactic Description Language) – scriptfähig ( JavaScript) – Player MPEG-J ( Java-Schnittstelle) – MPEG Kompression für niedrige Bitraten Multimediaformate • MPEG-4 Folie 107 Zielplattformen – – – – Digitales Fernsehen Mobile Endgeräte Interaktive graphische Anwendungen Interaktives Multimedia ( World Wide Web) Verfügbarkeit – ISO-Standard seit 1999 Multimediaformate • MPEG-4 Folie 108 DivX 3ivx – bekannt als MPEG-4 Standard – »gehackter« Video-Codec von Microsoft – basiert auf der (damals noch nicht verabschiedeten) MPEG-4 Kompression – kommerzielle Realisierung des auf dem standardisierten MPEG-4 Kompressionsverfahren (2001) basierender Video-Codec – Open DivX und 3ivx sind freie Entwicklungen, die auf dem MPEG-4 Standard basieren Multimediaformate • MPEG-4 Folie 109 MPEG-7 – MPEG-5 und MPEG-6 nicht in der Standardisierungsreihenfolge MPEG-1 (+1) – MPEG-2 (+2) – MPEG-4 (+3) – MPEG-7 (+4) – .... – Metadaten-Standard (Multimedia Content Description Interface) – Unterstützung von Suchverfahren – Unterstützung von Anzeigestrategien – Integration diverser Medieninhaltsformate (z. B. MPEG-4) Multimediaformate • MPEG-7 Folie 110 MPEG-21 – Definition eines »Multimedia-Frameworks« – Digital Item Declaration a uniform and flexible abstraction and interoperable schema for declaring Digital Items – Digital Item Identification and Description a framework for identification and description of any entity regardless of its nature, type or granularity – Content Handling and Usage provide interfaces and protocols that enable creation, manipulation, search, access, storage, delivery, and (re)use of content across the content distribution and consumption value chain Integrierende Formate: Standards: MPEG Folie 111 – Intellectual Property Management and Protection the means to enable content to be persistently and reliably managed and protected across a wide range of networks and devices – Terminals and Networks the ability to provide interoperable and transparent access to content across networks and terminals – Content Representation how the media resources are represented – Event Reporting the metrics and interfaces that enable Users to understand precisely the performance of all reportable events within the framework Integrierende Formate: Standards: MPEG Folie 112 Windows Media Files ( WMF) – – – – – – – – – – (Streaming) Media Architektur von Microsoft Advanced Streaming Architecture (ASF) Window Media Audio ( WMA) Windows Media Video ( WMV ) Metafiles ( WAX, WVX, ASF) für Streaming ASX Dateien steuern Media Player reines Video-Format (kein Text, Grafik, ... Microsoft-eigener Player ( Windows Media Player) Microsoft-eigene Codecs und Authoring-Tools ( Windows Media Tools) nur bedingt plattformübergreifend ( Windows/Mac) Integrierende Formate: Standards: WMF Folie 113 QuickTime – – – – – – – – – – – – Multimedia-Architektur & Dateiformat von Apple Unterstützt Streaming Media Unzählige Audio- und Videoformate und Codecs Unterstützung mehrerer Spuren (Audio, Video, Text, Sprite) Echtzeiteffekte Scripting VR-Integration (Panorama, Kubus, interaktive Navigation, ...) Interpretation von SMIL-Dateien Apple-eigener Player (QuickTime Player) Diverse Apple-eigene Codecs (z. B. Cinepak, Apple Video, ...) Authoring über diverse Fremdprodukte (LiveStage, Electrifier Pro, ...) nur bedingt plattformübergreifend ( Windows/Mac) Integrierende Formate: Standards: QuickTime Folie 114 Real System – – – – – – – – – – Realtime Streaming Architektur RealVideo (.rm) RealAudio (.ra) Streaming Meta Files (.ram) Verwendung des RTSP-Protokolls Interaktion/Synchronisation durch SMIL Player und Codecs Eigentum von Real Player & Plug-ins für Unix, MacOS, Windows Real Server von Real Systems Authoring mit Real Systems Producer Integrierende Formate: Standards: Real System Folie 115 Syncronized Media Integration Language (SMIL) – Sprache zur Steuerung (Synchronisation) von (lokalen und gestreamten) Multimedia-Daten – Integration von RealSystem (.ra, .rv, .rt, .r3t, .rp) QuickTime Flash (SWF) SVG – W3C-Standard – Nichtkommerzieller Standard – Wiedergabe z.B. über RealPlayer oder QuickTime Player Integrierende Formate: Standards: SMIL Folie 116 Portable Document Format (PDF) – – – – – – – integrierendes Format ermöglicht plattformunabhängige Distribution von Dokumenten integriert Text, Grafik, Ton, QuickTime Möglichkeit von Interaktionen scriptable ( JavaScript) Reader & Plug-ins für Unix, MacOS, Windows, PDAs Export-Format diverser Publishing-Programme (Photoshop, Illustrator, InDesign) – Authoring mit Tools von Adobe und anderen Integrierende Formate: Standards: PDF Folie 117 Internet-Standards – http://www.w3c.org MPEG – http://www.mpeg.org – www.chiariglione.org/mpeg/ JAVA – http://www.java.com Flash/Shockwave – http://www.flash.com Weiterführendes Folie 118 The Graphics File Format Page http://www.dcs.ed.ac.uk/home/mxr/gfx/ Graphics Formats Explained http://www.dansdata.com/graphics.htm Taschenbuch Multimedia HENNING, PETER A., Fachbuchverlag Leipzig Links und Literatur Folie 119 Links und Literatur Folie 120