mp3 - Electrosuisse

mp3:
Ein Algorithmus erobert die Welt
Prof. Dr.-Ing. Karlheinz Brandenburg
TU Ilmenau, Institut für Medientechnik
Fraunhofer Institut für Digitale Medientechnologie
November 2005
Prof. Karlheinz Brandenburg, [email protected]
Page 1
Überblick
• Einführung: Träume werden manchmal war
• Die Anfänge
– Eine Idee, die als unmöglich gilt
– Erste Erfolge
• Grundlagenforschung, Standardisierung und
mehr
• Der Weg in den Markt
• Was kommt als Nächstes ?
Prof. Karlheinz Brandenburg, [email protected]
Page 2
mp3 überall ?
• „mp3“ = Musik im Internet !?
• Status 2005:
– Mehr als 500 Mio. Software-Player
– DVD-Spieler, Autoradios, CD-Spieler: alle mit mp3
– für viele gilt: digitale Musik = .mp3
• Befreiung der Musik vom physikalischen
Trägermedium
• Speicherung / Übertragung um Faktor 12 (oder
mehr) billiger
• Was steckt dahinter ?
Prof. Karlheinz Brandenburg, [email protected]
Page 3
Träume 1983
• Es gab Datenreduktion für Bilder, Video,
Sprache, nicht für Musik
• Musikaufzeichnung sollte besser gehen als nur
mit CC
• Digitaler Hörrundfunk soll viel besser klingen
• Kann man denn nicht Musik über das Telefon
auch in guter Qualität übertragen ?
Prof. Seitzer: welche Qualität ist möglich ?
-> Doktorand K. Brandenburg
Prof. Karlheinz Brandenburg, [email protected]
Page 4
Was ist Audiocodierung
• Datenreduzierte Speicherung / Übertragung von
Audiosignalen hoher Qualität
– im Normalfall nicht verlustfrei (Verringerung von
irrelevanten Anteilen)
– Qualitätskriterium ist der subjektive Unterschied
zum Original
• Grundidee gehörangepaßte Codierung
– Die Signalsenke ist das Kriterium: das
menschliche Gehör
– Das Ohr ist ein feines Instrument, aber
• wir hören nicht alles
• laute Töne verdecken leisere
Prof. Karlheinz Brandenburg, [email protected]
Page 5
Schlüsseltechnologie Audiocodierung
• Audiocodierung ermöglicht Speicherung der
vielfachen Musikmenge
• Gehörangepaßte Codierung verändert die
Audioqualität nicht oder kaum
• Wo überall Speicherkapazität oder Bandbreite
Geld kostet, ist Audiocodierung von Vorteil:
– digitales Radio
– Übertragung zum Sender / Studio
– Speicherung großer Musikmengen (Archive)
– Speicherung am Computer
– Übertragung über das Internet
– Audioabspieler ohne Mechanik
Prof. Karlheinz Brandenburg, [email protected]
Page 6
Grundlagenforschung:
• Ende der 70’er Jahre
– Prof. Seitzer: Idee von Musik über ISDN
– erste gehörangepaßte Verfahren:
• MIT Lincoln Labs (Codierung)
• AT&T Bell Laboratories (Messung)
• Anfang der 80’er Jahre
– Beginn der Arbeiten in Erlangen (und Duisburg)
– Echtzeitrealisierung aufbauend auf Arbeiten von
Zelinski/Noll (HHI)
– erste Ergebnisse und Veröffentlichungen
• “kann ja nicht funktionieren”
• “wird nicht gebraucht”
• 1986: technisch der Durchbruch (OCF)
Prof. Karlheinz Brandenburg, [email protected]
Page 7
Grundlagen: Psychoakustik (z.B. nach Zwicker)
80
dB
f m =0,25
60
LT
f m =4kHz
f m =1kHz
40
20
0
0,02
Ruhehörschwelle
0,05
0,1
0,2
0,5
1
2
Maskierer
Prof. Karlheinz Brandenburg, [email protected]
Page 8
5
10
fT
20 kHz
Demo: Das "13 dB-miracle” (Johnston/Brandenburg 1989)
• Original-Signal
• Original + weißes Rauschen, S/N = 13,6 dB
• Original + Rauschen an der Hörschwelle,
S/N = 13,6 dB
• Differenzsignal (moduliertes Rauschen)
• Differenzsignal (gefärbtes Rauschen, an der
Hörschwelle)
Prof. Karlheinz Brandenburg, [email protected]
Page 9
Gehörangepaßte Audiocodierung:
Digital
Audio
Input
Bit or Noise
Allocation
Filter Bank
Signal to
Mask Ratio
Psychoacoustic
Model
Prof. Karlheinz Brandenburg, [email protected]
Page 10
Quantized
Samples
Bitstream
Formatting
Encoded
Bitstream
Erste Kontakte mit deutscher Industrie
• 1983, (damals) großer deutscher
Unterhaltungselektronik-Hersteller:
– Wird nicht funktionieren
– Wer braucht das ?
• 1986, erste Konferenzveröffentlichungen:
– Wird nicht funktionieren
– Wer braucht das ?
• 1988
– Das Patent ist nichts wert
– Wir haben uns schon für andere Technik
entschieden
Prof. Karlheinz Brandenburg, [email protected]
Page 11
Das Team
1987
Prof. Karlheinz Brandenburg, [email protected]
Page 12
Standardisierung: Der Weg in MPEG
• Dezember 1988: erstes Treffen von MPEG Audio
– alle bekannten Forschungsgruppen nehmen teil
– Fraunhofer stellt OCF-Echtzeitsystem vor
• Die Anforderungen an MPEG-Audio spiegeln
deutlich den Einfluß von DAB wieder
• MPEG erzwingt Zusammenarbeit, unser Cluster
– Fraunhofer / Universität Erlangen-Nürnberg
– AT&T Bell Laboratories
– Deutsche Thomson-Brandt (jetzt Thomson)
– CNET
• Die “bayrischen” Vorschläge sind am Ende an
der Spitze
Prof. Karlheinz Brandenburg, [email protected]
Page 13
Was ist "mp3"
• Die Bezeichnung für den Standard
ISO/IEC JTC1/WG11 MPEG-1 IS 11172-3 Layer-3
• MPEG: Moving Pictures Experts Group
• MPEG-1: Ein Standard für Bewegtbilder (Video
in VHS-Qualität) und Begleitton
• entwickelt für
– Begleitton für Video
– digitalen Rundfunk
• Layer-3 ist einer von drei Modi im Standard
Prof. Karlheinz Brandenburg, [email protected]
Page 14
Block-Diagramm Layer-3
Prof. Karlheinz Brandenburg, [email protected]
Page 15
Welche MPEG-Standards gibt es ?
• MPEG-1: Dez. 1992, VCD
• MPEG-2: ab 1994, digitales Fernsehen
– mit MPEG-2 Advanced Audio Coding (AAC)
• MPEG-4: ab 1999, Multimedia, Streaming
• kein MPEG-3 (war mal geplant, durch MPEG-2
überholt)
• MPEG-7: ab 2001, Multimedia Content
Description
• MPEG-21: ab 2003, Multimedia Framework
Prof. Karlheinz Brandenburg, [email protected]
Page 16
Status 1992:
• Professionelle Anwendungen:
– MPEG Layer-2 (Jingle-Abspieler, ISDN)
– MPEG Layer-3 (nur einzelne Geräte)
– Dolby AC-2 und andere
• Consumeranwendungen:
– MPEG Layer-1 (DCC)
– MPEG Layer-2
• DAB
• CD-I (mit Video)
– Dolby AC-2
– kein MPEG Layer-3
Prof. Karlheinz Brandenburg, [email protected]
Page 17
FhG-Strategie 1993
• Setzen auf den Markt für Profigeräte
• Beginn der Zusammenarbeit mit Micronas
(damals Intermetall)
• Telos Systems setzt auf Layer-3:
– kleine amerikanische Firma
– eigene Kapazität zur Entwicklung von Hardware
– sehr gutes Marketing im Rundfunkbereich
– wichtigste Person: Steve Church
• Dialog-4 (Ludwigsburg) setzt auf Layer-3
• Juli 1993: Gründung der Abteilung AMM
• AES New York 1993: Stimmungsumschwung
Prof. Karlheinz Brandenburg, [email protected]
Page 18
1994 / 1995:
• FAQ (Harald Popp), Internet als Vertriebsweg
• Shareware als Marketinginstrument:
gute Encoder/Decoder zum Testen für alle
• Erste Pläne zu Echtzeitdecodierung auf PC’s
• weitere Anwender im Profibereich, Telos
erreicht erheblichen Marktanteil
• MPEG-2 Audio LSF-Erweiterungen werden
fertiggestellt
• Der erste MASC - Layer-3 - Decoderchip läuft
Prof. Karlheinz Brandenburg, [email protected]
Page 19
1995: Die Strategie funktioniert
• Worldspace entscheidet sich für Layer-3,
erste Consumeranwendung
• PC's werden schnell genug für Echtzeitdecodierung
– erster WinPlay
• Erste Kontakte zur Musikindustrie und
Rechteorganisationen (über ein EU-gefördertes
Projekt)
• Ricki Adar will gesichterten Musikvertrieb mit
MP3 und Kopierschutz starten
• Bewusstes Setzen auf das Internet als
Marketing-Instrument
• Erste Kopierschutzsysteme aus Erlangen
Prof. Karlheinz Brandenburg, [email protected]
Page 20
Der Weg in den Markt:
MP3 und das Internet
Oder: vom Aussenseiterdasein zum Erfolg
Wie mp3 sich im Internet durchsetzte:
• 1995:
– Winplay3 als Demo, Name mp3 (14.7.95)
• Registriercodes bald im Netz verfügbar
– l3enc / l3dec eigentlich nur für Profinutzer oder
Bastler, Encoder sind teuer
– IUMA mit Musik im Layer-2-Format
– Macromedia lizensiert Layer-3
• 1996:
– andere Decoder werden geschrieben
– erste Lizenz an Microsoft
• 1997:
– ein Windows-Encoder wird gestohlen
– mp3.com startet
Prof. Karlheinz Brandenburg, [email protected]
Page 22
Probleme der Musikindustrie mit mp3:
• Folgendes wurde plötzlich um den Faktor 12
(die typische Kompressionsrate) billiger:
– Kosten der Speicherung von Musik am PC
– Kosten des Transfers von Musik über CD-ROM
– Kosten der Übertragung von Musik über Internet
• Beginnend mit amerikanischen Studenten,
wurde der Austausch von mp3-Musik zum
Volkssport
• Analoge Kassetten erlauben keine Kopie der
Kopie, mp3's behalten ihre Qualität (solange
nicht zwischendurch decodiert/encodiert wird)
• die Herkunft von mp3's ist nicht feststellbar
(anonymes Veröffentlichen ist möglich)
Prof. Karlheinz Brandenburg, [email protected]
Page 23
Reaktionen der Musikindustrie
• zunächst: "geht uns nichts an"
• ab 1997: langsames Verstehen der Situation,
Versuch durch Schließung von Web-Sites .mp3
zu verbannen
• Bis vor kurzem war es schwierig, legale
elektronische Vertriebsrechte zu bekommen:
– wer soll in Zukunft das Geschäft betreiben ?
– oft ist die Rechtslage völlig unklar
• seit Ende 1997 Entstehen einer "alternativen"
Musikverlagsbranche:
– elektronischer Vertrieb ohne Sicherheitssysteme
• seit 1999: Peer-to-Peer - Systeme
• gesicherte Systeme haben es bis jetzt doppelt
schwer: kein Content, Konkurrenz zu .mp3
Prof. Karlheinz Brandenburg, [email protected]
Page 24
Piraten und die Musikindustrie
• erste mp3-Websites Ende 1996 / Anfang 1997
• Sommer 1997: Gerichtsbeschlüsse,
Bekanntmachung in USA Today
– Reaktion: mehr Piraten
• Rio PMP300 (erster mp3-Player in den Läden) im
Sommer 1998 angekündigt
• Herbst 1998: Gerichtsverfahren gegen Diamond
• Die RIAA verliert das Gerichtsverfahren
– Reaktion: mehr Piraten
Prof. Karlheinz Brandenburg, [email protected]
• Ende 1999: Napster tritt auf ...
• 2001: viele der neuen Firmen werden aufgekauft
• 2003: die Musikindustrie kündigt wieder einmal
neue Services an, Apple ist erfolgreich
Page 25
Musik früher, heute und in Zukunft
• Musik wurde schon immer kopiert
– aber: Tonbandkopien sind immer schlechter als
die Schallplatte
– die Kopie von der Kopie ist nicht mehr anhörbar
• Wo wird für Musik gezahlt, wo nicht ?
– Schallplatte / CD: zahlen
– Radio: nur Grundgebühr (Radiostation zahlt)
– Privatkopie: Lehrkassettenabgabe etc.
– Hintergrundmusik, Restaurants etc: indirekt
• Produktpiraterie:
– Problem durch kommerzielle Anbieter, die nicht
an die Rechteinhaber zahlen
Prof. Karlheinz Brandenburg, [email protected]
Page 26
Szenarien für die Zukunft (1)
• "Musik ist frei"
– Keine Sicherheitssysteme
– Keine Verfolgung des Musikvertriebs durch
Piraten
– Alternative Einnahmequellen für Künstler und
Vertrieb: Konzerte, Werbung, Verkauf nur
physikalischer Medien
– Modell ist sehr unbeliebt bei Künstlern und
Verlagen
• Vertrauensmodell
– keine Sicherheitssysteme, aber der Anspruch auf
Schutz des Copyright bleibt bestehen
– Wer lebt in Wohnungen ohne Türen ?
Prof. Karlheinz Brandenburg, [email protected]
Page 27
Szenarien für die Zukunft (2)
• gesichertes, standardisiertes System:
– mit der Erzeugung von Musik werden Rechte
vergeben und eingebettet ("darf kopiert
werden")
– Standard macht die Benutzung einfach
– schöner Traum, derzeit aber ohne
Realisierungschance
• mehrere Vertriebswege
– die "Großen" (vielleicht weniger Marktanteil)
– mehr unabhängige Firmen, jede/r kann Musik
veröffentlichen und vertreiben
• auf jeden Fall: mehr Musik verfügbar
Prof. Karlheinz Brandenburg, [email protected]
Page 28
Was kommt nach mp3 ?
Fortschritte in der Audiocodierung
Die Stereoanlage der Zukunft
Fortschritte in der Audiocodierung
• 1994: Bessere Nachfolger zu MPEG-Audio
werden gesucht
– Wenn schon Konkurrenz, dann von uns selber
– 1997: MPEG Advanced Audio Coding (AAC)
• 2001: HE-AAC (High Efficiency AAC)
• Verwendung von AAC
– Japanisches Fernsehen/Rundfunk
– Amerikanisches Satellitenradio (XM Radio)
– Apple iTunes music shop
– 3rd generation mobile (Musikdownload)
Prof. Karlheinz Brandenburg, [email protected]
Page 30
Welche Bitrate ist für gute Qualität notwendig ?
• 1990 256 kbit/s ASPEC, MUSICAM
würde heutige Hörtests nicht bestehen
• 1992 192 kbit/s MPEG-1 Layer-3
• 1994 128 kbit/s MPEG-1 Layer-3 (".mp3")
einschließlich “joint stereo”-Techniken
manche Signale klingen fürchterlich
• 1997 96 kbit/s MPEG-2 Advanced Audio Coding
• 2000 64 kbit/s AAC-based MPEG-4
• 2000 48 kbit/s AAC+ (CT enhancements)
gut genug für viele Anwendungen, siehe die Demo
Prof. Karlheinz Brandenburg, [email protected]
Page 31
Demo: Can you hear it (Version 4, 2000) ?
Jedes “?” bezeichnet entweder
O (Original, 1536 kbit/s pro Stereosignal) oder
C (codiert, 48 kbps pro Stereosignal, Faktor 32 !)
(AAC, verbessert von Coding Technologies)
Prof. Karlheinz Brandenburg, [email protected]
Trumpet solo
O
?
?
?
Speech
O
?
?
?
Abba
O
?
?
?
Page 32
Die Stereoanlage der Zukunft (so nicht ☺)
Prof. Karlheinz Brandenburg, [email protected]
Page 33
Die Stereoanlage der Zukunft:
• merkt sich die Musik:
– jede CD nur einmal einlegen, immer wieder
abspielen können
• hilft mir beim Suchen von Musik
– “query by humming”, ich pfeife meiner Anlage
etwas vor
– Suche nach Merkmalen in meiner Musiksammlung
– Suche im Internet
– wo kann ich Neues probehören / kaufen ?
• hilft mir beim Zusammenstellen meiner
Lieblingsmusik
– was klingt ähnlich, ist aber neu ?
– “spiel mir meine Lieblingsmusik für diese Uhrzeit”
Prof. Karlheinz Brandenburg, [email protected]
Page 34
AudioID - Systemüberblick
Prof. Karlheinz Brandenburg, [email protected]
Page 35
AudioID
Prof. Karlheinz Brandenburg, [email protected]
Page 36
Beispiele für die Melodie basierte Suche
Funktionalität
Anwendungen
Prof. Karlheinz Brandenburg, [email protected]
• Suche nach melodischen Phrasen / Motiven in
Datenbanken transkribierter Musik (z.B. MIDI)
– Basierend auf MPEG-7 Metadaten-Beschreibung
– Verfügbarkeit schneller Suchalgorithmen für
nicht-exakte Suche, z.B. angelehnt an
»DNA Sequencing«-Technologien
– Fehlertolerant gegenüber Benutzereingaben
• Musikhandel / Serviceanbieter für
Mobiltelefonnetze
• Themensuche in Musik-Katalogen
• Musik-Wissenschaften
• Karaoke-Systeme / Spiele
• »Query by Humming / Playing / Singing«
Page 37
Query by Humming
im Saturn-Markt
München
Prof. Karlheinz Brandenburg, [email protected]
Page 38
Andere Forschung
• Klangfeldsynthese
– Viel mehr Daten
– Viel besseres Erlebnis
– Klang wird
revolutioniert
Prof. Karlheinz Brandenburg, [email protected]
Page 39
Musik wie im Konzertsaal:
• Stereo ist gut, Surround-Klang ist besser, aber:
– nur solange Anlage und Akustik sehr gut sind
– nur solange ich an der richtigen Stelle sitze
– nur für einzelne Hörer
• “Virtuelle Akustik” bringt den Konzertsaal nach
hause:
– elektronische (Teil-) Korrektur der Akustik
– Klangfeldsynthese (akustische Holographie)
– unscheinbare Flachlautsprecher
– “wir sind jetzt in Reihe 7, Sitz 18 des
Musikvereinssaals in Wien”
– die Sängerin kann virtuell im Raum stehen
Prof. Karlheinz Brandenburg, [email protected]
Page 40
Wellenfeldsynthese
Sekundärquellen
Huygens´sches Prinzip
(1690)
Primärquelle
Prof. Karlheinz Brandenburg, [email protected]
Page 41
© Diemer de Vries,
Rinus Boone (TU Delft, NL)
Wellenfeldsynthese
Zeitverzögerung,
Amplitudenskalierung
Prof. Karlheinz Brandenburg, [email protected]
Page 42
Wellenfeldsynthese
Prof. Karlheinz Brandenburg, [email protected]
Page 43
Das erste Kino mit Klangfeldsynthese
Prof. Karlheinz Brandenburg, [email protected]
Page 44
Bregenzer Festspiele 2005
Prof. Karlheinz Brandenburg, [email protected]
Page 45
Vorstellung: Institut für Medientechnik TU Ilmenau
• Trägt den Studiengang „Medientechnologie“
– Einziger medientechnischer Studiengang an
einer Universität
– 150 - 200 Studenten pro Jahr
• Fachgebiete
– Elektronische Medientechnik
– Audiovisuelle Technik
– Medienproduktion
– Angewandte Mediensysteme
• Verbindungen zu weiteren
Medienstudiengängen in Ilmenau:
– Medienwirtschaft
– Angewandte Medienwissenschaften
Prof. Karlheinz Brandenburg, [email protected]
Page 46
Institut für Digitale Medientechnologie IDMT
Gegründet als FhG IIS/AEMT: 2000
Eigenständiges Institut: 2004
Standorte: Ilmenau
URL: http://www.idmt.fraunhofer.de
Mitarbeiter: 56
Abteilungen:
Technologie der
Unterhaltungselektronik
Metadaten
Audioapplikationen
Prof. Karlheinz Brandenburg, [email protected]
Page 47
Ausblick
• Es gibt weiterhin Spitzenforschung in
Deutschland und Europa
• Der Weg zur Umsetzung ist steinig
– Zitat Max Rauner, die Zeit:
„Vision, Überstunden und Sturheit“
– Gute Ideen haben es in Deutschland immer noch
schwieriger, Unterstützung zu bekommen
• Es gibt viele faszinierende neue Themen
• Das digitale Zeitalter hat erst angefangen
Prof. Karlheinz Brandenburg, [email protected]
Page 48