Current Page: | Greybox » Authoring » Course ID: medieninformatik » Modules » Module ID: m04 » Learning Units » Unit ID: 05_36 |
---|---|
Last Modified: | Tuesday, 2015-05-05 - 08:09:08 |
Tools: | Validate — Preview XML Preview HTML Preview PDF |
Alternative: | Printable HTML |
Title: | Der MPEG-4 Standard | ||
---|---|---|---|
Abstract: | MPEG-4 ist ein internationaler Standard, der viele Neuerungen für die Video- und Audiokomprimierung beinhaltet. Durch die Verwendung von objektorientierten Prinzipien zur Beschreibung und Zusammensetzung einer visuellen Szene im Gegensatz zur einfachen Übertragung von Videoframes, wie dies in MPEG-2 der Fall war, wird die Größe einer solchen Datei um Vielfaches vermindert. Dadurch eröffnen sich viele neue Möglichkeiten der Darstellung von multimedialen Inhalten, auch die Interaktivität wird bedeutend erhöht. Im Folgenden werden die einzelnen Teile des Standards beschrieben und ebenso wird auch genau auf die Szenenbeschreibung eingegangen. | ||
Status: | Final for Review #2 - summary and captions missing | Version: | 2004-10-14 |
History: | 2004-10-14
(thomas Migl): pda abb. hinzugefügt 2004-09-23 (thomas migl): abb. explanation korrigiert 2004-09-16 (thomas Migl): pda hinzugefüt 2004-09-15 (Thomas migl): eine pda abb. hinzugefügt 2004-09-13 (Thomas Migl): Abb hinzugefügt 2004-08-16 (Robert Fuchs): Checked, fixed and exported for Review #2. 2004-07-27 (Thomas Migl): LOD1+LOD2 fertig, LOD3 +++ LOD1+LOD2 fertig, LOD3 +++ NOCH ZU MACHEN eventuell Bilder für PDA, Summary 2004-07-26 (Thomas Migl): Begonnen mit LOD1,Lod2 und LOD3 |
Author 1: | Eva Wohlfahrt | E-Mail: | evawohlfart@gmx.at |
---|---|---|---|
Author 2: | (empty) | E-Mail: | (empty) |
Author 3: | (empty) | E-Mail: | (empty) |
Author 4: | (empty) | E-Mail: | (empty) |
Author 5: | (empty) | E-Mail: | (empty) |
Organization: | Technische Universität Wien; Institut für Softwaretechnik und Interaktive Systeme; Arbeitsgruppe für Interaktive Multimediale Systeme; http://www.ims.tuwien.ac.at/ |
Einführung1auto
Teile des Standards
Anwendugsbereiche des Standards
Versionen des Standards PC koen2002Versionen des Standards PDA_Phone koen2002Ziele des Standards
2autoMPEG-4 ist ein ISO/IEC Standard, der ebenso wie MPEG-1 und MPEG-2 von der Motion Picture Expert Group definiert wurde. MPEG-4, dessen formale Benennung ISO/IEC 14496 lautet, wurde im Oktober 1998 vollendet und wurde in den ersten Monaten des Jahres 1999 ein internationaler Standard. Ende 1999 wurden einige Erweiterungen als MPEG-4 Version 2 festgesetzt, der Status eines internationalen Standards Anfang 2000 erreicht. Einige weitere Versionen folgten, die alle zu den früheren Versionen rückwärtskompatibel sind. Die Teile des StandardsDer MPEG-4 Standard besteht aus mehreren Teilen, wobei die drei wichtigsten die ersten drei sind, MPEG-4 Systems, Visual und Audio (ISO/IEC 14496-1 bis 14496-3). Jeder dieser Teile kann für sich selbst und ohne die anderen Teile verwendet werden. Der Systems-Teil wird oft benutzt, um die anderen beiden in eine Szene zusammenzusetzen. Mehr darüber im Kapitel Umfang von MPEG-4. Anwendungsbereiche des StandardsMPEG-4 befasst sich mit drei Feldern: digitales Fernsehen, interaktive grafische Applikationen und interaktive Multimediainhalte, wie etwa im World Wide Web. Der Standard bietet alle Funktionalitäten die bereits in MPEG-1 und MPEG-2 verfügbar waren, hinzu kommen die content-basierten Funktionalitäten. Diese bestehen darin, dass audiovisuelle Szenen und deren Objekte mit Hilfe einer Szenenbeschreibung (siehe Struktur von MPEG-4) zusammengesetzt werden. Dadurch wird eine einfache Interaktion mit den Elementen möglich. Ebenso erlaubt diese Handhabung die Modellierung einer Szene einfache Wiederverwendung des audiovisuellen Inhalts. Versionen des Standards PC koen2002Die erste Version des MPEG-4 Standards wurde Anfang des Jahres 1999 ein internationaler Standard. Ein Jahr später folgte Version 2, in der einige Erweiterungen festgesetzt wurden. Danach folgten noch weitere Versionen, die alle zu den früheren Versionen kompatibel sind. Versionen des Standards PDA_Phone koen2002Die erste Version des MPEG-4 Standards wurde Anfang des Jahres 1999 ein internationaler Standard. Ein Jahr später folgte Version 2, in der einige Erweiterungen festgesetzt wurden. Danach folgten noch weitere Versionen, die alle zu den früheren Versionen kompatibel sind. Ziele des StandardsDer MPEG-4 Standard bietet Technologien die die Bedürfnisse von Autoren, Anbietern und Endusern erfüllen sollen. Daher werden folgende Ziele angestrebt:
Umfang von MPEG-41Systems
Visual
Videoencoder MPEG-4 PC repp2000Videoencoder MPEG-4 PDA_Phone repp2000Audio
DMIF
2Systems (ISO-IEC 14496-1)Dieser Teil enthält die Beschreibung der Beziehungen zwischen den audiovisuellen Komponenten die eine Szene zusammensetzen. Diese erfolgt innerhalb von zwei Detailgraden: Das Binary Format for Scenes (BIFS) beschreibt die zeitlich-räumliche Interaktion der Elemente einer Szene. Benutzer können mit den Objekten interagieren oder auch selbst ihren Gesichtspunkt ändern. Auf einem höheren Detailgrad befinden sich die Object Descriptors (ODs). Diese definieren die Beziehungen der sogenannten Elementary Streams (ES) die zu jedem Objekt gehören (wie z.B. der Audio- und Videostream eines Teilnehmers an einer Videokonferenz). Weitere Features für MPEG-4 Systems
Visual (ISO-IEC 14496-2)MPEG-4 Visual beinhaltet verschiedene Technologien um Visuelles darzustellen, am wichtigsten ist wohl MPEG-4 Video. Aber auch andere Dinge sind standardisiert, wie etwa die Textur von stehenden Bildern und die Animation von Gesichtern und Körpern. Der Video-Teil erstreckt sich über ein weites Feld von Applikationen, von solchen mit niedriger Bitrate für mobile Geräte über TV-Qualität bis zu Applikationen in Studios mit sehr hoher Auflösung und Qualität. MPEG-4 Visual wird in der Lerneinheit MPEG-4 Visual genauer beschrieben. MPEG-4 VideokomprimierungDer Video-Teil des Standards bietet Kodier- und Komprimierungsverfahren für natürliche und synthetische Videoobjekte. Die Informationen eines natürlichen Videoobjekts werden in drei Bereiche aufgeteilt: die Form (shape coding), Texturen (texture coding) und Bewegungsinformationen (motion coding). Diese Informationen werden in Abhängigkeit voneinander komprimiert bzw. decodiert. Nach der Kodierung werden die einzelnen Ströme durch einen Multiplexer zusammengefasst und ergeben einen elementaren Datenstrom. Für synthetische Videoobjekte bietet MPEG-4 neben den Möglichkeiten von VRML, die inkludiert wurden, noch einige andereTools. Diese sind etwa Tools zur Darstellung und Animation von synthetischen Gesichtern (facial animation) und Körpern (body animation), oder auch von 2D-Gittermodellen (2D-meshes). Videoencoder MPEG-4 PC repp2000Bei der Kodierung eines Videos in MPEG-4 werden verschiedene Stufen durchlaufen: die Kodierung der Shape (Form), der Textur und der Bewegung eines Objekts. Diese Teile werden getrennt kodiert und dann durch einen Multiplexer zusammengefasst.repp2000 Videoencoder MPEG-4 PDA_Phone repp2000Bei der Kodierung eines Videos in MPEG-4 werden verschiedene Stufen durchlaufen: die Kodierung der Shape (Form), der Textur und der Bewegung eines Objekts. Diese Teile werden getrennt kodiert und dann durch einen Multiplexer zusammengefasst.repp2000
Audio (ISO-IEC 14496-3)Der Audio-Teil des MPEG-4 Standards enthält verschiedene Audiocodecs für einen großen Bereich von Audioapplikationen, die wie bei dem Videoteil von Applikationen mit sehr niedriger bis zu solchen mit sehr hoher Birate und Qualität reichen. Außerdem beinhaltet der Standard auch Text-to-Speech und synthetic audio. Audio-Objekte können unterschiedlichste Ausprägungen haben, unter anderem z.B. AAC (Advanced Audio Coding), TTSI (Text-to-Speech) oder General Midi . Audioobjekte können wie Video natürlich oder synthetisch erzeugt werden, dementsprechend bietet der Audiostandard auch unterschiedliche Komprimierungsverfahren. Im Bereich der natürlichen Objekte gibt es zwei große Bereiche: Sprachkodierung, die besonders für Mobilfunk und Internettelefonie wichtig ist, und die reine Musikkodierung. Für die Sprachkodierung werden zwei Standards verwendet: HVXC (Harmoniv Vector eXcitation Code) und CELP (Code Excitat Linear Prediction). Beide basieren auf dem Prinzip der Vektorquantisierung und können auch zur Musikkomprimierung verwendet werden, liefern aber durch den geringen Frequenzbereich (HVXC:8 kHz, CELP:8-16 kHz) eine sehr schlechte Qualität. Die Standards zur Musikkodierung sind TwinVQ (Transform-domain Weighted Interleave Vector Quantization) und MPEG-2 AAC (Advanced Audio Coding). TwinVQ basiert auch auf dem Prinzip der Vektorquanisierung und erzeugt ähnliche Qualität wie MPEG-1 Layer 3 bei 128 kBit/s, allerdings einen kleineren Datenstrom. Für synthetische Audioobjekte wurden drei Tools definiert: Ein Text-to-Speech-Tool, welches Text mittels computergenerierter Sprache vorliest, der MIDI-Standard (Musical Digital Interface) wurde vollständig in MPEG-4 integriert, und eine Sprache zur Beschreibung synthetischer Musik, SAOL (Structured Audio Orchestra Language), wurde ebenfalls in MPEG-4 übernommen. DMIF (ISO-IEC 14496-6)Delivery Multimedia Integration Framework. DMIF ist sowohl ein Framework als auch ein Sessionprotokoll für das Management von Multimedia Streaming. Es bietet den Vorteil, dass die Applikation nicht wissen muss, von welcher Quelle die Objekte stammen, etwa von einem interaktiven Server oder der lokalen Festplatte. Die Funktionalitäten von DMIF werden durch ein Interface formuliert (DAI – DMIF Application Interface) und in Protokollmessages übersetzt, welche sich je nach verwendetem Netzwerk unterscheiden. DMIF hat Ähnlichkeiten zu FTP, allerdings liefert FTP direkt Daten, während DMIF Pointer zu den (gestreamten) Daten liefert. Das DAI wird auch verwendet, um auf Broadcastmaterial und lokale Dateien zuzugreifen. DMIF adressiert also drei große Technologien: interaktive Netzwerktechnologie, Broadcasting und Disk Technologie. TransportMPEG-4 definiert in sich keine Layers für den Transport. Allerdings ist eine Anpassung an bereits bestehende Transport Layers möglich: Transport über den MPEG-2 Transport Stream (MPEG-2 TS) und Transport über IP-basierte Protokolle wie etwa HTTP oder RTP (ISO-IEC 14496-8). Profiles und Levels1Profiles
Levels
Überblick Profiles im MPEG-4 Standardfuers thomas => das war eine komische tabelle, mit der der exporter probleme hatte... ich hab eine list draus gemacht Systems Profiles/Szenegraph Profile
Systems Profiles/Grafik Profile
Audio Profiles
Visual Profiles
2ProfilesMPEG als eine Organisation, die Standards definiert, spezifiziert keine Endser-Produkte oder bestimmtes Equipment, sondern Tools, die ausgewählt werden können um Produkte zu erzeugen. Was allerdings standardisiert wird, sind sogenannte Profiles. Ein Profile ist eine Auswahl an Tools, die von einer Gruppe von am Standard teilnehmenden Organisationen ausgewählt wurde, um eine Basis für Produkte in einem speziellen Anwendungsbereich zu bilden. Um standardisiert zu werden, wird ein Profile einem Reviewprozess unterworfen, und wenn ausreichend Organisationen dieses unterstützen, kann es als ein Profile für die Industrie standardisiert werden. In MPEG-4 wurden die aus MPEG-2 bekannten Profiles vollständig übernommen. LevelsInnerhalb eines Profiles können mehrere Levels bestehen. Diese bringen in ein Profile erhöhte Komplexität und größere Streuung, um Geräte mit unterschiedlicher Performance unterstützen zu können. Levels legen also etwa bestimmte Bitraten oder Größen fest. Überblick Profiles im MPEG-4 standardDer MPEG-4 Systems Teil ist unterteilt in vier Profile Sets, zwei für die Szene, eines für das Object Descriptor framework welches die elementaren Datenströme (ES: elementary streams) beschreibt und eines für MPEG-J (siehe Struktur von MPEG-4). Die Profiles für die Szene sind das SceneGraph profile, welches vor allem die Tools zum Aufbau des „Baums“ des Szenegraphs enthält, und das Graphics profile, welches die renderbaren Tools wie Kreise, Rechtecke und Text beinhaltet. Der Audio- und der Visual-Teil haben jeweils ein Set an Profiles. fuers thomas => das war eine komische tabelle, mit der der exporter probleme hatte... ich hab eine list draus gemacht Systems Profiles/Szenegraph Profile
Systems Profiles/Grafik Profile
Audio Profiles
Visual Profiles
autoEs ist von der MPEG Gruppe erwünscht und erwartet, dass Organisationen, die den MPEG-4 Standard verwenden möchten, Tools nach den standardisierten Profiles und Levels aussuchen. Dies ist allerdings kein unbedingtes Erfordernis. Weitere Einschränkung eines Profiles ist dabei eine akzeptierbare und gängige Praxis. Struktur von MPEG-41Schichtmodell
MPEG-4 Struktur repp2000 PCMPEG-4 Struktur repp2000 PDA_Phone2SchichtmodellDie Struktur von MPEG-4 kann als Schichtmodell beschrieben werden. Die konkreten drei Schichten sind
Delivery LayerDie Delivery Layer setzt sich aus zwei Teilen zusammen:
Synchronization LayerIm Synchronization Layer werden die einzelnen Objekte synchronisiert und mit Zeitstempeln versehen. Ein Teil der Fehlererkennung und Korrektur wird auch in dieser Layer durchgeführt. Decompression LayerIn der letzten Schicht, der Decompression Layer, werden die einzelnen Datenströme an den entsprechenden Decoder weitergeleitet und decodiert. Die Szene wird dann zusammengestellt, falls nötig noch gerendert und danach dargestellt. MPEG-4 Struktur repp2000 PCMPEG-4 hat eine Schichtstruktur und setzt sich aus 3 Schichten zusamen: der Delivery Layer, der Synchronisation Layer und der Decompression Layer. Die Delivery Layer zerlegt den eintreffenden Datenstrom in elementare Datenströme, die Synchronisation Layer erfolgt Fehlerkorrektur und Synchronisierung, und in der Decompression Layer werden die einzelnen Datenströme an die entsprechenden Dekoder weitergeleitet. Abschließend wird die Szene zusammengestellt. MPEG-4 Struktur repp2000 PDA_PhoneMPEG-4 hat eine Schichtstruktur und setzt sich aus 3 Schichten zusamen: der Delivery Layer, der Synchronisation Layer und der Decompression Layer. Die Delivery Layer zerlegt den eintreffenden Datenstrom in elementare Datenströme, die Synchronisation Layer erfolgt Fehlerkorrektur und Synchronisierung, und in der Decompression Layer werden die einzelnen Datenströme an die entsprechenden Dekoder weitergeleitet. Abschließend wird die Szene zusammengestellt. Komposition von Objekten1Objekte im MPEG-4
Szenenbeschreibung
Möglichkeiten durch Szenenbeschreibung
Abbildung: Szenenbeschreibung rau1998 PC für PDA zugroß!!Kodierung von Objekten
Beschreibung und Syncronisation von gestreamten Daten
2Objekte in MPEG-4Objekte in MPEG-4 können verschiedenstes „Aussehen“ haben. Dabei kann man etwa Audio- oder Videoinhalt genauso wie 2D- oder 3D-Inhalt unterscheiden. Zu den schon bisher erwähnten Objekten bietet MPEG-4 auch kodierte Repräsentationen von
SzenenbeschreibungMPEG-4 verwendet einen objektorientierten Ansatz zur Beschreibung einer Szene. Aufbauend auf VRML (Virtual Reality Modeling Language) verwendet MPEG-4 eine eigene binäre Sprache zur Beschreibung einer Szene: BIFS (kommend von Binary Format for Scenes). VRML wurden hierbei Erweiterungen zur 2D-Animation und zum Streamen von Daten hinzugefügt. Die Szenenbeschreibung ermöglicht eine genaue Darstellung der räumlichen oder zeitlichen Beziehungen zwischen den Objekten einer Szene, ebenso wie deren Verhalten oder Interaktion. Dazu hat dieser Szenengraph ein Koordinatensystem und eine virtuelle Kamera, die die Position des Betrachters symbolisiert. Der Szenengraph ist in MPEG-4 hierarchisch aufgebaut, an den Blättern dieses „Baums“ befinden sich die einzelnen Objekte, diese können stehende Bilder (wie z.B. Hintergrund), Videoobjekte (wie z.B. eine sprechende Person) oder Audioobjekte (wie z.B. die Stimme die mit dieser Person assoziiert ist) sein. Möglichkeiten durch Szenenbeschreibung
Szenenbeschreibung rau1998 PC für PDA zugroß!!Eine Szene in MPEG-4 setzt sich aus verschiedensten Datenströmen zusammen: Videoobjekte, wie etwa sprechende Personen, Audioobjekte (z.B. die gestreamte Stimme der Person) und auch statische Teile wie ein 2D-Hintergrund. Der Szenegraph, der diese Szene zusammensetzt, hat ein eigenes Koordinatensystem,in das die Objekte platziert werden. Die Datenströme werden zu einem Bild zusammengesetzt und dargestellt. Der Benuter kann jederzeit mit der Szene interagieren und z.B. seine Perspektive auf die Szene ändern. Kodierung von ObjektenJedes einzelne Objekt wird in einer Schicht des Bitstroms kodiert. Eigenschaften wie Form, Transparenz oder auch räumliche Koordinaten sind ebenfalls im Bitstrom enthalten. In seiner kodierten Form ist jedes Objekt unabhängig von Hintergrund oder Umgebung. Da auch Parameter wie Rotation oder Scaling eines Körpers entkodiert werden, entsteht eine sehr einfache Möglichkeit der Bildmanipulation, durch Bitstromoperationen können Operationen wie etwa Rotation durchgeführt werden. Ebenso kann man Objekte hinzufügen oder bestehende entfernen, indem man Schichten im Bitstrom hinzufügt bzw. entfernt. Die Beschränkungen, wie es erlaubt ist in eine Szene einzugreifen werden lediglich durch den Autor gesetzt. MPEG-4 bietet auch die Möglichkeit, einzelne Objekte in verschiedenen Größen oder Frameraten anzuzeigen, da die in der Szenenbeschreibung enthaltene Information unabhängig von der Bitrate ist. Beschreibung und Synchronisation von gestreamten DatenMedienobjekte benötigen oftmals Daten, die über ein Netzwerk in einem oder mehreren elementary streams gestreamt werden. Ein Objektdeskriptor identifiziert alle Streams, die zu demselben Objekt gehören. Jeder Stream wird durch ein Set von Deskriptoren charakterisiert, diese tragen Informationen wie etwa die benötigten Decoderressourcen oder die Präzision der encodierten Zeitinformation. Außerdem beinhalten diese oft Hinweise zur Quality of Service (QoS) der Übertragung (z.B. maximale Bitrate, Priorität etc.). Die Synchonisation dieser elementary streams wird durch Zeitstempel von bestimmten access units in den elementary streams bewerkstelligt. Die Synchronisation Layer ist für die Identifikation solcher access units und für das time stamping verantwortlich. Diese Layer erkennt den Typ der access unit (Video, Audio, Teil der Szenenbeschreibung) und synchronisiert diese untereinander. Weitere Features1Digitales Wasserzeichen
MPEG-J
MPEG-4 Dateiformat
2Digitale WassserzeichenIn MPEG-4 wurde die Möglichkeit eingebunden, Objekte mit digitalen Wasserzeichen zu versehen. Dabei werden internationale Nummernsysteme verwendet und diese Nummern können den Inhaber der Urheberrechte eindeutig nachweisen. Da nicht aller Content mit einer solchen Nummer gekennzeichnet ist, bietet MPEG-4 Version 1 auch die Möglichkeit, geistiges Eigentum durch ein key-value-Paar zu identifizieren (z.B. „Autor“/ „Eva Wohlfart“). Außerdem bietet MPEG-4 für Systeme in denen geistiges Eigentum kontrolliert werden soll ein standardisiertes Interface welches eng in die Systems Layer eingebunden ist. Durch diese Möglichkeiten wird ein guter Schutz der Urheberrechte und auch ein begrenzter Kopierschutz gewährt. Unbefugtes Kopieren kann zwar nicht verhindert werden, die Audio- und Videodaten erleiden dabei allerdings einen Qualitätsverlust. MPEG-JDieses Feature von MPEG-4 gehört zum Systems-Teil des Standards (siehe Umfang von MPEG-4). Dieser definiert MPEG-J Interfaces, um zu ermöglichen, dass Javacode (ein sogenanntes MPEG-let) ausgeführt werden und mit der Szene interagieren kann. Autoren von Media Content können dadurch komplexe Kontrollmechanismen mit den medialen Daten kombinieren um die Interaktion mit der audiovisuellen Szene intelligent zu managen. Dabei wirken dann der MPEG-4 System Player (oft Presentation Engine genannt) und das MPEG-J Subsystem, welches die Presentation Engine kontrolliert (oft Application Engine genannt) zusammen. ProfilesDie Profiles zu MPEG-J sind Personal und Main. Das Personal Profile ist ein kleineres Package für mobile und tragbare Geräte wie PDAs, Handys mit Videotelefonie oder auch Spielkonsolen und beinhaltet 3 APIs: Network, Scene und Resource. Das Main Profile inkludiert alle MPEG-J APIs und ist für einen großen Bereich von Geräten und Multimediasystemen gedacht. Zusätzlich zu den im Personal Profile enthaltenen APIs enthält es auch noch folgende Packages von APIs: Decoder, Decoder Functionality und Section Filter and Service Information. MPEG-4 DateiformatDas mp4 Dateiformat ist dazu designt um alle mediale Information einer MPEG-4-Präsentation in einem flexiblen Format, welches Austausch, Management, Editieren und Präsentation ermöglicht, zu beinhalten. Diese Präsentation kann sowohl lokal am Rechner oder auch über ein Netzwerk erfolgen. Das Dateiformat ist unabhängig vom verwendeten Transportprotokoll und unterstützt jegliche Übertragung. Das Design basiert auf dem Quicktime-Format von Apple Computer Inc. Literatur MPEG-4 Standard123Literatur zu MPEG-4MPEG-4 Overview kimi2000 MPEG-4 Homepage koen2002 The MPEG Handbook, Watkinson watk2001-1 The MPEG-4 Handbook, Pereira pere2002 iX Artikel über MPEG-4 rau1998 |
(empty) |