Current Page: Greybox » Authoring » Course ID: medieninformatik » Modules » Module ID: m04 » Learning Units » Unit ID: 05_36
Last Modified:Tuesday, 2015-05-05 - 08:09:08
 
Tools: ValidatePreview XML Preview HTML Preview PDF
Alternative: Printable HTML

 

Learning Unit ID: 05_36
Title: Der MPEG-4 Standard
Abstract: MPEG-4 ist ein internationaler Standard, der viele Neuerungen für die Video- und Audiokomprimierung beinhaltet. Durch die Verwendung von objektorientierten Prinzipien zur Beschreibung und Zusammensetzung einer visuellen Szene im Gegensatz zur einfachen Übertragung von Videoframes, wie dies in MPEG-2 der Fall war, wird die Größe einer solchen Datei um Vielfaches vermindert. Dadurch eröffnen sich viele neue Möglichkeiten der Darstellung von multimedialen Inhalten, auch die Interaktivität wird bedeutend erhöht. Im Folgenden werden die einzelnen Teile des Standards beschrieben und ebenso wird auch genau auf die Szenenbeschreibung eingegangen.
 
Status: Final for Review #2 - summary and captions missing Version: 2004-10-14
History: 2004-10-14 (thomas Migl): pda abb. hinzugefügt
2004-09-23 (thomas migl): abb. explanation korrigiert
2004-09-16 (thomas Migl): pda hinzugefüt
2004-09-15 (Thomas migl): eine pda abb. hinzugefügt
2004-09-13 (Thomas Migl): Abb hinzugefügt
2004-08-16 (Robert Fuchs): Checked, fixed and exported for Review #2.
2004-07-27 (Thomas Migl): LOD1+LOD2 fertig, LOD3 +++ LOD1+LOD2 fertig, LOD3 +++ NOCH ZU MACHEN eventuell Bilder für PDA, Summary
2004-07-26 (Thomas Migl): Begonnen mit LOD1,Lod2 und LOD3

Author
Author 1: Eva Wohlfahrt E-Mail: evawohlfart@gmx.at
Author 2: (empty) E-Mail: (empty)
Author 3: (empty) E-Mail: (empty)
Author 4: (empty) E-Mail: (empty)
Author 5: (empty) E-Mail: (empty)
Organization: Technische Universität Wien; Institut für Softwaretechnik und Interaktive Systeme; Arbeitsgruppe für Interaktive Multimediale Systeme; http://www.ims.tuwien.ac.at/

Content

Einführung

1

auto

  • Definiert von der Motion Picture Expert Group
  • seit 1999 internationaler Standard

Teile des Standards

  • Standard besteht aus mehreren Teilen
  • die wichtigsten Teile sind
    • Systems
    • Visual
    • Audio

Anwendugsbereiche des Standards

  • Digitales Fernsehen
  • Interaktive grafische Applikationen
  • Interaktive Mulitmedia Inhalte

Versionen des Standards PC koen2002

Versionen des Standards PDA_Phone koen2002

Ziele des Standards

  • Autoren
    • höhere Wiederverwendbarkeit
    • Urheberrechte
  • Anbieter
    • transparente Informationen
  • Enduser
    • Interaktivität mit Iinhalten
    • mulimediale Daten auch für Geräte mit geringen Datenraten nutzbar

2

auto

MPEG-4 ist ein ISO/IEC Standard, der ebenso wie MPEG-1 und MPEG-2 von der Motion Picture Expert Group definiert wurde. MPEG-4, dessen formale Benennung ISO/IEC 14496 lautet, wurde im Oktober 1998 vollendet und wurde in den ersten Monaten des Jahres 1999 ein internationaler Standard. Ende 1999 wurden einige Erweiterungen als MPEG-4 Version 2 festgesetzt, der Status eines internationalen Standards Anfang 2000 erreicht. Einige weitere Versionen folgten, die alle zu den früheren Versionen rückwärtskompatibel sind.

Die Teile des Standards

Der MPEG-4 Standard besteht aus mehreren Teilen, wobei die drei wichtigsten die ersten drei sind, MPEG-4 Systems, Visual und Audio (ISO/IEC 14496-1 bis 14496-3). Jeder dieser Teile kann für sich selbst und ohne die anderen Teile verwendet werden. Der Systems-Teil wird oft benutzt, um die anderen beiden in eine Szene zusammenzusetzen. Mehr darüber im Kapitel Umfang von MPEG-4.

Anwendungsbereiche des Standards

MPEG-4 befasst sich mit drei Feldern: digitales Fernsehen, interaktive grafische Applikationen und interaktive Multimediainhalte, wie etwa im World Wide Web. Der Standard bietet alle Funktionalitäten die bereits in MPEG-1 und MPEG-2 verfügbar waren, hinzu kommen die content-basierten Funktionalitäten. Diese bestehen darin, dass audiovisuelle Szenen und deren Objekte mit Hilfe einer Szenenbeschreibung (siehe Struktur von MPEG-4) zusammengesetzt werden. Dadurch wird eine einfache Interaktion mit den Elementen möglich. Ebenso erlaubt diese Handhabung die Modellierung einer Szene einfache Wiederverwendung des audiovisuellen Inhalts.

Versionen des Standards PC koen2002

Die erste Version des MPEG-4 Standards wurde Anfang des Jahres 1999 ein internationaler Standard. Ein Jahr später folgte Version 2, in der einige Erweiterungen festgesetzt wurden. Danach folgten noch weitere Versionen, die alle zu den früheren Versionen kompatibel sind.

Versionen des Standards PDA_Phone koen2002

Die erste Version des MPEG-4 Standards wurde Anfang des Jahres 1999 ein internationaler Standard. Ein Jahr später folgte Version 2, in der einige Erweiterungen festgesetzt wurden. Danach folgten noch weitere Versionen, die alle zu den früheren Versionen kompatibel sind.

Ziele des Standards

Der MPEG-4 Standard bietet Technologien die die Bedürfnisse von Autoren, Anbietern und Endusern erfüllen sollen. Daher werden folgende Ziele angestrebt:

  • Autoren bekommen die Möglichkeit Inhalte zu produzieren, die eine viel größere Wiederverwendbarkeit und Flexibilität haben als dies bisher möglich war. Außerdem wird es einfacher die Urheberrechte zu verwalten und zu schützen.
  • Für Anbieter bietet MPEG-4 transparente Information, die leicht in die erforderlichen Signale eines Netzwerks umgewandelt werden können. MPEG-4 enthält auch einen Quality of Service (QoS) Deskriptor für unterschiedlichste Medien, der die Optimierung des Transports von medialen Inhalten möglich macht.
  • Enduser bekommen die Möglichkeit einer viel höheren Interaktivität mit dem Content als dies bisher möglich war. Multimediale Inalte sind nicht mehr nur auf leistungsfähige Netzwerke beschränkt sondern können auch von solchen mit einer niedrigen Bitrate zugegriffen werden wie etwa mobilen Netzwerken.

Umfang von MPEG-4

1

Systems

  • Beziehung zwischen audiovisuellen Komponenten einer Szene
    • Binary Format for Scenes
    • Zeitlich-räumliche Interaktion
  • Object Deskriptor
    • Beziehung Elementary Stream - Objekt

Visual

  • Natürliche Videoobjekte
    • Shape
    • Texture
    • Bewegungsinformation
  • Synthetische Videoobjekte
    • Gesichtsanimation
    • Körperanimation
    • "D-Gittermodelle

Videoencoder MPEG-4 PC repp2000

Videoencoder MPEG-4 PDA_Phone repp2000

Audio

  • Audioobjekte
    • Natürliches Audio
      • AAC
      • Twin VQ
    • Natürliche Sprache
      • CELP
      • HVXC
    • Synthetische Klänge
      • MIDI
      • Structured Audio Orchestra Language
    • Text to Speech

DMIF

  • Delivery Mulitmedia Integration Framework
    • Ähnlchkeiten FTP
      • Unterschied FTP/DMIF
        • FTP liefert direkt Daten
        • DMIF liefert pointer auf gestreamte Daten
  • Drei DMIF Technologien
    • Interaktive Netzwerktechnologie
    • Broadcasting
    • Disk technologie

2

Systems (ISO-IEC 14496-1)

Dieser Teil enthält die Beschreibung der Beziehungen zwischen den audiovisuellen Komponenten die eine Szene zusammensetzen. Diese erfolgt innerhalb von zwei Detailgraden: Das Binary Format for Scenes (BIFS) beschreibt die zeitlich-räumliche Interaktion der Elemente einer Szene. Benutzer können mit den Objekten interagieren oder auch selbst ihren Gesichtspunkt ändern. Auf einem höheren Detailgrad befinden sich die Object Descriptors (ODs). Diese definieren die Beziehungen der sogenannten Elementary Streams (ES) die zu jedem Objekt gehören (wie z.B. der Audio- und Videostream eines Teilnehmers an einer Videokonferenz).

Weitere Features für MPEG-4 Systems

  • Ein standardisiertes Dateiformat für den Austausch und das Speichern von MPEG-4 Dateien.
  • Client-Server-basierte Interaktion und das Verarbeiten von Events zwischen den Objekten einer Szene.
  • Ein Tool für Interleaving von mehreren Streams (FlexMux).
  • Das kontinuierliche Management der Buffer am empfangenden Terminal.

Visual (ISO-IEC 14496-2)

MPEG-4 Visual beinhaltet verschiedene Technologien um Visuelles darzustellen, am wichtigsten ist wohl MPEG-4 Video. Aber auch andere Dinge sind standardisiert, wie etwa die Textur von stehenden Bildern und die Animation von Gesichtern und Körpern. Der Video-Teil erstreckt sich über ein weites Feld von Applikationen, von solchen mit niedriger Bitrate für mobile Geräte über TV-Qualität bis zu Applikationen in Studios mit sehr hoher Auflösung und Qualität. MPEG-4 Visual wird in der Lerneinheit MPEG-4 Visual genauer beschrieben.

MPEG-4 Videokomprimierung

Der Video-Teil des Standards bietet Kodier- und Komprimierungsverfahren für natürliche und synthetische Videoobjekte. Die Informationen eines natürlichen Videoobjekts werden in drei Bereiche aufgeteilt: die Form (shape coding), Texturen (texture coding) und Bewegungsinformationen (motion coding). Diese Informationen werden in Abhängigkeit voneinander komprimiert bzw. decodiert. Nach der Kodierung werden die einzelnen Ströme durch einen Multiplexer zusammengefasst und ergeben einen elementaren Datenstrom. Für synthetische Videoobjekte bietet MPEG-4 neben den Möglichkeiten von VRML, die inkludiert wurden, noch einige andereTools. Diese sind etwa Tools zur Darstellung und Animation von synthetischen Gesichtern (facial animation) und Körpern (body animation), oder auch von 2D-Gittermodellen (2D-meshes).

Videoencoder MPEG-4 PC repp2000

Bei der Kodierung eines Videos in MPEG-4 werden verschiedene Stufen durchlaufen: die Kodierung der Shape (Form), der Textur und der Bewegung eines Objekts. Diese Teile werden getrennt kodiert und dann durch einen Multiplexer zusammengefasst.repp2000

Videoencoder MPEG-4 PDA_Phone repp2000

Bei der Kodierung eines Videos in MPEG-4 werden verschiedene Stufen durchlaufen: die Kodierung der Shape (Form), der Textur und der Bewegung eines Objekts. Diese Teile werden getrennt kodiert und dann durch einen Multiplexer zusammengefasst.repp2000

 

Audio (ISO-IEC 14496-3)

Der Audio-Teil des MPEG-4 Standards enthält verschiedene Audiocodecs für einen großen Bereich von Audioapplikationen, die wie bei dem Videoteil von Applikationen mit sehr niedriger bis zu solchen mit sehr hoher Birate und Qualität reichen. Außerdem beinhaltet der Standard auch Text-to-Speech und synthetic audio. Audio-Objekte können unterschiedlichste Ausprägungen haben, unter anderem z.B. AAC (Advanced Audio Coding), TTSI (Text-to-Speech) oder General Midi .

Audioobjekte können wie Video natürlich oder synthetisch erzeugt werden, dementsprechend bietet der Audiostandard auch unterschiedliche Komprimierungsverfahren. Im Bereich der natürlichen Objekte gibt es zwei große Bereiche: Sprachkodierung, die besonders für Mobilfunk und Internettelefonie wichtig ist, und die reine Musikkodierung. Für die Sprachkodierung werden zwei Standards verwendet: HVXC (Harmoniv Vector eXcitation Code) und CELP (Code Excitat Linear Prediction). Beide basieren auf dem Prinzip der Vektorquantisierung und können auch zur Musikkomprimierung verwendet werden, liefern aber durch den geringen Frequenzbereich (HVXC:8 kHz, CELP:8-16 kHz) eine sehr schlechte Qualität. Die Standards zur Musikkodierung sind TwinVQ (Transform-domain Weighted Interleave Vector Quantization) und MPEG-2 AAC (Advanced Audio Coding). TwinVQ basiert auch auf dem Prinzip der Vektorquanisierung und erzeugt ähnliche Qualität wie MPEG-1 Layer 3 bei 128 kBit/s, allerdings einen kleineren Datenstrom. Für synthetische Audioobjekte wurden drei Tools definiert: Ein Text-to-Speech-Tool, welches Text mittels computergenerierter Sprache vorliest, der MIDI-Standard (Musical Digital Interface) wurde vollständig in MPEG-4 integriert, und eine Sprache zur Beschreibung synthetischer Musik, SAOL (Structured Audio Orchestra Language), wurde ebenfalls in MPEG-4 übernommen.

DMIF (ISO-IEC 14496-6)

Delivery Multimedia Integration Framework. DMIF ist sowohl ein Framework als auch ein Sessionprotokoll für das Management von Multimedia Streaming. Es bietet den Vorteil, dass die Applikation nicht wissen muss, von welcher Quelle die Objekte stammen, etwa von einem interaktiven Server oder der lokalen Festplatte. Die Funktionalitäten von DMIF werden durch ein Interface formuliert (DAI – DMIF Application Interface) und in Protokollmessages übersetzt, welche sich je nach verwendetem Netzwerk unterscheiden. DMIF hat Ähnlichkeiten zu FTP, allerdings liefert FTP direkt Daten, während DMIF Pointer zu den (gestreamten) Daten liefert. Das DAI wird auch verwendet, um auf Broadcastmaterial und lokale Dateien zuzugreifen. DMIF adressiert also drei große Technologien: interaktive Netzwerktechnologie, Broadcasting und Disk Technologie.

Transport

MPEG-4 definiert in sich keine Layers für den Transport. Allerdings ist eine Anpassung an bereits bestehende Transport Layers möglich: Transport über den MPEG-2 Transport Stream (MPEG-2 TS) und Transport über IP-basierte Protokolle wie etwa HTTP oder RTP (ISO-IEC 14496-8).

Profiles und Levels

1

Profiles

  • Auswahl an Tools
  • Tools bilden Basis für spezielle Anwendungen
  • MPEG-4 hat MPEG-2 Profiles vollständig übernommen

Levels

  • Ein Profile hat mehrere Levels
  • Anpassung an Komplexität der Geräte
    • Bitrate
    • Bildgröße
    • etc

Überblick Profiles im MPEG-4 Standard

fuers thomas => das war eine komische tabelle, mit der der exporter probleme hatte... ich hab eine list draus gemacht

Systems Profiles/Szenegraph Profile

  • Simple 2D
  • Audio
  • 3D Audio
  • Basic 2D
  • Core 2D
  • Main 2D
  • Advanced 2D

Systems Profiles/Grafik Profile

  • Simple 2D
  • Simple 2D + Text
  • Core 2D
  • Advanced 2D

Audio Profiles

  • Main
  • Scalable
  • Speech
  • Synthesis
  • High Quality Audio
  • Low Delay Audio
  • Natural Audio
  • Mobile Audio Internetworking

Visual Profiles

  • Simple
  • Simple Scalable
  • Core
  • Main
  • N-Bit
  • Hybrid
  • Basic Animated Texture
  • Scalable Texture
  • Simple Face Animation
  • Simple FBA Advanced Real Time Simple
  • Core Scalable
  • Advanced Coding Efficieancy
  • Advanced Core Profile
  • Advanced Scalable Texture
  • Simple Studio
  • Core Studio
  • Advanced Simple
  • FGS

2

Profiles

MPEG als eine Organisation, die Standards definiert, spezifiziert keine Endser-Produkte oder bestimmtes Equipment, sondern Tools, die ausgewählt werden können um Produkte zu erzeugen. Was allerdings standardisiert wird, sind sogenannte Profiles. Ein Profile ist eine Auswahl an Tools, die von einer Gruppe von am Standard teilnehmenden Organisationen ausgewählt wurde, um eine Basis für Produkte in einem speziellen Anwendungsbereich zu bilden. Um standardisiert zu werden, wird ein Profile einem Reviewprozess unterworfen, und wenn ausreichend Organisationen dieses unterstützen, kann es als ein Profile für die Industrie standardisiert werden. In MPEG-4 wurden die aus MPEG-2 bekannten Profiles vollständig übernommen.

Levels

Innerhalb eines Profiles können mehrere Levels bestehen. Diese bringen in ein Profile erhöhte Komplexität und größere Streuung, um Geräte mit unterschiedlicher Performance unterstützen zu können. Levels legen also etwa bestimmte Bitraten oder Größen fest.

Überblick Profiles im MPEG-4 standard

Der MPEG-4 Systems Teil ist unterteilt in vier Profile Sets, zwei für die Szene, eines für das Object Descriptor framework welches die elementaren Datenströme (ES: elementary streams) beschreibt und eines für MPEG-J (siehe Struktur von MPEG-4). Die Profiles für die Szene sind das SceneGraph profile, welches vor allem die Tools zum Aufbau des „Baums“ des Szenegraphs enthält, und das Graphics profile, welches die renderbaren Tools wie Kreise, Rechtecke und Text beinhaltet. Der Audio- und der Visual-Teil haben jeweils ein Set an Profiles.

fuers thomas => das war eine komische tabelle, mit der der exporter probleme hatte... ich hab eine list draus gemacht

Systems Profiles/Szenegraph Profile

  • Simple 2D
  • Audio
  • 3D Audio
  • Basic 2D
  • Core 2D
  • Main 2D
  • Advanced 2D

Systems Profiles/Grafik Profile

  • Simple 2D
  • Simple 2D + Text
  • Core 2D
  • Advanced 2D

Audio Profiles

  • Main
  • Scalable
  • Speech
  • Synthesis
  • High Quality Audio
  • Low Delay Audio
  • Natural Audio
  • Mobile Audio Internetworking

Visual Profiles

  • Simple
  • Simple Scalable
  • Core
  • Main
  • N-Bit
  • Hybrid
  • Basic Animated Texture
  • Scalable Texture
  • Simple Face Animation
  • Simple FBA Advanced Real Time Simple
  • Core Scalable
  • Advanced Coding Efficieancy
  • Advanced Core Profile
  • Advanced Scalable Texture
  • Simple Studio
  • Core Studio
  • Advanced Simple
  • FGS

auto

Es ist von der MPEG Gruppe erwünscht und erwartet, dass Organisationen, die den MPEG-4 Standard verwenden möchten, Tools nach den standardisierten Profiles und Levels aussuchen. Dies ist allerdings kein unbedingtes Erfordernis. Weitere Einschränkung eines Profiles ist dabei eine akzeptierbare und gängige Praxis.

Struktur von MPEG-4

1

Schichtmodell

  • Delivery Layer
  • Synchronisation Layer
  • Decompression Layer

MPEG-4 Struktur repp2000 PC

MPEG-4 Struktur repp2000 PDA_Phone

2

Schichtmodell

Die Struktur von MPEG-4 kann als Schichtmodell beschrieben werden. Die konkreten drei Schichten sind

  • Delivery Layer
  • Synchronisation Layer
  • Decompression Layer

Delivery Layer

Die Delivery Layer setzt sich aus zwei Teilen zusammen:

  1. Der erste Teil sorgt dafür, dass der eingehende Datenstrom unabhängig vom Übertragungsmedium ist. Für diesen Zweck wird das DMIF verwendet.
  2. Der zweite Teil besteht aus einem Demultiplexer, der den ankommenden Datenstrom in elementare Datenströme (ES) zerlegt. Meist entspricht hier ein Datenstrom einem einfachen Objekt. Auch der Szenegraph wird durch einen elementaren Datenstrom repräsentiert.

Synchronization Layer

Im Synchronization Layer werden die einzelnen Objekte synchronisiert und mit Zeitstempeln versehen. Ein Teil der Fehlererkennung und Korrektur wird auch in dieser Layer durchgeführt.

Decompression Layer

In der letzten Schicht, der Decompression Layer, werden die einzelnen Datenströme an den entsprechenden Decoder weitergeleitet und decodiert. Die Szene wird dann zusammengestellt, falls nötig noch gerendert und danach dargestellt.

MPEG-4 Struktur repp2000 PC

MPEG-4 hat eine Schichtstruktur und setzt sich aus 3 Schichten zusamen: der Delivery Layer, der Synchronisation Layer und der Decompression Layer. Die Delivery Layer zerlegt den eintreffenden Datenstrom in elementare Datenströme, die Synchronisation Layer erfolgt Fehlerkorrektur und Synchronisierung, und in der Decompression Layer werden die einzelnen Datenströme an die entsprechenden Dekoder weitergeleitet. Abschließend wird die Szene zusammengestellt.

MPEG-4 Struktur repp2000 PDA_Phone

MPEG-4 hat eine Schichtstruktur und setzt sich aus 3 Schichten zusamen: der Delivery Layer, der Synchronisation Layer und der Decompression Layer. Die Delivery Layer zerlegt den eintreffenden Datenstrom in elementare Datenströme, die Synchronisation Layer erfolgt Fehlerkorrektur und Synchronisierung, und in der Decompression Layer werden die einzelnen Datenströme an die entsprechenden Dekoder weitergeleitet. Abschließend wird die Szene zusammengestellt.

Komposition von Objekten

1

Objekte im MPEG-4

  • Text und Grafiken
  • Sprechende synthetische Köpfe und dazu assoziierter Text
  • Synthetischer Sound

Szenenbeschreibung

  • Binary Format for Scenes (BIFS)
    • Erweiterung gegenüber Virtual Reality Modeling Language
      • 2D Animationen
      • Daten streamen
    • beschreibt räumliches und zeitliches Verhalten von Objekten
    • Szenengraph hat Baumstruktur

Möglichkeiten durch Szenenbeschreibung

  • Platzieren von Medienobjekten irgendwo in einem gegebenen Koordinatensystem
  • Transformationen, um visuelle oder akustische Eigenschaften zu ändern
  • Gruppieren von Objekten zu zusammengesetzten Objekten
  • Zuordnen von gestreamten Daten, wie etwa ein Geräusch
  • Ändern der Position des Betrachters

Abbildung: Szenenbeschreibung rau1998 PC für PDA zugroß!!

Kodierung von Objekten

  • Jedes Objekt in eigener Datenstromschicht kodiert
    • Verschiedenste Objekteigenschaften können kodiert werden
      • Transparenz
      • Räumliche Koordinaten
      • Rotation
      • Skalierung
  • Autor kann Manipulationmöglichkeit des Benutzers beschränken

Beschreibung und Syncronisation von gestreamten Daten

  • Ein Objekt oft in mehreren elementaren Datenstömen
  • Deskriptor
    • identifiziert alle Datenströme, die zu einem Objekt gehören

2

Objekte in MPEG-4

Objekte in MPEG-4 können verschiedenstes „Aussehen“ haben. Dabei kann man etwa Audio- oder Videoinhalt genauso wie 2D- oder 3D-Inhalt unterscheiden. Zu den schon bisher erwähnten Objekten bietet MPEG-4 auch kodierte Repräsentationen von

  • Text und Grafiken
  • Sprechende synthetische Köpfe und dazu assoziierter Text
  • Synthetischer Sound

Szenenbeschreibung

MPEG-4 verwendet einen objektorientierten Ansatz zur Beschreibung einer Szene. Aufbauend auf VRML (Virtual Reality Modeling Language) verwendet MPEG-4 eine eigene binäre Sprache zur Beschreibung einer Szene: BIFS (kommend von Binary Format for Scenes). VRML wurden hierbei Erweiterungen zur 2D-Animation und zum Streamen von Daten hinzugefügt. Die Szenenbeschreibung ermöglicht eine genaue Darstellung der räumlichen oder zeitlichen Beziehungen zwischen den Objekten einer Szene, ebenso wie deren Verhalten oder Interaktion. Dazu hat dieser Szenengraph ein Koordinatensystem und eine virtuelle Kamera, die die Position des Betrachters symbolisiert. Der Szenengraph ist in MPEG-4 hierarchisch aufgebaut, an den Blättern dieses „Baums“ befinden sich die einzelnen Objekte, diese können stehende Bilder (wie z.B. Hintergrund), Videoobjekte (wie z.B. eine sprechende Person) oder Audioobjekte (wie z.B. die Stimme die mit dieser Person assoziiert ist) sein.

Möglichkeiten durch Szenenbeschreibung

  • Platzieren von Medienobjekten irgendwo in einem gegebenen Koordinatensystem
  • Transformationen, um visuelle oder akustische Eigenschaften zu ändern
  • Gruppieren von Objekten zu zusammengesetzten Objekten
  • Zuordnen von gestreamten Daten, wie etwa ein Geräusch
  • Ändern der Position des Betrachters

Szenenbeschreibung rau1998 PC für PDA zugroß!!

Eine Szene in MPEG-4 setzt sich aus verschiedensten Datenströmen zusammen: Videoobjekte, wie etwa sprechende Personen, Audioobjekte (z.B. die gestreamte Stimme der Person) und auch statische Teile wie ein 2D-Hintergrund. Der Szenegraph, der diese Szene zusammensetzt, hat ein eigenes Koordinatensystem,in das die Objekte platziert werden. Die Datenströme werden zu einem Bild zusammengesetzt und dargestellt. Der Benuter kann jederzeit mit der Szene interagieren und z.B. seine Perspektive auf die Szene ändern.

Kodierung von Objekten

Jedes einzelne Objekt wird in einer Schicht des Bitstroms kodiert. Eigenschaften wie Form, Transparenz oder auch räumliche Koordinaten sind ebenfalls im Bitstrom enthalten. In seiner kodierten Form ist jedes Objekt unabhängig von Hintergrund oder Umgebung. Da auch Parameter wie Rotation oder Scaling eines Körpers entkodiert werden, entsteht eine sehr einfache Möglichkeit der Bildmanipulation, durch Bitstromoperationen können Operationen wie etwa Rotation durchgeführt werden. Ebenso kann man Objekte hinzufügen oder bestehende entfernen, indem man Schichten im Bitstrom hinzufügt bzw. entfernt. Die Beschränkungen, wie es erlaubt ist in eine Szene einzugreifen werden lediglich durch den Autor gesetzt. MPEG-4 bietet auch die Möglichkeit, einzelne Objekte in verschiedenen Größen oder Frameraten anzuzeigen, da die in der Szenenbeschreibung enthaltene Information unabhängig von der Bitrate ist.

Beschreibung und Synchronisation von gestreamten Daten

Medienobjekte benötigen oftmals Daten, die über ein Netzwerk in einem oder mehreren elementary streams gestreamt werden. Ein Objektdeskriptor identifiziert alle Streams, die zu demselben Objekt gehören. Jeder Stream wird durch ein Set von Deskriptoren charakterisiert, diese tragen Informationen wie etwa die benötigten Decoderressourcen oder die Präzision der encodierten Zeitinformation. Außerdem beinhalten diese oft Hinweise zur Quality of Service (QoS) der Übertragung (z.B. maximale Bitrate, Priorität etc.).

Die Synchonisation dieser elementary streams wird durch Zeitstempel von bestimmten access units in den elementary streams bewerkstelligt. Die Synchronisation Layer ist für die Identifikation solcher access units und für das time stamping verantwortlich. Diese Layer erkennt den Typ der access unit (Video, Audio, Teil der Szenenbeschreibung) und synchronisiert diese untereinander.

Weitere Features

1

Digitales Wasserzeichen

  • Objekte können mit digitalem Wasserzeichen versehen werden
    • Nummern können Urheberrechte genau identifizieren
  • MPEG-4 Version 2
    • Key-Value Paar
  • Unbefugtes Kopieren
    • kann nicht verhindert werden
    • Audio- und Videodaten aber erleiden Qualitätsverlust

MPEG-J

  • gehört zum System- Teil des Standards (siehe Umfang von MPEG-4)
    • Javacode ausführbar
    • Interaktion mit der Szene
  • Profiles von MPEG-J
    • Personal
    • Main

MPEG-4 Dateiformat

  • Dateiformat ermöglicht
    • Austausch
    • Management
    • Präsentation
    • Editieren
  • basiert auf Apple Computer Inc.

2

Digitale Wassserzeichen

In MPEG-4 wurde die Möglichkeit eingebunden, Objekte mit digitalen Wasserzeichen zu versehen. Dabei werden internationale Nummernsysteme verwendet und diese Nummern können den Inhaber der Urheberrechte eindeutig nachweisen. Da nicht aller Content mit einer solchen Nummer gekennzeichnet ist, bietet MPEG-4 Version 1 auch die Möglichkeit, geistiges Eigentum durch ein key-value-Paar zu identifizieren (z.B. „Autor“/ „Eva Wohlfart“). Außerdem bietet MPEG-4 für Systeme in denen geistiges Eigentum kontrolliert werden soll ein standardisiertes Interface welches eng in die Systems Layer eingebunden ist. Durch diese Möglichkeiten wird ein guter Schutz der Urheberrechte und auch ein begrenzter Kopierschutz gewährt. Unbefugtes Kopieren kann zwar nicht verhindert werden, die Audio- und Videodaten erleiden dabei allerdings einen Qualitätsverlust.

MPEG-J

Dieses Feature von MPEG-4 gehört zum Systems-Teil des Standards (siehe Umfang von MPEG-4). Dieser definiert MPEG-J Interfaces, um zu ermöglichen, dass Javacode (ein sogenanntes MPEG-let) ausgeführt werden und mit der Szene interagieren kann. Autoren von Media Content können dadurch komplexe Kontrollmechanismen mit den medialen Daten kombinieren um die Interaktion mit der audiovisuellen Szene intelligent zu managen. Dabei wirken dann der MPEG-4 System Player (oft Presentation Engine genannt) und das MPEG-J Subsystem, welches die Presentation Engine kontrolliert (oft Application Engine genannt) zusammen.

Profiles

Die Profiles zu MPEG-J sind Personal und Main. Das Personal Profile ist ein kleineres Package für mobile und tragbare Geräte wie PDAs, Handys mit Videotelefonie oder auch Spielkonsolen und beinhaltet 3 APIs: Network, Scene und Resource. Das Main Profile inkludiert alle MPEG-J APIs und ist für einen großen Bereich von Geräten und Multimediasystemen gedacht. Zusätzlich zu den im Personal Profile enthaltenen APIs enthält es auch noch folgende Packages von APIs: Decoder, Decoder Functionality und Section Filter and Service Information.

MPEG-4 Dateiformat

Das mp4 Dateiformat ist dazu designt um alle mediale Information einer MPEG-4-Präsentation in einem flexiblen Format, welches Austausch, Management, Editieren und Präsentation ermöglicht, zu beinhalten. Diese Präsentation kann sowohl lokal am Rechner oder auch über ein Netzwerk erfolgen. Das Dateiformat ist unabhängig vom verwendeten Transportprotokoll und unterstützt jegliche Übertragung. Das Design basiert auf dem Quicktime-Format von Apple Computer Inc.

Literatur MPEG-4 Standard

1

2

3

Literatur zu MPEG-4

MPEG-4 Overview kimi2000

MPEG-4 Homepage koen2002

The MPEG Handbook, Watkinson watk2001-1

The MPEG-4 Handbook, Pereira pere2002

iX Artikel über MPEG-4 rau1998


Notes
(empty)