Review II: done.

Link auf LU 23 done.

@ Prof. Kosch: Erklärung von B-Frames done(GlossEntry).

Acronyme, Absätze und Wordanführungszeichen done.

Review von Prof. Kosch eingearbeitet.

Unbekannte Character ausgebessert.

MM-Kommunikationssysteme

1

Auto

Multimedia wird einer Vielfalt von Endgeräten unter dynamischen Netzwerkbedingungen zur Verfügung gestellt

Auto PC

Auto PDA_Phone

Auto

=>Wir brauchen generische Werkzeuge, die den Benutzern einen allgegenwärtigen Zugang zu Multimediainhalten erlauben.

2

Auto

Multimedia-Kommunikationssysteme müssen viele Endgeräte, die unterschiedliche Bedingungen vorgeben, mit Multimedia Daten beliefern. Diese Daten entsprechen meist nicht den Fähigkeiten des Endgeräts und müssen daher erst angepasst werden bevor sie verteilt werden können.

Auto PC

Auto PDA_Phone

Auto

Wie die Abbildung zeigt, ist auf die verschiedenen Endgeräte zu achten, die unterschiedliche Rahmenbedingungen für Multimedia vorgeben. All diese verschiedenen Anforderungen müssen durch einen einzigen Content Server erfüllt werden. Für eine effektive Verwendung von verteilten Multimediadaten benötigt man daher generische Werkzeuge für die Verwaltung, Speicherung, Suche und Verteilung von Multimediadaten.

Multimedia Adaptierung

1

Auto

Einleitung

• Multimedia Verteilungssysteme (siehe MM-Übertragungsprotokolle )
  • Zwei extreme Fälle der Verteilung: Best-effort Scheduling und Worst-Case Reservation der Ressourcen
  • Beide sind nicht angemessen um sehr umfangreiche, dynamische MM-Systeme zu beherrschen
• Adaptierung: Die Fähigkeit eines Systems sein Verhalten dynamisch zu ändern um die Dienstgüte auf einem bestimmten Niveau zu halten.
  • z.B.: Es reduziert oder verbessert dynamisch die Qualität, abhängig von den verfügbaren Ressourcen
• Wo?
  • bei verschiedenen Komponenten auf dem Verteilungsweg zum Client:
    • Server, Proxies, Router, oder Clients

Adaptierungs-Dimensionen

• Verschiedene Medien können entlang verschiedener Dimensionen skaliert werden.
• Zwei Haupt-Überlegungen:
  • Kodierungsunterstützung
    • Kodierungsverfahren beschränken oft den Bereich und die Art der Skalierbarkeit.
  • Wahrnehmungsqualität.
    • Nicht lineares, subjektives Ansprechverhalten bei Änderungen.

Methoden

• Zeitliche Skalierung
  • Reduziert die Dauer eines Audio- oder Videoinhaltes

Auto PC

Auto PDA_Phone

Auto

• Räumliche Skalierung
  • Reduziert die Anzahl der Pixel in einem Bild

Auto PC

Auto PDA_Phone

Auto

• Frequenz Skalierung
  • Reduziert die Anzahl der DCT Koeffizienten

Auto PC

Auto PDA_Phone

Auto

• Farbskalierung
  • Reduziert die Anzahl der verfügbaren Farben

Auto PC

Auto PDA_Phone

Auto

• Konvertierung
  • Konvertierung der Modalitäten (z.B.: Video zu Bild, Audio zu Text) des ursprünglichen Inhalts.

Zeitliche Skalierung von MPEG Videos

• Zeitliche Skalierung durch "frame dropping"
  • Kann am komprimierten Video durchgeführt werden
• Frametypen in MPEG31-1 und MPEG31-2: I, P, B
  • I- und P-Frames werden Referenz Frames genannt
  • P- und B-Frames448 werden Prädiktions-Frames genannt

Beispiel für eine Videoadaptierung

1. Entfernung jedes zweiten
   B-Frames448 und
2. Entfernung der restlichen B-Frames448

Auto PC

Auto PDA_Phone

Auswirkungen auf die Wahrnehmung - einige Hinweise

Statisch vs. dynamisch

Statische Medienadaptierung:
M3box: Multimedia Message Center Siemens AG, CT

Auto PC

Auto PDA_Phone

Auto

• Dynamische Ressourcen Adaptierung, z.B.: wegen Netzwerküberlastungen:
  • Geliefertes Video lässt unkontrollierten Abbau zu
  • Was benötigt wird, ist eine gesteuerte und ausgeglichene Qualitätsadaptierung.

2

Auto

Einleitung

Die Verteilung in MM-Systemen stellt neue Anforderungen an Scheduling-Verfahren. Durch Best-Effort Scheduling versucht man zwar, wie der Name schon sagt, die beste Ressourcenverteilung zu finden, jedoch gibt es dafür keine Garantie. Durch Worst-Case Reservation werden so viele Ressourcen reserviert, wie im schlechtesten Fall benötigt werden, was wahrscheinlich entlang des Auslieferungspfades zu einer Verschwendung der Ressourcen führt. Beide Verteilungskonzepte sind für sehr umfangreiche, dynamische Multimedia-Systeme nicht geeignet.

Ein Multimedia-System muss die Fähigkeit haben, sich an Änderungen dynamisch anzupassen. Diese Adaptierung ist notwendig, da die Dienstgüte nicht unter ein gewisses Niveau fallen darf. Wird ein Film verzögert wiedergegeben entsteht ein Ruckeln, das vom Benutzer unter Umständen nicht akzeptiert wird. Ein System sollte daher, je nach Auslastung, dynamisch die Qualität verändern können, d.h. den Film an die neuen Gegebenheiten adaptieren, um alle Benutzer fair zufrieden zu stellen. Eine leicht verminderte Bildqualität für alle Benutzer ist sicher leichter hinzunehmen, als wenn einige ganz auf ihre Daten verzichten müssen.

Die Adaptierung der multimedialen Daten kann auf verschiedenen Komponenten des Auslieferungspfades zum Benutzer erfolgen. Neben dem Server können auch bei Proxies, Router und Clients Anpassungen vorgenommen werden. Um die Adaptierung bestmöglich durchzuführen, müssen die Komponenten kooperativ agieren und sich nicht gegenseitig behindern. Diese Bereitschaft zur Kooperation steht über dem Wettbewerb der Komponenten.

Adaptierungs-Dimensionen

Unterschiedliche Medien können entlang verschiedener Dimensionen skaliert werden. Eine zeitliche Skalierung kann beispielsweise durch Entfernung von einzelnen Bildern oder Tonfragmenten durchgeführt werden. Weitere Skalierungen können durch Veränderung der Größe, der Frequenz oder Farbe erfolgen.

Bei der Skalierung der Medien gibt es zwei Punkte, die bei der Auswahl der Dimension und des Reduzierungsgrades berücksichtig werden müssen:

Kodierungsunterstützung:

Kodierungsverfahren beschränken oft den Bereich und die Art der Skalierbarkeit, z.B. kodieren ältere divX-codecs keine B-Frames448, somit ist eine einfache zeitliche Skalierung, also das einfache Weglassen von Frames gar nicht möglich.

Wahrnehmungsqualität:

Benutzer reagieren auf Qualitätsveränderungen je nach gewählter Dimension sehr unterschiedlich. Werden große Farbbereiche reduziert ist die Veränderung durch den Benutzer nicht so stark wahrnehmbar, als wenn die Anzahl der Bilder pro Sekunde unter 30 sinkt. Die Änderungen sind daher nicht linear durchführbar und es muss berücksichtigt werden, dass Qualität vom Benutzer subjektiv wahrgenommen wird.

Methoden

Die Adaptierung der Multimediadaten umfasst unterschiedliche Methoden:

Auto PC

Auto PDA_Phone

Auto

Zeitliche Skalierung (siehe obige Abbildung):
Die Dauer von Audio- oder Videoinhalten wird reduziert. Dies geschieht durch die Entfernung von einzelnen Bildern oder Tonfragmenten.

Auto PC

Auto PDA_Phone

Auto

Räumliche Skalierung (siehe obige Abbildung):
Die Bildpunkte werden vermindert und damit wird auch die Größe verändert

Auto PC

Auto PDA_Phone

Auto

Frequenz Skalierung (siehe obige Abbildung):
Hier wird die Anzahl der DCT242 (Diskrete Cosinus Transformation) Koeffizienten reduziert.

Auto PC

Auto PDA_Phone

Auto

Farbskalierung (siehe obige Abbildung):
Durch die Reduktion von möglichen, unterschiedlichen Farbwerten wird der Farbenbereich eingeschränkt.

Neben den oben genannten Verfahren kann auch eine Konvertierung (z.B.: Video zu Bild, Audio zu Text) oft gewinnbringend benutzt werden.

Bei der Messung der Bildqualität wird das Spitzenwert-Signal-Geräusch-Verhältnis PSNR455 (Peak Signal to Noise Ratio) herangezogen. Es wird weltweit verwendet um verschiedene Skalierungen miteinander vergleichen zu können. Die von Menschen subjektiv empfundene Bildqualität lässt sich mit dieser einfach zu berechnenden Größe jedoch nur unzureichend beschreiben.

Zeitliche Skalierung von MPEG Videos

Zeitliche Skalierung von Videos erfolgt durch "frame dropping", dem Herausnehmen von Frames. Bei MPEG31 Videos wird dieser Prozess kostensparend im Komprimierungsbereich durchgeführt.

MPEG definiert in seinen Kodierungsstandards MPEG31-1 und MPEG31-2 drei verschiedene Frametypen (I, P, B) mit unterschiedlichen Aufgaben:
Das I-Frame (Intra Coded Picture) ist ein Bild, das keine Informationen von anderen Einzelbildern besitzt. Es dient als Ankerpunkt und Startpunkt für Zugriffe.
Das P-Frame (Predictive Coded Picture) enthält Informationen über das vorhergehende I-Frame.
Zur Erstellung eines B-Frames448 (Bidirectionally Predictive Coded Picture) werden das nachfolgende I- oder P-Frame mit den dem vorhergehenden I- oder P-Frame verglichen. Dann werden aus den gefundenen Frames Mittelwerte berechnet, die dann das B-Frame enthält.

I- und P-Frames werden als Referenz-Frames bezeichnet, P- und B-Frames448 dienen als Prädiktions-Frames.

Als Beispiel für eine zeitliche Skalierung eines MPEG31-Videos dienen folgende zwei Adaptierungen:

Beispiel für eine Videoadaptierung

Auto PC

Auto PDA_Phone

Auto

Zunächst wird jeder zweite B-Frame entfernt. Danach werden alle restlichen B-Frames448 entfernt, sodass nur noch I- und P-Frames vorhanden sind. Durch die Reduktion der B-Frames448 kann die Anzahl der Frames in diesem Beispiel deutlich reduziert werden und damit konsequenterweise auch die Bandbreitenanforderung des Videos.

Auswirkungen auf die Wahrnehmung - einige Hinweise

Auswirkungen auf die Wahrnehmung

Auto

Die Tabelle zeigt die unterschiedlichen Skalierungen mit ihren Auswirkungen auf Wahrnehmung und Effektivität.
Durch zeitliche Skalierung können hohe Speicherplatzeinsparungen erzielt werden. Diese Skalierung hat aber auch sehr starke Grenzen. Unter 50 Frames pro Sekunde wird mit jedem weggenommenen Frame die wahrgenommene Qualität zunehmend verschlechtert.
Bei der räumlichen Skalierung wird durch Reduzierung der Pixelanzahl die Größe verändert. Dies wirkt sich natürlich stark auf die Wahrnehmung des Betrachters aus. Jedoch sind auch die Auswirkungen auf die Effektivität hoch. Bei dieser Skalierung sollte man auch das Endgerät berücksichtigen, da z.B. Handys eine kleine Auflösung benötigen.
Bei der Frequenzskalierung kann auch sehr viel Speicherplatz eingespart werden. Die Wahrnehmung des Betrachters wird allerdings laut Messungen ziemlich eingeschränkt.
Eine Verringerung der Farbtiefe bringt bis zu einem gewissen Grad keine wesentliche Verschlechterung der Wahrnehmung. Der Gewinn an Effektivität hält sich allerdings in Grenzen.

Statisch vs. dynamisch

Multimedia Adaptierung kann statisch oder dynamisch erfolgen.

Die folgende Grafik zeigt ein Messaging Szenario welche eine statische Medienadaptierung durchführt (z.B.: M3box: Multimedia Message Center, Siemens AG, CT)

Auto PC

Auto PDA_Phone

Auto

Die verschiedenen Ein- bzw. Ausgabegeräte haben spezielle Eigenschaften, z.B.: eine bestimmte Auflösung. Wird also eine Nachricht gesendet, enthält sie nicht nur die Multimediadaten sondern auch Meta-Daten, welche ausdrücken, wie die Mediendaten an Ausgabegeräte mit bestimmten Eigenschaften angepasst werden müssen. Diese Metadaten werden auf einer zentralen Speichereinheit (Nachrichtenserver) hinterlegt. Wird die Nachricht von einem Ausgabegerät abgerufen, wird mit Hilfe der Metadaten die Nachricht an das Ausgabegerät angepasst.

Dynamische Ressourcen Adaptierung ist erforderlich, wenn die Ressourcenverfügbarkeit nicht vorhersehbar ist, z.B.: Netzwerküberlastungen. Jedes gelieferte Video muss einen unkontrollierten Abbau durch das System zulassen. Daher benötigt man eine gesteuerte und ausgeglichene Qualitätsadaptierung.

Bibliographie

2

Auto

Kos03

Vet04