Bib OK. Review teileweise berücksichtigt.
Acronyme, Absätze, Wordanführungszeichen done.

Review von Prof. Kosch eingearbeitet.

Graphik Anwendungskette geschärft.

Auf unbekannte Character gecheckt.

Multimedia Systeme

1

Definition - Multimedia Systeme

ist ein Computer Hardware/Software System, welches verwendet wird für

• Erwerbung und Speicherung
• Management
• Indizierung und Filterung
• Manipulation (Qualität, Bearbeitung)
• Übermittlung (mehrere Plattformen)
• Zugriff auf eine große Menge visueller Information, wie Bilder, Videos, Graphiken
• Aber auch zur Verwaltung von Multimedia-Meta-Daten
  

Beispiele für Multimedia Systeme

Bild und Video Datenbanken (aber Multimedia ???), Webmedien Suchmaschinen, home media gateway, mobiler Medien Navigator, etc.

Was ist wichtig für eine gute Informationsverarbeitung?

• Werkzeuge zur Erzeugung und Abfrage von MM-Beschreibungen
• Entwicklung von Hochgeschwindigkeits-Netzwerken zur Übertragung
• Neue Inhalte und Dienste müssen unterstützt werden (z.B. für mobile Anwendungen)

Standards werden greifbar

Kodierung, Verteilung, Beschreibung und IPMP (Intellectual Property Management and Protection)

Anwendungskette

Auto PC

PDA_Phone

Einblick in Benutzerbedürfnisse

Zugang zu Multimedia Informationen

• jederzeit
• überall
• auf jedem Gerät
• von jeder Quelle

Netzwerk/Gerät Transparenz

• Quality of Service
• Intelligente Werkzeuge und Schnittstellen

TV-Any-Time Paradigma

http://www.tv-anytime.org
ermöglicht interaktives Fernsehen mit:

• Zeitverschiebung, lokaler Speicher: ~20 Stunden
• Momentaufnahme, live Pause, Simultanaufnahme/Playback
• Suchen/wiederfinden, Verwendung von Lesezeichen
• Persönliches Profil
• e-Commerce

2

Definition - Multimedia Systeme

Die Vielseitigkeit von Multimedia Systemen ermöglicht eine Anzahl verschiedenster Verwendungszwecke: Erwerbung, Speicherung, Management, Indizierung, Filterung, Manipulation, Übermittlung und Zugriff auf eine große Menge visueller Information. Die Speicherung und Verarbeitung von Texten, Bildern, Videos und Audio-Dateien ist gut studierter Bereich und viele effektive Techniken existieren. Die Verwaltung der Multimediamedia-Meta-Daten, also beschreibende Daten über Inhalte der Medien, stellt eine neue Herausforderung dar. Sie ist zum einen entstanden durch die Entwicklung neuer Standards (wie MPEG31-7), als auch durch die Entwicklung von effektiven Multimedia-Annotierungstools. Es ist daher notwendig eine effiziente Verwaltung und Suche von und in Multimedia Daten aufzubauen, die weit über die herkömmliche Speicherung hinausgeht.

Beispiele für Multimedia Systeme

Bisher wurden meist Bild und Video Datenbanken zur Verwaltung der Mediendaten eingesetzt. Multimedia besteht aber aus Bildern, Videos und weiteren Mediendaten, wie Text oder Ton, die in einem eigenen Multimediaobjekt gespeichert werden. Die herkömmlichen Bild und Video Datenbanken sind leider nicht für Multimedia konzipiert worden und daher ist es ein schwieriges Unterfangen diese Datenbanken für Multimedia (z.B.: Inhaltsbasierte Suche) zu nutzen.

Was ist wichtig für eine gute Informationsverarbeitung?

Multimedia Systeme sollten in Hinblick auf die Informationsverarbeitung eine Reihe von Grundfunktionalitäten besitzen. Zum ersten es sollten Werkzeuge zur Erzeugung und Abfrage von MM-Beschreibungen (Editor, slide show, Produktionssoftware, Suchmaschinen) zur Verfügung gestellt werden. Für die Übertragung der Daten benötigt man Hochgeschwindigkeits-Netzwerke für eine bessere und schnellere Verarbeitung. Neue mobile Dienste wie z.B. Multimedia Messaging müssen unterstützt werden.

Standards werden greifbar

Diese Neuerungen werden durch Standards greifbar: Digital TV, DVD311, MPEG31-4, MPEG31-7 und IPMP372 (Intellectual Property Management and Protection). Über den MPEG31-7 Standard gibt es mehr in der LU MPEG-7 und MMDBS.

Anwendungskette

Anwendungskette PC

Anwendungskette PDA_Phone

Auto

Wie die Graphik zeigt, müssen am Anfang einmal Medien und ihre Beschreibung zur Verfügung stehen und zum Austausch bereitgestellt werden. Sie können von dort aus an Rundfunkteilnehmer, mobile als auch Internet Benutzer übertragen werden. Damit die Daten auch beim Benutzer in entsprechender Qualität ankommen, müssen sie, je nach Endgerät, aufbereitet und angepasst werden.

Einblick in Benutzerbedürfnisse

Benutzerbedürfnisse sind im allgemeinen von Zielgruppe zu Zielgruppe verschieden. Im Multimedia Bereich haben die Zielgruppen jedoch einige Punkte gemeinsam: Sie wollen jederzeit von überall mit jedem Gerät (PC, PDA, Handy,...) auf jede mögliche Multimediaquelle zugreifen.

Diese nicht gerade bescheidenen Anforderungen können nur befriedigt werden, wenn die einzelnen Komponenten (z.B.: Netzwerk, Gerät) miteinander effizient zusammenarbeiten können. Man spricht in diesem Zusammenhang von Quality of Service um auszudrücken, dass alle Komponenten Dienste zu einer qualitätsverlustfreien Übertragung und Behandlung der Medien zur Verfügung stellen müssen. Um dies zu erreichen, müssen standardisierte Schnittstellen geschaffen werden, die dennoch die Unabhängigkeit von Daten und Geräten gewährleisten.

Beispiel

Das TV-Anytime-Forum ist eine Organisation zur Entwicklung von Spezifikationen, die insbesondere interaktive TV-Dienste ermöglichen sollen. Diese Dienste sollen auf Endgeräten (Settop-Boxen) mit digitalem Speicher abrufbar sein. Die Organisation besteht seit September 1999 und seine Mitglieder sind aus Europa, den USA und Asien. Die Mitgliedschaft steht allen offen. Das Forum erarbeitet derzeit offene Spezifikationen, die darauf zugeschnitten sind, den Endgeräteherstellern, Produzenten von Programminhalten, Netzbetreibern, Rundfunksendern und Service Providern zu erlauben, die großen digitalen Speichervolumina der Zuschauerplattformen optimal auszunutzen.

TV-Anytime Paradigma

Das TV-Anytime Paradigma sieht folgende Spezifikationen für interaktives Fernsehen vor:
Die zeitverschobene Ausstrahlung ermöglicht es, TV-Sendungen auch außerhalb der Ausstrahlungszeit zu konsumieren (unter Benutzung eines lokalen Speichers auf der Settop-Box). Durch Momentaufnahmen können bestimmte Bilder von Sendungen extra abgespeichert werden und dank live-Pausen ist man nicht gezwungen alles auf einmal anzusehen. Die TV-Sendungen können auch simultan aufgenommen und abgespielt werden. Außerdem ist es möglich, Sendungen nach bestimmten Suchbegriffen zu durchforsten. Um interessante Stellen später wiederzufinden, kann ein Lesezeichen gesetzt werden. Das Fernsehen kann durch die Einrichtung eines persönlichen Profils den eigenen Bedürfnissen besser angepasst werden. Hier kann man bestimmte Sendungen, die man nicht sehen will, ausgrenzen oder Werbungen auf persönliche Präferenzen ausrichten. Bei der Werbung wird e-Commerce eingebettet, sodass man das gesehene Produkt auf Knopfdruck sofort kaufen kann.

Multimedia Datentypen

1

Kurze Beschreibung einiger Multimedia Datentypen

Bild

Speicherung:

• Als Vektorgraphik
• Kodiert als eine Menge von Pixeln

Bilddarstellung:

• n x m Matrix in einem Zellraster
• Jede Zelle beinhaltet einen Pixel312 (= Bildelement) Wert, der den Zellinhalt in einem schwarz/weiß Bild oder Farbbild darstellt (z.B. Grau Stufen, 8 Bits oder Farbbild, 24 Bits)

Segmentierung in Objekte um Inhaltssuche zu ermöglichen

Video Daten

• = Strom aus Bildern (Sequenz von Bildern (auch Frames genannt))
  • Präsentation in spezifizierten Zeiteinheiten
• Aufgeteilt in Segmente, um Inhaltssuche zu ermöglichen:
  • Jedes Segment:
    ist zusammengesetzt aus einer Sequenz, welche zusammenhängende Frames mit gleichen Objekte/Aktivitäten zeigen
  • identifiziert durch ein Start und End Frame.
• Speicherung in komprimierter Form um Speicherplatz zu sparen: z.B.: H.263, MPEG31-4

Audio Daten

• Sprache, Musik, ...
• kann durch Sequenzen strukturiert werden:
  • charakterisiert durch Ton, Dauer, ...
  • wenn Sequenz Sprache beinhaltet: Charakteristik der Stimme einer bestimmten Person : z.B. Lautstärke, Intensität, Tonhöhe und Klarheit
  • wenn Sequenz Musik beinhaltet: Takt, Tonhöhe, Akkorde, ...

Zusammengesetzte Multimedia Daten (z.B. Video & Audio Daten)

• physikalisch gemischt, um ein neues Speicherformat zu erhalten
• oder logisch gemischt unter Beibehaltung des originalen Typs und Format
• Zusätzliche Kontrollinformation beschreibt, wie die Information wiedergegeben werden soll
• Aufbau von Präsentationen (z.B. SMIL27)

2

Kurze Beschreibung einiger Multimedia Datentypen

Bild

Bilder werden entweder pixelbasiert oder als Vektor gespeichert.
Pixelbasierte Speicherung teilt die Bildpunkte (Pixel = picture element) in ein festes Raster auf. Die Anzahl der Zeilen und Spalten des Rasters bestimmt die Auflösung der Grafik. Die Anzahl der Farben einer Grafik hängt davon ab, wie viele Bits für das Abspeichern der Farben eines Pixels zur Verfügung stehen. Für einfache Ansprüche reichen meist 8 Bit aus, mit denen 256 Farben auf dem Bildschirm dargestellt werden können. Bei höherwertigen Ansprüchen werden 24 Bit (ca. 16 Millionen Farben) benötigt. Ein Nachteil dieser Technik ist der erhöhte Speicherbedarf, der aber durch Komprimierung, beispielsweise durch JPEG, ausgemerzt werden kann.
Bei der Vektordarstellung wird ein Objekt durch Linien, Kreise, Rechtecke und Polygone beschreiben. Die Beschreibung enthält auch Eigenschaften, wie Größe, Winkel, Position und Füllmuster. Diese Darstellungen werden in Bitmapdarstellungen umgewandelt, die der Auflösung des Ausgabegerätes (Drucker, Monitor) entsprechen. Daher ist diese Darstellung ausgabe- bzw. auflösungsunabhängig. Ein weiterer Vorteil ist der wesentlich geringere Speicherbedarf, da die Formen und ihre Eigenschaften in wenigen Bits gespeichert werden können.

Video Daten

Ein Video besteht aus einem Strom von Bildern, welche als Frame bezeichnet werden. Um Bewegungsabläufe als solche zu erkennen, müssen Einzelbilder mit einer bestimmten Geschwindigkeit dem menschlichen Auge vorgeführt werden. Das Minimum stellen dabei 16 Bilder pro Sekunde dar. Beim Film wird normalerweise mit 30 Bildern pro Sekunde gearbeitet, allerdings können auch hierbei noch Flimmererscheinungen auftreten, die erst ab einer Frequenz von 50 Bildern pro Sekunde nicht mehr als störend empfunden werden.

Das Video wird inhaltlich in einzelne, unterscheidbare Segmente strukturiert. Welcher Teil ein eigenes Segment bildet, entscheidet sich durch das Auftreten bestimmter Aktionen, Menschen, Objekte, usw., die für die Segmentierung entscheidend sind. Ein Segment wird durch seinen Start- und Endframe identifiziert.

Im Bezug auf Kompressionsdifferenz sind die Standards H.263 und H.264, entwickelt von der ITU316 (International Telecommunication Union), einer der besten heute verfügbaren Verfahren. Sie wurden als Verbesserung aus H.261 entwickelt, welcher für Videokonferenzen vorgesehen war. Bei der Entwicklung wurde auch Echtzeitverarbeitung berücksichtigt. Daher dürfen Kompression und Dekompression zusammen nicht mehr als 150 ms Signalverzögerung erzeugen.
Ein weitere Komprimierungsstandard ist MPEG31-4 der ISO/IEC MPEG31 und dient der effizienteren Kodierung von audio-visuellen Daten, insbesondere für niedrige Bitraten um 1 Mbit/s. Techniken des MPEG31-4 Standards werden z. B. in Apples QuickTime, WindowsMedia, DivX323, XviD u.a. eingesetzt.

Audio Daten

Auch Audio Daten können, ähnlich wie Videos, in Sequenzen unterteilt werden.
Bei Audio Daten gibt es aber eine weitere Unterteilung: Sie können Sprache und/oder Musik beinhalten. Diese unterschiedlichen Audio-Ausprägungen führen zu unterschiedlichen Segmentierungseigenschaften. Sprache und Musik haben aber auch gemeinsame Eigenschaften, wie Tonhöne und Dauer, durch die sie segmentiert werden können.

Zusammengesetzte Multimedia Daten (z.B. Video & Audio Daten)

Zusammengesetzte Datentypen z.B. Audio und Video, Bilder und Audio, ... werden miteinander verbunden und zusammen als ein Datentyp abgespeichert. Multimediale Daten können logisch oder physikalisch gemischt werden. Beim physikalischen Mischen entsteht ein neuer Datentyp mit neuem Speicherformat, während beim logischen Mischen originaler Typ und das ursprüngliche Format beibehalten werden. Die zusätzliche Kontrollinformation hilft bei der späteren Wiedergabe (z.B. Synchronisation).

Die Vermischung der Daten kann auch in einer Präsentationssprache definiert werden:
Beispiel: SMIL27 = Synchronized Multimedia Integration Language SMI04
Die Synchronized Multimedia Integration Language, kurz SMIL27, ist eine einfache Beschreibungssprache auf XML Basis zur Erstellung komplexer, synchroner und zeitbasierender multimedialer Inhalte im World Wide Web. Der SMIL27 Standard wurde von der W3C25 empfohlen, um Multimedia-Inhalte in Abhängigkeit der Bandbreite mit Hilfe der Streaming Technologie über das Internet zu verschicken. SMIL27 legt keine neuen Datentypen fest, sondern kann prinzipiell mit allen vorhandenen und zukünftigen Typen umgehen.

Bibliographie

2

Auto

Kos03

SMI04

Ste99

TVA04