Review II: done

review eingearbeitet, Bib OK

LOD 1 MMDBMS aufgeteilt (Review II).

Acronmye, Absätze, Wordanführungszeichen done.

@Prof. Kosch: MMDBMS erklären done.

Review von Prof. Kosch eingearbeitet.

Auf unbekannte Character gecheckt.

Multimedia Database Management System (MMDBMS) und Retrieval

1

Erster Versuch für eine klarere Zuordnung

Unfallsschadensmeldung als Multimediaobjekt

Eine Versicherungsgesellschaft zeigt eine Unfallsschadensmeldung als Multimediaobjekt an: es beinhaltet:

• Fotos vom Unfall
• Versicherungsformulare mit strukturiertem Text Tonaufnahmen der am Unfall beteiligten Parteien
• schriftlicher Bericht des Versicherungs-Repräsentanten

Auto

• Multimedia Datenbanken speichern in der Regel bisher keine strukturierten und unstrukturierten Daten gleichzeitig
• Multimedia Retrieval-Systeme müssen strukturierte und unstrukturierte Daten wieder finden

Retrieval strukturierter Daten aus der Datenbank

• Wird typischerweise von einem Datenbank Management System (DBMS401) gehandhabt
• DBMS401 bieten eine Abfragesprache an (z.B.: objekt-relationales SQL402)
• Es erfolgt eine deterministische Abgleichung von Abfragen und Daten

Retrieval unstrukturierter Daten aus der Datenbank

• Wird typischerweise von einem Information Retrieval (IR) System gehandhabt
• Ähnlichkeitsabgleich von ungenauen Abfragen und gespeicherten Dokumenten
• Ergebnis: Liste von relevanten Dokumenten

Multimedia Datenbank Management System

Ein Multimedia Datenbank Management System sollte Datenbank Management Systeme (DBMS401) und Information Retrieval (IR403) Technologien miteinander verbinden:

• Datenmodellierungs-Fähigkeiten von DBMS401 mit den erweiterten und ähnlichkeitsbasierten Abfrage-Fähigkeiten eines IR-Systems

Herausforderung = Finden eines Datenmodells, welches:

• die Speicherung
• den Abgleich (Matching) und
• die Verteilung ermöglicht

Abgleich von Abfragen und Dokumentdarstellungen

• Berücksichtigung der Vielfalt an Attributen und ihre Beziehungen in Abfragen und Dokumentdarstellungen
• Kombination von exakten Abgleichen in strukturierten Daten mit ungenauen Abgleichen in unstrukturierten Daten

Verteilung von Daten

• Browsen und Retrieval
• Temporale Einschränkungen von Video und Audio Präsentationen

2

Multimedia Database Management System (MMDBMS)

Multimedia Database Management System (MMDBMS447) bezeichnet ein für Multimedia Anwendungen spezialisiertes Datenbanksystem. Es kann entweder als Erweiterung eines traditionellen Systems oder als spezielles Datenbanksystem realisiert werden. Erweiterungen betreffen vor allem das Typsystem, die Anfrageverarbeitung und Indexstrukturen zur Speicherung und Verwaltung von multimedialen Daten. Daneben sollten die Echtzeitanforderungen von multimedialen Daten auch beachtet werden. Zuletzt sollte ein MMDBMS Inhaltsbasierte Suche in den multimedialen Daten ermöglichen.

Erster Versuch für eine klarere Zuordnung

In der letzten Lerneinheit wurden die einzelnen Typen von Medien, wie Video, Audio und Bilder genauer behandelt. Diese Medienobjekte können zu Multimediaobjekten zusammengefügt werden. Ein Multimediaobjekt kann aber auch weitere Multimediaobjekte beinhalten.

Unfallsschadensmeldung als Multimediaobjekt

Eine Versicherungsgesellschaft zeigt eine Unfallsschadensmeldung als Multimediaobjekt an: es beinhaltet:

• Fotos vom Unfall
• Versicherungsformulare mit strukturiertem Text
• Tonaufnahmen der am Unfall beteiligten Parteien
• schriftlicher Bericht des Versicherungs-Repräsentanten

Auto

Bisher hatten Multimedia Datenbanken Probleme, strukturierte und unstrukturierte Daten zusammen in einer Datenbank zu speichern. Wie wir in diesem Beispiel sehen besteht das Multimediaobjekt aus Bildern, Text und Audiodaten. Die Schwierigkeit besteht nun darin, dieses Multimediaobjekt so zu strukturieren, dass es bei Abfragen an ein Multimedia Retrieval-System auch gefunden wird.

Retrieval strukturierter Daten aus der Datenbank

Das Retrieval strukturierter Daten erfolgt in der Regel durch ein Datenbank Management System (DBMS401):
Ein DBMS401 ist eine Software, die zwischen Anwendungen und gespeicherten Daten vermittelt, Abfragen optimiert und ausführt. Sie enthält zwei Hauptkomponenten:

• Die Speicherung der Daten erfolgt entsprechend der Struktur des Datenmodells.
• Die Verwaltung von Daten enthält Agenden zur Verwaltung von Datenstrukturen, Verwaltung von Daten (z.B. Zugriff im Mehrbenutzerbetrieb), Reorganisation, Realisierung von Datenschutz und Datensicherheit der Datenbankmodelle, Optimierung der Anfragen und ihre Verarbeitung.

Ein DBMS401 umfasst auch eine Data Manipulation Language (DML382) (enthält die Befehle zum Eintragen, Ändern oder Auswählen von Daten aus einer Datenbank), die eine Abfragesprache (z.B. SQL402) zum Auffinden und Aussuchen von Daten bereitstellt. Das Ergebnis einer Suche wird durch eine deterministische Abgleichung von Abfrage und Daten gewonnen.

Retrieval unstrukturierter Daten aus der Datenbank

Das Retrieval unstrukturierter Daten aus einer Datenbank wird mit einem Information-Retrieval-System (IR-System) gehandhabt:
Ein IR-System besteht aus zwei Hauptkomponenten: Inhaltserschliessung (Indexing) und Vergleich (Matching).
Bei der Erschließung von Informationsobjekten geht es darum, diese in eine Form zu bringen, die einen effektiven Vergleich ermöglicht. Dies ist deshalb erforderlich, weil Informationsobjekte nicht direkt vergleichbar sind, z.B. aufgrund der verschiedenen Möglichkeiten, in natürlicher Sprache denselben Sachverhalt zu beschreiben.
Beim Vergleich von Informationsobjekten soll ermittelt werden, ob eine inhaltliche (semantische) Beziehung zwischen den Objekten besteht. Als Ergebnis dieses Vergleichs erhält der Benutzer eine Liste von relevanten Dokumenten.

Multimedia Datenbank Management System

Ein DBMS401 verwaltet die Speicherung der Daten, sodass sich die Anwendungsprogramme nur um die logische Struktur der Daten und ihrer Beziehungen kümmern müssen. Ein DBMS401 kümmert sich nicht darum, wie diese Daten gespeichert sind. Information Retrieval Systemen kann ein zu suchendes Muster in Form eines Objektes, Stichwort, Farbe, etc. übergeben werden, um ähnliche Objekte aus der Datenbank zu erhalten. Deswegen sollten effektive Multimedia Datenbank Management Systeme die Fähigkeiten eines konventionellen DBMS401 und die Fähigkeiten von IR-Systemen miteinander verbindet. Die Herausforderung ist es ein Datenmodell zu finden, welches die Speicherung, den Abgleich und eine Verteilung ermöglicht.

Abgleich von Abfragen und Dokumentdarstellungen

Beim Abgleich von Abfragen und Dokumentendarstellungen muss die Vielfalt an Attributen und ihre Beziehungen in Abfragen und Dokumentdarstellungen berücksichtigt werden. Um gute Ergebnisse zu ermöglichen, müssen strukturierte Daten exakt und unstrukturierte Daten unsicher abgeglichen werden. Mittlerweile haben sich einige Matching Strategien entwickelt (Boolesches Matching, Vektorbasiertes Matching, Probabilistisches Matching). Sie haben jedoch Schwachstellen wie Ungenauigkeit, hoher Rechenaufwand oder reine lineare Betrachtung.

Verteilung von Daten

Bei der Verteilung von Daten gibt es die Möglichkeit des Browsens. Dabei gelangt man mittels Navigation durch Hyperlinks zu den gewünschten Daten. Aber auch durch effizientes Retrieval kann man die richtigen Daten aus der Datenbank erhalten. Temporale Einschränkungen von Video und Audio Präsentationen ermöglichen eine Verteilung innerhalb eines angemessenen Zeitraums.

MMDBMS Abfragen

1

Auto

1.) Wie in vielen Retrieval Systemen hat der Benutzer die Möglichkeit durch Hyperlinks im Datenbestand zu browsen und zu navigieren.
Man braucht:

• Topic Maps
• zusammenfassende Beschreibungen der Multimedia Objekte

2.) Abfragen spezifizieren die Konditionen der Suche

• Multimedia Abfragesprache:
  • Prädikate für den Ausdruck von Bedingungen von Attributen, Struktur und Inhalt (semantisch) auf Multimedia Objekten:
    • Attribut-Prädikate
    • Struktur-Prädikate
    • Semantische Prädikate

Attribut-Prädikate

betreffen die Attribute von Multimedia Objekten mit exakten Wert (vgl. traditionelle DB Attribute):

• z.B. Datum eines Bildes, Name einer Show

Struktur-Prädikate

zeitliche Prädikate um die zeitliche Synchronisation zu spezifizieren:

• für fortlaufende Medien, wie Ton und Video
• für den Ausdruck temporaler Beziehungen
• z.B. "Finde alle Objekte, in denen ein Jingle für die Dauer der Darstellung eines Bildes läuft"

räumliche Prädikate zur Spezifizierung räumlicher Layout-Eigenschaften für die Präsentation von Multimedia Objekten:

• Beispiel für Prädikate: enthält, ist enthalten in, schneidet, grenzt an
  • z.B. "Finde alle Bilder, in denen das Auto neben einem Baum parkt"

zeitliche und räumliche Prädikate können kombiniert werden:

• z.B. "Finde alle Videos, in denen das Logo einer Autofirma angezeigt wird und wenn dieses wieder verschwindet eine Graphik an der selben Stelle wie zuvor das Logo erscheint, welche den Anstieg der Verkäufe der Firma darstellt."

zeitliche und räumliche Prädikate können:

• zu ganzen Objekten verweisen
• zu Unterkomponenten von Objekten verweisen: mit einem Datenmodell, das komplexe Objekt Darstellungen unterstützt

Semantische Prädikate

betreffen den semantischen Inhalt der beteiligten Daten

repräsentiert von den Eigenschaften, die extrahiert und für jedes Multimedia Objekt gespeichert wurden

• z.B. "Finde alle roten Häuser"

Unsicherheit, Nähe and Gewicht kann in der Abfrage ausgedrückt werden

Auto

• strukturierte Sprache
• Benutzer formulieren nicht Abfragen in dieser Sprache (in der Regel zu komplex), aber sie geben Abfrage Bedingungen mit Hilfe dieser Eingabemaske ein
• natürlichsprachliche Abfragen?
• Das Eingabemaske übersetzt die Abfrage in eine korrekte Syntax

3.) Die Abfrage besteht aus Herausgreifen eines Beispiels und Auswahl der Eigenschaften, denen das Objekt entsprechen muss
z.B. in einer Graphischen Benutzerschnittstelle (GUI404): Benutzer wählen das Bild eines Hauses und Bereichseigenschaften für die Abfrage: "Finde alle Häuser mit ähnlicher Form aber anderer Farbe"

4.) Frage-Antworten?

• z.B. Befragung an Video Bilder: "Wie viele Vögel sitzen auf dem Baum?"

2

Auto

Abfragen können für verschiedenste Zwecke genutzt werden.

Mittels Abfragen kann man dem Benutzer die Möglichkeit zum Browsen und Navigieren geben. Zur Verbesserung der Navigation und der Suche sind zusammenfassende Beschreibungen der Multimediaobjekte und Topic Maps sehr hilfreich.
Topic Maps sind ein Standard (ISO135/IEC256 13250:2000 bzw. XTM293/Oasis) zum Austausch von Wissensstrukturen, mit dem sich begriffsbasierte Wissensnetze realisieren lassen. Als eine Topic Map kann man sich eine Art Netzwerk vorstellen, welches über die eigentlichen Informationsressourcen gespannt ist und mit denen ein direkter Zugriff auf gewünschte Informationen möglich ist. Die Informationsressourcen können unterschiedliche Typen sein, da es auf die Beziehungen zwischen den Objekten ankommt. Dadurch kann eine Art semantisches Netz abgebildet werden, welches die Suche beschleunigt und die Qualität stark verbessert.

Abfragen können aber auch zur Spezifikation der Eigenschaften des gesuchten Objekts herangezogen werden. Z.B.: in der Form einer Multimedia Abfragesprache. Diese Abfragesprache muss es ermöglichen, räumliche und zeitliche Beziehungen, Schlüsselwörter und objektive und subjektive Inhalte von Multimedia Objekten zu spezifizieren. Die Bausteine der Multimedia Abfragesprache sind daher Attribut-, Struktur- und semantische Prädikate.

Attribut-Prädikate

Attribut-Prädikate werden verwendet, um genau definierte Werte aus der Datenbank zu erhalten. Diese Prädikate müssen nicht speziell auf Multimedia angepasst werden, da es sich um Attribute handelt, die auch in traditionellen Datenbanken vorhanden sind (z.B. Namen, Datum, Preis, etc.)

Struktur-Prädikate

Struktur-Prädikate werden in zeitliche und räumliche Prädikate unterteilt.

Zeitliche Prädikate legen gewünschte temporale Abläufe für fortlaufende Medien (Ton, Video) fest, z.B: "Finde alle Objekte, in denen ein Jingle für die Dauer der Darstellung eines Bildes läuft."

Räumliche Prädikate sind Struktur Prädikate, die zur Spezifizierung räumlicher Beziehungen in Multimediaobjekten herangezogen werden. Natürlich sprachliche Ausdrücke für eine solche Beziehung sind beispielsweise "enthält", "ist enthalten in", "schneidet", "grenzt an", etc. Eine Abfrage wäre z.B.: "Finde alle Bilder, in denen das Auto neben einem Baum parkt"

Natürlich können zeitliche und räumliche Prädikate auch miteinander kombiniert werden. Dazu werden die gesuchten räumlichen und zeitlichen Beziehungen zusammen in einer Abfrage formuliert, z.B.: "Finde alle Videos, in denen das Logo einer Autofirma angezeigt wird und wenn dieses wieder verschwindet eine Graphik an der selben Stelle wie zuvor das Logo erscheint, welche den Anstieg der Verkäufe der Firma darstellt." Die räumliche Komponente dieser Abfrage ist, dass die Graphik an der selben Stelle wie zuvor das Logo erscheinen soll. Die zeitliche Beziehung wird dadurch beschrieben, dass erst das Logo und dann die Graphik erscheint.

Struktur-Prädikate können zu ganzen oder auch zu Unterkomponenten von Objekten verweisen (dies ist nur mit einem Datenmodell möglich, das komplexe Objektdarstellungen unterstützt)

Semantische Prädikate

Semantischer Inhalt (z.B.:"Finde alle roten Häuser") wird mit Hilfe von semantischen Prädikaten gesucht. Sie betreffen die Eigenschaften, die zuvor aus den Daten extrahiert und für jedes Multimediaobjekt gespeichert wurden. Verschiedene Einflussfaktoren wie Nähe, Gewichtung oder Unsicherheit können in der Abfrage berücksichtigt werden.

Auto

Die Multimedia Abfragesprache ist eine strukturierte Sprache, die Attribut-, Struktur- und semantische Prädikate in Abfragen verwenden kann. Diese Sprache wird jedoch in der Regel nicht direkt vom Benutzer eingegeben, sondern über intelligente Eingabemasken. Der Grund ist, dass die entstehenden Anfragen sehr kompliziert werden können. Erste Versuche von semantischen Abfragen mit MOQL405 (Multimedia OQL) haben gezeigt, dass nur ein kleiner Bruchteil der formulierten Abfragen auch semantisch korrekt wäre.

Die Eingabemasken müssen eine Schnittstelle zur Verfügung stellen, mit dessen Hilfe die Benutzer die erforderlichen Eigenschaften eingeben können. Diese natürlich sprachlichen Abfragen werden dann von der Schnittstelle in eine gültige Syntax für die Abfrage umgewandelt.

Abfrage durch Beispiel

Abfragen sind nicht nur für Navigation oder zur Spezifikation der Eigenschaften des gesuchten Objekts sinnvoll. Eine Abfrage kann auch durch die Angabe eines Beispielobjekts zum gewünschten Objekt führen. Es wird dabei eine Art Muster übergeben, dessen Eigenschaften mit den Eigenschaften des gesuchten Objekts ganz oder auch nur teilweise übereinstimmen. Diese Art der Anfrage heißt Abfrage durch Beispiel (Query by example)
Wird beispielsweise in einer graphischen Benutzerschnittstelle (GUI404) ein Bild eines Hauses übergeben könnte die Abfrage so aussehen: "Finde alle Häuser mit ähnlicher Form, aber anderer Farbe". Aber auch ein Audio-Beispiel kann für die Abfrage verwendet werden. Mit Hilfe eines Musical Instruments Digital Interface (MIDI30) kann eine "Muster"-Melodie eingegeben werden, die ähnliche Audioaufnahmen bei der Abfrage als Ergebnis zeigt.

Frage-Antworten

Auch Frage-Antwort Konstruktionen können als Abfragen an Multimedia Datenbanken genutzt werden. Man kann z.B. folgende Anfrage an eine Video-DB stellen: "Wie viele Vögel sitzen auf dem Baum?"

MMDBMS Beispiel

1

Beispiel Oracle's interMedia

interMedia

ist eine Systemerweiterung von Oracle um einen großen Inhalt zu verwalten, welcher Bilder, Ton und Video Informationen umfasst, die in anderen traditionellen Geschäftsdaten integriert sind.

interMedia

ist ein Add-On für die Datenbank Oracle 9i für die Speicherung und Verwaltung verschiedener MM-Daten in der Form von Text, Bilder, Audio und Video.

interMedia

nützt die Erweiterungsmöglichkeiten, die durch Oracle angeboten werden, und deswegen ist interMedia eine echte Multimedia-Datenbank, die sowohl Indexoperationen als auch Anfrageoptimierungen durchführt.

interMedia

stellt eine Reihe von Services zur Speicherung, Verwaltung und Suche in multimedialen Daten zur Verfügung:

• Verwaltung von Meta- und Mediendaten
• Speicherung und Suchfunktionalität, die Suchfunktionalität beschränkt sich auf Bilder
• Unterstützung aller populären Formate

http://technet.oracle.com

2

Beispiel Oracle's interMedia

Es gibt eine Reihe von MMDB406s, die Teilen der vorherigen Anforderungen an eine MMDB406 entsprechen. Stellvertretend möchten wir hier Oracle's interMedia erwähnen. Oracle's interMedia ist ein Add-On für die Datenbank Oracle 9i für die Speicherung und Verwaltung verschiedener MM-Daten in der Form von Text, Bilder, Audio und Video. interMedia nützt die Erweiterungsmöglichkeiten, die durch Oracle angeboten werden, und deswegen ist interMedia eine echte Multimedia-Datenbank, die sowohl Indexoperationen als auch Anfrageoptimierungen durchführt.

interMedia führt eine Reihe von Datentypen zur Verwaltung von multimedialen Daten und deren Meta-Daten ein. Neben den Multimedia-Datentypen werden eine Reihe von Methoden zur Verwaltung der Daten, sowie zur Speicherung und Konvertierung angeboten. In den letzten Jahren, von der Version 8i angehend, wurden immer mehr Datentypen unterstützt, so dass interMedia nun die gängigsten Formate unterstützt.

interMedia und weitere MMDBMS447 Produkte werden genauer in LU Kommerzielle Produkte - Übersicht, LU Oracle interMedia - eine kommerzielle Multimediadatenbank, LU Oracle interMedia praktisch, LU Oracle interMedia Fallbeispiel und LU Forschungsprodukte behandelt.

3

Beispiel Oracle's interMedia

Für weitere Informationen zu interMedia und weiteren MMDBMS447 Produkten siehe auch: http://technet.oracle.com

Bibliographie

2

Auto

Kos03

OiM04

Sub98