Im Folgenden wird ein Überblick über einige Multimedia-Datenbankmanagementsysteme gegeben. Die MMDBMS haben verschiedene Systemanwendungen und Schwerpunkte.

• MIRROR Database (Multimedia Information Retrieval Reducing information OveRload): Die Forschungsdatenbank wurde an der Universität von Twente (Niederlande) entwickelt und verwendet einen neuen Retrievalprozess mit Merkmalsgrammatik.
• DISIMA Database (Distributed Multimedia DBMS): DISIMA ist ein Datenbanksystem für Bilder und bietet eine neue Abfragesprache (MOQL) an, die ein inhaltsbasiertes Retrieval von Informationen ermöglicht.
• MARS Database (Multimedia Analysis and Retrieval System): Durch die MARS-Datenbank wird ein integriertes Multimedia-Information-Retrieval und Datenbankmanagementsystem realisiert, und beinhaltet einen neuen Abfrageprozess plus physikalischer Indizierung.
• Die SMOOTH Database ist ein verteiltes Multimedia-Datenbanksystem, das ein Framework für Abfragen, Navigation und Annotierung von Video-Medien-Material integriert.
• Multimedia Data Cartridge ist eine multimediale Erweiterung für Oracle uns stellt von seiner Funktionalität eine Komplettlösung eines MMDBMS dar.

auf MPEG-7 verlinkt

Rendering Taggingfehler korrigiert.

Acronyme, Absätze, Wordanführungszeichen done.

@Prof Kosch: small figure von Folie 10 fehlt done.

Review von Prof. Kosch eingearbeitet.

Unbekannte Character entfernt.

Zu große Graphiken bearbeitet.

Forschungsprodukte

1

Überblick über Forschungsprodukte

• Ausgewählte Systeme:
• MIRROR Database - Neuer Retrievalprozess mit Merkmalsgrammatik
• DISIMA Database - Neue Abfragesprache MOQL
• MARS Database - Neuer Abfrageprozess und Indizierung mit hybridem Baum
• SMOOTH Database - Neue Video-Annotierung
• Multimedia Data Cartridge (im Detail) - komplettes MMDBMS-System welches Oracle erweitert.

MIRROR Database

• MIRROR, eine Abkürzung für Multimedia Information Retrieval Reducing information OveRload, wurde an der Universität von Twente entwickelt.

Auto PC

Auto PDA_Phone

Auto

Neuheit: COBRA, ein Videodaten-Modell mit einer Grammatik zur besseren Annotierung von Multimedia-Daten.

DISIMA Database

• DISIMA, (Distributed Multimedia DBMS), wurde an der Universität von Alberta entwickelt. DISIMA ist ein Datenbanksystem für Bilder, das inhaltsbasierte Abfragen ermöglicht.
  
  Neuheiten: Die Abfragesprache MOQL und die Anfrageverarbeitung über Manager für Bilder, Indexe und Metadaten

Auto PC

Auto PDA_Phone

MARS Database

• MARS, eine Abkürzung für Multimedia Analysis and Retrieval System, realisiert ein integriertes Multimedia-Retrieval- und Datenbankmanagementsystem

Auto PC

Auto PDA_Phone

Auto

Neuheiten: Anfragebearbeitung mit Feedbackmechanismus, Indizierung mit hybriden Bäumen.

SMOOTH database

Der SMOOTH Prototyp, entwickelt an der Universität Klagenfurt, ist ein verteiltes Multimediadatenbanksystem. Integriert ist ein Abfrage-, Navigations- und Annotierungsframework für Video-Material, welches vom Inhalt einer Meta-Datenbank gesteuert wird.

Auto PC

Auto PDA_Phone

Auto

SMOOTH führte zur Entwicklung des Multimedia Data Cartridge, welches das Oracle-Basissystem erweitert.

2

Überblick über Forschungsprodukte

Im Folgenden wird ein Überblick über einige Multimedia-Datenbankmanagementsysteme gegeben. Die MMDBMS haben verschiedene Systemanwendungen und Schwerpunkte.

• MIRROR Database (Multimedia Information Retrieval Reducing information OveRload): Die Forschungsdatenbank wurde an der Universität von Twente (Niederlande) entwickelt und verwendet einen neuen Retrievalprozess mit Merkmalsgrammatik.
• DISIMA Database (Distributed Multimedia DBMS401): DISIMA ist ein Datenbanksystem für Bilder und bietet eine neue Abfragesprache (MOQL) an, die ein inhaltsbasiertes Retrieval von Informationen ermöglicht.
• MARS Database (Multimedia Analysis and Retrieval System): Durch die MARS-Datenbank wird ein integriertes Multimedia-Information-Retrieval und Datenbankmanagementsystem realisiert, und beinhaltet einen neuen Abfrageprozess plus physikalischer Indizierung.
• Die SMOOTH Database ist ein verteiltes Multimedia-Datenbanksystem, das ein Framework für Abfragen, Navigation und Annotierung von Video-Medien-Material integriert.
• Multimedia Data Cartridge ist eine multimediale Erweiterung für Oracle und stellt von seiner Funktionalität eine Komplettlösung eines MMDBMS dar.

MIRROR Database

MIRROR ist eine Abkürzung für Multimedia Information Retrieval Reducing information OverRload. Das System wurde an der Universität von Twente entwickelt und ist ein Forschungs-Datenbanksystem für multimediale Inhalte. Sie wurde entwickelt, um beim Datenmanagement digitaler Multimedia-Bibliotheken für besseres Verständnis zu sorgen. MIRROR stellt während der Interaktion mit dem Benutzer wahrscheinlichkeitstheoretische Inferenzmechanismen zur Verfügung.

Auto PC

Auto PDA_Phone

Auto

Obige Abbildung zeigt die Systemarchitektur von MIRROR. An der Spitze des MMDBMS läuft das Acoi-System (eine Plattform für Indizierung und Retrieval von Video- und Bilddaten). Das System stellt eine plug-in-Architektur zur Indizierung von Multimedia-Objekten zur Verfügung, indem mehrere Algorithmen zur Extrahierung von Merkmalen verwendet werden. Acoi stützt sich auf das COBRA (content-based retrieval) Videodaten-Modell. COBRA setzt eine Grammatik zur besseren Annotierung von Multimedia-Daten ein. Die Grammatik beschreibt low-level Merkmale (z.B. Farbe, Textur) und die Abhängigkeiten zwischen den Extrahierungsmechanismen und den Daten. Zusätzlich unterscheidet das System vier unterschiedliche Schichten des Video-Inhalts: die Rohdaten-, die low-level-Merkmals-, die Objekt- und die Ereignisschicht. Die Einteilung steht im Einklang mit den MPEG31-7-Standards (siehe auch LU MPEG-7 und MMDBS). Trotzdem werden keine standardisierten Instanzen verwendet, deshalb ist auch ein kompatibler Austausch von Metadaten nicht möglich.

DISIMA Database

DISIMA (ein Kurzwort für Distributed Multimedia DBMS) ist ein Bilddatenbanksystem, das inhaltsbasierte Abfragen ermöglicht, und wurde an der Universität von Alberta entwickelt.

Auto PC

Auto PDA_Phone

Auto

In Abbildung DISIMA Datenbankensystem wird die Architektur von DISIMA dargestellt. Der Prototyp wurde auf dem OODBMS ObjectStore aufbauend implementiert. ObjectStore wird hauptsächlich als Objektbehälter verwendet, da es OQL421 (Object Query Language) nicht unterstützt. Queries werden in der Abfragesprache MOQL (Multimedia Object Query Language) oder Visual MOQL405 (als Einschränkung für Bilder) spezifiziert. MOQL405 erweitert die Abfragesprache OQL421 und basiert auf Multimedia-Konstrukten, welche räumliche und zeitliche Abfragen erlauben. Die DISIMA API43 ist eine Bibliothek von low-level-Funktionen, die es den Anwendungen erlaubt, auf die Services des Systems zuzugreifen. Der Manager für Bilder und Bildobjekte implementiert das Typensystem und der Manager für Metadaten erlaubt die Erzeugung von Metainformationen über Bilder und Bildobjekte. Die Index-Manager erlaubt die Integration von benutzerdefinierten Indexen.

MARS Database

MARS (Multimedia Analysis and Retrieval System) realisiert ein integriertes Multimedia-Retrieval- und Datenbankmanagementsystem, das die Speicherung und den Retrieval multimedialer Daten ermöglicht.

Auto PC

Auto PDA_Phone

Auto

MARS stellt eine Menge von Tools für ein MMDBMS-backend zur Verfügung, wie Abbildung MARS Database zeigt. Die Errungenschaften des MARS-Projekts wird in vier Sub-Kategorien unterteilt:

• Anfragebearbeitung: inhaltsbasierte Multimedia-Retrieval-Techniken, einschließlich Modelle für Multimedia-Retrieval und interaktiven Anfrageverfeinerungstechniken. Für den Retrieval von Multimedia-Informationen wurde ein passender Ansatz für einen Feedbackmechanismus vorgeschlagen. Das Feedback behandelt die Relevanz der Informationen. Dadurch wird es möglich, die Informationsbedürfnisse der Benutzer in die Bilddatenbanken zu integrieren.
• Das Projekt beinhaltet das Konzept eines multimedialen Datenmodells für eine Indizierung und Retrieval des Inhalts, und auch für das Management der Datenbanken. Das multimediale Datenmodell beeinflusste die Entwicklung der Deskriptoren in den MDS416 (Multimedia Description Schemes) von MPEG31-7. Weiters wurde ein Extrahierungsmechanismus für Inhaltsverzeichnisse (ToC429) von Videos entwickelt.
• Für die Indizierung hochdimensionaler Merkmale in Multimedia-Datenbanken wurde auch eine hybride Baumdatenstruktur realisiert. Dadurch werden Abfragen, die auf Merkmalsähnlichkeiten beruhen, effizient unterstützt.
• Der Zugriff auf den multimedialen Inhalt im Mehrbenutzerbetrieb wird durch eine Nebenläufigkeitskontrolle gesteuert.

SMOOTH database

SMOOTH, ein verteiltes Multimediadatenbanksystem, wurde an der Universität Klagenfurt entwickelt und integriert ein Framework für Abfragen, Navigation und Annotierung für Video-Material. Gesteuert wird das DBMS401 vom Inhalt einer Meta-Datenbank.

Auto PC

Auto PDA_Phone

Auto

Abbildung SMOOTH database zeigt die allgemeine Systemarchitektur von SMOOTH. Der Videoserver stellt gezielten Zugriff zu physikalischen Videoströmen zur Verfügung (verwendet wurde der Oracle Video Server mit den unterstützten Protokolltypen UDP141 und RTP106.
Der Kern der Meta-Datenbank sind die Basisklassen Events, Objekte, Personen und Lage. Weiters beinhaltet die Meta-Datenbank Klassen für eine detaillierte Strukturierung der Videoströme, und um die Instanzen der semantischen Klassen mit dem Mediensegmenten in Beziehung zu bringen.
Die Interfaces stellen Möglichkeiten zur Annotierung, Abfrage und Navigation durch das Videomaterial zur Verfügung. Die Kernkomponenten sind das Annotationstool, das Abfragetool und der Präsentationsmanager. Das Annotationstool erlaubt die Strukturierung des Videos in Segmenten und die Annotierung nach semantischen Inhaltsmerkmalen. Das Abfragetool folgt einer textbasierten und strukturierten Technik zur Abfragespezifikation. Es ermöglicht die Definition von Videoabfragen durch die Spezifizierung von Konditionen auf Inhaltsmerkmalen. Die Ergebnisse einer Abfrage werden in kompakter Form repräsentiert, z.B. Serveradresse, Länge, Videobeschreibung, etc. Im Präsentationsmanager kann der Benutzer Präsentationen der Abfrageergebnisse mit zeitlichen Beschränkungen zusammenstellen.

SMOOTH führte zur Entwicklung des Multimedia Data Cartridge, welches das Oracle-Basissystem erweitert.

Multimedia Data Cartridge

1

Auto

Auto PC

Auto PDA_Phone

Auto

• Multimedia Data Cartridge ist eine multimediale Erweiterung des Oracle-DBMS401.
• Effektive Erweiterungen:
  • Multimedia Typsystem, Multimedia Indizierung,
  • Erweiterung der Abfrageoptimierung, um neuen multimedialen Typen und Methoden gerecht zu werden,
  • Erweiterung der Serveranwendungen, z.B. Ausführen der eingeführten Multimedia-Methoden.

Architektur

Auto PC

Auto PDA_Phone

2

Auto

Das Multimedia Data Cartridge (MDC430) ist eine multimediale Erweiterung des Oracle 9i Datenbankmanagementsystems. MDC430 stellt folgende Konzepte zur Verfügung: ein Typsystem für Multimedia, Indizierung für Multimedia, außerdem eine Multimedia-Abfragesprache, Zugriff zu Medien und Bearbeitung und Optimierung von Abfragen, um den neuen multimedialen Typen und Methoden gerecht zu werden. Weiters werden die Serveranwendungen erweitert, damit z.B. die eingeführten Multimedia-Methoden ausgeführt werden können. MDC430 beruht auf die Oracle Data Cartridge Technologie.

Auto PC

Auto PDA_Phone

Auto

Abbildung Multimedia Data Cartridge zeigt die Data Cartridge Technology. Diese Technologie wurde mit Oracle 8 eingeführt, um eine Oracle-Datenbank mit spezialisierten Datentypen erweitern zu können, die ein bestimmtes Datenformat und Abfragealgorithmen benötigen. Ausgebaut wird das ORDBMS425 mit einem neuen Typsystem, Serveranwendungen, Abfragebearbeitung, Abfrageoptimierung und Indizierung von Daten durch ein so genanntes Erweiterungsinterface.

Architektur

Auto PC

Auto PDA_Phone

Auto

MDC baut auf zwei Hauptkonzepte auf:

Erstens das Multimedia-Datenmodell: Das Multimedia Datenmodell ist ein Datenbankschema, das von MPEG31-7-Beschreibungen abgeleitet wurde. Es wurde mit der Hilfe des erweiterbaren Typsystems der Cartridge-Umgebung realisiert, das heißt, Deskriptoren des MPEG31-7-Schemas wurden auf Objekttypen und Tabellen abgebildet.

Zweitens das Multimedia-Index-Framework: Das Multimedia-Index-Framework stellt eine erweiterbare Indizierungsumgebung für Multimediaretrieval zur Verfügung. Das Index-Framework ist in die Abfragesprache integriert und ermöglicht effizientes Multimedia-Retrieval. Für die Abfragen und den Retrieval wird ein Framework von Suchbäumen verwendet: Generalized Search Trees (GiST431). Das GistService wird im externen Adressraum realisiert und läuft als eigener Prozess (Service) in der Betriebssystemumgebung. Das Service managt alle verfügbaren Zugriffmethoden. Weitere Informationen über GiST431 Framework folgen noch in dieser Lerneinheit.

Multimedia Schema basierend auf MPEG-7

1

Auto

• MPEG31-7 Typen und DB-Typen
  • Ausgewählte MPEG31-7 Typen werden zu DB-Typen / Tabellen
  • Verwendung des XML20-Typs, um die Anzahl der Datentypen in der Datenbank zu reduzieren
  • Reduzierung der Vererbungshierarchie durch das manuelle Überspringen abstrakter Typen
  • Navigation über Referenzen (top-down) und Schlüssel (bottom-up)
• Relationale Schlüssel (DOC_ID, PART_ID)
  • Um Daten von verschiedenen MPEG31-7-Dateien zu unterscheiden
  • Um mehrere Vorkommnisse desselben Elements im MPEG31-7-Dokument zu speichern
• MPEG31-7 Attribute / Elemente werden auf Attribute der DB-Tabellen abgebildet

Auto PC

Multimedia Schema basierend auf MPEG-7 PDA_Phone

2

Auto

Bei Multimedia Schemata, die auf MPEG31-7 basieren, werden aus ausgewählten Typen des MPEG31-7-Standards Datenbanktypen und -tabellen gebastelt. Oft wird als Datenbanktyp der XML20-Typ verwendet, dadurch kann die Anzahl der verschiedenen Datentypen in der Datenbank erheblich reduziert werden. Ein Beispiel folgt später.
Weiters wird auch die Vererbungshierarchie reduziert, indem man abstrakte Typen manuell überspringt. Navigiert werden kann über Referenzen (top-down) und Schlüssel (bottom-up).

In einem Multimedia Schema, das auf MPEG31-7 basiert, werden relationale Schlüssel (wie DOC_ID oder PART_ID) eingesetzt. Sie dienen einerseits der Unterscheidung von Daten verschiedener MPEG31-7-Dateien, und andererseits auch dazu, um mehrere Vorkommnisse desselben Elements im MPEG31-7-Dokument zu speichern.
MPEG31-7 Attribute und Elemente werden auf die Attribute der Datenbanktabellen abgebildet. Weiters wird das Anlegen von Metadaten für den Einfügeprozess zur Verfügung gestellt.

Auto PC

Multimedia Schema basierend auf MPEG-7 PDA_Phone

Auto

Die Abbildung Multimedia Schema basierend auf MPEG31-7 zeigt einen Auszug eines Multimedia-Schemas, das von MPEG31-7 abgeleitet wurde. Es zeigt die Abbildung eines MPEG31-7 StillRegionType (ein Vertreter für Bilder im MPEG31-7, der zum Beispiel ganze Bilder und Teile von ihnen darstellt) in objekt-relationale Datenbanktypen. Im Datenbankschema (in der Abbildung rechts) wird ein Objekttyp mit dem selben Namen (StillRegionType) angelegt. Einige der Attribute wurden als eigene Objekttypen deklariert, andere wurden mit dem speziellen SYS.XMLType definiert. Die Entscheidung, welcher Typ verwendet werden soll, beruht auf der Wichtigkeit möglicher Abfragen. Das Attribut mit dem Typ TextAnnotationType wird detaillierter dargestellt, da das Attribut wichtig für eine free-text-search in der Datenbank ist. Für andere Attribute hingegen wird der XML20-Typ verwendet, zum Beispiel wenn eher wenig Informationen für ein spezielles Bild darin enthalten sind. Dadurch soll vermieden werden, dass zu viele Datenbankobjekte und -tabellen eingerichtet werden, die aber alle nur wenig Inhalt haben. Die Informationen, die nicht in Objekttypen gespeichert sind, sind für Abfragen nicht verloren. Der Grund dafür ist, dass der XML20-Typ eine XPATH-Funktionalität zur Verfügung stellt, der es ermöglicht, Elemente und Attribute des Dokuments mit XPATH zu erreichen. Mit einer kombinierten SELECT und XPATH-Abfrage ist es also möglich, jede Information zu erreichen.

Multimedia Indexing Framework

1

Auto

• Hauptbestandteile:
  • GistService
    • Benutzt das GiST431-Framework (Generalized Search Trees)
  • GistWrapper
    • Stellt die Verbindung zwischen Datenbank und GistService über den GistCommunicator bereit.
  • Multimedia Index-Typ
    • Besteht in der Datenbank aus mehreren
      • Indextypen,
      • Operatoren, z.B. NN-suche:
        • rt_nearest_point(CLOB, CLOB, number, number);
      • Entsprechende Implementierunge

Auto PC

Auto PDA_Phone

2

Auto

Das Multimedia-Indexing Framework stellt effizente Indizierungsservices für das MMDBMS zur Verfügung. Neue Indextypen können sogar ohne Veränderung der Interfacedefinitionen hinzugefügt werden. Ein wichtiger Teil des Indizierungsframeworks ist das GistService.

Auto PC

Auto PDA_Phone

Auto

Das GistService (Abbildung Multimedia Indexing Framework) wird im externen Adressraum realisiert und ist in C++ implementiert. Es läuft als eigener Prozess (Service) in der Betriebssystemumgebung und verwaltet alle verfügbaren Zugriffsmethoden. Die aktuelle Version bietet Unterstützung für das GiST431 Framework (Generalized Search Trees - zum Beispiel X-tree und SR-tree) und weitere Zugriffsmethoden, die nicht auf balancierten Bäumen beruhen (z.B. LPC-files). Das Service ist in zwei Komponenten aufgeteilt: GistCommunicator und GistHolder. Der GistCommunicator ist ein COM-Objekt (component object model), das für die Interprozesskommunikation zwischen der Datenbank und den implementierten Zugriffsmethoden verwendet wird. Der GistCommunicator stellt die notwendige Funktionalität (z.B. Erstellen, Einfügen, Löschen) zur Verfügung, um auf die Indexstrukturen zuzugreifen. Der GistHolder managt alle zur Zeit laufenden Indexbäume und die Zugriffe auf diese. Jeder Indexbaum wird durch eine globale und eindeutige Kennung identifiziert, die zum Zugriffsprozess weitergeleitet wird.
Der GistWrapper ist eine shared library, der von der Datenbank verwendet wird, um eine Verbindung zum GistService herzustellen. Außerdem transformiert sie die Input- und Outputdaten, um sie für das GistService und die Datenbank verwendbar zu machen.
Ein Multimedia-Indextyp besteht aus mehreren Indextypen, ihren entsprechenden Operatoren (wie zB rt_nearest_point(CLOB, CLOB, number, number); ) und dazugehörigen Implementierungen.

Bibliographie

2

Auto

MIR99

DIS03

MAR02

SMO02

DK03

Kos04