Einführung birm2002

1

Das Projekt MusArt

• Musart ist ein Projekt des Institutes für Elektrotechnik und Computerwissenschaften der Universität von Michigan/USA
• Content-based Information Retrieval System
• Lokalisierendes MIR System

2

Das Projekt MusArt

Musart ist ein Music Information Retrieval Project, welches am Institut für Elektrotechnik und Computerwissenschaften der Universität von Michigan/USA durchgeführt wird. Musart ist ein content-based Music retrieval Sytem, dass heißt, eine Musiksuche wird nicht an Hand einer Textangabe , wie Name des Komponisten, Interpreten etc , durchgeführt, sondern es werden die Musikstücke der Datenbank rein auf ihren musikalischen Gehalt hin untersucht. Musart ist ein Lokalisierendes MIR System (siehe Lerneinheit Musikinformationsretrieval, MIR Systeme).

Architektur von MusArt birm2002

1

Abbildung: Architektur MusArt PC birm2002

Abbildung: Architektur MusArt PDA_Phone birm2002

Datenbestand von Musart

• Musikstücke verschiedener Genres
• Midi Format
• Bei Abfrage Midi in HMM konvertiert

Abfrage

• User singt Melodie
• Transkriptor konvertiert in "Time staped events"- Repräsentationsform
• Berechnung HMM

2

Abbildung: Architektur MusArt PC birm2002

Abbildung: Architektur MusArt PDA_Phone birm2002

Datenbestand von Musart

Musart beinhaltet eine große Anzahl an Musikstücken unterschiedlichsten Genres. Die Musikstücke sind als Mididateien (siehe Midi) repräsentiert. Ein Themenextraktionsprogramm extrahiert automatisch für jede Mididatei die für das Stück charakteristischen musikalischen Themen. Diese Themen werden dann als Metadaten gespeichert. Allerdings werden sie vorher vom Midi Format in ein Hidden Markov Modell konvertiert. Diese Form der Repräsentation ermöglicht eine höhere Trefferquote für einen Retrievalprozess, als wenn man es bei dem Midiformat beließe.

Abfrage

Um eine Abfrage an Musart zu machen, muss der Benutzer einen kurzen Teil einer Melodie singen, von der er glaubt, dass sie charakteristisch für ein gesuchtes Musikstück ist. Die gesungene Melodie wird über Mikrophon aufgenommen. Aus diesem Audiosignal extrahiert ein Transkriptionsprogramm (=pitch tracker) die Melodie. Diese Melodie wird ebenfalls als Hidden Markow Modell dargestellt. Es wird nun in einer Retrivalmaschine die gesungene Melodie mit den extrahierten Melodien verglichen. Als Ergebnis wird eine Rangliste jener Musikstücke geliefert, die der Abfrage am ähnlichsten sind.

Themen Extraktion birm2002

1

auto

• Große Musikstücke können meist mit Hilfe einer kurzen Melodie erkannt werden
  • Welche Themen Musikstück repräsentieren
    • Aufgabe von Musiktheoretikern

Automatische Themenextraktion

• Musart
  • Automatisierung der Arbeitsweise von Musiktheoretiker

Schwierigkeiten automatische Themen Extraktion

• Hauptthema kann überall vorkommen (am Anfang, in der Mitte am Schluss)
• Jede Stimme kann Hauptthema tragen
• Schwierige Entscheidung, welche Tonfolge Hauptthema ist, welche nicht

Musart MME

• MME-Tool zur Hauptthema Extraktion
• Basiert auf These, dass das Hauptthema innerhalb eines Stückes häufig wiederholt wird
• Arbeitsweise MME
  • alle sich mehrmals wiederholenden Tonfolgen des Musikstückes werden herausgefiltert
  • Kanditaten auf neun weitere Features untersucht
  • Wichtiges Feature ist " Intervallvielfalt"

Abbildung: Themenextraktion bei Dvoraks „amerikanischem Quartett“ birm2002 PC

bbildung: Themenextraktion bei Dvoraks „amerikanischem Quartett“ birm2002 PDA_Phone

2

auto

Das Herzstück des Musart Projektes ist die Themenextraktion. Dabei geht man von der empirischen Erfahrung aus, dass nicht der gesamte musikalische Inhalt eines Musikstückes zu dessen Repräsentation notwendig ist, um es eindeutig identifizieren zu können, sondern dass oft nur eine kurze Melodie reicht, um selbst große Symphonien oder ganze Opern damit wieder zu erkennen. Die Frage, welche Themen nun die repräsentativsten für ein bestimmtes Musikstück sind, beschäftigt schon lange Musiktheoretiker, Musiker und Musikbibliothekare. Für Musikarchive werden musikalische Themen von musiktheoretisch versierten Personen manuell identifiziert, indiziert und katalogisiert. Für ein Lokalisierendes MIR System ist eine solche Vorgangsweise praktisch unmöglich. Die manuelle Bearbeitung einer solch großen Anzahl an Musikstücken würde einen viel zu großen Kosten- und Zeitaufwand bedeuten.

Automatische Themenextraktion

Als Alternative zur manuellen Indizierung von Hauptthemen eines Musikstückes wurde für das Musart Projekt eine automatisierte Prozedur zur Themenextraktion entwickelt.

Schwierigkeiten automatische Themen Extraktion

1. Ein Hauptthema kann überall in einem Musikstück vorkommen. Man kann bei der Suche nicht davon ausgehen, dass es sich zum Beispiel immer am Anfang des Musikstückes befindet.
2. Gewöhnlich bestehen Musikstücke aus mehreren Stimmen (z.B. Geige, Bratsche, Violoncello..). Es gibt keine allgemeingültige Gesetzmäßigkeit, aus der man schließen könnte, in welcher Stimme ein Hauptthema vorkommt.
3. Innerhalb eines Musikstückes treten viele Tonfolgen auf, die fälschlicherweise als Hauptthema identifiziert werden können. Ein Beispiel sind Tonleitern, die oft in Musikstücken vorkommen, aber nur selten ein Hauptthema sind.

Musarts MME

Die Themenextraktion MME von Musart basiert auf der Erkenntnis, dass Komponisten wichtige musikalische Themen innerhalb eines Musikstückes öfter wiederholen. Wobei auch hier wieder zu beachten ist, dass die Wiederholungen von verschiedenen Stimmen gespielt werden können.

1. Schritt - Um solche Wiederholungen zu finden, wird das gesamte Musikstück in Tonsequenzen aufgegliedert, und zwar aus obigen Gründen für jede Stimme extra. Die Sequenzen werden dann untereinander verglichen und jene Sequenzen, die öfters als einmal vorkommen, als mögliche Kandidaten für ein musikalisches Hauptthema herausgefiltert.
2. Schritt - Die Kandidaten aus Schritt eins werden anschließend vom MME auf weitere 9 Features hin untersucht, die Hinweise darauf geben, bei welchen es sich nun wirklich um Hauptthemen handelt. Ein wichtiges Feature dabei ist die Vielfalt an Intervallen, die eine Sequenz beinhaltet.

In vielen Musikstücken werden in den Begleitstimmen immer wieder meist sehr kurze Sequenzen wiederholt. Beispiel sei eine Gitarre, die als Begleitung zu einer Gesangsstimme immer nur Akkordzerlegungen spielt. Solche Begleitstimmen zeichnen sich dadurch aus, dass innerhalb einer Tonsequenz nur wenig unterschiedliche Intervalle vorkommen.

Abbildung: Themenextraktion bei Dvoraks „amerikanischem Quartett“ birm2002 PC

Im gezeigten Abschnitt findet MME im ersten Schritt für alle vier Stimmen Tonsequenzen, die öfters wiederholt werden und somit Kandidaten für ein Hauptthema sind. Im zweiten Schritt werden die erkannten Sequenzen auf die Vielfalt ihrer Intervalle überprüft. Man betrachte die ersten beiden Stimmen, die erste und zweite Geige. Sie beinhalten eigentlich nur ein Intervall, nämlich eine Terz. Das ist für MME ein Hinweis, dass es sich bei diesen Sequenzen um reine Begleitstimmen handeln muss und scheidet sie richtigerweise aus. Dasselbe gilt für die Cellostimme. Bei der für die Bratsche erkannten Tonsequenz entdeckt MME eine Vielzahl unterschiedliche Intervalle zwischen den aufeinander folgenden Tönen und klassifiziert diese Tonfolge richtigerweise als ein Hauptthema.

bbildung: Themenextraktion bei Dvoraks „amerikanischem Quartett“ birm2002 PDA_Phone

Im gezeigten Abschnitt findet MME im ersten Schritt für alle vier Stimmen Tonsequenzen, die öfters wiederholt werden und somit Kandidaten für ein Hauptthema sind. Im zweiten Schritt werden die erkannten Sequenzen auf die Vielfalt ihrer Intervalle überprüft. Man betrachte die ersten beiden Stimmen, die erste und zweite Geige. Sie beinhalten eigentlich nur ein Intervall, nämlich eine Terz. Das ist für MME ein Hinweis, dass es sich bei diesen Sequenzen um reine Begleitstimmen handeln muss und scheidet sie richtigerweise aus. Dasselbe gilt für die Cellostimme. Bei der für die Bratsche erkannten Tonsequenz entdeckt MME eine Vielzahl unterschiedliche Intervalle zwischen den aufeinander folgenden Tönen und klassifiziert diese Tonfolge richtigerweise als ein Hauptthema.

Retrieval Maschine birm2002

1

Fehlerquellen

• Produktionsfehler
• Transkriptionsfehler
• Fehler in Datenbank

Umgang mit Fehlern

• Statistische statt deterministische Beschreibung von Melodie
• Musart verwendet HMM

2

Fehlerquellen

Wie bei allen MIR Systemen hat auch die Suchmaschine von Musart mit teilweise signifikanten Fehlern zu kämpfen. Die verschiedenen Fehler kann man in drei Gruppen von Fehlerquellen einordnen

• Produktionsfehler - Die gesuchte Melodie wird falsch gesungen. Das kann sein, weil der Benutzer sich an die korrekte Melodie nicht mehr genau erinnern kann oder weil er einfach nie gelernt hat, richtig zu singen.
• Transkriptionsfehler - Mit den heutigen Algorithmen ist eine fehlerfreie automatische Transkription, das ist die computerunterstützte Umsetzung von gesungener Melodie in Noten, noch nicht möglich.
• Fehlerhafte Daten in der Datenbank – Das sind Fehler verursacht durch eine falsche Themenextraktion. Wird ein Hauptthema eines Musikstückes der Datenbank als solches nicht erkannt, ist es bei einem Retrieval Prozess nicht auffindbar.

Umgang mit Fehlern

Die oben beschriebenen Fehlerquellen sind nicht deterministisch, das heißt, man kann im Vornherein nie sagen, welchen Fehler ein bestimmter Benutzer bei einem bestimmten Musikstück machen wird. Daher ist man übergegangen, statt einer deterministischen eine stochastische Beschreibung der Melodie zu wählen. Die verschiedenen MIR Systeme benutzen dazu die unterschiedlichsten Ansätze. Im Projekt Musart wird das Hidden Markov Modell (HMM) verwendet. Es werden sowohl die extrahierten Themen der Musikstücke, wie auch die gesungene Melodie als HMM repräsentiert.

Evaluierung von Musart birm2002

1

Testbedingungen

• Datenbank 277 Musikstücke
• Jedes Musikstück durch von MME extrahiertes Thema repräsentiert
• Verschiedene Sänger singen als Abfrage eine bestimmte Melodie

Ergebnisse

2

Testbedingungen

Der Korpus besteht aus 277 Musikstücken im Midiformat, die die Autoren von Musart aus dem world wide Web zusammen getragen haben. Es handelt sich dabei um Musikstücke aus der Klassik, Musicals, Jazz- und Popmusik der letzten 40 Jahre. Für jedes Stück dieser Stücke extrahierte MME signifikante Hauptthemen., insgesamt 2653. Jedes Thema wurde automatisch in ein Hidden Markov Modell umgewandelt und mit dem entsprechendem Index versehen, der angibt, von welchem Musikstück es sich ableitet.

Bei der Evaluierung des Systems wurde jeder Sänger dazu aufgefordert, zuerst drei allgemein sehr bekannte Lieder zu singen: Beatles „Here comes the sun“, Queens „Another One Bites the Dust“, und ein altes amerikanisches Volkslied namens „America the Beautiful “. Jeder Sänger sollte für jedes dieser Stücke eine Melodie singen, die ihm besonders charakteristisch dafür schien. In einem zweiten Durchgang musste jeder Sänger drei weitere Lieder aus den 277 Musikstücken auswählen und wieder die für ihn für das Musikstück charakteristische Melodie singen. Eine Suchergebnis wurde als korrekt anerkannt, wenn dass gesuchte Musikstück unter den ersten 5 in der Rankingliste aufscheint.

Ergebnisse

Die Tabelle zeigt, dass bei 41,7% der Fälle das gesuchte Musikstück im Suchergebnis an erster Stelle rangierte. 58% der Ergebnissee wurden als richtig anerkannt, weil das gesuchte Musikstück unter den ersten fünf platziert war .In der Tabelle sieht man, in wie vielen Fällen das gesuchte Musikstück an welcher Stelle der Rankingsliste gelegen hat.