音楽におけるアノテーションとその応用
1 はじめに
近年、コンテンツに対してメタデータ等を付与するアノテーションの必要性から、文書やビデオなど様々なデジタルコンテンツへのアノテーションを半自動的に作成する研究が進められている。。アノテーションを作成することにより、コンテンツ検索の精度向上や、変換、自動編集などが可能になる。
本研究では、デジタルコンテンツの中で特に音楽に注目した。音楽は鑑賞するだけでなく、ピアノ教室などの演奏指導、学校の授業、娯楽など多方面で利用される。それぞれのサービスに応じて音楽に有益なアノテーションが付与されていれば、サービス内容をより充実させることができる。
2 音楽アノテーションシステムMiXA (MusicXML Annotator)
デジタルコンテンツとしての音楽の記述形式は、MIDI、MP3などがあるが、これらは楽譜を表示させたり、曲を再生したりすることはできても、それ以上の情報が含まれていないため、検索や変換に向いている形式とは言えない。そこで近年MusicXML やWEDELMUSICといった、XML(Extensible Markup Language)ベースの音楽記述形式が作られた。XML形式であるため、多くのプログラミング言語で容易に解析や変換を行うことができる。しかし、これらの形式も、音楽のあらゆる情報を網羅しきれてはいない。そのため高度なタスクを実現しようとする際に必要となる情報が足りないという状況が考えられる。そこで、音楽コンテンツにアノテーションを付与することにより不足している情報を補う必要がある。
本研究では、音楽コンテンツに対して様々なメタ情報を関連付けることができる新しいシステムとしてMiXA (MusicXML Annotator)（ミキサと発音する）を実装した。以下に詳細を述べる。
音楽コンテンツの記述形式として、MusicXMLを採用した。アノテーションは、元のコンテンツのどの部分に関連付けられているかが重要な情報となる。楽曲をXML形式で記述するMusicXMLならば、XPath (XML Path Language)により、アノテーションが関連付けられた部分を容易に特定することができる。
図1: 音楽アノテーションシステムMiXAの画面例
曲の構造変換や、今までにない検索などいった、高度なタスクを実現するためには、そのタスクに必要となる情報を収集しなければならない。本システムでは実現したいタスクに応じて柔軟にアノテーションの形式を変更することができる。アノテーション定義XMLに、どの要素集合に、どのような型の情報を付与するかといったアノテーションの形式を記述すると、本システムはアノテーション定義XMLを解析し、そこに記述されているとおりのアノテーションを収集できるように、自動的にメニューを生成する。アノテーションの型はString、Boolean、Numeric、Chordから選択することができる。アノテーション定義XMLの一部を図に示す。
アノテーションを利用したシステムとして、キーワードやコード進行による絞り込み検索と、曲をユーザの嗜好に基づいて再構成するシステムを実現するために「意見・感想、解説、印象、曲の構成、コード」の5種類をアノテーション定義XMLに記述した。
図2: アノテーション定義XMLの一部
容易に多くのユーザからアノテーションを収集することができるように、Web ブラウザベースのシステムとした。また多くのユーザがアノテーションを行うので、アノテーションの信頼度を高めるために、本システムを利用する際にはユーザ登録を必要とする。
本システムの構成を説明する。まずユーザはWebブラウザからベーシック認証を経てログインする。アノテーションしたい曲を選択すると、サーバは該当するMusicXMLをXMLデータベースから取得し、楽譜を生成する。同時に、これまで付与されたアノテーションも楽譜に添付し、ブラウザに表示する。
ユーザは図のように楽譜に対する操作により楽譜中に現れるオブジェクトに対してアノテーションを行う。
保存の際には、アノテーションをMusicXMLに直接付け加えるのではなく、別ドキュメントとしてXMLデータベースに保存する。マルチユーザでのアノテーションを可能にするために、一曲に対するアノテーションはアノテータごとに保存する。
3 MiXAを用いた応用システム
本システムで収集されたアノテーションを用いて、音楽検索システム・音楽再構成システムを実装した。以下にそれぞれの特徴をまとめる。
3.1 検索システム
実装した音楽検索システムは、MusicXMLに含まれるタイトル、作詞作曲者といった情報に加え、意見・感想、印象、コード進行による検索が可能である。コード進行の検索については、例えば「C F」と「D G」のようなキーの違いを考慮し、キーのずれが小さいほど類似性が強いとしてランクを上げる。
さらに、「イントロが悲しい感じの曲」や「サビがC G F Cというコード進行の曲」といった、曲の構成による絞り込み検索が可能である。絞り込み検索では検索対象のキーワードである「悲しい」や「C G F C」というアノテーションを付与された要素が、「イントロ」や「サビ」という曲の構成のアノテーションを付与された要素にどれだけ含まれているかを計算し、ランクに反映させている。
この検索システムでヒットした曲の一覧から、MiXAのアノテーションシステムや、再構成システムに移行することもできる．
3.2 音楽再構成システム
「この曲の1番だけを聴きたい」「イントロ-サビ-アウトロの順で聴きたい」といった要求にこたえるために、再構成システムを実装した。元の曲に含まれている歌詞や楽器の情報に加え、MiXAによりアノテーションとして付与した曲の構成の情報を用いて、曲を切り出し再構成することが可能である。また、こうして再構成された新しい曲をダウンロードすることができる。その際の曲の形式はMusicXMLであるが、これは別アプリケーションによりMIDIなどに変換することができる。
4 おわりに
以上、音楽に対するアノテーションシステムMiXAと、MiXA で作成したアノテーションを用いた検索・再構成システムについて述べた。以下に今後の課題を挙げる。
コードと曲の構成のアノテーションによりコード進行の検索を可能にしているが、「あるコードに類似している曲」といった検索に応えるためには、これらのアノテーションだけでは情報が不足している。コード進行の構造を詳細にアノテーションできれば、コード進行の類似検索を行うことができる。また、本システムはアノテーションの作業を全て手で行っているが、アノテータの負荷を軽減するためにアノテーションを半自動生成する必要がある。さらに、検索・再構成の他にも、本システムを用いた応用システムを実装していきたい。