2.1 XMLベースのシステム

音楽コンテンツの記述形式として、楽譜を形成するために十分な情報を記述できるMusicXMLを採用した。また音楽コンテンツに対するアノテーションの内容もXMLとして記述できるよう設計した。以降、アノテーションを記述したXMLをアノテーションXML と呼ぶ。

図1: アノテーションXMLの一部

図は曲の解説に関するアノテーションを表している。アノテーションが関連付けられている先の要素は、sourceタグ内に、XPath(XML PathLanguage)の列として記述される。アノテーションの内容はinformationタグ内に記述される。dataType属性のstring とは、このアノテーションのデータ型が文字列型であることを表している。本システムでは、文字列型の他に、数字型やコード型といった複数のデータ型のアノテーションを作成することが可能である。データ型については次節において詳しく述べる。

2.2 サービスに応じた柔軟なアノテーション定義

従来の多くのアノテーションシステムは、収集するアノテーションの内容や形式が固定されている。しかし実現したいサービスによって最適なアノテーションの内容や構造が異なる場合が多い。そこでサービスに応じて柔軟に収集するアノテーションの形式を定義することができる仕組みを実装した。

XMLドキュメントに、どの要素に対して、どのような形式のアノテーションの関連付けを許すかといった定義を記述すると、システムはXMLに記述されている情報を解析し、その記述どおりの形式のアノテーションを収集するようにメニューを動的に生成する。以降、このXMLドキュメントをアノテーション定義XML と呼ぶ。

図2: アノテーション定義XMLの一部

図のXMLは、曲の構成に関するアノテーションの定義を記述したものである。dataTypeタグではアノテーションのデータ型を、string(文字列型)、numeric(数字型)、boolean(真偽型)、chord(コード型)の4種類から選択する。コード型は、音楽における和音を記述するための型である。アノテーションの内容を選択式にする場合は、selectタグ内に選択することのできるアノテーションを記述することができる。

どの要素に対してアノテーションを許可するかを記述したのがgroupタグである。図の場合、音符、休符、歌詞を同時に複数含む要素集合に対して関連付けることができる。また、アノテーションに対してアノテーションの関連付けを許すことも可能である。コード進行のように、一つの単純なアノテーションでは記述しきれないような情報でも、階層化したアノテーションの集合により記述することが可能である。

2.3 Webブラウザを介したアノテーション

主観的な感想、意見など、楽曲の解釈に関する情報は音楽を意味的に理解するための重要な情報であるといえる。本システムは、このような主観的な情報を幅広いユーザから収集し、多くの応用システムに役立てるために、煩雑な手続きを必要としないWeb ブラウザベースのシステムを採用した。

多人数のユーザを対象とする場合、アノテーションの信頼性を考慮する必要がある。そのため、アノテーションを行うユーザはあらかじめユーザ登録を通して個人プロファイルのXMLを作成する。本システムを利用する際にはベーシック認証を通してログインする。アノテーション作成の際には、同時にユーザのID も保存するため、誰がどのアノテーションを作成したかを識別することができる。このようにアノテータを特定する機能を持っているという事実により、間違った情報の書き込みが減り、アノテーションの信頼度を高めることができる。

2.4 楽譜に対するアノテーション

従来の音楽に対するアノテーションの研究として、楽曲に対して曲調を関連付ける研究などがある。しかし多くの楽曲は認識する箇所によって印象が異なるため、詳細に曲調検索を行う場合などには情報が足りない。そのため、楽曲を構成する詳細な要素に対してもアノテーションを関連付けることができる必要がある。そこで、本システムではユーザに楽譜を提示し、楽譜中に現れる音符、歌詞などの要素に対して情報を関連付けられるようにした。また必要に応じて実際に楽曲を演奏することで直感的に楽曲中の要素を理解できるように設計した。

ユーザに提示される楽譜には、図のようにその音楽コンテンツに関連付けられているアノテーションを可視化したオブジェクトが重ね合わされて表示される。以降このオブジェクトをアノテーションオブジェクトと呼ぶ。

図3: MiXAの画面例

アノテーションの作成手順を説明する。まず要素を選択し、必要であれば選択部分を視聴して確認する。次に図のようにメニューからアノテーションの種類を選択し、その後具体的な情報を記述する。このメニューは、あらかじめ記述されているアノテーション定義XMLに従い、選択済みのオブジェクト集合に対して関連付けを許すアノテーションの一覧を動的に生成している。

図4: 選択した要素に対するアノテーション

文字列型のアノテーションは、サブウィンドウのプロンプトから記入する。またアノテーション定義XMLには、指定した内容に対応する選択式のアノテーションを記述することができるが、その場合アノテーションは右クリックメニューからの選択により容易に作成することができる。一方、コード型のように複雑な構造を持つデータ型の場合は、サブウィンドウから詳細な内容を記入する。

2.5 システム構成

図5: MiXAのシステム構成

図は、本システムの構成の概要である。ユーザはWebブラウザからベーシック認証を通して本システムにアクセスし、一覧から、または後述する検索システムから曲を選択する。Webサーバは要求された曲のMusicXMLをデータベースから取り出し、ブラウザで表示できるSVG(Scalable Vector Graphics)形式の楽譜に変換する。各要素には、元のMusicXML のどの部分を指すオブジェクトかを指し示すXPathが付属されている。また楽譜には、該当する曲に関するアノテーションを視覚的に重ね合わせてブラウザに表示する。

アノテーションの保存の際には、アノテーションの内容や、楽譜上の座標などをサーバに送信する。サーバは、1ユーザ、1コンテンツにつき一個のアノテーションXMLを生成し、XMLデータベースに保存する。

3.1 音楽検索

本検索システムでは、MusicXMLに記述されているタイトルや作詞・作曲者の情報に加えて、アノテーションを用いたキーワード検索、コード進行による検索、曲の構成による絞り込み検索を行い、算出された検索ランクの高い順に結果一覧を作成する。この一覧からもMiXAのアノテーション画面や、後述する再構成システムへ移行することが可能である。以下にキーワード検索、コード進行による検索、曲の構成による絞り込み検索の詳細を述べる。

3.2 音楽再構成

再構成システムでは、歌詞、楽器パートと曲の構成から、ユーザが特に聴きたい、楽譜を表示したい部分を選択することにより、容易に曲を再構成することができる。例えば元の長い曲をイントロ→サビ→エンディングという構成に縮めるといったことが可能である。

ユーザはまず、MiXAの楽曲一覧ページや検索システムの検索結果一覧から、再構成を行いたい曲を選択する。図の左側は再構成前の楽譜を表示した画像である。ブラウザの左側のフレームから、ユーザが取得したい曲の構成、歌詞の有無や楽器パートの選択を行い再構成の要求を行うと、サーバはユーザの再構成の要求を反映させたMusicXML を作成し、楽譜のSVGに変換して図の右側のように再構成後の楽譜を表示する。再構成されたMusicXMLをダウンロードすることも可能である。

図6: 元の楽曲(左)と再構成後(右)

5.1 CDDB

CDDBは音楽CDに収録された楽曲情報を検索・認識するデータベースである。CDDBは音楽コンテンツそのものに対して、タイトルなどのアノテーションを付与することができる仕組みである。しかし、音楽コンテンツの詳細な部分要素に対してのアノテーションはこの仕組みでは実現することができない。楽曲の詳細部分に対してアノテーションを行うためには、本研究で実装したように、楽譜に現れるオブジェクトに対するアノテーションなどのアプローチを取る必要がある。

5.2 パピプーーン

パピプーーンは、GTTMのタイムスパン簡約と演繹オブジェクト指向データベースを利用し、音楽を要約するシステムである。GTTM (GenerativeTheory of Tonal Music) \cite{gttm}とは、音楽理論のグルーピング構造と拍節構造を分析する代表的な手法であり、タイムスパン簡約とは、これらの構造を用いて解析されるもっとも安定的なまとまりを形成する階層構造である。パピプーーンによりユーザとのインタラクションを通じて、質の高い要約を生成することができる。要約の前処理としてTS-Editorを用いてGTTMのタイムスパン簡約に基づく曲分析を行う。MiXAは楽譜を使用しているが、TS-Editorはピアノロールとツリー形式で楽曲を表現している。

6.1 メタ情報の自動生成とその編集

曲調やコード進行のように、ある程度機械的に自動解析できる情報については、曲を登録する際にそれらの情報を自動生成することが可能である。しかしその情報は十分な精度ではない場合が多い。ユーザがその情報を編集、訂正し、精度のよい解析結果に昇華することにより、さらに高度な応用につなげることができる。このように、機械が生成した粗い情報を、人手でユーザが編集、訂正していくという方式をとれば、アノテーションのコストをかなり削減することができる。

6.2 別の視点でのアノテーション

楽譜に対してのアノテーションは関連付ける要素をを詳細に選択できるというメリットがある。しかしアノテーションを行うユーザの労力は比較的大きくなってしまう。楽譜上でのアノテーションの他に、視聴時に簡単なボタンにより印象を関連付けていく手法や、楽曲の作成時の履歴を利用するといった手法を併用し、アノテーションのコストを下げる必要がある。

6.3 アノテーション応用システムの拡張

多くのユーザは「サビの明るい曲」という検索要求を行った場合、サビの部分をまず聴きたいと考えるだろう。そこで、検索に使用された曲の構成のアノテーションを用いて検索された曲を自動的に再構成し、検索結果一覧から再構成済みの曲のプレイリストを作成することができるシステムを実装する予定である。

また遠隔音楽教育について検討中である。教師と学習者がアノテーションシステムを介してインタラクションを行うことにより、楽曲に対する理解を深めると同時に学習者の演奏練習の質を高めるシステムである。