ソーシャルブックマークの仕組みに基づく映像シーンアノテーション
1 はじめに
近年、ブロードバンド回線の普及によってインターネット上に大量の映像コンテンツが存在するようになり、検索や要約といったコンテンツの高度利用に対する需要が非常に高まっている。それら高度利用を実現するためには、映像コンテンツに対してその内容情報を記述したアノテーションが付与されている必要がある。我々は近年インターネット上のユーザ間コミュニケーション活動からアノテーションを獲得するための仕組みを備えたオンラインビデオアノテーションシステムSynvieを開発し、公開実験によって獲得されたアノテーションの分析を行っている。オンラインアノテーションには、情報が玉石混淆であるためその選別が必要であるという問題や、獲得されるアノテーションの量・質とユーザへの負担のバランスを考慮する必要があるという問題が存在する。
そこで本研究では、それらの問題を解決するためのオンラインビデオアノテーション手法としてソーシャルブックマークの仕組みを映像シーンに適用したシステムを開発した。本稿では、システムの提案に加え、獲得されるアノテーションの特徴についての考察やアノテーションを利用した応用の提案を行う。
2 映像シーンアノテーション
本章では、ソーシャルブックマークを映像シーンに適用することの有用性を述べ、本研究で開発したソーシャルシーンブックマークシステムについて述べる。
2.1 ソーシャルブックマーク
ソーシャルブックマークは、その利用目的が自身の情報収集・整理のためであることが多いため、ユーザの負担が極めて小さい行為であることに加え、付与されるタグやコメントはブックマークされたコンテンツの内容との関係が強いものであると考えられる。また、多くのユーザがシステムの提示するタグを参考にしてタグを付与している。
これらの特徴から、ソーシャルブックマークの対象を映像シーンとすることで、映像シーンに対する質の高いアノテーションをユーザにとって負担の少ない形で獲得することが可能であると考えられる。
2.2 映像シーンブックマークの登録と共有
本システムはSynvieに投稿された動画を対象としており、Synvieでビデオの視聴中にボタンをクリックすることでブックマークウインドウが開く。ここで、ボタンが押されたタイムコードを含むシーンに対応するシーンブックマークがすでに他ユーザによって共有されている場合、ユーザに対してそれらのシーンブックマークが提示され、ユーザはそれを選択することで共有することができる。そのようなブックマークが存在しない場合やブックマークを共有しない場合は、ユーザは図のインタフェースでシーン開始時間・終了時間(以後シーン区間とする)の設定を行う。シーン区間の設定はサムネイル画像を用いて行う。Synvieに登録されているコンテンツにはあらかじめ約2秒間隔のサムネイル画像が用意されている。「前」というボタンを押すと2秒前のサムネイル画像に切り替わり、「次」というボタンを押すと2秒後のサムネイル画像に切り替わる。シーン開始時間と終了時間をそれぞれのサムネイル画像によって設定し終えたら、タグ・コメントの記述を行いブックマークの登録を完了する。ここでは、それまでに蓄積されたアノテーションを元に自動生成されたタグが推奨タグとして提示され、ユーザはその中から選択してタグを付与することができる。表示されているタグをクリックすると、タグが[ ]に囲まれてコメント欄に追加される。推奨タグ以外のタグを付与する場合は、付与したいキーワードを[ ]で囲んでコメント欄に記述する。
本システムでは各シーンブックマークに対応したWebページが自動生成される。このWebページは他のユーザと共有され、任意のユーザがコメントの投稿、ブックマークの共有、ブログへの引用を行うことができる。映像シーン単位のWebページを生成することで、結果として映像シーンを話題としたコミュニケーション活動を促し、それにより映像シーンに対するアノテーションを効率よく獲得することが可能であると考えられる。
2.3 シーンプレイリストの作成
本システムでは、シーンブックマークを基に映像シーンプレイリストを作成できる。この機能は、ブックマーク時のシーン区間を設定する動機付けとなるだけでなく、その区間がシーンとして妥当なものである可能性を高める効果があると考えられる。ユーザは自身のシーンブックマークリストの中から任意の数のシーンを選択しプレイリストを作成することができる。シーンブックマークと同様に、各シーンプレイリストに対応するWebページが自動生成され、任意のユーザに共有される。シーンプレイリストに対してもコメントの投稿を行うことができる。これにより、複数シーンを話題としたコミュニケーション活動が可能となり、複数シーンに対するアノテーションの獲得が可能である。プレイリストの閲覧インタフェースを図に示す。
3 アノテーションの利用
本章では、獲得されるアノテーションを利用した応用システムの提案を行う。
3.1 映像シーン検索
本システムで作成されるブックマークは映像シーンを対象としているため、シーンブックマークを検索することが結果として映像シーンを検索することになる。ユーザが定義したシーン区間に対して、付与されるタグ・投稿されるコメント・引用したブログに書かれたテキストをアノテーションとして獲得することができるため、それらのテキスト情報からタグを生成し、タグによってシーンブックマークを検索する。また、筆者らが開発したタグを利用したビデオシーン検索システムに適用することで、ブックマークされたシーン区間以外のシーン検索も可能である。さらに、シーンブックマーク登録時に提示されるアノテーションから自動生成したタグがユーザに利用されることでタグの選別が可能となり、検索システムに反映させることができる。そのため、ブックマーク行為が行われるにつれて検索効率も向上すると考えられる。
3.2 シーン検索実験
映像シーンブックマークにおいて、共有されている人数が多いほどそのシーン区間の人気度や注目度が高いと考えられる。そのため、多くの人に共有されているシーン区間は、そのコンテンツのハイライト映像を生成する際に非常に有用であると考えられる。
ある映像コンテンツAに対するハイライト映像区間生成の流れを以下に示す。ハイライト映像の長さはコンテンツの10%から20%の間とした。x秒をコンテンツの10%の長さ、y秒を20%の長さとする。
- Aに含まれるシーンに対応するシーンブックマークを、共有しているユーザ数によってランキングを行う。
- シーン区間をランキング上位からシーンの合計時間がx秒を超えるまで選択し、それらをハイライト映像区間の候補とする。
- 候補の合計時間がx秒に満たない場合は、それらすべてのシーン区間(その合計時間をtとする)と、Aの先頭と終了から( x - t ) / 2秒のシーン区間をハイライト映像区間とする。
- 候補の合計時間がx秒以上y秒以下の場合は、それらのシーン区間をすべてハイライト映像区間とする。もしy秒を超えた場合は、候補中の最下位のシーンブックマーク以外のシーン区間(その合計時間をsとする)と、最下位のシーンブックマークのシーン開始から( y - s )秒のシーン区間をハイライト映像区間とする。
ハイライト映像は、コンテンツの一部分のみを視聴することでそのコンテンツを視聴するかどうかの判断を支援し、ユーザにとって本当に視聴したいものを効率よく検索する上での支援となる。
3.3 その他の応用
複数シーンを利用したプレイリストの作成・共有が行われることによって、映像シーン間の関連度や関係の抽出が可能である。それによって、ブックマークを利用した映像シーン推薦を行うことが可能であると考えられる。推薦アルゴリズムやその実装については今後の課題である。
4 おわりに
本稿では、ソーシャルブックマークの仕組みを映像シーンに適用することで、映像シーンに対する詳細なアノテーションを獲得するシステムの提案と、獲得されるアノテーションを利用した応用システムの提案を行った。今後の課題として、公開実験による実データの獲得と分析、それによるシステムの改善やアノテーションの新しい利用法の考案などが挙げられる。