映像と論文へのアノテーションに基づく論文読解支援
1 はじめに
より良い研究活動を行うためには，できるだけ多くの論文を読解し，自らの研究に反映していくことが必要である．しかし，論文だけを読んでも研究内容を理解できない場合がある．このような場合，論文以外の他の情報を参照することが有効であると考えられる．
他の情報を参照する際に，特に映像は，論文では表現できない様々な情報を含んでおり，論文と併せて視聴することで理解を深めることができる．しかし，一般に論文と映像は共に様々な意味情報を含んでおり，複数の部分に分けることができる．そのため，映像を論文と一緒に閲覧する際，論文の部分に関連するシーンを選択的に視聴しないと理解が深められないと考えられる．
そこで本研究では，映像に含まれるシーンと論文に含まれる部分の定義，そしてこれらの間の関連性についての情報をアノテーションとして記録・蓄積した．そして，得られた関連情報を利用することで複数の映像と論文の閲覧を支援する仕組みを実現した．
2 映像と論文のアノテーションの取得
本研究でアノテーションを取得するために実現した仕組みの全体像を図に示す．まず最初に，映像と論文それぞれに対してアノテーションを付与することで，映像シーンと論文部分を決定する．そして，映像シーンと論文部分を引用し，両者の関連付けを行う．
図1: アノテーションを作成する仕組みの全体像
2.1 映像へのアノテーション
本研究では映像シーンの情報を取得するために，我々の研究室で研究・開発されてきたアノテーションシステムSynvieの機能を研究室内部向けに拡張した映像アノテーションシステムSharvieを利用した．Synvieにおいて映像シーン引用ブログを執筆するために作成したユーザインタフェースの仕組みを拡張して，本研究で利用する映像シーンを定義するインタフェースを実現した．これによって，シーンの開始・終了時間，シーンの代表サムネイル，シーンタイトル，コメントといった情報をアノテーションとして記録・蓄積する．
2.2 論文へのアノテーション
本研究では，論文に対するアノテーションを作成・閲覧するためのWebシステムであるTDAnnotatorを開発した．TDAnnotatorを利用することで，論文に対して論文部分の情報と，部分に対するコメントなどのテキスト情報をアノテーションとして記録・蓄積する．
2.3 映像・論文の部分共引用によるアノテーション
上記の2つのシステムで取得した映像シーンと論文部分の間の関連付けを行うために，本研究では個人の知識活動を支援するシステムであるDRIP(Discussion-Reflection-Investigation-Preparation)システムを利用した．DRIPシステムでは，スライドやノートなどの様々な情報を引用して，それらの間の関係を扱うことができる．
本研究では，DRIPシステム上で新たに映像と論文についての情報を扱えるように拡張した．これによって，映像シーンと論文部分，あるいは論文部分間の関連情報をDRIPシステム上で記録・蓄積することができる．
3 論文読解支援システムDocvie
以上の仕組みを利用して映像と論文の関連情報を記録・蓄積することで，映像と論文から構成されるネットワークが形成される．これを利用することで，複数の映像と論文を関連を意識して閲覧し，理解を深めることができると考えられる．
本研究では，複数の映像と論文を閲覧する論文読解支援システムDocvieを実現した．Docvieでは，1つの論文を中心に関連情報を参照しながら閲覧する論文中心モードと，1つの映像を中心に閲覧する映像中心モードの2種類の閲覧方法が提供されている．この機能によって，Docvieでは，関連情報を利用し複数のコンテンツを関連を意識して閲覧することを支援する．
3.1 論文中心モード
論文中心モードの画面を図に示す．画面左側は，中心として閲覧する論文が表示される．論文上には，論文部分が矩形によって表示される．この矩形を選択することで，画面右側の関連情報のリストでは，論文部分に関連付けられた映像シーンと論文部分の情報が展開される．
画面右側の関連情報の部分には，中心として閲覧する論文に関連付けられた映像シーンと論文部分についての情報がリスト表示される．リストの項目を選択することで詳細な情報が表示される．映像シーンを含む元の映像コンテンツや，論文部分を含む元の論文を詳しく閲覧したい場合，各コンテンツを中心とした閲覧画面を開いて閲覧することができる．
図2: 論文中心モード
3.2 映像中心モード
映像中心モードの画面を図に示す．画面左側は，中心として閲覧する映像が表示される．映像の下部には，タイムラインとシーンのサムネイルリストが表示される．
図に示すように，映像コンテンツ内の，アノテーションが付与されたシーンの時間区間がタイムライン上にハイライト表示される．これによって，ユーザは映像のどの部分がシーンとして定義されているかを俯瞰することができるため，映像へのアクセスを行う手掛かりになると考えられる．
サムネイルリストには，映像に含まれる各シーンのサムネイルと，そのシーンの時間情報，シーンタイトルが表示される．サムネイルを選択することで，対応するシーンが上部のプレイヤーで再生される．サムネイル画像を表示することで，ユーザは映像を再生する前にシーンの情報を閲覧することができるため，映像へのアクセスを効率的に行うことができると考えられる．
画面右側の関連情報の部分には，映像中心モードと同様に，映像に関連付けられた映像シーンと論文部分についての情報がリスト表示される．このリストは，閲覧中の映像の再生に同期し，再生中の映像シーンに関連付けられた情報を自動的に展開する．
図3: 映像中心モード
4 まとめ
本研究では，映像シーンと論文部分の引用と関連付けの情報を記録・蓄積し，そこから得られた関連情報を利用することで，複数の映像と論文を閲覧し，理解を深める論文読解支援システムDocvieを実現した．
今後の課題として，関連情報が膨大になった場合に，コンテンツの閲覧中にどの情報を優先的に参照すれば良いかをユーザに対して推薦するための仕組みが挙げられる．これを解決する一つの方法として，Docvieでの各ユーザの閲覧履歴を利用することが考えられる．コンテンツの閲覧中に複数のユーザが参照した情報は，他のユーザにとっても役に立つ情報である可能性が高いため，優先的に閲覧するようにユーザに推薦するべきだと考えられる．