2.1 論文へのアノテーション

論文に対するアノテーションを作成・閲覧するために，TDAnnotatorを開発した．TDAnnotatorの論文読解インタフェースを図に示す．この画面では論文の各ページが画像に変換され，アノテーションが付与された論文の部分が，状態ごとに色分けされた矩形で表示される．この矩形は，ユーザが論文の一部分に対してアノテーションを付与するために定義・作成する論文の部分要素である．以後この矩形領域を論文部分と呼ぶ．赤い矩形で表される論文部分は（図中の論文中段右側の細線の矩形）は，アノテーションが付与されていることを示す．また，青い矩形で表される論文部分（同，左上の太線の矩形）は，節で述べる関連付けの仕組みを用いて，映像シーンが論分部分に関連付けられていることを示しており，これは章で述べる実験で利用する．

図2: TDAnnotatorの画面

TDAnnotatorでアノテーションを行うためには，まず，画面に表示される論文上でマウスドラッグ操作を行って矩形範囲を選択（続けて複数の矩形範囲を選択することで複数の矩形範囲に対するアノテーションも可能）し，選択した矩形範囲をクリックすると，その矩形に対するアノテーションを入力するダイアログが表示される．このダイアログで矩形内容（本文，数式，グラフ，表，図，タイトル），文章タイプ（翻訳，書き起し，コメント），アノテーションの本文を入力する．

なお，すでに定義された論文部分の内側の部分に対してアノテーションを行う場合にも新たに，アノテーションを付与する場合と同様に，インタフェース上でドラッグ操作を行うことで新たな論文部分を定義できる．このような他の論文部分に包含された論文部分を選択する場合には，1回目のクリックが論文部分の選択となり，選択された論文部分がハイライトされ，2回目のクリックでダイアログが表示される．

アノテーションの登録を行うと，データベースには上述の矩形範囲（論文のページ番号，位置，サイズ）の集合，矩形内容，文章タイプ，アノテーションの本文，論分部分を含む論文のID，アノテーション作成者の全システム共通のIDが記録される．

また，他のユーザが定義した論文部分やユーザ自身が以前に定義した論文部分に対してアノテーションを付与することもできる．論文上に配置された論文部分をクリックするとアノテーション一覧が表示され，「Add Annotation」ボタンを押すことで既存の論文部分に対してアノテーションを付与することができる．この場合，データベースにはすでに定義された矩形範囲のIDとアノテーションが関連付けられて保存される．

付与されたアノテーションは付与したユーザのみが編集・削除を行える．ただし，矩形範囲に付いては，指し先のないアノテーションを防ぐために，他者がアノテーションが行っていたり，後述の仕組みで関連付けが行われている場合は，削除することができない．

論文上に表示される矩形を選択することで，付与されているアノテーションの内容を閲覧できる．また，論文に対するアノテーションはユーザ間で共有され，あるユーザが付与したアノテーションが後続のユーザの読解時の手がかりとなると考えられる．

2.2 映像へのアノテーション

図3: 映像シーンを引用するインタフェース

図に映像シーン引用を行うためのユーザインタフェースを示す．引用を行うためには，まず引用したいシーンを含む映像コンテンツを，ユーザの閲覧履歴やキーワード検索を用いて読み込む．画面は，右上に配置された映像を再生するためのプレイヤー，そして，プレイヤーの水平方向・垂直方向に一定時間ごとのサムネイル画像を並べたシークバー（以下，サムネイルシークバーと呼ぶ）によって構成される．映像の再生を開始すると映像に同期して左右，上下にそれぞれサムネイル画像が移動する．また，サムネイル画像をドラッグすることで，プレイヤーをシークできる．水平サムネイルシークバーは，1秒間隔でサムネイル画像が表示され，引用する映像シーンを決定するために利用する．垂直サムネイルシークバーは映像を素早くシークするために利用する．

シークして引用したいシーンを発見したら，水平サムネイルシークバー上で開始フレームと終了フレームを選択することで引用するシーン区間を設定できる．引用するシーン区間を決定すると，映像シーンがシーン作成欄に追加されタイトル入力欄が表示され，タイトルを設定するとシーンの作成が完了する．これにより，映像シーンの開始・終了時間，タイトルを獲得できる．

すでに定義されたシーンはサムネイルシークバー下部に表示され，自分で定義したシーンと同じように，他のユーザが定義したシーンに対して新たなアノテーションを付与することができる．

定義したシーンは，TDAnnotatorと同様に指し先のないアノテーションを防ぐため，他人がアノテーションを付与していたり，後述の仕組みで関連付けされている場合には削除できない．

データベースには，シーンの開始時間，終了時間，タイトル，シーンを含む映像のID，全システム共通のアノテーション作成者のIDが映像シーンの情報として記録される．

2.3 論文と映像の部分要素の関連付け

本研究では，論文・映像の部分要素間の関係情報を獲得するための仕組みとして，引用アノテーションシステムを利用した．このシステムは，ユーザがスライドや，そのスライドを利用して発表した会議において他者から得られた発言（映像とテキストによって表される）を引用しながらメモを書き，メモの内容を振り返ったり俯瞰したりしながら自身の活動をよりよくしていくためシステムである．ユーザは，クライアントアプリケーションを自身のPCにインストールして利用する．本研究では，引用アノテーションシステムで引用できるコンテンツとして新たに映像と論文を追加し，引用する映像と論文の部分要素に関するメタ情報を蓄積しているTDAnnotator（論文），Synvie（映像）などの各システムから，コンテンツの部分要素を読み込み，必要な部分を引用したメモを作成できる．ユーザが同じメモにコンテンツの部分要素を引用（これを共引用と呼ぶ）したという情報を用いることで，部分要素間の関係を獲得する．

部分要素を管理する各システムには，引用アノテーションシステムにコンテンツの部分要素を読み込むために，部分要素一覧画面が用意されている．引用アノテーションシステムから「映像シーンの検索」「論分部分の検索」メニューを選択すると，ブラウザが起動して各システムの一覧画面に遷移する．一覧は，コンテンツのタイトル，部分要素に付与されたアノテーション本文などのテキストを対象とした全文検索によって絞り込むことができる．そして，部分要素ごとに「引用」ボタンが設置されており，このボタンを押すと，クライアントアプリケーションが立ち上がって，部分要素が読み込まれノードとして表示される．

図に引用アノテーションシステムで表現されるノードの種類を示す．あるコンテンツの部分は，コンテンツを表すノードとそれに接続された部分要素を表すノードによって表現される．これは，一つのコンテンツから複数の部分を引用した場合に，それらが元は一つのコンテンツから引用されたことを明示するためである．映像シーンは，その映像シーンを含む映像ノードに接続された部分要素を表すノードとして表現される．映像ノードをダブルクリックするとSynvieで再生され，映像シーンノードの場合は，映像中の特定のシーンのみが再生される．論文部分も映像シーンと同様に，論文ノードに接続された部分要素を表すノードとして表現され，論文ノードをダブルクリックすると該当論文がTDAnnotatorで表示され，論文部分ノードの場合にはTDAnnotator上で論文部分がハイライトされる．

次に，図に，読み込んだコンテンツの部分要素を引用してメモを作成する手順を示す．ユーザは，引用アノテーションシステム上で引用したい映像シーンおよび論文部分ノードを選択して（図 (1)），コンテキストメニューを開き「メモ」を選択する（図 (2)）．すると，メモのタイトルを入力するフォームが表示され（図 (3)），ユーザがタイトルを入力し，決定することでメモノードが作成される（図 (4)）．作成されたメモノードをダブルクリックすると，内容を編集でき，必要に応じて映像シーンや論文部分ノードの追加・削除を行うことができる．

データベースには，メモのテキスト，関連付けられた部分要素のURIの集合，それぞれの部分要素を包含するコンテンツのURIが全システム共通のアノテーション作成者のIDと関連付けられて保存される．引用アノテーションシステムは個人の研究活動を支援するためのシステムであるため，作成されるメモは個人的な内容を含む可能性があり，メモのテキスト内容は共有するのに適さない．そのため，メモに引用されたノード間の関係情報のみを他のユーザと共有する．

図4: 引用アノテーションシステムにおけるノードの種類

図5: 引用アノテーションシステムにおける関連付け手順

3.1 Docvieのコンセプト

図6: 論文と映像の部分要素間の関係の模式図

論文の読解を支援するためには，その論文に関係するコンテンツを効率的に閲覧できるようにする必要がある．Docvieでは，図に示すどのコンテンツから閲覧を開始しても，部分要素間の関係を辿ることで，すべてのコンテンツを閲覧することができる仕組みを実現した．

Docvieでは論文だけでなく，論文・映像をユーザが注目しているコンテンツの種類に応じてインタフェースを切り替えて閲覧できる．論文に注目している場合には，論文の読解中に関係情報を利用して，論文部分に関連した映像シーンなどを視聴しながら閲覧できる．また，映像に注目している場合には，映像の視聴中にシーンに関連する論文部分などを参照しながら閲覧できる．それぞれのコンテンツの種類に応じたインタフェースを切り替えて閲覧することで，そのコンテンツに対する理解を深めることができると考えられる．

この2種類の閲覧インタフェースを，論文を主として閲覧する論文中心モード，映像を主として閲覧する映像中心モードと呼ぶ．

図7: Docvieにおけるデータ取得の流れ

Docvieにおけるデータ取得の流れを図に示す．まず，ユーザがコンテンツを読み込むと，Docvieはコンテンツの種類（論文，映像）に応じてTDAnnotator，Synvieが提供するAPIに，そのコンテンツのURIをキーにコンテンツの情報を問い合わせる（図 (1)）．APIはそのコンテンツの基本的な情報（論文の場合は，画像の情報やタイトル，著者など．映像の場合は映像ストリームのURIやタイトル，作者など）とともに，コンテンツの部分要素の情報（論文の場合は，矩形範囲が定義された論文のページ番号と位置・サイズの集合，映像の場合はシーンの開始・終了時間）と，その部分要素に付与されたアノテーション（アノテーション本文，アノテーション作成者のIDなど）のリストを返す．次にDocvieは，取得した部分要素のURIのリストをキーに，引用アノテーションシステムに関係情報を問い合わせる（図 (2)）．引用アノテーションシステムは，与えられた部分要素に関連付けされた部分要素のURIのリストを返す．Docvieは，受け取った部分要素のURIのリストをコンテンツの種類ごとに分けて，TDAnnotatorおよびSynvieにそれぞれ問い合わせる（図 (3)）．それぞれのシステムは部分要素とそれを含むコンテンツの情報を返す．Docvieは，このようにして取得したデータを用いて，ユーザが閲覧しようとしているコンテンツに応じてユーザインタフェースを変更する．

以降，それぞれのインタフェースについて詳述する．

3.2 論文中心モード

図8: Docvieの論文中心モードの画面例

論文中心モードの画面を図に示す．画面の上部には，現在開いている論文を含むコンテンツがタブとして配置されている．論文中心モードで表示しているコンテンツだけでなく，後述する映像中心モードで開かれているコンテンツもタブとして表示され，タブを切り替えながら閲覧できる．タブバー直下のタイトルバーには，現在開いている閲覧画面を閉じるためのボタン，閲覧モードを表わすアイコン，コンテンツのタイトルが表示される．そして，画面の左側にTDAnnotatorと同等の論文閲覧インタフェースが，右側に論文に関連するコンテンツの一覧が表示される．この画面では，主として閲覧する論文を，関連コンテンツを参照しながら読解することで理解を深めることを支援する．

論文上には，TDAnnotatorでアノテーションが付与された論文の部分要素を矩形で表現している．TDAnnotator上での表示と同じく，アノテーションが付与された論文部分は赤い枠線の矩形（論文読解インタフェース上の細線の矩形）で，映像シーンが関連付けられている論文部分は青い枠線の矩形（同，太線の矩形）で表示される．これらの部分は，ユーザによって情報が付与されている部分であり，付与されている情報を読解の手がかりとして参照することで，論文に対する理解を深めることができると考えられる．論文上の矩形を選択すると，関連コンテンツ一覧の中にある，選択した論文部分に関連するコンテンツにフォーカスし展開表示される．

関連コンテンツ一覧には，閲覧している論文に関連するコンテンツが，コンテンツの種類を把握しやすいように種類ごとに色分けされて表示される．映像が青色（関連コンテンツ一覧の上側）で，論文は緑色（同，下側）である．

関連コンテンツ一覧に表示される関連する論文の情報は，初期状態では，それぞれの論文のタイトルが表示される．タイトルを選択すると，その論文の部分要素に付与されたアノテーションの書き出しが一覧表示される．さらに部分要素を選択すると，その部分要素の内容とそこに付与されたアノテーションが表示される．またそれぞれに「詳しく閲覧」ボタンが設置されており，このボタンを押すと部分要素を含む論文が新たなタブとして追加される．

また，関連する映像の情報は，初期状態では，それぞれの映像のタイトルが表示される．タイトルを選択すると，その映像に含まれるシーンのタイトルとサムネイルが一覧表示される．一覧の中から映像シーンを選択すると，その映像シーンのタイトルとシーンを再生するためのプレイヤーが表示される．プレイヤー下部の「シーン再生」ボタンを押すことで映像をシーンから再生することができる．論文の部分要素と同じく「詳しく閲覧」ボタンが設置されており，このボタンを押すことで，そのシーンを含む映像全体を閲覧する画面が新たなタブとして追加される．

このように，関連コンテンツ一覧を段階的に展開できるようにすることで，論文に多くの情報が関連付けられた時に，関連コンテンツを俯瞰し，どの情報を閲覧するかが選択しやすくなると考えられる．論文閲覧時に論文に関連付けられた情報を効率よく閲覧できるようにすることで，関連する情報を探す負担を軽減し，論文読解の効率を向上させることができる．

3.3 映像中心モード

図9: Docvieの映像中心モードの画面例

映像中心モードの画面を図に示す．画面左側に映像閲覧インタフェースが表示されるほかは，論文中心モードと同様である．画面右側の関連コンテンツ一覧には，映像に関連した情報が一覧表示される．この画面では，主として閲覧する映像を，関連コンテンツを参照しながら視聴することで理解を深めることを支援している．

映像閲覧インタフェースは，映像のプレイヤー，その直下のシーンシークバー，最下部の映像に含まれるシーン一覧で構成される．シーンシークバー上には映像の再生時間が表示される．また，映像のどの部分がシーンとして定義されているかをシーンシークバー上に表現することで，映像のどの部分がシーンとして定義されているかを俯瞰することができ，ユーザが映像全体の中から映像シーンを選択する手掛かりとなる．

シーンシークバーの下部には，映像に含まれているシーンのリストが表示される．リストには，Synvieで映像シーンを作成する際に付与したシーンタイトルとシーンの代表サムネイル，シーンの開始・終了時間が表示される．サムネイルを選択することで，対応するシーンがプレイヤーで再生される．また，サムネイル画像を表示することで，ユーザは，映像を再生する前にシーンの情報を閲覧することができるため，映像へのアクセスを効率的に行うことができると考えられる．ユーザは，シーンシークバーとシーン一覧を用いることで，映像にどのようなシーンが含まれているかを俯瞰することができる．

論文中心モードでは，論文上に表示された矩形を選択することで関連する情報が自動的に展開されるが，映像中心モードでは，映像の再生時間に応じて，その時間を含むシーンに関連するコンテンツが展開される．映像の再生に同期して関連コンテンツを自動的に提示することで，ユーザは視聴中のシーンについての理解を深めることができると考えられる．

4.1 実験の内容

図10: 実験に用いた大問の例

本実験は，被験者に論文と映像を閲覧してもらい，その内容に関する問題を解いてもらう形式である．論文と映像の閲覧にはタブレット型デバイスを用い，GoodReader，TDAnnotator，Docvieのいずれかのソフトウェアを用いた．

図に被験者に提示した実際の問題を示す．小問3問を含む大問3問でひとつの問題セットとした．小問は回答に際して，被験者に提示される複数の論文と映像の内容に対して「正しい・間違い」で答えることができ，提示された論文の中に答えの根拠となるパラグラフが必ず含まれるように作成した．また，アノテーションが付与されている部分だけを読めば答えられる問題とならないように，根拠となるパラグラフがTDAnnotatorとDocvieで表示される，アノテーションが付与されていることを表す矩形の文章中には含まれないようにした．

また，被験者に提示する論文と映像は内容的に関係するもので，大問ごとに異なる論文と映像を用いた．論文は情報科学系のHuman-Computer Interfaceに関係する英語論文で，大問ごとに2本以上で合計のページ数がA4サイズで10ページとなるように選択した．映像は論文に書かれている内容に関するデモ映像や発表映像で，大問ごとに複数の映像を提示する．映像の長さは平均5分35秒（3分35秒?9分21秒）であった．また，論文と同じく映像の言語も英語である（ただし，問題文は日本語）．

被験者は，実際に当該分野の論文を読解する必要がある情報科学系の大学4年生5名，修士課程3名の計9名で，TOEICスコアの平均は585.5（465-715）であった．また，実験で使用するタブレット型デバイスは被験者全員が日常的に利用しており操作に慣れている．9名をTOEICスコアと学年を参考に1グループ3名の3グループに分けた．

また，利用するソフトウェアの順番，および問題セットを表に示すように組合せた．

4.2 実験の手順

実験はグループごとに，表に示す順番と問題セットで行った．それぞれのソフトウェアを用いた実験の前に，実験に利用しない問題セットを用い，5分間，ソフトウェアの使い方をレクチャーした．

その後，事前知識をできるだけ均一化することと，動画の閲覧中に問題に回答することを防ぐ目的で，出題した問題に関係する映像シーン（平均46秒，31秒?1分28秒）を最初から最後まで閲覧してもらった．

次に，大問1問について10分の制限時間を設定し，それぞれのソフトウェアを用いて問題に回答してもらった．これは，被験者に可能な限り迅速に問題に回答する事を促すためである．また，小問への回答は「正しい・間違い」の答えと同時に，その回答の根拠となるパラグラフを示してもらった．

三つの手法それぞれに，上述の方法で問題セット，大問3問を解いてもらい，その回答とかかった時間を記録した．

4.3 実験結果と考察

1, F検定による有為確率（***p<0.001, n.s. 5%水準で有為でない）2, GoodReader, TDAnnotator, Docvie 3, グループ1?3 4, 問題セット1?3

1, Tukeyの方法による有為確率 (*p<0.05, **p<0.01 ***p<0.001)

上述した条件の下で行った実験の結果について述べる．本実験では，Docvieの有効性を読解効率の観点から評価するために，大問の回答にかかった平均時間と，問題セットごとの正答率を算出した．

それぞれの結果を示す前に，3手法の間で大問の回答時間と正答率の平均値に差があるかどうかを分散分析で確認した結果を表に示す．結果から，大問の回答にかかった平均時間と正答率の両方で手法間に有為差（p<0.001）が認められた．そこで，Tukeyの方法を用いて多重検定を行った．その結果を表に示す．以降，この分析結果に触れながら結果について考察する．なお，分散分析，多重検定にはR 2.15.0（http://www.R-project.org）を用いた．

図および表に，大問の回答にかかった平均時間を示す．大問の回答にかかった時間は，映像または映像シーンを閲覧し終わって大問への回答開始の合図とともに計測した．結果を見ると，GoodReaderを用いた場合に比べて，TDAnnotatorでは75.6秒，Docvieでは171.3秒早く回答することができている．表に示した多重検定の結果から，各手法間に有為差が認められた．なお，10分の制限時間内に大問に答えられなかった場合には，600秒として計算している．制限時間内に答えられなかった大問の割合を表に示す．GoodReaderを用いた場合，制限時間内に大問に回答できなかった割合が5割を超えている．

このような結果が現れたのは，GoodReaderでは論文部分がハイライトされていないため，何も手がかりのない状態でどこが重要な部分かがわからず，論文を最初から読んだためだと考えられる．また，TDAnnotatorとDocvieで差が出たのは，Docvieではどの部分が重要かというだけでなく，常に関連コンテンツが表示されている状態で閲覧できるようになっていたため，複数の論文を行き来しながら答えを探すことができ，答えに到達するまでの時間が短くなったと考えられる．

また，表よりグループ間に有為傾向（p=0.097）が見られた．この傾向は，グループ1がDocvieを用いて問題セット3に取り組んだとき，制限時間内に回答できなかった問題がなかったためだと考えられる．表では問題セット間の大問の回答にかかった平均時間の有為差は見られなかった（p=0.285）が，問題セット3が他の問題に比べて容易であった可能性がある．問題セットの難易度，個人の能力差についてより詳細に分析するためには，実験の規模を拡大する必要があると考えられる．

図および表に，問題セットごとの正答率を示す．正答率は，ある問題セットに対する被験者の正答数を問題セットに含まれる小問題の数で割ったものである．ここで，正答としたのは，制限時間内に回答が行われ，問題に対する答えが合っていて，かつ被験者が示した回答の根拠となるパラグラフ中に適切な記述が含まれている場合とした．これは，誤読している場合や勘で答えている場合を不正解とするためである．

正答率も，Docvieを用いた場合が最も高く，続いてTDAnnotator，最後にGoodReaderの順であった．表から3手法の正解率の平均値に5%水準で有為差が認められた．GoodReaderを用いた場合の正答率が5割程度と低いのは，制限時間を超えてしまうことが多かったこと，手がかりが少ないために根拠となるパラグラフを探すことが難しかったことが挙げられる．TDAnnotatorとDocvieの間で差がみられたのは，Docvieでは関連コンテンツにアクセスしやすく，映像中心モードで論文に比べて把握しやすい映像を閲覧し，それを手がかりに関連する論文部分を読むことができたためだと考えられる．

以上の結果から，関連するコンテンツを利用して論文読解を支援するシステムとして，DocvieはTDAnnotatorと比較して，効率的に内容を把握できると考えられる．