コンテンツの意味内容を機械的な処理に適用可能な形式で取り込むために、アノテーションに関する研究が進められている。アノテーションとは、[annotation]に示されるように、あるコンテンツに対して関連付けられるメタ情報である。

本研究では、基本的には図のようにコンテンツの内部にアノテーションを埋め込まない方式を採り、コンテンツの情報を変更することなくアノテーションの管理が行える。コンテンツの内部にアノテーションを埋め込む方式の場合、コンテンツとアノテーションが切り離されないため、利用が容易であるが、コンテンツとアノテーションを同時に管理する必要があり、今後増え続けると考えられる様々な種類のコンテンツを対象としたアノテーションに柔軟に対応できるように、こちらの管理方法を採用している。本研究では、記録・作成されるコンテンツに対して、固有のURI(Uniform Resource Identifier)を設定することで、任意のコンテンツへのアノテーションを実現する。

図2.1: コンテンツとアノテーションの関係

アノテーションに関する研究を分類すると、主に1. 規格化、2. 収集、3. 応用の3種類に分類されると考えられる。

アノテーションの規格化は、コンテンツに付与されるメタ情報の記述能力を左右する重要な点であるといえる。コンテンツの種類に依存したアノテーション形式と、コンテンツの種類に依存しないアノテーション形式に二分される。

コンテンツの種類に依存する形式としては、GDA(Global Document Annotation)[13]やMPEG-7が挙げられる。GDAはテキストに対する構文・意味情報を詳細に記述するための形式である．MPEG-7はマルチメディア・コンテンツに対するメタデータの表記方法に関する国際標準規格である。

一方で、コンテンツ自体の情報や、コンテンツ同士の関連性などを記述するアノテーション形式として、RDF (Resource Description Framework)[http://www.w3.org/TR/REC-rdf-syntax/]が標準化されている。URIを持つリソースであれば、コンテンツの形式を問わずアノテーションの対象に指定可能であるため、異種類のコンテンツ間の関連性を表現することができる。従来、コンテンツ間の関連は、HTMLのハイパーリンク構造により導き出されることが一般的であるが、ハイパーリンクには、リンクの意味を記述することができない点が問題であった．RDFのデータ構造は、[rdf]に表すように、主語・述語・目的語の組みによって、ラベル付き有向グラフとして表現される。例えば、ある楽曲の制作者を記述する場合、楽曲のURIを主語に、制作者のURIを目的語に、それらの間の関連性として、制作者であることを示す{dc:creator}という述語を記述する．またアノテーションの述語に相当する部分の柔軟な定義が可能であり、様々な関連性に関する情報を表現することができる．このことから様々な種類のコンテンツ同士の関係の把握を容易にし、多様なアプリケーションに適用可能な形式であるといえる。

図2.2: RDFのデータ構造

また、コンテンツの部分要素に対するアノテーションを扱うためには、そのコンテンツのセグメントを指し示す手段が必要である。部分要素とは、論文や研究ノートなどのテキスト文書であれば、章や段落、文章といったレベルの要素を指し、画像や映像であれば特定の矩形範囲や時間区間を指す。梶らは、任意のURIを持つメディアに対してセグメントを指し示す形式としてElementPointer[14] を提案しており、本研究では、このElementPointerを参考に、任意のコンテンツの部分要素に対しても同様にURIを割り当てることで、アノテーションを可能としている。

次に、アノテーションの収集に関して述べる。アノテーションには計算機によって自動的に生成されるものと人間の手によって作成されるものが存在する。計算機の自動解析によってコンテンツの構造を認識する研究が多く存在するが、一方では自動解析によって得ることの困難な情報を、人間の手によって付与するシステムに関する研究が盛んになってきている[15][16]。アノテーションを付与するための特別なエディタを用意し、詳細な構造情報等を付与するというものである。しかし、特別なエディタを用いた人手によるアノテーションの収集は、コンテンツの内容に詳しい専門家がアノテーションを付与する形となるため、長期にわたって記録される大量の論文・発表資料・議事録といった研究活動におけるコンテンツに適用するのは、人的コストを考慮すると現実的ではない。

そこで、本研究では、日々の活動の中で行われるコンテンツの作成・閲覧・引用行為に着目し、研究活動のこれらの行為の履歴から自動でアノテーションを収集する。具体的な作成・閲覧・引用行為とは、閲覧した論文や作成ノート等にタグやコメントなどのテキストを付与したり、ある特定の論文の部分に対してマーキングしたり、ノートに論文の一部を引用するといった行為である。研究者が使用するツールにアノテーションを収集する仕組みを組み込んでおき、それらのツールを日常的に使用してもらうことで、人手によるアノテーションのコストを限りなく小さくすることが可能となる。

研究活動において論文の閲覧は、非常に重要な作業である。研究者は、自身の研究分野の動向やその分野における自身の研究の位置付けを知るために論文を図書館やWeb上のアーカイブから入手し、閲覧する。閲覧した論文は、印刷してファイルとしてまとめたり、計算機上で、インデックス付けされて管理される。文献管理用のソフトウェアとしては、EndNote[http://www.usaco.co.jp/products/isi_rs/endnote.html]などが挙げられる。EndNoteでは、論文のPDFファイルをWebで公開されているbibtexなどの書誌情報と関連付けて登録しておくことで、論文の管理・検索を行うことができる。

しかし、EndNoteでは、論文全体を検索することはできても、論文の部分要素を検索することは不可能である。個々の研究者にとって、他者の論文に含まれる全ての内容が重要あるとは限らないため、論文の特定の部分だけを検索したい場合も多い。

我々の研究室では、論文を閲覧時に、論文の部分要素に対してアノテーションを行う仕組みであるTDAnnotatorを開発・運用してきた[5]。[TDAnnotator]にその画面を示す。このTDAnnotator上では、Webブラウザ上での論文の投稿・閲覧が行える。さらに、閲覧中に論文のキャプチャ画像に対して矩形範囲を指定することで、その部分へコメントなどのテキストを付与することが可能となる。

図2.3: 論文閲覧システムTDAnnotatorの画面

本研究では、このTDAnnotatorの仕組みを拡張し、著者が閲覧してきた論文を検索するための仕組みを実現する。拡張したTDAnnotatorの仕組みについては3章で詳細に説明する。

研究活動において作成されるノートには様々なものが考えられる。具体的には、日頃の気付いたことを簡潔に記した覚書、実験結果や分析結果、文献調査やプログラミングなどの作業の計画や進捗を書き記したものなどが挙げられる。ここでの研究ノートは、一時的に利用され、用が済んだら廃棄してしまうような揮発性が高く再利用性が低い性質のものではなく、スケジュール帳のように、以前の内容を参照しながらの書き込みや、書き込み内容の振り返りによる継続的な活動を支援するテキストコンテンツを指す。

また、研究ノートは、以下のような特徴を持つ。

• 作成者本人のみが閲覧・編集するものである
• 特定のフォーマットが定まっておらず、作成者自身が自由に記述できる
• 日々の活動の中で常に内容が更新され続け、何度も見直される
• 時間や場所を問わず作成される

「作成者本人のみが閲覧・編集するものである」について、ここで定義する研究ノートは、個人が自身の日々の活動内容を記すものであり、会議の配布資料や論文のように他人と共有することを目的としたものではない。そのため、「特定のフォーマットが定まっておらず、作成者自身が自由に記述できる」という利点がある。

また、研究ノートの大きな性質として、「時間や場所を問わず作成される」という点が挙げられる。日頃の気付いたことを簡潔に示すようなメモやTODOといった内容を記録する場合、必ずしも現行の据え置き型コンピュータのような高度な機能性は必須ではなく、それよりも場所や状況に関わらず、いつでもどこにいても思いついたときに書き記すことができるこということがより重要視される。コンピュータが普及した現在においても、検索性や再利用性が低い紙媒体のノートや手帳を利用する人が多いのは、いつでもポケットから取り出して書き込みできるという手軽さがより重要視されるためであると考えられる。

代表的なクラウドノートアプリケーションとしてはEvernote[http://evernote.com/intl/jp/]が挙げられる。据え置き型コンピュータの使用に加え、スマートフォンなどのモバイル端末での利用も想定しており、比較的紙媒体のノートに近い使用感でノートを作成することができる。

我々の研究室では、iStickyと呼ばれるクライアントソフトウェアが開発・運用されている。iSticky上では、研究ノートの作成に加え、画像の編集・閲覧、及びスケッチの作成など様々な機能を有している。[isticky]にその編集・閲覧インタフェースを示す。

図2.4: iStickyのノート編集・閲覧インタフェース

iSticky上では、ノートにタグを付与して整理するための仕組みや、ノートに含まれるテキストに対し、「重要」「緊急」「予定」などの属性の付与が行える。それらの属性が付けられたノートの部分を検索することも可能である。これらのタグや属性の情報はコンテンツへのアノテーションとして、論文執筆中に自身の研究ノートの一部分を参考にする際に有用になると考えられる。

iStickyで作成したノートは、クラウド上にアップロードすることも可能である。[noteserver]にブラウザ上でクラウドにある研究ノートが一覧で表示されている画面を示す。ノートのアイコンとタイトルの一覧が表示されており、編集ボタンを押すことで、編集ページに遷移する。

図2.5: クラウド上のノート一覧画面

ブラウザ上でも、ノートの編集・新規作成・削除が行え、iStickyからアップロードしたノートをブラウザ上で編集した場合でも、iSticky側で同期して変更内容を反映することも可能である。

近年では、iPhoneなどの携帯端末でも画像・音声・映像といったコンテンツの作成・録音が容易になっており、また誰でもWeb上に手軽に公開することも可能となった。

研究活動においてもこれらのコンテンツは頻繁に扱われる。成果を分かりやすく説明するための画像の作成、ミーティング中の音声の記録、研究発表に用いるデモ映像の撮影・編集などが例として挙げられる。

我々の研究室では、実際に研究室で作成された画像・音声・映像をクラウドサーバ上に投稿・管理できる仕組みを実現している。[imageserver]にクラウドサーバに記録された画像の閲覧画面を示す。

図2.6: クラウドに記録された画像の閲覧画面

画像の投稿はPCブラウザまたは、前述したiStickyから行うことができる。ブラウザ上では図の左側に示すようにフォルダ分けして管理されており、フォルダの移動、画像の削除及び画像の共有設定などが行える。音声ファイルに関しても、川西ら[17]が研究活動における音声ログをクラウド上でタイトルやタグと共に音声を管理する仕組みを実現している。

さらに、研究室の中で映像を共有するための仕組みにSharvieがある。[sharvie]にそのインタフェースの画像を示す。[sharvie]では、投稿された画像の一覧が表示されている。Sharvieでは、Web上での映像の投稿・閲覧が可能である。ゼミや研究発表の際に用いたデモ映像や講義映像などをアップロードしておくことで、研究グループ間で映像を共有することができる。また、Sharvie上では、任意のシーンに対するコメントの付与や任意のシーンを切り出して保存・管理することがきるビデオスクラップブックの機能も有している。特に再生時間が長い映像の場合、シーンを閲覧時に切り出しておくことで、後で効率的に検索することが可能となる。ここでのシーンの切り出しはアノテーションとして開始・終了時刻といったセグメント情報を付与することを意味している。

図2.7: sharvie

これらの画像・音声・映像といったコンテンツへのアノテーションに関する研究やサービスは多く存在する。Haslhoferらの開発した2次元地図画像に対する アノテーションシステム[15]では、矩形、座標、楕円、自由線など様々な部分要素に対してアノテーションを行うことが可能である。FlickerやFaceBookといったSNSサービスでも投稿された画像の任意の矩形範囲へのアノテーションが行える。長尾らが開発したVideo Annotation Editor[16]では、カット検出やテロップや音声からテキストを抽出し、それらの機械的に抽出された情報を人手によって編集したり、さらにアノテーションを付与することも可能である。また、近年のニコニコ動画[http://www.nicovideo.jp]やYoutube[http://www.youtube.com]といった映像配信サービスにおいても、任意のタイムコードに対し、コメントを入力することが可能となっており、映像の部分に対するアノテーションは既に普及しているものとして考えられる。

図2.8: TMBシステムの構成と利用イメージ

石戸谷らが開発・運用している継続的ミーティング支援システム[2]は、TimeMachineBoardと呼ばれるミーティング内容を記録するための仕組み（以下、TMBと略記する）と、個人の活動に関わるコンテンツを集約しTMBに情報を入力するためのクライアントソフトウェアであるiStickyによって構成される。[tmb]にTMBの概要を示す（利用イメージについては後述する）。TMBは、大型ディスプレイをボードとして用いる。

図2.9: ボードコンテンツと木構造

[tmbdump]ボードに提示される情報の一例を示す．ボードには、話し合いの内容を参加者全員で共有し理解しながらミーティングを進めるために、手書きの文字や図、テキスト・画像など（これらをボード要素と呼ぶ）を入力・提示できる。

これらのボード要素はiStickyを用いて作成する。iStickyには前述のように日々の活動記録をテキストとして書き込むためのノート機能、画像を管理するための機能、手書きの図を描くためのスケッチ機能、後述するミーティング記録の閲覧機能が実現されている。ミーティング参加者はこれらの機能を用いて、日々の活動を記録する。これらの記録はコンテンツクラウドに保存され、どこでも検索・閲覧・編集が行える。

そして参加者は、ミーティングの際にiStickyを用いて、自らが話したい内容、他の参加者と共有したい情報をクラウドに保存されたコンテンツの中から選んで、あるいはその場で新たなコンテンツを作成して、TMBに入力する．TMBに表示されている内容はiStickyに表示され、iStickyでボード要素の移動・拡大縮小、フリーハンドストロークの書き込み、ポインティングができ、これらの操作はTMBに反映される。そして、TMBに提示したボード要素を操作し、図に示すようにツリー状に配置してトピックごとにボード要素を分類・整理することでミーティングを進行する．最後に、TMBに表示されているミーティング終了時の状態をコンテンツ（これをボードコンテンツと呼ぶ）としてクラウドに保存する。

クラウドに保存された過去のボードコンテンツをいつでも手軽に参照できるようにするために、iStickyの機能として[tmbsearch]に示すような検索インタフェースが開発されている。検索インタフェース上部には、過去に行われたミーティングの最終状態を表すボードイメージを時系列順に並べたボードイメージビューを配置した。ビューを左右にスクロールすることでボードコンテンツの一覧を閲覧でき、必要に応じて、選択したボードイメージを拡大して閲覧できる．ボードコンテンツをクラウドに保存し、iStickyで閲覧できるようにすることで、過去に行われたミーティングを振り返りながら新しいアイディアを考えたり、話し合いに基づいて作業したりできる。

図2.10:  ボードコンテンツ検索画面

石戸谷らは、過去のボードコンテンツの一部を進行中のミーティングにおいて引用する仕組みを実現している。引用は過去のボードコンテンツの一部を明示的に提示して話し合うことで同じ話の繰り返しや迷走を防ぐために用いられる。引用の流れを[quote]に示す。まず、参加者Aがあるミーティングでタブレット型デバイスから図をボードに提示（図中①）して話し合う．ミーティングを終了すると提示した図を含むボードコンテンツがクラウドに保存される（②）．その後のミーティングで、参加者Bがクラウドからタブレット型デバイスにダウンロード（3）した過去のボードコンテンツから、参加者Aが提示した図をボードに再提示（④）する．明示的に過去のミーティング内容を提示する事で、過去のミーティングを踏まえて話し合うことができる。

図2.11: 木構造と引用情報から表した複数ミーティングの文脈

　この引用の実現により、作成したノート及び画像とボードコンテンツの要素間の文脈情報を獲得することができる。この引用関係は、現在、iStickyの中でのみ検索可能となっているため、この引用関係を論文執筆において活用することが、本研究における課題の1つとなっている。

我々の研究室では、研究活動におけるスライドを用いた会議を記録するための仕組みであるDM(Discussion Mining)システム[3]を開発・運用してきた。

図2.12: ディスカッションルーム

会議を行うミーティングルームは[dm]のような空間を想定している。ミーティングルームには音声を記録するためのマイクが設置されている。会議の詳細な文脈を記録するために、1台のパンチルトカメラが設置されている。また、スライドを投影するスクリーンを記録するための固定カメラが1台、そして発表者の様子を記録するための固定カメラが1台設置されている。 また、DMシステムではミーティングルームの他に、議事録の作成・管理を行うための議事録サーバが用意されている。

会議中の発言に関する情報を記録するための設備として、参加者全員がポインタリモコン[wii]と呼ばれるデバイスを所持し、各参加者の頭上には赤外線信号を発信するIRバーが設置されている（IRアレイ）。会議において発言する際に、発言者はポインタリモコンと頭上のIRバーを一対一対応させることで、発言時の情報を送信する仕組みになっている。発言に関する情報は随時システムに送信され、書記の発言内容入力の支援を行う。

パンチルトカメラは、会議中ディスカッションルーム内をスウィングしながら参加者の様子を記録している。また、発表者以外の任意の参加者が発言を始めたとき、ポインタリモコンと連動し、パンチルトカメラがその方向に固定され、発言者の様子を撮影する。発言終了後には再び会場内を記録するためにスウィングモードに切り替わる。スクリーン用カメラは、スクリーンに投影されるプレゼンテーションに用いたスライド、デモ、その他の参考資料の様子を記録する。

カメラやマイクで会議の詳細な文脈を記録した音声・映像は MPEG-4形式で映像・音声データベースに保存される。発表者が入力したスライド情報、書記が入力したテキスト、参加者のデバイスを使って獲得したメタデータは、議事録XMLとしてXMLデータベースに保存される。

図2.13: ポインタリモコン

このようにして記録された議事録はXMLとMPEG-4によるマルチメディア議事録としてデータベースに記録される。記録された議事録はWebブラウザを用いて容易に閲覧できる。

参加者は発言を行う際に、ポインタリモコンを上に向けてから発言を行う。発言者の頭上には赤外線信号を送信するためのIRバーが設置されており、IRバーから送信される信号には座席位置を識別するためのIDが含まれている。この信号を受信したポインタリモコンは、座席位置だけでなく、ポインタリモコンの利用者（この場合は発言者）のIDや発言の種類(以降、発言タイプと呼ぶ)も含めた情報をサーバに対して送信する。議事録サーバには、これらの情報に加えて受信した時刻が送信・記録される。また、発言の終了時刻はポインタリモコンのボタン操作によって入力できる。

図2.14: 書記用インタフェース

書記は[dmwriter]に示されるWebブラウザベースの専用ツールを用いて議論の構造化と発言内容の記録を行う。また、参加者を撮影するカメラの制御や、データベースへの登録作業などもこの書記ツールから行うことができる。 書記ツールは前述のポインタリモコンと連動しており、参加者が入力した情報が随時追加されていく。ポインタリモコンから情報を発信すると、書記ツールに発言者と発言タイプが付与されたノードが生成される。書記はこのノードを選択し、テキストを入力することで発言内容を記録できる。

図2.15: 議論セグメント

発言タイプは「導入」と「継続」の2つに分類される。各発言間にどの発言を受けて行われたかを表わすリンク情報を付与することで議論内容の構造化を行っている。継続とは新たな話題の切り出しを行った発言、継続は直前の(あるいはいくつか前の)発言を受けて行った発言として定義されている。会議中、参加者に議論内容の構造化に対して思考を割くことがないように、この2つのタイプに限定している。[segment]のように、現在スクリーンに表示されているスライドに対し、一つの導入発言が付与される。そして、この導入発言をルートノードとし、継続発言がそれに連なるような木構造を形成する。そして会議が進み新たな導入発言が行われていくことで、先のような木構造をなす発言の集合が複数生成される。我々はこの一つの発言集合を議論セグメントと呼んでいる。このように構造化して発言を記録し、発表中に可視化しておくことで、会議で行われた議論の文脈が明らかになり、議論内容の理解を促進させることを期待している。

ポインタリモコンは、発言の開始・終了時間の入力だけではなく、発表者や参加者の発言に対する自分のスタンスといったアノテーションを入力することができる。ポインタリモコンで入力することのできるアノテーションには、発言に対する「賛成」、「反対」、および後述する「マーキング」の3種類がある．参加者はスタンスに応じたボタンを押下することで議事録サーバにそれらのアノテーションの情報を送信する。

図2.16: 複数参加者による図形の描画

また、ポインタリモコンは、メインスクリーンに向けることによって、レーザーポインタのように画面上の任意の箇所をポイントしたり、線や図形を描画したりできる．これにより発言者がスライドのどの部分に対して言及しているかが分かるようになっている。また、参加者全員がポインタリモコンを所持しているため、[pointer]のように、複数人が同時に図形を描画することも可能である。

図2.17: DMブラウザ

次に、記録された会議コンテンツを閲覧する仕組みであるDMブラウザも開発・運用されている。ディスカッションブラウザの閲覧インタフェースの全体を[dmbrowser]に示す。このディスカッションブラウザは以下に示すコンポーネントから構成されている。これらのコンポーネントがそれぞれ相互に連携しながら動作することによって議論内容の効率的な閲覧を実現している。ビデオビューで表示される映像は、参加者ビデオ、発表者ビデオ、スクリーンビデオの３種類があり、これら３つのビデオの同時閲覧が可能である。スライド一覧ビューでは会議に使用されたスライドサムネイルが表示されている。スライドサムネイルはスライドの表示された順番にソートされ、また会議中に同じスライドが複数回表示された場合は、スライドサムネイルも複数枚表示される。そしてサムネイルの再生ボタンを押すことで、そのスライドが表示された時間からビデオを再生することができる。

層状シークバー上では、スライドの切り替え時間、議論中にマーキングボタンが押された時間、議論が行われている時間区間が分かるようになっており、それらの情報を参考にスライダーをドラックすることでその時間からビデオを再生することができる。これにより議論中の任意の位置にアクセスすることができる。議論内容詳細ビューでは、[segment]と同様の構造で発言者の名前と、書記が記録した発言テキストが表示されている。

詳細ビューで表示されているノードの再生ボタンを押すことで、その発言からビデオを再生することができる。また、DMブラウザ上でも発言ノードに対してマーキングが行えるため、議論中では、理解できなかったり、重要とは感じていなかった議論内容でもDMブラウザを閲覧することで、記録に残すことができる。

会議コンテンツにおいてマーキングした発言を参照・引用して研究ノートやTODOを作成する仕組みとしてDRIPシステムがある。DRIPシステムでは、会議コンテンツがデータベースに登録されるとそのデータをインポートをし、DRIPシステム上の画面の中に会議コンテンツノードを表示する。議論セグメントに対し、マーキングしておくと、[map]のように会議コンテンツノードからのリンクと共に議論セグメントノードも表示される。

図2.18: DRIPシステム上での画面議論セグメントからのTODOの作成

図2.19: スライドサムネイルや発言情報を引用したまとめノート

DRIPシステムのインタフェース上では、選択した議論セグメントのまとめを記述するコンポーネントがあり、ここで記述されたまとめは[map]のようにまとめノートして保存される。まとめには、書記の入力した発言テキストだけでは不足している議論内容の補足や、自分なりに解釈した発言内容などを記述する．その際、「このスライドの表現を受けてこのような発言が行われたのではないか」「この発言でこの人はこういうことを言っていたのではないか」といったように、スライドサムネイルや発言情報そのものを引用しながらまとめを記述できることが望ましい。そのため、インタフェース左側のスライドサムネイルや発言のリストには、引用を行うためのボタンが表示されており、必要に応じて引用を行うことができる。実際にスライドサムネイルや発言情報を引用して作成されたまとめの例を[matome]に示す。

さらに、議論内容をまとめることによって、自身がこれからどんなタスクを遂行するべきなのかが明確になった場合、利用者はまとめと関連付けながらTODOを作成できる．図の議論セグメントのまとめを記述するコンポーネント内で、特殊な記法を用いてTODOへのリンクを記述した状態で保存を行うと、[todo]のようなインタフェースが表示される。利用者は、TODOのタイトルや締め切り、重要度などの情報を入力することでTODOを作成する。

図2.20: TODOの作成インタフェース

[map]のTODOノードを右クリックして表示されるメニューからノートの作成を行うと[dripnote]のようなインタフェースが表示される。このインタフェース上では、ハイパーリンクの自動作成やリスト構造・表の利用など構造化されたノートを記述できる。そして、作成されたノートはタスクと関連付けられ、他のコンテンツに引用可能な状態となる。

図2.21: ノート編集インタフェース

図2.22: 記録・蓄積されたコンテンツマップの可視化

さらに、DRIPシステムでは、会議コンテンツやノートやTODOに限らず、TDAnnotator上でアノテーションした論文部分、Sharvieで切り出した映像シーンといったコンテンツ(の部分要素)を参照・引用することも可能となっている。このように、研究活動において作成される任意のコンテンツをDRIP上で記録・蓄積することにより、[bigmap]のようなコンテンツのマップを作成することが可能となる。このように人間の頭の中で行われている思考に近い内容を目に見える表示で出力することによって、情報の記憶・整理・理解・発想を効率よく豊かに行うことができる。

加えて、DRIPシステム上では、作成されたノートやTODOを引用しながら、スライドの作成を支援する機能も提供されている。[makeslide]にそのインタフェースを示す。インタフェース上では、発表アウトラインの編集、過去のコンテンツの引用、スライドファイルの自動変換が行える。ユーザは、ノートの時と同様に発表内容を構造的に記述することができ、過去のコンテンツのテキストをコピーアンドペーストすることで自動的にコンテンツ間のリンク情報を記録できる（記録された情報は[bigmap]のインタフェース上で俯瞰できる）。そして、本インタフェースは、作成された発表内容をMicrosoft PowerPoint形式のスライドファイルへ自動変換できる。作成されたスライドを用いてDMシステムによる発表を行い、さらにその議論セグメントのマーキングをDRIPシステムに取り込むことで、継続的にコンテンツのリンク情報を記録することが可能となる。

図2.23: スライド作成インタフェース

まず1つめに、これらの文脈情報を活用する機会が少ないことが課題として挙げられる。文脈情報を用いることで、ボードコンテンツの検索やコンテンツマップの可視化の中でコンテンツ間の横断的な検索を実現してきたが、あくまで、個人のコンテンツの俯瞰的な閲覧にとどまり、発見したコンテンツを用いて新たに別の目的に使用するための支援はあまり行われていなかった。そのため、横断的な検索といった応用のみでは、参照・引用を伴うコンテンツの作成に対してモチベーションが向上するとは言い切れない。モチベーションが高くないために、これまでの仕組みだけでは、大量の参照・引用関係を収集することが困難であった。故に、積極的に参照・引用を行うコストに見合った検索以外の応用手法を考案する必要がある。

2つめに、DRIPにおけるノート作成機能は、あくまでも個人の研究ノートを作成するためのものであり、論文のような他者と共有する文書の作成は考慮されていない。すなわち、網羅的に文脈情報を記録しているとはいえない。研究室のような定期的に内部の人間が入れ替わる環境では、その入れ替わりと共に、それぞれの研究者らが蓄積してきた文脈情報が途切れてしまう。そのために、彼らのコンテンツは年月と共に過去のコンテンツとして埋もれてしまう可能性がある。故に、他者のコンテンツを手軽に検索・参照・引用できる仕組み、作成した文書を他者も参照・引用可能な仕組みが必要となる。

TDAnnotatorでは、PDF形式及びXML形式で記述された文書の管理・閲覧を実現している。XML形式の文書は、後述するTDEditorを用いて作成された文書である。ここでは、一般的な電子文書のフォーマットであるPDF形式の文書のTDAnnotatorへの登録方法について述べる。PDF文書は、あらかじめユーザがWebのアーカイブ及び紙媒体の文書をスキャンして電子化することで入手していることを想定している。[submit]にPDFファイルの登録用のページを示す。登録ページでは、書誌情報を入力することができる。すべての書誌情報を手作業により入力することは、非常にコストがかかるため、Web上に公開されている文書の場合は、文書の公開URLをフォームに先に入力しておくことで、自動的に著者名や発行所などの書誌情報を取得する。具体的には、URLに存在するHTMLを解析し、書誌情報を含むRDFやbibtexを抽出することで実現している。現在はcinii[http://ci.nii.ac.jp/]に記録されている文書にのみ対応している。

図3.2: 論文の登録画面

PDFの登録時には、[submitanno]のに示すように、コメントまたはタグを入力することが可能である。コメントを残すことで、後で文書を閲覧する際に、この文書の大まかな内容を把握することができると考えられる。タグは公開用タグと個人用のタグの2種類が存在する。登録する文書を同じ研究グループのユーザに対し、公開するか否かを設定することが可能であるため、公開される場合はそれらのユーザもそのタグで文書を検索することが可能となる。個人用に付与するタグは、必ずしも、登録者以外の検索に適したものであるとは限らないため、このように分けている。さらに、タグの入力の際には、オートコンプリート機能により、入力しようとしている文字列を含むタグが存在する場合は、入力候補としてフォームの下に表示され、入力コストを小さくしている。

図3.3: 文書登録時のアノテーション

登録された文書の一覧は[paperlist]にのようにブラウザで閲覧することができる。[paperlist]中央には、論文のタイトルが書誌情報及び入力されたタグやコメントと共に表示されている。[paperlist]左には公開タグ及び個人タグが表示されており、クリックするとそのタグが付与された論文の一覧に画面が切り替わる。画面の上部のテキストフォームでは、タイトルや著者による検索を行うことができ、文書の検索が容易に行えるようになっている。検索した文書に対してアノテーションを行うと自身が文書を登録した文書と同様に、最初に表示される文書一覧に表示されるようになる。

図3.4: 登録された論文の一覧

画面左上の論文タイトルをクリックすると文書全体へのアノテーションが行える。具体的には、登録時と同様なタグやコメントの付与が行える。このような論文全体に対するアノテーションは、後で文書を読み返す際に、大まかに文書の内容を想起させるのに有効である。例えば、文書全体を閲覧した感想や参考になった内容をコメントとして残したり、「アルゴリズム」「アノテーション」「論文執筆支援」といったその論文がどのようなトピックについて述べているのかをタグで簡潔に表現しておく、といったことが考えられる。

文書全体のアノテーションのみでは、大まかに論文の内容を思い出すことはできても、数十ページにもわたる論文などの場合は、文書のどの部分に重要な内容が記述されているのかを思い出すことは一般に困難である。TDAnnotatorの閲覧インタフェース上では、文書のテキスト部分のアノテーション、画像へのアノテーション、矩形範囲へのアノテーションを実現している。これらのアノテーションを実現するために、TDAnnotator上ではPDFが登録された際に、テキストと画像の抽出を行っている。抽出にはpdftohtml[http://pdftohtml.sourceforge.net/]を用いている。インタフェース上の画面は、pdftohtmlによってPDFから変換されたXMLを解析し、さらにHTMLに変換して出力されたものである。XMLは、内部構造に関する情報をタグとして保持することが可能であり、内部要素に対するアクセス手段としてXPointerと呼ばれる標準形式を利用することができる。ただし、PDFは紙ベースの文書をコンピュータ上で表示、印刷することを前提に設計されたものであり、文書の内部構造に関する情報を保持していない場合が多いため、pdftohtmlにより抽出される構造情報は段落構造程度であり、章・節といった文書構造や表・数式の構造情報は失われている。

テキスト部分へのアノテーションは[textanno]に示すように、テキスト範囲を選択することで行える。画像へのアノテーションは、[imganno]に示すように、画像の上で右クリックを行うことで行える。前述したように、表や数式は単なるテキストとして抽出されるため、PDFと同様に表示することが困難である場合が多い。その場合は、矩形範囲によるアノテーションを行う。[annotator]の上部に位置するIMAGEタブをクリックすることで左側の文書の表示が論文のページごとのキャプチャ画像に切り替わる。キャプチャ画像は論文の投稿時に抽出される。キャプチャ画像表示の場合は、[selectrange]のように、矩形範囲を選択することでアノテーションを付与することができる。キャプチャ画像に対するアノテーションであるため、矩形範囲によるアノテーションの際には、その選択範囲に対して表・画像・数式といった構造情報を付与することが可能である。構造情報を付与することはユーザの入力コストを増やすことにつながるため、PDFから自動的に構造情報を取得する仕組みや構造情報を持った文書形式が今後普及することを我々は期待している。

図3.6: テキスト範囲選択によるアノテーション

図3.7: 画像アノテーション

図3.8: 矩形範囲に選択によるアノテーション

図3.9: 複数部分への同時アノテーション

また、複数部分への共アノテーションも可能である。例えば論文などの場合、画像と画像を説明している文章が離れていたり、異なるページに記述されている場合がある。共アノテーションは、そのような場合に、テキスト範囲、画像、及び矩形範囲を複数関連付けてアノテーションを付与する行為である。[multianno]に共アノテーションの様子を示す。このように複数部分への共アノテーションを実現することで柔軟なアノテーションが行える。

部分要素に対するアノテーションの場合も、文書全体に対するアノテーションと同様にコメントやタグの付与が行える。タグを入力する際は、文書登録時のタグの入力と同様に入力中のテキストに基づいて、既に登録されているタグが推薦される。研究活動における文書閲覧時には、研究内容に応じた様々なタグが付与されることが考えられるが、システム側であらかじめ提供できるタグも考えられる。林らが開発した文書閲覧システムでは、アノテーションの意図に関する属性情報を入力する仕組みを実現しており[1]、その中で提案されている「問題点」「感想」「和訳」「専門用語」といった属性を入力候補タグとして提示する手法が考えられる。他にも、選択した部分要素のテキストの解析内容からのタグを推薦する仕組みも考えられるが、いずれにせよタグの入力コストを減らす仕組みが必要であると思われる。

アノテーションを行う際には、共有範囲の設定も行える。共有範囲には、「private」「share」「public」の3つが存在する。「private」はアノテーションを行ったユーザのみがそのアノテーションを閲覧できる。「share」はあらかじめ設定したグループ内、「public」はシステムのユーザ全員が閲覧できる。サーベイなどで論文に対してアノテーションを行う場合は、privateに設定しておく場合が多いと考えられるが、複数人で1つの文書を分担して文書を閲覧したり、文書の翻訳情報などを共有したい場合は「share」や「public」が設定されるだろう。

タグやコメントを付与して保存ボタンを押すと、[annotator]の右側の一覧にアノテーションが追加され、さらにアノテーションされた論文の部分要素がハイライトされる。一覧では、アノテーション作成者、更新日時、コメント、タグが表示されておりアノテーション部分をクリックすると文書の中のアノテーションされている箇所に左の文書画面がスクロールする。逆に、ハイライト箇所をクリックするとハイライト箇所へのアノテーションが、ポップアップして右側に表示される。同じ部分要素に対するアノテーションが複数存在した場合、それらのアノテーションが全て表示される。アノテーションのdetail部分をクリックするとアノテーションの入力フォームと同様の画面が現れ、入力したアノテーションの編集・削除が行える。

図3.10: アノテーションへのリプライ

また、reply部分をクリックすると他者の共有されたアノテーションに対してさらにアノテーションを行える。具体的には、他者の文書に対するコメントに対して、補足意見を加えたり、間違いを指摘するといった行為が行える。アノテーションに対してアノテーションが行われると[reply]に示すように木構造で表示される。この機能によりある文書の部分要素に関して複数人で議論することも可能となる。

図3.12: 検索インタフェース

[search]にコンテンツの検索インタフェースを示す。インタフェース上では、ユーザが文書を作成するまでに、作成・閲覧してきたコンテンツの一覧がコンテンツの作成者・作成日時などのメタ情報と共に表示されている。コンテンツにタグが付与されている場合はタイトルの横にタグが表示される。また、タイトルの上にマウスを乗せると、インタフェース下部にそのコンテンツの概要やサムネイル画像が表示される。コンテンツの部分要素に対してアノテーションがされている場合、その部分要素の情報が優先的に表示される。作成者、閲覧日時などによるソート機能やキーワードによる検索も可能である。

図3.13: リスト表示から詳細表示への切り替え

また、コンテンツは[search]の上部に示すように、コンテンツの種類によってタブに分けられており、タブをクリックするとそのコンテンツの表示に切り替わる。

[searchmode]に示すように、コンテンツのタイトルをクリックすると一覧表示から、クリックしたコンテンツの詳細表示に切り替わる。文書の作成者は、これらのコンテンツを参照し、必要に応じて検索した内容の一部を文章に引用しながら文書を作成する。参照・引用する部分を探しやすいように詳細表示ではコンテンツのアノテーションの情報が表示される。コンテンツにより表示方法が異なるため、それぞれの表示方法について説明する。

検索インタフェース上にあるTDタブでは、TDAnnotatorに登録されている文書、Noteタブでは、iStickyにより作成された個人研究ノートの文書が表示される。[paperinfo]に論文の詳細画面を示す。画面右側にはこの文書に対するアノテーションの一覧が表示されている。具体的には、論文の部分要素とそれらに付与されたタグ及びコメントが表示される。これらのアノテーションを閲覧することで、著者は、この文書がどのようなものであったのかを想起することできると考えられる。また、アノテーションには、アノテーション先のページ番号が表示されている。画面左に表示されているページ番号の該当する部分をクリックすることで、[changeview]に示すようにそのページの内容が表示されるため、アノテーション箇所だけでは、理解できない場合にそれらの前後の情報を閲覧することも可能となる。また、左のページ数の横には、そのページ番号に含まれるアノテーションの数が表示されており、どのページに対して集中的にアノテーションがされているのかを直感的に知ることが可能となる。

図3.14: 文書のアノテーション一覧表示

図3.15: アノテーション部分のTDEditor上での閲覧

2.1節で述べたSharvieにアップロードされた映像コンテンツを検索し、文書の作成時に視聴することが可能である。また、必要に応じて文書の中に映像を埋め込みむことできる。近年、電子文書の中に、映像が埋め込まれることは珍しくなく、ACM[http://www.acm.org/]などは論文と共に映像も同時に投稿される場合も存在する。[videoq2]に示すように、映像を文書に埋め込むことで、文書の閲覧者に直感的に著者の伝えたい内容を伝えることが可能となるため、今後も映像が埋め込まれた文書は増加していくと考えられる。

図3.16: 文書への映像の埋め込み

図3.17: アノテーションされた映像シーンの表示

2.1節で述べたように、Sharvieでは、特定の時間区間に対してアノテーションが行える。TDEditorの映像詳細表示では、文書作成前にあらかじめ特定の時間区間のシーンに対してアノテーションしてある場合に、それらのシーン情報が表示される。具体的には、[videoq]に示すように、該当するそのシーンの開始・終了時間やサムネイル画像が表示され、プレビューボタンを押すことでそのシーン区間のみを再生することができる。再生時間の長い映像の場合は、あらかじめシーンとしてアノテーションをしておくことで、文書作成時に効率的にそのシーンを検索することが可能となる。

TDEditor上では、コンテンツクラウド上に存在する発表資料であるパワーポイントファイルを検索することが可能である。[slides]に発表資料の詳細表示画面を示す。過去の発表の議論や反省を踏まえたTODOや課題をまとめた文書を作成する際に、このような発表資料の検索が必要になると思われる。また、同じ研究グループ内で共有されている発表資料も検索可能となっているため、他者の研究の中で、自身の研究に参照・引用できる内容を探す際にも、発表資料の検索は有用であると考えられる。

画面左側にはパワーポイントのスライドのサムネイル画像の一覧が表示され、画面右側にはフォーカスしているスライドの拡大画像が表示される。2章で述べたDMシステム上で発表に用いられたスライドの場合は、DMシステム上で収集されたアノテーションの情報が表示される。[slides]では、DMシステムの中でマーキングされた発言がスライドに関連付けられて表示されており、表示中のスライドでどのような議論が行われたのか想起できるようになっている。また、マーキングされた発言から、後述する議事セグメントの詳細画面に遷移することもできる。DMシステム上でポイントされたスライド要素やポインタ情報を含む発言テキストを表示するといったことも実現可能である。

図3.18: 発表資料の詳細表示

2章で述べたDMシステムで記録された議事録を検索することも可能である。2章で述べたDRIPシステムと同様に、過去の発表の議論内容を踏まえてTODOや議論内容を文書としてまとめる際に、議事録を参照する、といった場合が考えられる。[dmsearch]に、議事録コンテンツの詳細画面を示す。画面上では、議論セグメントの一覧が表示される。デフォルトでは、導入発言のみが表示されており、導入発言をクリックすると、それらに付随する継続発言が閲覧できる。文書の作成者によってマーキングされている発言が存在する場合は、その発言が含まれる議論セグメントが最初から全て表示される。実際の議論の様子まで閲覧したい場合は、DMBrowserへのリンクをクリックすることで対応する議論の映像を視聴することが可能である。

図3.19: 議論セグメントの検索

TDEditor上では、3.2.1項で説明したコンテンツを参照・引用しながら文書を作成することができる。本研究では、参照は、コンテンツを閲覧する行為、引用は、紹介・論評やその他の目的で、自己の著作物中に他者及び自身の著作物の原則として一部を転載する行為として定義する。

Webドキュメントや論文などの文書の引用の記述形式には、サイテーション（Citation）とクオテーション（Quotation）の2種類が存在する。一般に，サイテーションとは関係する文献や資料自体を参照記述する記述形式を指し、クオテーションは書かれたものの一部を一言一句そのまま記載する記述形式を意味する。現在、論文のような文書において見られるほとんどの記述形式はサイテーションである。サイテーションは引用箇所を引用者が要約して記述することが可能であるため、引用文書の文脈に合わせて適切かつ簡潔に引用することが可能である。つまり、サイテーションは文字数の制限がある投稿論文のような文書に適した記述形式であると言える。しかし、サイテーションによる記述にはいくつかの問題点がある。まず、[citequote]のように、サイテーションによる引用は、引用元文書のどの主張部分について言及しているのか明示的に示されないため、引用元文書全体に対するポインタを表現していると言える。通常、引用元文書の出所に関する情報は、巻末の「参考文献」のような項目に著者、文献名、出典、日付を用いて記述されることが多い。しかし、文書によっては数十ページに及ぶものもあり、引用している主張部分がその一部の数ページということもあり得る。つまり、サイテーションのような記述形式では、引用元の出所を明確に示すことはできない。そのため、サイテーションは引用先文書と引用元文書の関係を曖昧に記述する結果となっている。また、サイテーションの引用先文書の引用部分は引用者により要約されるため、引用元文書の著者の意図とは違った意味で引用してしまう可能性がある。つまり、引用元文書の主張を誤って解釈・記述してしまう可能性がある。

図3.20: サイテーションとクオテーションによる文書間の関係

一方、クオテーションの引用部分には引用元文書の文章の一部が一言一句そのまま記載されるため、引用元文書のどの主張について言及しているのか明確であり、また、誤って文章を解釈し記述する危険性は低い。つまり、[citequote]のように引用先・引用元文書の部分箇所間の関係を記述している考えることができるため、サイテーションに比べクオテーションは引用先・引用元文書の関係を明確に記述することが可能な形式であると言える。しかし、クオテーションは現在の文書においてほとんど使用されないことからも分かるように、引用者にとって適切でない場合が存在する。例えば、「システムの概要」のような引用したい主張が章全体のように文書の大部分にまたがる場合、クオテーションにより引用するのは冗長である。現状では、一文のように非常に短い文章に限り、クオテーションによって引用されることが多い。また、引用元文書の記述が引用先文書で記述したい文脈に適さない場合も存在することから、クオテーションは引用先文書の文脈に合わせて適切かつ簡潔に引用することが困難な記述形式である。

上記のように、クオテーションの方がサイテーションに比べ、引用先・引用元文書の関係を詳細に記述することが可能であり、引用者の意図を明確に伝えることができる記述形式であると言える。しかし、クオテーションは引用先文書の文脈に適した形で簡潔に引用することが困難であるため、現状ではほとんど利用されていない。つまり、求められる引用の記述形式はサイテーションのように引用先文書の文脈に適した形の柔軟な引用が可能であり、クオテーションにように引用元文書の主張部分に対する明確なポインタの記述が可能であることが望ましい。

そこで、TDEditorにおける作文機能はHTMLのWYSIWYGエディタとして設計した。HTMLに含まれるタグの属性に引用元のポインタ情報を記述することが可能であり、それらの情報は引用時に自動的に編集中のテキストに埋め込まれるため、サイテーションのような柔軟な記述方法を実現しつつ、クォーテーションのような引用元の文書を明確に示すことを可能としている。以下、本研究では、引用元の部分要素へのポインタ情報を保持した引用を「部分引用」として定義する。部分引用が行われたHTML文書がTDEditorからコンテンツクラウドに送信される際に、システムはHTMLのタグに含まれるポインタ情報を解析し、引用関係を双方向のリンク情報としてデータベースに記録する。すなわち、通常では行えない引用元の文書から引用先の文書へのリンク情報を取得することも可能である。

また本研究では、文書以外の画像や映像といったコンテンツの部分引用も実現している。画像や映像の文書への埋め込みは、埋め込まれた画像や映像の出所に関する情報は明記されないことも多いが、TDEditor上で検索可能な画像や映像を文書に埋め込む場合は、それらの情報は保持されるため、引用の一種として扱う。

コンテンツの部分引用の仕組みの利点は以下のとおりである。

部分引用の仕組みには以上のように、多くのメリットが得られる。次に、具体的な部分引用の方法について述べる。

コンテンツの部分引用は、テキストの場合はコピーアンドペースト、画像や映像の場合はドラッグアンドドロップといった直感的な操作で行える。[quotetext]に論文部分を引用時の画面例を示す。引用したい部分をマウスで選択し、右クリックメニューのquoteを選択することでクリップボードに引用するテキストが保持される。引用したら中央のテキストエリアにCtrl+vまたは右クリックからpasteを選択することで引用が行える。ペーストされたテキストはハイライトされて表示されており、どの部分が論文の引用されて記述された部分が視覚的に分かるようになっている。引用部分は編集可能となっており、ハイライト部分が失われない限り、引用元のポインタ情報は保持される。論文のテキスト以外にも、研究ノートのテキスト部分や議論セグメントの発言テキスト部分を引用することも可能である。また、[quoteimage]に示すように、文書に含まれる画像の引用を行うことも可能であり、文書に埋め込む場合はドラックアンドドロップにより行える。画像や映像の引用は、このような文書の中に埋め込む形式ではなく、テキストの部分引用と同様に、画像や映像へのリンクを持つテキストとして文章に埋め込む形式でも行える。

図3.21: テキストの部分引用

図3.22: 文書に含まれる画像の引用

本仕組みで実現する部分引用は、コピーアンドペーストといった手軽な操作により引用が行える。手軽であるがゆえに、一度に大量の文章が引用され、そのまま引用元の文章が編集されないことも考えられる。しかし、著作権法についての最高裁判所昭和55年3月28日の判例[http://www.courts.go.jp/search/jhsp0030?hanreiid=53283&hanreiKbn=02]において、引用先が「主」、引用部分が「従」の関係にあることが引用の条件とされている。つまり、引用部分は質的にも量的にも従属的なものであり、本文を主とするならば引用部分は従たる関係でなくてはならず、引用部分の分量が多い文章は著作権法の観点から見ても好ましくないと言える。コピーアンドペーストによる操作は、このような通常の引用としては不適切な引用を助長する可能性がある。故に、他者の著者物であるコンテンツに含まれる大量の文章を一度に引用する際は、一定の文字数以下に文章を減らすことをシステム側で促すなど配慮する必要がある。一方で、自身の著作物であるコンテンツや同じグループ内で共有されているコンテンツを文書に再利用(使い回す)することは特に問題ないため、引用元の著作物の情報によってそれらの仕組みを切り替える必要がある。また、文書の引用情報は原則公開されるべきものであるが、研究グループ内での文章表現や図の再利用の記録など公開すべきでない情報は、公開範囲を設定できるようにするなどの配慮が必要となる。

TDEditorにはコンテンツから直接引用するのではなく、閲覧時のアノテーションの内容を文書内に引用することで間接的にコンテンツを引用する方法がある。論文の表現を直接コピーアンドペーストにより引用するよりも、TDAnnotatorでの文書へのアノテーションの際に付与したコメントの方が、自身で記述した内容であるためそのまま文章の中に引用しやすい場合がある。例えば、ある論文の部分要素に対する要約や翻訳のテキストがアノテーションとして付与されていた場合は、コンテンツを直接引用するよりも、アノテーションのテキストを引用する方が編集コストの面において効率が良い。このように、閲覧時のアノテーションが多いユーザほど、効率的に文書が作成できるように設計されている。具体的な引用インタフェースを[annoquote]に示す。アノテーションから引用したテキストも、コンテンツから直接引用する際と同様に、作成する文章内で編集が行え、HTMLのタグにはアノテーション先の部分要素へのポインタ情報が埋め込まれる。

図3.23: 閲覧時アノテーション時のコメント文の引用

引用元へのポインタ情報が引用先のテキストに埋め込まれているため、編集中にどの部分から引用を行ったのか辿ることができる。[source]に示すように、編集中のハイライトされている箇所を右クリックしてsourceを選択すると右のコンテンツ検索画面に引用元のコンテンツが表示され、さらに、引用部分がハイライトされる。文書の作成期間が長期にわたる場合や、引用元の文書の量が膨大である場合は、引用箇所を忘れてしまう可能性が高いが、この機能を用いることで、容易に引用元にアクセスすることが可能となる。

図3.24: 引用元へのアクセス

作成された文書は、TDAnnotator上で、投稿されたPDF形式の文書と同様に管理・閲覧され、同時にTDEditor上での検索・引用も可能となる。作成された文書のTDAnnotator上での表示画面を[secanno](左)に示す。構造情報を持った文書であるため、章・節・項・段落といった構造単位でアノテーションを行うことが可能となっている。[secanno](右)では、文書のある項に含まれる見出しに対してアノテーションを行っている。アノテーションしたい部分が、特定のテキスト範囲ではなく、章・節・項などの広範囲にわたる場合にこの仕組みは有用となる。また、文書の中で部分引用が行われている場合は、[quoteinfo]に示すようにアノテーション一覧に引用情報が表示される。引用情報の画面には、引用元のテキストやサムネイル画像が表示されている。また、引用元の文書を閲覧したい場合は、アノテーションに含まれるタイトルをクリックすると引用元のコンテンツが表示される。これにより、文書の閲覧者は容易に文書の引用元にアクセスすることが可能となる。引用情報は閲覧時のアノテーションと同様に公開範囲設定や編集・削除が行える。

図3.25: 構造全体(図はある見出し)に対するアノテーション

図3.26: 引用アノテーションの表示

図3.27: 被引用情報の表示

さらに、前述したようにデータベース上には、コンテンツから独立したアノテーションとして部分引用関係が保存されるため、引用元の文章を閲覧する際に、[quoted]に示すように、被引用情報をアノテーションとして表示することが可能となる。すなわち、引用先・引用元の文書の双方向にアクセスすることができる。通常の文書では、引用元である過去の文書を辿ることしかできないが、この仕組みにより、閲覧中の文書から引用先の文書を辿ることが可能となる。引用先の情報を辿ることで、その文献に比べてより新しい情報に容易にアクセスすることができると考えられる。

このアウトラインは削除

TDAnnotatorで登録した文書やTDEditorで作成した文書の部分要素を関連付ける際は、[paperassociate]に示すように、特定のPDFのページ、画像・表、TDAnnotatorで付与したアノテーション、選択した文字列範囲を関連付けることが可能である。

図4.5: 文書部分の関連付け

iStickyで作成した研究ノートの場合は、[contentassociate]①に示すように指定した行及び選択範囲を関連付けることが可能である。複数行をまとめて関連付けることも可能である。

図4.6: 様々なコンテンツ部分の関連付け

発表資料であるプレゼンテーションスライドは、[contentassociate]②に示すようにスライド一枚ごとを関連付けることができる。そのスライドに含まれるテキストや画像要素を関連付けることもできる。

2章で説明した議事録コンテンツの発言テキストは[contentassociate]③に示すように関連付けることができる。

ブックマークレットによりマーキングしておいたWebブックマーク関連付け

関連付けによる影響を検証するために、被験者が作成したアウトライン項目に実際に書く内容をどれだけ整理できているのかについて問い合わせた。これは、著者自身がどのような文章を書けばよいか頭の中でイメージできている度合いについて問うものであり、「十分に整理できている」から「まったく整理できていない」の間で5段階で答えてもらった。本研究では、この度合いを整理度と定義する。整理度が高いと判断されたアウトライン項目は、著者は何を書けば良いか把握している状況であるため、おそらく効率的に文章が書ける部分となる。逆に、整理度が低い場合は、アウトラインを作成してみたものの著者は実際にどのような文章を書けばよいのか分からない状態であり、執筆に時間がかかると考えられる部分となる。ただし、アンケートで答えてもらう整理度は、被験者の主観が入るため、実際の文章の執筆を行った場合に必ずしも整理度が高いほど論文が効率的に書けたとは限らない。そのため、本研究では実際にアウトライン項目の文章を埋める作業に要した時間を大まかに測定することで整理度と執筆速度の関連性を調べた。

整理度に関する設問とは別に、アウトライン項目ごとに関連付けられるコンテンツはどの程度存在するか問う設問を用意した。設問には、「十分存在する」から「まったく存在しない」の間で5段階で答えてもらった。本システムでは、通常では頭の中だけで行われる関連付けの作業を、コンテンツのアイコン表示、タイトル一覧表示、グラフ構造表示により可視化している。この設問では、このように被験者にコンテンツを提示することで、関連付け前と比べ論文に必要となるコンテンツの量に関してどのような変化があったのかを調査する。関連付けの作業を行うことで著者が想定していたよりもコンテンツが少ないことに気付き得るのか、逆にコンテンツが想定より多く存在することにも気付き得るのかどうかを検証した。また、設問で得た5段階評価の結果と実際に関連付けられたコンテンツの数との関連性や整理度との相関についても検証する。

被験者には、章ごとに作成したアウトラインが適切であるかどうかについて、関連付け前と後でどのような変化が現れるか調査した。設問には、「適切である」~「適切でない」の5段階で答えてもらった。この設問では、特定の章や節にのみコンテンツが大量に関連付けられた場合に、被験者はアウトラインが不適切であるかどうか感じるのかどうかを問う。逆に、関連付けることでアウトラインの「適切」である方向に変化する場合もあるのかどうか検証する。

本研究では、コンテンツを関連付けることにより、[icon]のようにコンテンツタイトルの横にコンテンツのアイコンが表示される。このアイコン表示が論文に書く内容の有無を把握する上で参考になったどうかをアンケートにより答えてもらった。また、アイコンの表示からアウトラインの不適切さに気付くことがあったかどうかも問い合わせた。

文脈情報の提示に関する評価

画像や映像はテキストデータとは異なり、一般的に検索が困難であるが、論文に引用されている場合は、引用先の文章の周辺のテキストに基づいて容易に検索することが可能となる。論文の文章は文法的に適切であることがある程度保障されるため、論文の文章を解析することで通常の文書に含まれる画像や映像よりも比較的精度の高い検索が行える。また、本システムでは、映像部分であるシーンを文章の中に引用して埋め込むことが可能となるため、引用先のテキスト情報に基づいた映像シーン検索の仕組みを実現することが可能となる。さらに、引用関係に基づいてあるヒットした画像や映像から関連するものを推薦・提示する手法も実現できる。

論文の中に引用された画像や映像は、そうでないものに比べ再利用性が高いと考えられるためこのような論文に引用された画像・映像の検索システムが求められる。また、検索結果に引用先の論文へのリンクを提示しておくことで論文に対するアクセス手段が増やすことができる。論文は、その分野の初学者などが閲覧する際には、内容によっては理解が困難である場合があるが、画像や映像といった視覚的に理解しやすい情報を検索・閲覧可能にすることで、論文の読解に対する敷居を下げることも期待できる。

2章で述べたTMBシステムでは、画像やノートに加えて、今後スライド・映像・論文など様々なコンテンツを引用できる仕組みを実現する予定である。その場合、TDEditorの仕組みと同様に、引用したコンテンツの部分引用関係を辿ることで、ミーティング時に過去の関連するコンテンツを検索することが可能となる。ミーティング時にこれらのコンテンツを参加者間で閲覧することで、埋もれていたアイデアを思い出すことが可能となる。

TDEditorを用いて作成された論文をその部分引用関係と共に2章で述べたDRIPシステムに反映することで、新たな研究活動マップを作成することも課題の1つである。引用が継続的に行われていれば、自身の研究の発生から論文執筆に至るまでの過程を横断的に閲覧することができる。

また、TDEditor上でこの研究活動マップを検索・関連付け可能にすることでより論文の執筆を支援する手法も考えられる。本システムでは、作成する論文アウトラインに対してコンテンツを関連付ける仕組みを提供したが、最初にアウトラインそのものの作成を支援する仕組みは実現していなかった。論文執筆に至るまでに生成された研究活動マップと作成する論文アウトラインは密接な関係があると考えられるため、研究活動マップから容易に論文アウトラインを生成する仕組みが必要となる。