コンテンツアノテーションプロジェクト

1 概要

世の中には、様々なコンテンツがあふれています。近年、コンピュータやインターネットの普及・性能向上により、これまでに作成された大量のコンテンツに容易にアクセスできるようになりました。また、欲するコンテンツに容易にアクセスできるようになったことや、インターネットを通じてコンテンツを容易に公開できるようになったために、新しいコンテンツが生み出される速度も加速しています。

こうして、日々大量のコンテンツが作成されていくにもかかわらず、人間がそれらを処理する時間は依然変わっていません。そこで、コンテンツを効率よく処理するための技術が求められています。本プロジェクトでは、コンテンツの要約作成や、メタデータを付加（アノテーション）することにより、コンテンツを効率よく処理する技術について研究しています。

2 プログラミング学習支援

情報科学の分野においてプログラミングは重要な技術であるため、習得する必要性が高いでしょう。学習する手段として、他者が書いたソースコードを読む機会が多いと思われます。しかし、そのソースコードには、読む際の理解を支援する情報、例えばデモの画像・映像やソースコードを書く上で参考にしたWebページのURLなどが関連付けられていないため、プログラムを理解することが困難です。

本プロジェクトでは、この問題を解決するためにソースコードに理解を支援する情報をアノテーションとして関連付ける手法やその効果について研究しています。ソースコードへのアノテーションはMicrosoft社の統合開発環境(IDE)であるVisual Studioのプラグインにより実現しています(図1)。このプラグインはSource Code Annotatorと呼ばれ、マルチメディアデータを含むアノテーション付与機能とアノテーション付きソースコードの再利用機能を有しています。

3 論文執筆支援

論文は、他の論文や画像など、様々なコンテンツが引用され執筆されます。研究者は論文を執筆するために、長期にわたる研究活動の中で様々なコンテンツを蓄積します。しかし、蓄積された膨大なコンテンツすべてが論文に引用できるわけではありません。特に経験の浅い学生の場合、それらのコンテンツから必要なものを探し出し、整理することが困難であり、論文を執筆するハードルが高くなっています。

本プロジェクトでは、研究生活の中で蓄積したコンテンツの必要な部分を容易に検索・参照・引用可能な仕組みを著者に提供することによ り、論文執筆に必要な情報の可視化を行い、執筆作業の効率化を実現する研究をしています。

3.2 TDEditor

こうして作成・蓄積されたコンテンツの検索とそれらのコンテンツの参照・引用の機能を持つ論文作成支援システムTDEditorを開発しました。

図1: システム全体像

図1はTDEditorのシステム全体図です。本論文では、論文、プレゼンテーションスライド、研究ノート、画像、映像の5種のコンテンツを検索する仕組みを実現しています。TDEditorはWebアプリケーションとして動作し、コンテンツを検索する際は、各コンテンツのサーバにリクエストを送り、コンテンツの情報をアノテーションの情報と共に取得します。ユーザは検索したコンテンツを参照・引用しながら論文を執筆することができます。また、TDEditor上で作成された論文は、そこで蓄積された部分参照・引用の情報とともにデータベースに送信されます。

4 映像シーンの作成・管理

近年、インターネットの普及により、一般ユーザによって撮影・作成された映像コンテンツがWeb上で配信されるようになりました。映像コンテンツの量が増加する一方で、ユーザがそれらのコンテンツの検索や視聴に費やすことのできる時間はあまり増加していません。限られた時間の中で、必要な映像コンテンツの、必要なシーンを検索・閲覧する仕組みが必要とされています。

本研究室では、映像シーンの検索や映像全体の俯瞰支援を行うために、映像シーンに対するアノテーションを作成する研究が行われてきました。その手法の1つとして、別のWebコンテンツに映像シーンを引用することで、引用先のコンテンツからアノテーションを獲得することが試みられました。しかし、シーンの作成がアノテーション作成過程の一部でしかなかったため、作成したシーンの再利用が困難であり。また、あらかじめシーンを作成することができず、コンテンツにシーンを引用する時にしかシーンを作成することができなかったため、映像コンテンツの一部を繰り返し見直すことなどを目的にしてシーンを作成して管理することができませんでした。そこで、シーンの作成と管理を行うシステムであるビデオスクラップブックを開発しました。

4.1 シーンの作成

映像コンテンツ中のシーンとする時間区間を指定する際に、何の手掛かりもない状態から時間範囲を指定しようとすると、コンテンツを先頭から視聴あるいはシークしながらシーンの始点と終点とするべきタイムコードを決める必要があります。作成する元の映像が短いものであるならそれほど問題はありませんが、長い映像である場合には、始点の位置や切りだすシーンの長さに応じて相応の時間がかかってしまします。

図2: シーン作成インタフェース

そこでビデオスクラップブックでは、映像コンテンツの視聴中に後でシーンを作成する可能性のある周辺のタイムコードをチェックポイントとして保存できるようにしました。図2はシーン作成インタフェースです。シーンを作成する際には、チェックポイントに対してシークを行うことができるので、シーン作成時にコンテンツを再度視聴してシーンの始点を探し出す必要がなくなります。また、コンテンツの視聴の際にも、チェックされている部分が参照できるので、時間に余裕がないときはチェックされている部分を中心にコンテンツを視聴する、といったことができるようになります。

5 スライド推敲支援

研究者にとって、自身の研究内容や成果を学会などで口頭発表することは重要なタスクです。口頭発表では、限られた時間の中で研究内容をわかりやすく伝える必要があります。効果的な発表には、その場での見せ方や話し方は重要ではありますが、スライドの完成度も大きな影響を与えます。プレゼンテーションの作成支援に関する研究は、広く行われてきました。ある程度の完成度を持つスライドを作ることは容易になりましたが、作成したスライドをそのまま発表に用いることはできず、引き続き推敲などの必要があります。

スライド推敲は一般に容易ではありません。特に、発表経験の浅い学生の場合、スライドの完成度を正しく評価できない場合があります。自身の正しくない評価観点や主観的な思い込みにより、伝えるべき重要な内容にもかかわらず説明が足りなかったり、プレゼンテーション全体を俯瞰することができないために、あまり重要ではない内容を必要以上に細かく説明してしまうことがあります。不足や余分となっている内容を指摘し修正方法を提示することができれば、スライドを客観的に評価できない場合においてもスライド推敲がより容易になると考えられます。

コンテンツの構成要素の重要度を計算し、重要度の高いものを抽出する技術として、自動要約があります。自動要約は、コンテンツ作成者の意志とは関係なく、機械的な処理によりコンテンツの要素に客観的に重要度を付加することができます。本プロジェクトでは、スライド要約技術を用いて、スライド推敲を支援する研究を行なっています。