2.1 映像シーンに対する半自動アノテーションシステム

映像コンテンツに対して、効率よくアノテーションを作成するためのツールとして、ビデオアノテーションエディタ[1]が開発された。このツールでは、映像コンテンツを自動解析した後、アノテーションを行う人間が解析結果を修正・補完して意味的な記述を行うことで、映像シーン検索の精度を実用的なレベルに引き上げることができる。

ビデオアノテーションエディタでは、まずは自動的にカットおよびショットの検出が行われる。ここでいうカットとは、映像に大きな変化があった時刻（転換点）のことで、カットから次のカットまでの区間をショットと呼ぶ。このカットの検出では、映像を1フレームごとに色情報をヒストグラム化した後、このヒストグラムを直前のフレームのヒストグラムと比較し、差が閾値を越えた場合に新たなカットとして認識される。こうして自動的に抽出されたショットは人手で簡単に分割・併合できるようにされている。

自動的にカットを検出するだけでなく、映像中に登場する人や動物、テロップなどのテキストといったオブジェクトの出現する時間と消滅する時間を自動的に取得して、オブジェクトに対するアノテーションを付与することができる。この情報は編集や検索の際に非常に有用になる。

図2.1: VideoAnnotationEditorのインタフェース

このシステム上でアノテーションを行う際には、先に解析によって得られたショットやオブジェクトを選択する。選択された対象に付与する意味属性アノテーションのカテゴリを選択した後、カテゴリの中から意味属性を選択する。図[vae]はこのインタフェースを用いてオブジェクト(人物)に対してアノテーションを行っているところである。この意味属性は複数選択することが可能で、その組み合わせによってアノテーションの対象に関する正確な記述を行うことができる。アノテーションを自然言語だけではなく、意味情報の選択という方式で行うことで、意味内容を一意にとらえやすくなっている。また、解析されたデータとともに、そのデータの意味する内容を記述することによって、アノテーションデータ単独で意味内容が理解できるようになっており、それによって特定のアプリケーションに依存しにくく、永続性・独立性の高いアノテーションデータが得られるように工夫されている。

さらに、ビデオアノテーションエディタによって得られたアノテーションに基づいた、自然言語を用いた検索システムも開発された。この検索においては、自然言語による検索要求文を解析してキーワードに分解した後、得られたキーワードとアノテーションデータとの直接的なマッチングだけでなく、キーワードの中で色や明暗を表すものを用いて、アノテーションデータに含まれるカラーヒストグラムとのマッチングも行っている。それによって、「暗い」というキーワードに対して、人手によるアノテーションが行われた部分のみでなく、自動解析による明暗の情報も検索結果に反映できる。また、検索要求文の後方の単語の方が文章の根の方に近く、重要であるという予想から、検索要求文の前の方に現れたキーワードの重みづけを小さく、後ろの方に現れたキーワードの重み付けが大きくされた。こうして、自然言語の検索要求文が検索結果のソーティングに活用されている。

2.2 SynvieによるWebコミュニティ活動に基づく映像アノテーションの獲得

人手と機械処理を組み合わせたアノテーションの方式は、応用システムを開発する上で極めて有効である。しかし、専門家が映像コンテンツに対してアノテーションを作成するのには多大な人的コストがかかり、機械的に映像コンテンツの意味を解析することができない限り、大幅なコスト低減は見込めない。そのため、商用コンテンツのような、アノテーションのコストに見合った効果が見込まれる映像コンテンツでなければ現実的には適用できないという欠点がある。

そこで、ブログやSNSといったWebコミュニティ活動に目をつけ、映像コンテンツとそれらを効果的に結びつけることで、コミュニティにおける自然な活動から映像コンテンツに対するアノテーションを獲得するためのシステムSynvie[2]が開発された。このシステムでは、Webコミュニティにおいて行われている2種類の活動に対応する仕組みが提供された。1つ目は、映像コンテンツの任意のシーンに対して、コンテンツの内容に対する感想や評価などの情報の関連付けを支援する掲示板型コミュニケーションの仕組みであり、2つ目は、任意の映像シーンを引用したブログエントリの生成を支援するブログ型コミュニケーションの仕組みである。これらの仕組みを作成することによって，ユーザ同士の映像を題材としたコミュニケーションを支援する。

図2.2: シーンコメントインタフェース

まず、掲示板型コミュニケーションの仕組みに関して解説する。これは映像コンテンツにおける現在再生中のショットに対して、映像コンテンツの閲覧を中断することなく簡単にコメントを投稿することができる仕組みである。また、図[Synvie0]のように、現在の映像に同期したコメントが表示される。これにより、ユーザは映像コンテンツに対して、電子掲示板感覚で他のユーザとコミュニケーションを図ったり、関連情報を提示したりすることが可能になる。こうして投稿されたコメントには、アノテーションとしてそのまま活用できる質の高いテキストであることはそれほど期待されていない。コメントを投稿したことをきっかけとして、後で述べるシーン引用に基づくブログ執筆を促すことが掲示板型コミュニケーションの目的である。

また、映像コンテンツ中のあるショットだけでなく、閲覧中のコンテンツの静止画像に関して、任意の領域を矩形選択して、それに関するアノテーションを投稿できるシステムも作られた。このシステムでは、前述の簡易なコメント投稿システムとは異なり、映像の閲覧を一時的に停止する必要がある代わりに、より詳細で対象が明確なアノテーションを付与可能であり、映像上の登場人物やオブジェクトの名称の記述、テロップの書き下しや見落としがちな部分についての注釈などの、コメントと比較すると説明的なアノテーションが作成されることが想定されている。

次に、映像シーンを引用したブログエントリの作成を支援するシステムに関して解説する。ブログでは、エントリごとに、PermalinkやTrackbackなどの仕組みによって、異なるサイトにまたがるエントリ間のリンクや引用を可能にしている。また、エントリに対してコメント投稿機能を用意することによって、読者からのフィードバックを取得可能である。この仕組みを映像コンテンツのシーンに対して適用することによって、映像シーン単位でのアノテーションや引用を実現するためのシステムが開発された。

このシステムにおいては、引用するシーンの時間区間はユーザによって決定される。引用シーンを決定するインタフェースとして、1つの映像コンテンツ内の、コメントを付けた周辺のシーンのみを引用するシンプルなインタフェースが開発された。また、このインタフェースの問題点を改善し、さらに複数の映像コンテンツから複数のシーンを個別に引用、あるいは共引用するためのインタフェースが開発された。

図2.3: 1つの映像コンテンツからのシーンの引用インタフェース

前者のインタフェースでは、引用シーンをショット単位で時間的に展開させることで、引用シーンの時間範囲の修正・変更が可能であり、より正確にシーンを選択することができる。具体的には、シーン伸縮ボタンを押して引用シーンを時間的に前後に伸縮させることによって、正確に引用シーンを選択する。また、このシーンに対応するコメントを編集することも可能である。これは，シーンの流れやストーリを対象としたビデオブログエントリを記述するのに適したインタフェースであると同時に、より詳細なアノテーションを施すためのツールとしての側面も持っている。

図2.4: 複数コンテンツからのシーン引用インタフェース

後者のインタフェースでは、図[synvie2]のように、ブログへと引用したい複数の映像コンテンツに対応するサムネイルシークバーが、層上に表示されている。サムネイルシークバーは、右上に表示される小さなビデオウィンドウと、水平方向及び垂直方向に伸びる、現在のメディア時間を基準とした連続ショットに対応するサムネイル画像から構成されている。水平シークバーでは、映像のシークとブログへと引用するシーン区間の指定が可能であり、垂直シークバーでは、おおまかにビデオをシークすることが可能である。水平シークバーを用いてシーン区間を指定する際には、1回目のクリックでシーンの開始フレームを、2回目のクリックで終了フレームを、3回目以降のクリックで微調整を行う。サムネイルシークバーを採用することで、ストリーミングビデオのシーク時のタイムラグによるシーンの見落としの回避が図られている。また、複数の映像コンテンツからシーンを引用できるので、複数コンテンツにまたがるアノテーションが作成できる。

実際には、ユーザは後者のインタフェースを用いてビデオブログエントリを作成する。作成されたビデオブログエントリは、HTML文章として表現されると同時に、アノテーションデータベースに登録される。登録されたアノテーションは、ユーザによって入力されたそのままの形になっており、機械的に処理できる形式であることが保証されていない。そこで、3つの観点による、アノテーションの解析が行われた。アノテーションテキストからのタグの抽出、アノテーションや映像シーンの各々の重要性の計算、各々のアノテーション間やシーン間の関連性についての考察である。

1つ目のアノテーションテキストからのタグの抽出では、コンテンツ全体に対するアノテーションから得られたタグをコンテンツタグ、シーンに対するアノテーションから得られたタグをシーンタグと、タグを2種類に分類した。また、アノテーションテキストを形態素解析によって形態素に分解し、それぞれの形態素から名詞・動詞・形容詞・形容動詞・未知語を抽出した。ただし、未知語は固有名詞として扱い、さらに一般的に不要語と判断可能な形態素（例えば、する、 ある、など）や代名詞、非自立な品詞も除外された。こうして得られたそれぞれの形態素の基本形がタグとして扱われた。

2つ目のアノテーションやシーンの重要性に関しては、アノテーションの重みはそのアノテーションがシーンの内容をどれだけ的確に表現できているかの指標によって、シーンの重みは頻繁に参照されるシーンほど重要であるという指標によって計算された。具体的には、まずアノテーション対象の粒度(すなわちシーンの長さ)、アノテータ(ブログ作成者)の信頼度、アノテーションの取得方法による信頼度からアノテーションの重みが計算された。こうして計算されたアノテーションの重みを基にして、より重みの大きいアノテーションが多く付与されているシーンほどシーンとしての重要度が高いものとした。

3つ目のアノテーション間およびシーン間の関連性については、1つのビデオブログエントリで複数のコンテンツが同時に引用された場合、そのビデオブログエントリの内容に基づいて、これらのコンテンツの意味的な関連性を分析することが可能になる。

2.2.1 タグの選別とDivieによる映像シーン検索システム

Synvieによって得られたアノテーションテキストには、映像コンテンツの内容とは関係のないものが含まれていることが容易に想像された。そのため、シーンタグを選別して、そのシーンに対して適切なタグのみを残すためのシステムが開発された[3]。また、選別システムによって適切と判断されたタグを基にした、シーン検索のインタフェースが開発された。

はじめは、タグの選別を機械処理によって行うよう試みられた。まずは、TF-IDF(Term Frequency-Inverse Document Frequency) によるシーンタグの重み付けが試みられた。しかし、この手法は大量のドキュメント数を必要とするため、有効な選別を行うことはできなかった。次に、Google Web API(http://code.google.com/)を利用し、コンテンツに付与されたタグと、シーンタグの共起関係から重み付けを行った。しかし、コンテンツに付与されているタグには、コンテンツ内部のシーンに関係するものが詳細に含まれているわけではなく、シーンに関係するキーワードよりも、一般的なキーワードとの共起関係が強くなってしまったため、この手法によっても有効な選別は行えなかった。これらの結果を踏まえて、機械処理による自動的なタグ選別によって有用な選別結果を得るのは困難であるという結論に至った。

そこで、コストを可能な限り抑えながらも、人手によってタグの選別を行うためのシステムが開発された。そのシステムでは、オンラインで不特定多数の人間の手でタグの選別を行うことによって、1人当たりにかかるコストを抑えながらも適切なタグ選別を可能にしている。

図2.5: シーンタグの選別

開発されたタグ選別システムの概要に関して解説する。このシステムでは、映像コンテンツの再生中に、タグが付与されたタイムコードに至ると、自動的に再生が停止されて該当するタグが適切かどうかを選択するように表示される。このシステムのインタフェースでは、あらかじめ2つのビデオウィンドウが用意されており、タグの選別を行う間には、片方のウィンドウの再生は停止した状態のままだが、もう片方のウィンドウで、タグが付与されているシーン区間やその周辺の映像を閲覧することができる。図[divie1]は、実際にこのインタフェースでタグを選別している様子である。シーンに関連付いたタグはシーンの開始時間に対する情報ではなく、そこから始まる、もしくはその周辺のシーンに対する情報である。そのため、タグが適切であるかどうかを選択する際にはシーンのみではなくその周辺の情報も閲覧できる必要があるため、ウィンドウを2つ設置する設計がなされた。また、オンラインで不特定多数のユーザによってタグ選別が行われることが前提とされているため、タグの選別時には、それまでに行われた選別の履歴が表示されるようになっている。新たにタグ選別を行うユーザは、その履歴を参考にしてタグ選別を行うことができる。

実際にこのシステムによってタグを選別した結果、Synvieによって得られたシーンタグのうち約3分の1が適切なタグであると判定された。これによって、Webコミュニティにおける自然な活動によって得られたアノテーションには、有用な情報が含まれていると実証された。また、このシステムを用いたタグの評価にかかった時間を、比較実験用に作成されたシーンタグ作成ツールを用いてタグを作成するのにかかった時間と比較したところ、シーンタグを新規に作成するよりも、Synvieによって得られたシーンタグを選別する方がコストが小さくなることが実証された。

次に、適切と判断されたシーンタグによるシーン検索システムについて述べる。オンラインビデオアノテーションを基に作成されるシーンタグには、タグが関連付けられるシーンがユーザの興味のあるシーンに偏るという問題点がある。また、人気のあるコンテンツにはシーンタグが多く付けられるが、そうでないコンテンツにはあまり付かないことも問題になる。この問題から、アノテーションの量にも依存するが、コンテンツ全体を網羅するほどの量のシーンタグを作成することは非常に困難であると考えられる。また、タグの本質的な特徴として、タグの付与されていない箇所は、検索にヒットしないという問題がある。そこで、検索結果として、シーンをランキング表示するのではなく、シーンの元になったコンテンツをランキング表示し、そのコンテンツ中のシーンに関する情報を提示することで、コンテンツから目的のシーンを発見できるシステムが開発された。

このシステムを用いて検索を行う際には、検索キーワードを入力することもできるが、品詞によってカテゴリ分けされたシーンタグの中から目的のタグを選択することもできる。このタグはキーワードを1文字入力するごとに検索結果が絞り込まれるインクリメンタル検索の仕組みにより、容易に選択することが可能となっており、かつシーンが1つもヒットしないタグを検索することがないようになっている。

図2.6: Divieのシーン検索結果

検索にヒットしたコンテンツは、図[divie2]のように、コンテンツ中の各シーンの情報、タグが付与されている時間区間、タグが付与されていない時間区間の情報、付与されているシーンタグの一覧などが表示される。この多くの情報をWebブラウザ上で効率よく表示するインタフェースが開発された。検索結果画面には、シーンのサムネイルや、コンテンツから作成されたシーンに関連付けられたシーンタグの一覧が表示される。また、タイムラインが表示され、検索クエリに用いられたタグと、シーンタグ一覧からクリックされたタグが関連付けられた区間がタイムライン上でハイライト表示される。さらに、タグとは別に、シーンを引用したブログのテキストも表示できるようになっている。

2.3 映像シーンと論文部分の引用関係によるアノテーションの獲得

Webコミュニティの活動に基づくアノテーションの獲得は、ユーザの自然な、あるいは自発的に行われる行為による結果をアノテーションとして活用するものであるため、アノテーションとしてユーザが感じるコストは極めて低い。しかし、ユーザが映像コンテンツへのアノテーションを行っているという認識を持たずに記述した内容をアノテーションとして利用するため、検索用のアノテーションとしての質はあまり高くない。シーンの内容に間接的にも関係しない内容が記述されるケースが生じることは避けられない。また、アノテーションとして獲得されたテキストが文法的に正しいとは限らないため、文章としての解析がうまくいかない場合もあった。

そこで、テキストを不特定多数のWebコミュニティユーザから集めるのではなく、テキストの質が比較的高いと思われる論文に目を付け、論文の部分と映像の部分であるシーンとを関連付けることで、シーンに対するアノテーションを作成することが試みられた[4]。論文はその研究分野に関して専門的な知識を持った研究者によって執筆されたものである。よって、このアノテーション手法で映像に関連付けられたテキストには、一般ユーザのコメントなどのテキストからは得られない、専門用語などの特徴語が多く含まれることが期待された。このような特徴語は、学術的な内容を含む映像シーンを検索する際に、非常に有用なタグになると考えられる。また、論文中のテキストは、査読などが行われている、ある程度洗練された文章であるので、文法的に的確であると考えられる。そのような文章からは、容易に語と語の関連性を統計的に獲得できると考えられた。そこで、この考えに基づき、アノテーションとして収集されたテキストの文章に現れる語の共起頻度からタグの関連性を計算し、それを利用した映像シーン検索を実現した。

図2.7: TDAnnotator

まずは、論文部分と映像シーンとの関連付けに関して述べる。論文の部分の選択は、筆者が所属する研究室で開発されたTDAnnotatorを用いて行われる。TDAnnotatorは、論文の任意の部分を矩形選択して、その部分に対してアノテーションを付与することができるシステムである(図[tda])。映像部分であるシーンの区間指定は、前述のSynvieのものとほぼ同じ方式で行われたため、詳細については省略する。こうしてそれぞれの対応する部分だけを抜き出された論文テキストと映像シーンを、次に述べるDRIPシステムを用いて関連付けることで、アノテーションの獲得が行われた。

図2.8: 映像シーンと論文部分との関連付け

DRIP(Discussion-Reflection- Investigation-Preparation)システム([5])もまた、筆者が所属する研究室で開発されたシステムであり、ユーザはゼミコンテンツの引用や、タグの付与を行うことで、ゼミコンテンツを要約・分類・整理し、そこから導出される、文献調査やシステム構築といった様々なタスク内容の作成を行うことができる。また、コンテンツをノード、コンテンツ間のリンクをエッジとみなしたグラフ構造を有しており、ユーザは必要に応じてその配置を自由に変更できる。コンテンツにはゼミコンテンツや、そこから生まれた発言、タスクに関するノートがあり、新たに作成したノードを既にあるノードに対して関係付けを行うこともできる。このDRIPシステムで論文部分と映像シーンを参照可能にしたうえで、それらの関連付けが行われた(図[tdr])。

こうして関連付けを行うことで、映像シーンに対するアノテーションとして論文テキストが獲得された。獲得された論文テキストは、検索に活用しやすくするために形態素解析され、シーンタグを得たのち、論文テキスト内における共起頻度からタグ同士の関連度が計算された。この関連度を用いることで、検索キーワードとしてタグが選択された際に、関連するタグを提示することが可能になり、ユーザが目的のシーンを検索するための有用な手掛かりが提供される。また、タグだけでなく、論文タイトルや論文テキストによるシーン検索も可能になっており、関連付けられた論文の情報を用いた柔軟な検索システムが構築された。

図2.9: 論文が関連付いたシーンの検索結果

検索結果としては、図[tdr]のように、シーンのタイトル、シーンのサムネイル、及び、シーンに関連付けられた論文の部分の文章、さらにその論文のタイトルが表示される。このシステムで収集される論文のテキストは、信頼性の高いアノテーションとして利用することができるため、この検索インタフェースではピンポイントに映像シーンを検索できるようにされた。ユーザは論文の文章を閲覧することでその映像シーンの内容を概ね理解することができるだけでなく、関連付けられている論文のうち、興味のある論文のタイトルをクリックすることで、論文タイトルをクエリとした映像シーンの検索結果が表示される。また、TDAnnotatorへのリンクが設置されており、映像と関連付いた部分を読んで興味を持った論文があれば、すぐに全体を閲覧することができる。

2.4 従来のシーン作成・引用に関する問題点

ここまで述べてきたように、筆者が所属する研究室では、様々な方法を用いて映像コンテンツの時間区間にアノテーションを付与して、それを基にして映像シーンの検索を行う研究が行われてきた。各々の目的に合わせたシステムによって、映像の部分をシーンとして区切るという行為は、その中で様々な手法で行われてきた。しかし、アノテーションを獲得するための過程の一部としての側面が強かったため、シーン作成そのものを目的としたシステムが存在していなかった。

そのため、一度作成したシーンを再びユーザ自身が閲覧することは不可能ではないが、シーン検索などの1ステップを間におく必要があり、かつ、シーンを保存し、検索可能な状態にするためには引用を行う必要があった。しかし、そのようなシステムでは、ユーザが同じシーンを何度も繰り返し見直したい、あるいは、気に入った部分を後ですぐに見直せるようにしておきたい、といった要求に応えるのに適しているとは言い難い。そのような目的のためには、任意のタイミングでシーンを作成可能にして、シーン検索とは別に、各ユーザが作成したシーンをまとめて管理できるシステムが必要となる。

また、従来のシステムで任意のWebコンテンツへのシーン引用を行う場合には、その作成時にシーン区間を指定する必要があった。しかし、エンターテインメント性の高いWebコンテンツへの引用のように、その場でのフィーリングをコンテンツ化する場合には問題がなくても、何かを詳細に解説しているブログの作成や、論文への引用など、映像コンテンツの閲覧から引用先のコンテンツを作成するまでに時間が空くような場合においては、コンテンツ閲覧時に感じた、「このシーンは後で使える」といった感覚を必ずしも維持できるとは限らない。それどころか、シーンを引用したいコンテンツを特定できるクエリを記録もしくは記憶しておかなければ、後にコンテンツを引用する時になって検索して再発見するのが困難になる。

しかし、シーンをあらかじめ作成しておくのであれば、このような問題は解決される。映像コンテンツ中の任意の部分を指定して、それをシーンとして保存しておくことで、映像部分を利用するためのシーン作成と、映像コンテンツ視聴から引用先コンテンツの作成までのタイムラグによって生じる問題を解決できると考えられる。そこで、本研究では、映像コンテンツから任意の部分を選別して、シーンとして管理できるビデオスクラップブックシステムを提案する。本システムの詳細について次の3章で述べる。

3.1 チェックポイント登録機能

ある映像コンテンツから映像シーンとして範囲を指定するには、当然ながら一度はそのコンテンツを視聴する必要がある。そして、視聴したコンテンツの中で実際に映像シーンとして区切られるのは、ユーザがそのコンテンツを視聴しているときに「このシーンが気に入った」や「後で繰り返し視聴したい」、あるいは「この部分は参考になる」などの印象を持ったシーンであると考えるのが妥当である。

図3.1: チェックポイント登録ボタンとチェックポイントシークバー

そこで、コンテンツ視聴中に感じたこのような印象をデータとして残すための仕組みが、チェックポイント登録システム(図[check])である。この機能を利用する際にユーザが行うことは、コンテンツ視聴中に「イイ」と感じたタイミングで「イイネ！」ボタンを押す、という簡単な行為のみである。この操作によって、ユーザが「イイ」と感じたコンテンツがビデオスクラップブックに登録されると同時に、ボタンが押されたコンテンツ中のタイムコードがチェックポイントとして保存される。また、そのボタンが押された日時もデータベースに保存される。「イイネ！」ボタンの右隣にある「シーン作成」ボタンをクリックした場合には、そのタイミングをチェックポイントとして登録した上で、次節で述べるシーン作成ページに移動する。

コンテンツそのものがビデオスクラップブックに登録されることによって、ユーザが次回以降にそのコンテンツの視聴やシーンの作成を行う際には、大量に存在するコンテンツの中から前回用いた検索キーワードを思い出すなどして検索する代わりに、自分のビデオスクラップブックの中から目的のコンテンツを探し出すだけでよくなる。検索の対象となる母集団が小さく、ユーザが必要としない類似コンテンツが候補としてヒットしないだけでなく、チェックポイントの登録を行った日時を用いてコンテンツを検索することができるため、より簡単に目的のコンテンツに到達できる。

チェックポイントとして保存された映像コンテンツ中のタイムコードは、コンテンツ視聴ページのチェックポイントシークバーに赤いラインとして表示される。チェックポイントシークバーでは、つまみをドラッグするか、シークバーの範囲内をクリックすることによって、その時間のシークを行うことができる。シークバー上に表示されているチェックポイントを参考にすれば、以前コンテンツを視聴した際に気に入った部分を容易に再発見できる。また、このチェックポイントシークバーには、他のユーザが保存したチェックポイントも青色で表示される。そのため、ユーザは初めて視聴するコンテンツであっても、そのコンテンツにおいて重要性が高いと推測される部分を知ることが可能であり、時間が不足している際にその部分のみを視聴することや、集中して視聴するべき部分の参考にすることなどができる。

3.2 映像シーン作成機能

図3.2: ビデオスクラップブックのシーン作成インタフェース

ビデオスクラップブックのシーン作成インタフェース(図[CreateScene])では、図[StartEnd]のボタンを用いてシーン区間を指定する。2.2節で紹介した従来のシーン引用インタフェースで採用されていた、サムネイルのクリックによって始点・終点を指定する方式から変更した理由は2つあり、1つは右クリックやコントロールキーといった、見た目では分からない操作方法を減らすためであり、もう1つはサムネイルから選択したシーンと実際に作成されるシーンとの間に生じる1、2秒のずれをなくすためである。機械処理によって映像からサムネイル画像を作成する際に、完全に等間隔に分ける事は難しいため、その画像のみを用いてシーン区間を指定するとサムネイル上には含まれないシーンが入ってしまったり、逆にサムネイル上では含まれているシーンが切れてしまったりする場合がある。それを防ぐために、コンテンツを実際に再生しながら始点と終点を指定する方式に変更した。

図3.3: シーン区間指定ボタングループ

シーン区間指定ボタンは、ボタンが押されたときに、再生していたコンテンツ中の時間をシーンの始点あるいは終点として設定するためのボタンである。2つのボタンが分かれているのは、一度始点と終点を指定した後にそれらを再度設定し直す際に、個別に変更できるようにするためである。また、始点・終点ボタンの左右にあるボタンは、シーンの始点・終点を1秒ずつ微調整するためのボタンである。

図3.4: プレビューボタンとシーン登録ボタン

シーン区間を決定したら、図[PreviewRegist]のプレビューボタンを押して、指定したシーン区間が自分にとって適切であるかどうかを確認する。修正が必要であった場合には修正して再度プレビューを行うことを繰り返し、問題がなくなれば登録ボタンを押す。すると、登録用ダイアログが表示される。

図3.5: 登録ダイアログ

図[RegistDialog]に登録用のダイアログの例を示す。ここでは、公開範囲の選択、保存方法の選択、シーンタイトル、シーンコメント(キャプション)、シーンタグの入力が可能である。公開範囲の選択では非公開(Private)・研究室内のみ公開(Laboratory)・外部公開(Public)の3つの公開範囲を設定できる。ただし、コンテンツそのものが外部に公開されていない場合には、作成したシーンを外部に公開することはできない。保存に関しては、自分が以前作成したシーンを読み込んでいる場合に限り、以前登録した情報を更新するか、あるいは別のシーンとして新規に登録するか選択できる。他のユーザのシーンを読み込んでいる場合には、変更後のシーンは新規に登録される。

3.2.1 チェックポイントシークバー

シーンの作成を行うユーザはまず、チェックポイントシークバー(図[CheckSeek2])、およびチェックポイントへの移動ボタンを用いて、チェックポイントとして登録されたタイムコード周辺のシークを行う。シーンを作成する映像コンテンツが短い場合や目的のシーンがコンテンツの始めにある場合には、シーン作成の際にチェックポイントの参照を行う必要は必ずしもないが、そうでない場合にはチェックポイントを参考にシークを行った方が、目的のシーンを探すための時間を短縮できると考えられる。

図3.6: シーン作成ページのチェックポイントシークバー

チェックポイントシークバーの利用方法は、コンテンツ視聴ページと同様に、シークバー上に表示されているチェックポイント(赤ライン)を参考にながら、つまみをドラッグするか、シークバー内の任意の場所をクリックすることによってシークを行うことである。手動でシーク位置を指定するため、ずれが生じやすいという欠点はあるが、任意の時間に対してシークを行うことができる利点により、チェックポイントよりも少し手前の時間にシークを行うことができることや、シークを行う際の操作が通常のプレイヤーの操作と類似しているため、使用方法が分かりやすいといった利点が挙げられる。

チェックポイント付近へのシークを行うためのもう1つの方法として、次、もしくは前のチェックポイントへのシークを行うためのボタンを用意した。このボタンによるシークは、保存されたタイムコードを利用してシークを行うため、前述の手動でのシークと比べてシークの精度が高い特徴がある。また、これらのボタンによってシークを行った場合、チェックポイントシークバー上の該当するチェックポイントは太く強調して表示されるようになっており、シークバー上のアナログ操作によるシークと異なり、どのチェックポイントを利用したのかをユーザに示すことができる。

チェックポイントシークバーには、シーンの区間として指定された範囲を、水色にハイライト表示することによってユーザに示す役割もある。このハイライト表示によって、ユーザは指定しているシーンがコンテンツ中のだいたいどのくらいの時間に存在しているのか、およびコンテンツ全体の長さと対比して、シーンの長さがどの程度かを容易に把握できる。

チェックポイントの情報は、シーン作成のためだけに保存されているわけではないが、チェックポイントを過剰に作成しすぎた場合や、まちがって登録してしまった場合、あるいはシーンを作成したことでそのチェックポイントがもう役割を終えたと考えられる場合のために、チェックポイントをユーザが削除できるようにした。ユーザがチェックポイントの削除を行いたい場合には、削除したいチェックポイントを選択状態(太く強調された状態)にして、「チェックポイントを削除」ボタンを押す。

3.3 コンテンツとシーンの整理・表示機能

映像シーンは、誰かに公開するためであれ、自分だけのためであれ、ユーザが何らかの利用目的をもって作成される。しかし、作成されたシーンが何の規則性も持たずに並べられていては、ユーザが視聴したいシーンにアクセスすることが困難になる。

そこで、ビデオスクラップブックのシステムでは、ユーザが作成したシーンをコンテンツごとにまとめ、かつ検索可能な状態にすることで、その問題の解決を図っている。それがユーザごとのコンテンツとシーンの整理・表示機能(以降マイページと呼ぶ)である。このマイページに関しては、3.3.1項にて詳細に述べる。

次の3.3.2項では、各ユーザが作成したシーンの他のユーザへの公開に関して述べる。これは、他のユーザが公開したシーンを視聴したユーザが、そのシーンの内容を受けて関連するシーンを作成するなどのソーシャルなシーン作成活動が行われることを狙ったものである。また、ユーザの作成したシーンを他のユーザが利用することで、各ユーザの手間を削減することや、同一シーンが検索結果として複数表示されることを防ぎ、それらのシーンに対するアノテーションを1つのシーンに関するものとして扱いやすくする目的もある。

3.3.3項では、共有されているシーンの一覧表示と、その中から目的のシーンに到達するための仕組みについて述べる。システムが十分に活用されていれば、全ユーザによって共有状態にされたシーンの総数は、各ユーザ個人が作成したシーンの総数と比べると膨大な量になると考えられる。そこで、ユーザマイページのものよりも検索機能を多く持たせることで、その膨大なシーンの中から目的のシーンを検索できるようにした。

3.3.4項では、シーン作成のインタフェースに関して、Synvieのシーン作成インタフェースと比較して、主観評価を行った。

3.3.1 ユーザマイページ

ビデオスクラップブックのユーザマイページでは、各ユーザがチェックポイントを登録したコンテンツと、そのユーザによってシーンが作成されたコンテンツが一覧表示される(図[scrap1])。このページでは、各コンテンツからユーザが作成した映像シーンの数の確認と、作成されたシーン一覧への移動が可能である。また、このコンテンツ一覧からすぐにコンテンツを探すことも可能である。

図3.7: ビデオスクラップブックに登録されたコンテンツ一覧

ビデオスクラップブックに登録されているコンテンツが増加すると、目的のコンテンツを探し出すのが難しくなる。そこで、検索インタフェースを用意して、登録されたコンテンツの中から目的のコンテンツを簡単に探し出せるようにした。提供している検索機能は、カテゴリ検索、更新日時検索、キーワード検索である。

カテゴリ検索では、コンテンツごとに1つ設定されているカテゴリタグを指定して、該当するコンテンツのみを表示することができる。また、各カテゴリごとにいくつのコンテンツが登録されているかが表示される。更新日時検索では、大まかな期間(今週、先週、今月など)を指定することで、その期間にチェックポイントが登録されるかシーンを作成されるかしたコンテンツが表示される。キーワード検索ではオートコンプリート方式を採用して、登録コンテンツあるいはシーンに付けられたタグを1文字入力ごとに表示する。また、キーワード検索ではタグだけでなくコンテンツタイトルやシーンタイトル、シーンコメントの部分一致によっても検索が可能で、複数キーワードを指定することもできるので、柔軟にコンテンツを絞り込むことができる。

図3.8: コンテンツごとのシーン一覧

また、シーンを再編集・再視聴する場合には、登録コンテンツごとに作成されたシーン一覧(図[scrap2])を利用する。シーン一覧においては、登録時にユーザが入力したシーンタイトルとシーンコメントが表示される。また、各シーンを作成・更新した日時も表示されるため、1つのコンテンツから複数シーンを作成していても、比較的容易に目的のシーンが発見できる。キーワード検索を行った場合には、コンテンツのタイトルや投稿者コメント、およびタグと、入力されたキーワードと照合するものがあるか調査され、照合するものがあった場合には、該当コンテンツ一覧と、該当コンテンツごとの作成されたすべてのシーンが一覧表示される。キーワードと照合するコンテンツがなかった場合には、シーンタイトル・シーンコメント・シーンタグを検索対象に追加して、キーワードと照合したシーンの元のコンテンツの一覧と、コンテンツごとの照合したシーンが一覧表示される。そのため、シーンに付与されているタグなどのアノテーションを検索に用いることによって複数のシーンから目的のシーンを絞り込むことができる。

3.3.3 共有シーンの視聴

3.3.2項で述べたように、ビデオスクラップブックでは、作成したシーンを別ユーザにも公開することで、シーンの共有が可能である。ここでは、共有されているシーン一覧に関して述べる。

他のユーザの共有シーンに関しては、すべてのユーザのシーンがそれぞれの元となったコンテンツごとに整理して表示される。シーン一覧ではシーンタイトルと更新日時に加えて、作成したユーザの名前も表示されるため、それを参考にして視聴あるいは利用するシーンを選択できる。コンテンツごとに表示されることによって、ユーザは元のコンテンツから大まかにシーンを選別することが可能になる。また、不特定多数のユーザが用いるWebサービスである性質上、シーンに対して、検索にヒットさせるためにシーンの内容とは無関係なテキストをタグに追加されるような場合が想像されるが、コンテンツのタイトルを参考にすることでユーザは本当に目的に合ったシーンかどうかを大まかに予測することができる。

図3.9: 共有シーンの検索インタフェース

共有シーンの絞り込みや検索は、図[SharedScraps]に示すインタフェースを用いて行うことができる。ユーザ自身が作成したシーンを検索する場合のインタフェースと比較すると、ユーザ名による検索が可能な点で異なっている。これは、不特定多数のユーザにより作成され、共有されるシーンの数は、ユーザ自身が作成したシーンの数よりも多数となることが容易に予想されるため、その中から目的のシーンに迅速にたどり着くための仕組みが必要だと考えられたためである。シーンを作成したユーザ名によってシーン検索することで、お互いのユーザ名を知っているユーザ同士でシーンを紹介しあう、といったことが容易になる。しかし、将来的にユーザ数が増えた場合には、ユーザを任意のグループに分けた上でそのグループの中からユーザを検索する、といった工夫を施す必要があると考えられる。

ユーザ名による検索とは別に共有シーンを利用する際に重要になるのが、共有シーンに対するブックマーク機能である。共有されたシーンは、コンテンツ数やユーザ数が増加するにつれて、次第に目的のものを絞り込むためのコストが大きくなることが予想される。そこで、気に入ったシーンをブックマークに登録することによって、そのシーンに対するアクセス性を高めることが可能である。シーンに対するブックマークは、共有シーンの一覧のボタンをクリックすることで簡単に登録でき、同様の操作で簡単に解除することが可能である。

この映像シーンの共有が、各ユーザがシーンを作成・公開する強いきっかけになることを筆者は期待している。

3.4 評価

従来システムであるSynvie[2]においては、シーンの作成は目的ではなく、あくまでもシーン引用のための過程であった。そのため、ビデオスクラップブックシステムの評価に関しては、4章において述べるシーン引用に関する評価と同時に行われた。しかし、ビデオスクラップブックシステムにおいては、シーンの作成とシーンの利用は全く別の機能であるため、この節ではシーン作成時のインタフェースに関する主観評価とその結果に関してのみ述べる。

なお、引用前にあらかじめシーンを作成し引用可能にしておけることの優位性の評価に関しては、4章で述べる。

詳細な評価方法について3.4.1項にて述べ、その結果について3.4.2項にて述べる。

4.1 論文への引用

2.3節で述べたように、映像シーンと論文部分を関連付けることによって、論文テキストを映像シーンアノテーションとして利用することができる。また、論文の部分に関連する映像を視聴することによって、論文への理解を高めることもできる。しかし、論文の執筆者と映像シーンを関連付ける人が異なる場合、関連付けられたシーンが適切なシーンであるかどうかは必ずしも判断できない。また、ユーザが論文の部分と映像シーンとの関連付けを行う理由に乏しいという問題があった。

そこで、完成した論文に対して映像シーンを関連付けるのではなく、論文執筆者によって映像シーンを論文中に引用してもらうという方式で論文部分と映像シーンとの関連付けを行うことによって、上記の問題を解決できるのではないかと考え、それを実現するためのシステムを開発した。論文中に映像シーンが引用される場合には、シーンを引用してテキストを記述するのは論文執筆者であるため、引用されたシーンの適切さは保証されるだろう。また、シーン引用を行う動機付けに関しても、現状では論文に映像を埋め込むという行為は一般的なものではないが、図の埋め込みは一般的に行われているため、将来的には自然な行為として、論文への映像シーン引用が行われる可能性は十分に考えられる。

筆者が所属している研究室では、論文執筆中に、参照するコンテンツの部分要素間に関連付けを行うことのできる、TDEditor[6]が利用されている。詳細に関しては4.1.1項にて述べるが、これは、論文の章や節などの構成要素に対してコンテンツを関連付けることによって、論文に必要な情報を整理して、論文の執筆を補助するためのシステムである。

映像シーンの論文への引用のために、ビデオスクラップブックシステムによって作成した映像シーンを参照・引用できるよう、TDEditorの機能を拡張した。4.1.1項では、まずこのTDEditorに関して述べる。次に4.1.2項においてTDEditorで映像シーンを引用する方法を述べる。最後に4.1.3項で、実際にTDEditorを用いてシーン引用を行ってもらった評価実験の内容と結果に関して述べる。

4.1.1 論文作成支援システムTDEditor

TDEditorは筆者が所属している研究室で開発・運用されている論文作成支援システムである。日常的な研究活動の中から必要な情報を検索・参照・引用可能な仕組みをユーザに提供することによって、論文執筆に必要な情報の可視化を行い、執筆作業を効率化することを目的としている。

図4.1: TDEditorのコンテンツ検索インタフェース

図[TDEditorContents]がTDEditorにおいて論文に参照・引用するコンテンツを検索するためのインタフェースである。この画面では、研究活動の中でユーザが閲覧・作成してきたコンテンツのタイトルが、著者や閲覧・作成日時とともに一覧で表示されている。コンテンツは種類ごとに区別して表示することが可能であり、表示の順番を並べ替えることも可能である。コンテンツの並べ替えによって、最近閲覧したコンテンツなどは、容易に発見できる。また、コンテンツの数が多く、参照・引用したいコンテンツがなかなか見つからない場合には、キーワード検索も可能である。

一覧におけるコンテンツのタイトルにマウスカーソルをあてることで、一覧の下の領域に、ユーザがそのコンテンツに対してアノテーションを付与した部分とその前後の一部の情報が表示される。論文の場合にはユーザが2.3節で説明したTDAnnotatorを用いてタグやコメントを付与した部分のテキストとその周辺の画像が表示され、スライドの場合には、アノテーションが付与されたページのサムネイル画像が表示される。これらの表示によって、ユーザはコンテンツの内容を大まかに把握することができ、参照・引用するべきコンテンツかどうか判断することができる。

TDEditorでは、論文構成(目次案)に対して、検索したコンテンツの部分要素の関連付けが可能である。関連付けを行うことによって、論文の章や節ごとに参照・引用可能なコンテンツを整理することができ、大まかに論文執筆に必要な情報の量を把握することができる。また、その章や節に関連付けられたコンテンツの部分要素のみを参照することができるため、実際に論文を執筆する際には、効率良く関連付けられたコンテンツの部分とアノテーションを参照することができる。

4.1.2 映像シーンスクラップの論文への引用

図4.2: TDEditorでの映像コンテンツ一覧

ビデオスクラップブックシステムで作成したシーンをTDEditorで論文に引用するためには、まずはリソース一覧のVideoタブをクリックする(図[TDContents])。そうすると、ユーザがシーンを作成したコンテンツや投稿したコンテンツのタイトル・投稿者・投稿日時などが一覧表示される。下のスペースにはマウスカーソルが当たっているコンテンツのサムネイルが5枚等間隔に表示され、引用するシーンを含むコンテンツかどうか確認できる。また、一覧に表示されるコンテンツ数が多い場合には、キーワード検索によって目的のコンテンツを絞り込むことが可能である。

コンテンツのタイトルをクリックすると、自分自身がそのコンテンツから作成したシーンが一覧表示される。このシーン一覧では、各シーンごとにシーンタイトル・シーンコメント・シーンタグが表示されるとともに、シーン区間の映像に含まれるサムネイルが5枚表示される。シーン作成時に指定した代表サムネイルの他に、シーン区間内の複数のサムネイルを表示することによって、ユーザはそのシーンがどのようなシーンか大まかに把握することができる。

図4.3: 参照・引用シーンの選択

また、ユーザは自分自身が作成したシーン以外に、他のユーザによって作成された共有シーンも参照・引用することができる(図[TDSceneSelect])。タブを切り替えることで、そのコンテンツからユーザが作成したシーン一覧と、他のユーザによって作成された共有シーンの一覧が切り替わって表示される。共有シーンの一覧においては、シーンタイトル・シーンコメント・シーンタグに加えて、シーンを作成したユーザ名も一覧に表示される。また、これらのシーン一覧においても、複数のシーンの中から参照・引用するシーンを検索するために、キーワード検索を行うことができる。

図4.4: TDEditor上でのシーンプレビュー

図のインタフェースにおいて「preview」ボタンを押すと、シーン再生用のダイアログとプレイヤーが表示され、その映像シーンの再生が開始される(図[TDPreviewDialog])。論文に引用されるシーンに限らず、現在執筆中の内容に関連する映像シーンを視聴することによって、執筆するべき内容を整理・確認できるようになり、論文執筆の効率化につなげることができる。また、シーン引用を行う際に引用シーンを視聴することで、そのシーンが引用するべき内容として適切か確認する役割もある。

図4.5: TDEditorによるシーン引用

引用するシーンが決まったら、「insert」ボタンを押すと、表示されていたシーンのサムネイル5枚が、代表サムネイル1枚に置き換わる。この代表サムネイルを取り囲むブロックのつまみの部分をつかみ、論文中の引用するべき部分にドラッグアンドドロップすることで、サムネイルと図のキャプションを論文に引用することが可能である(図[tdScene])。引用したシーン(の代表サムネイル)にカーソルを合わせ右クリックをすると、そのシーンのラベルを入力することができる。シーンの内容に関わるテキストを記述した場合には、図の場合と同じように、ラベルを参照することによって、そのテキストがどのシーンに対するものであるかを明示することができる。

引用したシーンは、紙面の論文として発行する際にはイメージとして表示されるが、Web上でマルチメディア論文として論文を閲覧する際には、映像シーンとして視聴することができる。執筆された内容に関連する映像シーンを視聴することにより、論文の閲覧者はシーンによって補足されている部分の内容をより容易に理解することができると考えられる。

4.1.3 評価と考察

3.4節では映像シーンの作成に関する主観評価について述べたが、ここでは映像シーンの引用に関する主観評価について述べる。研究室の学生11名に、TDEditorによるビデオスクラップブックシステムで作成したシーンの引用と、Synvieによるシーン引用を行ってもらい(図[Difference])、シーンの作成とドキュメントの作成のステップが分かれていることに関して5段階で評価してもらった。なお、本実験においては、引用するのは指定した実験用のコンテンツであり、作成してもらったドキュメントは真面目な内容のものではあるが、論文ではない。また、Synvieのシーン引用に関しては、比較のための仕様として、ブログエントリではなくドキュメントを作成できるように変更して実験を行った。

図4.6: 実験の流れ

ビデオスクラップブックシステムにおいて作成したシーンを引用して、TDEditorを用いてドキュメントを作成すること（作業1と呼ぶ）と、Synvieを用いて、引用するシーンをその場で決定しながらドキュメントを作成すること（作業2と呼ぶ）とを比較するため、グループをAとBの2つに分けて、グループAでは作業1を先にやってもらい、グループBでは作業2を先にやってもらった。こうして両方の手法によってシーン引用ドキュメントを作成してもらった後、「あらかじめシーンを作成しておけることは文書作成時にシーンを指定することと比較して有意義だと思ったか」という質問に対して主観評価で答えてもらった。表[qid41]にその結果を示す。

表4.1:表[qid41] あらかじめシーンを作成しておけることは有意義だと思うか

点数	1	2	3	4	5
人数	0	1	1	6	3
平均点					4

結果としては、有意義だと思うとの評価が多く集まったが、2や3といった評価も含まれているため、今後もシステムの運用を続けて、より使いやすくなるように改善する必要がある。今回の実験では、あらかじめドキュメントを作成する前提でシーンを作成してもらったため、シーンの作成とドキュメントの作成が分かれている意義が分かり辛かったことが低評価につながった可能性も考えられる。自由記述の解答に関しては、「先にシーンを作っておけるとシーンを作成している間に書こうとしている内容を忘れることがない」や「事前にシーンを作成している場合には大体の内容を把握しておけるので、内容や流れに一致する文章が書きやすい」などの回答が得られた。一方で、「初めからドキュメントの作成を目的としてシーンを作成する場合にはシーンの作成と引用でフェイズが分かれていることを煩わしく感じるかもしれない」といった意見も得られた。

ビデオスクラップブックによるシーン作成では、シーンを作成する際にはそのシーンを引用することは必ずしも想定されておらず、映像の特定部分の視聴や他のユーザへの紹介などの目的でシーンが作成されることも考えられる。そのようなシーンも含めて、以前作成した、あるいは共有されたシーンを引用することができるという機能を持ったシステムであるため、シーンの作成と引用ドキュメントの作成は完全に別々のものとなっている。しかし、はじめから作成するシーンとドキュメントの内容が決まっている場合や、逆にテキストのみがすでに作成されている状態からシーンを作成する、といった場合も考えられるため、TDEditorとビデオスクラップブックのシーン作成ページに相互リンクを提供するなどして、ユーザの任意のタイミングでシーンを作成して引用できるようにシステムを改善する必要があると考えられる。

4.2 展望

4.1節ではTDEditorを用いた論文への引用と、引用論文からのアノテーションテキストの獲得に関して述べた。しかし、獲得したアノテーションは実際に有効活用しなければ意味をなさない。そこで、まずは2.3章の研究でも行われたように、獲得した論文テキストを用いた映像シーンの俯瞰支援を行うことが考えられる。そうすることで、映像シーンの内容の理解がより容易になるとともに、関連する論文の閲覧ページにリンクできるようになる。また、同じ論文で引用された別のシーンの情報や、そのシーンを引用した別の論文を容易に閲覧できるようにするなどの工夫を加えることも考えられる。1つのシーンから様々な関連論文や関連シーンを検索できるようになれば、ユーザは様々な知識をより容易に得ることができるようになる。

論文へのシーン引用から得られるアノテーションの活用の幅を広げるだけでなく、作成したシーンを引用できるコンテンツの種類を増やしていく必要もある。HTMLタグの埋め込みという手法であれば、あらゆるWebコンテンツに対して映像シーンを引用することはそれほど難しくないが、引用先のコンテンツからうまくアノテーションを集めるためには何らかの工夫が必要になってくる。論文への引用は、専門的な知識を持った研究者による引用であるため、質がある程度保証されるが、一方で限られた映像コンテンツのさらに限られた部分でなければ引用されることがない。より一般的なコンテンツにも映像シーンを引用可能にすることによって、広い範囲のユーザが作成するコンテンツからアノテーションを獲得できるようになる。

論文以外の、シーンを引用して作成すべきコンテンツとして、電子新聞が考えられる。新聞は、文章と図という、静的な情報のみで構成されているため、読者が自分自身のペースで内容を理解することが可能な一方で、内容を理解し辛い場合があるという側面を持っている。そこで、電子新聞において図の代わりに映像シーンを用いることによって、閲覧者による内容の理解がより容易になると考えられる。映像と音声というリアルタイム性の高い媒体ですべてを伝えることの多いテレビのニュースなどとは異なり、テキストを主体とした上で映像を用いて理解を促すという形式となるため、自分のペースで内容を理解することができるという新聞の特徴を損なわぬまま、内容の理解を促すことができる。また、新聞に記述されているテキストは、読者に記事の内容を伝えるための文章として作成されているため、映像シーンに対するアノテーションとして十分に利用できると考えられる。また、現実にあった出来事を扱っているため、翌日の新聞などで再びその出来事に関連する新たな内容が記されることも多く、そのような場合には、単語の一致などを用いてそれらを検索するのが比較的容易であるため、複数のシーン間、複数のテキストと関連付けられたアノテーションを獲得できることも、新聞へのシーン引用の可能性の１つである。

また、掲示板やチャットといったネットワークコミュニケーションの場に映像シーンを引用するための仕組みを提供することも考えられる。そのような場で交わされるコミュニケーションを目的としたテキストは、おそらく映像シーンに対するアノテーションとしての質が高いものではないだろう。しかし、コミュニケーションから獲得されるアノテーションを直接的には利用できないとしても、作成した映像シーンがコミュニケーションの題材となる場を提供することによって、映像シーン作成に対するモチベーションを高める効果を期待することができる。コミュニケーションの場で高い評価を受けたシーンの作成者や元となった映像コンテンツの作成者に、その評価に応じて特典を与えるようなサービスを行えば、映像コンテンツやシーンの作成がより行われやすいものになり、作成されるシーンやシーン作成時のアノテーションの質も高まることが期待できる。また、シーンを引用して行われた掲示板やチャットのログを利用することによって、アノテーションとして適切な情報や検索の手掛かりを抽出できる可能性もある。

現在考えられる映像シーン引用には、映像シーンに対するアノテーションの獲得手段という側面や、シーン作成に対するモチベーションを向上させるきっかけという側面が考えられるが、今後引用できるコンテンツの種類を増やしていくことによって、また新しい側面が見えてくる可能性もある。そのため、作成したシーンをより幅広く利用できるようにする必要があると考えられる。

5.1 映像シーンの検出に関する研究

ビデオスクラップブックシステムにおいては、シーン区間はユーザによって指定される。そのため、作成されたシーンは意味的なまとまりのある部分であることが予想される。また、ユーザ自身が任意のシーン区間を指定するため、柔軟なシーン区間が指定できるという利点も挙げられる。一方で、シーン区間の指定は、チェックポイントやサムネイルシークバーなどによる支援を利用しても、ユーザにとって手間のかかる行為であることは否定できない。そこで、機械処理によってシーンの転換点やシーン候補を抽出し、ユーザがそれらの情報を任意で利用できるようにすることが考えられる。この節では、そのために必要となる、シーンの抽出やインデキシングなどを行った研究事例を挙げる。

ニュース番組のインデキシングに関する研究が、以前から行われてきた。ニュース番組においては、ニュースの内容を表すテロップが映像中に出現するため、そのテロップの内容を文字認識することでニュース中の個別の記事に対してインデキシングを行う研究が茂木らによって行われた[7]。この研究においては、解析されたテロップの内容を形態素解析することによってキーワードを抽出し、キーワードを用いてニュース記事の分類も行われた。

また、近年では、小林らによってニュース番組やその他の報道番組の音声を認識し、その結果を映像・音声とともにサーバに蓄える研究も行われている[8]。この研究においては、インタビューなどの自由発話に対しては誤り率が高いとしているが、原稿の読み上げを多く含むニュース番組に関しては、高い精度の認識が可能となった。これらのデータの蓄積によって、任意のキーワードによる発話内容の検索が可能となり、対応する映像部分の検索も可能になる。

関口らは野球中継の映像を映像と音情報を用いて自動的にインデキシングする研究を行った[9]。この研究においては、まずは投球シーンの検出が行われた。その後、検出された投球シーンに対して、テロップの認識により得られた打席結果や選手名などが索引情報として自動的に付与された。これによって、特定の選手が打席に立っているシーンなどを容易に検索することが可能になった。さらに、音声を用いて盛り上がりシーンの検出が行われた。盛り上がりシーンの検出時には、アナウンサーや解説者の音声を分離して、観客の歓声を集めることによって、盛り上がりシーンの特定の質を向上させている。このように、映像コンテンツ自体に定型性を持つものに対しては、それぞれの形式に合わせた手法を用いることで、自動的な処理のみで精度の高いシーン抽出やインデキシングが可能となる。しかし、それぞれのコンテンツの種類ごとに手法を変更する必要があるため、一般のコンテンツに対して適用することは難しい。

また、映画やドラマなどのニュース映像やスポーツ映像と比較すると定型性の少ない映像コンテンツからハイライトシーンを抽出する研究も鶴田らによって行われている[10]。ここでいうハイライトシーンは、映像コンテンツの要約映像を構成するシーンを意味している。この研究においては、映像コンテンツの音響の波形解析を利用した音声特徴の抽出・FFT(高速フーリエ変換)による会話シーンの抽出・映像のフロー解析を利用した動画抽出の3つの手法によってシーン分割図が作成された。その後、それぞれの分割図を組み合わせることでハイライトシーンとして使用するシーンが決定された。この研究において作成されたシーン分割図の組み合わせによって、機械的なハイライトシーンの抽出が行われたが、シーン分割図を用いてユーザによるシーン区間指定の補助を行うことも可能だと考えられる。また、ハイライトシーンのデータを容易に利用できるようにすることで、ユーザはそのシーンを微調節して自分のシーンスクラップとして容易に登録できるようになると考えられる。

5.2 ソーシャルブックマークにおけるタグの構造化に関する研究

ビデオスクラップブックシステムにおいては、オンラインで不特定多数のユーザによってシーンが作成されることが想定されている。シーン作成のプロセスに含まれるユーザによるシーンタグの入力は、ソーシャルブックマークサービスにおけるタグの付与とよく似た側面を持っていると考えられる。そこで、本節では、ソーシャルブックマークサービスによって集められたタグをより利用しやすく整えるための研究を紹介する。

ソーシャルブックマークサービスにおいては、ユーザによって付与されたタグを一覧する方法として、頻繁にタグクラウドが用いられている。しかし、タグクラウド内におけるタグの並び順は、50音順のように意味的なつながりを持たないことが多い。そのため、タグクラウドを利用して情報を検索しようとした場合に、似たようなタグを何度も探して試すことが必要な場合がある。江田らはPLSI(Probabilistic Latent Semantic Indexing)と呼ばれる手法を用いて、タグに対して索引付けを行い、それぞれのタグの特徴ベクトルを利用して、より便利なタグの分類・表示体系を提案した[11]。この研究では、まずタグのグループ分けを行い、意味の近いタグを同じグループにまとめて表示することによって、タグクラウド全体の並びを直感的に理解することを可能にした。次に、機械処理によってタグ間に親子関係を付与することで、その親子関係を辿ることによって徐々に抽象度を下げるという、直感的な理解が容易なタグの一覧表示が可能になった。最後に、これら2つの工程を組み合わせることによって、分類基準としてふさわしくないと考えられる「あとで」などのタグを削除し、同義タグの混在を防いだ、洗練された自動カテゴリが作成された。

また、ソーシャルブックマークサービスにおいては、ユーザがタグを自由に設定できるため、同じ意味を表す言葉が別の表現で登録される、タグの表記ゆれが生じる場合がある。タグの表記ゆれはソーシャルブックマークサービスのみでなく、動画共有サイトにおいても現れており、どちらの場合においても、同じ意味を表すタグが別のタグとして扱われるため、検索の際に有益な情報が検索結果から漏れてしまう問題が発生する。安藤らはタグ同士の類似度を求めることで似た話題をもつタグを集約し、この問題を解決する研究を行った[12]。この研究では、まず、同一のタグが付与された文章群において特に共通して出現する単語が、そのタグの特徴語の候補として抽出された。次に、すべての文章において共通して出現することの多い単語が一般語として抽出され、特徴語の候補から一般語として抽出された語を取り除くことで、タグの特徴語が決定された。こうして得られたタグの特徴語に特徴ベクトルが設定され、設定された特徴ベクトルを用いてタグ間の類似度が求められた。この研究においては、実際に検索インタフェースが開発されたわけではないが、話題がある程度絞り込まれたタグに関してはタグの類似度を推定することが可能になったため、これを利用することでタグの表記ゆれ問題の解決が可能になると考えられる。

5.3 映像シーンの引用に関する研究

ビデオスクラップブックシステムにおいて作成したシーンの応用法として、本研究では論文へのシーン引用を行った。しかし、4.2節において述べたように、シーンの引用先として考えられるのは論文のみではない。本節では、シーン引用に関連する研究について述べる。

宮下らは視聴者が映像視聴を通して気付き考察した内容を複数シーンの引用とコメントの記述で表現する研究を行った[13]。この研究において、映像シーンとコメントが記述されたフィールドはトピックと呼ばれる。トピックにはその閲覧者の意見や疑問を追加することも可能であり、トピック内で議論を行うことによって、映像と議論から得られる知識を深めることができる。複数のシーンを1つのトピックに引用することができるため、引用された各シーンの比較や俯瞰を含めた議論を行うことが可能である。また、トピックの作成者は作成トピックの内容に合わせて引用シーンの再生速度の制御やスナップショットの作成が可能となっている。そのため、トピックの閲覧者は、そのトピックの作成者の意図に合った再生速度での映像の視聴が可能であり、記述された内容をより深く理解できる。この研究の主な目的は映像からの知識の発見・共有であり、アノテーション(コメント)の収集はその過程として行われている。しかし、1つのトピックに同時に引用されたシーン間の関係や複数のシーンに関わる議論を含むアノテーションは、貴重なメタデータとして映像シーンの検索などにも利用できると考えられる。

映像シーンからの知識の発見・共有を目的とした複数人による議論から得られるアノテーションは、論文テキストと比較して、幅の広い語や表現を含んでいると考えられる。ただし、論文テキストのように、文法的な正確さは保障されないため、機械的な解析のみでは有効なタグを必ずしも抽出できない。また、議論の過程で、比喩などの目的で引用シーン群とは関係しない語や表現などが表れることもあると考えられる。そのため、検索のためのアノテーションとして利用するためには、人手による修正や選別が必要になると考えられる。

6.1 まとめ

本研究では、映像コンテンツから、ユーザが後で利用するシーンを作成し、それらを効率よく検索できるように整理することができるシステムである、ビデオスクラップブックシステムを提案・開発した。

ビデオスクラップブックシステムでは、シーンの作成を容易にするために、コ ンテンツ視聴時に作成するマーキング情報(チェックポイント)をシーン区間の指定時に参考にできるようにした。また、シーン区間の調整・決定のインタフェースを工夫して、シーンの作成を容易に行えるようにした。作成したシーンの登録時には、ユーザが簡単なアノテーションを行えるようにすることで、ユーザが後にシーンを利用する際の検索が容易になるようにした。

本システムでは、作成したシーンをコンテンツごとに整理し、検索可能にする ことで、映像シーンの視聴・引用などの利用も容易にしている。検索の際にはシーン作成時にユーザによって付与されたアノテーションの他に、シーンの元になったコンテンツの情報を利用することで、目的のシーンを容易に探し出せるようにした。さらに、カテゴリや更新日時などを用いた手軽な検索機能も使用できるようにした。

また、作成したシーンを他のユーザと共有することを可能にした。他のユーザのシーンを利用可能にすることによって、ユーザは同じシーンを自分で作成する必要がなくなり、そのシーンをそのまま利用できるようになる。他のユーザが作成したシーンを視聴できるようにすることで、そのシーンに影響されて新たにシーンを作成するなどシーンを介したコミュニケーションが行われ、それによってシーン作成と共有のモチベーションが向上することも期待している。

作成したシーンの応用として、映像シーンのマルチメディア論文への引用を可能にした。論文の閲覧者は引用された映像シーンを視聴することで、論文の内容への理解を深めることができる。また、論文にコンテンツを引用することによって、引用先の論文のテキストを映像シーンアノテーションとして利用することができる。

最後に、映像シーンの作成と引用に関して被験者実験を行い、提案システムの有効性を確認した。

6.2 今後の課題