3.1 タグの抽出

アノテーションによって取得されたテキストからコンテンツやシーンの内容を表現するキーワードの抽出を行う．コンテンツと対応付けられたキーワードをタグと呼ぶ．特に，コンテンツ全体の内容を表現するタグをコンテンツタグといい，シーンの内容を表現するタグをシーンタグと呼ぶ．コンテンツタグ・シーンタグともに以下の手法によって抽出する．まず，それぞれの自由コメントを形態素解析器茶筌を用いて形態素に分割する．それぞれの形態素から，名詞・動詞・形容詞・形容動詞・未知語を抽出する．ただし，代名詞や非自立名詞・非自立動詞は除外し，未知語は固有名詞として扱った．さらに一般的に不要語と判断可能な形態素（たとえば，する，ある，なる，できる，いる，等）も除外した．それぞれの形態素の基本形をタグとする．

3.2 アノテーションとシーンの重み

アノテーションやシーンの重みの計算手法を議論する．ここでいうアノテーションの重みとは，そのアノテーションが対象となる映像シーンの内容をどれだけ的確に，かつ，信頼性が高く表現しているかを示す指標であり，シーンの重みとは，そのシーンがその映像の中でどれだけ重要なシーンであるかを示す指標である．

本論文では，アノテーションAの重みw(A)は，アノテーションの対象粒度g(A)，アノテータの信頼性r(A)，アノテーションタイプの信頼性t(A)から推定する．つまり，信頼できる人がより正確にアノテーションを作成できるツールを用いて，より粒度の細かい対象（コンテンツよりもシーン，長いシーンよりも短いシーン）に対するアノテーションを付与した場合に，より高い重みを与える．本来ならばアノテーションの意味内容を加味したアノテーションの重み付けをすることが望ましいが，本論文では意味内容を考慮したテキスト解析は一般に困難であるため見送った．具体的な計算式は以下のとおりである．

(1)

なお，g(A),r(A),t(A)はアノテーションの種類や内容に応じて，あらかじめ定義した実数を返す関数である．具体的には，g(A)は，シーンに対するアノテーションの場合は2，コンテンツ全体に対するアノテーションの場合は1に，r(A)はアノテーターが対象となる映像コンテンツの投稿者である場合は3，登録ユーザの場合は2，匿名ユーザの場合は1に，t(A)はアノテーションタイプがシーンコメントアノテーションの場合は1，シーン引用アノテーションの場合は2とした．

また，映像シーンSの重みw(S)は，より多くの，よりアノテーションの重みが大きいアノテーションから参照されているシーンほど重要であると仮定し，それぞれのシーンを参照するアノテーションの重みの合計がその映像シーンの重みであるとし，以下の式で表す．

(2)

これらの式や定数値は暫定的なものである．十分なデータが不足している，コンテンツの種類やコミュニティに依存しやすいため検証が困難などの理由から，妥当性の検証は今後の課題としたい．

3.3 アノテーション構造の活用

映像シーンに対するコメントアノテーションは，図のように，対応する映像シーンとコメントとを「シーンコメントアノテーション」というラベルのついたグラフで表現される．コメントは映像シーンに関する情報を含んでいる場合が多く，映像シーンに対するアノテーションとして利用可能である．

その一方，ビデオブログエントリーは，図のように，引用した映像シーンとWeblogエントリーのパラグラフとを「シーン引用」というラベルのついたグラフで表現され，他のシーンやコンテンツ，Weblogエントリーとの何らかの関連性の抽出が期待できる．

具体的には，連続シーン引用アノテーションによって選択された連続するショットからなる引用シーンでは，それに対応するコメント内容という観点に基づきシーンの連続性があるとみなすことができる．また，非連続シーン引用アノテーションを用いて選択されたショットの集合は，対応するコメントの意味内容という観点に基づいて，シーンの関連性があると考えられる．さらに，一つのビデオブログエントリーで複数のコンテンツを同時に引用した場合，そのビデオブログエントリーの内容に基づいて，これらのコンテンツの意味的な関連性があると捉えることが可能になる．複数のコンテンツを引用したビデオブログエントリーの例としては，CGアニメーション「ノラネコピッピ１話」とその元になった実写映像である「ノラネコピッピのモデルになった猫♪」を同時に引用し比較する記事などである．

本システムにより，Webと映像コンテンツの垣根を越えた引用に基づく詳細なネットワークを形成する．これによりWeblogネットワークと映像コンテンツを統合することが可能になる．Weblogと映像コンテンツの統合されたネットワークでは，コンテンツを扱う粒度がコンテンツ/エントリー単位から映像シーン/パラグラフ単位へとより詳細になり，コンテンツに関連するコミュニティが共有サイト内からWeb全体に拡大されている．さらに，コンテンツ間のリンクをナビゲーションのための1方向的なHyperlinkから引用に基づく意味的な双方向リンクへと拡張させることができる．これにより，我々の提案する仕組みはコンテンツに付随する様々な知識を抽出するためのフレームワークとして機能し，それによって収集されるデータは検索やコンテンツ推薦などの様々な応用のための基礎的データとして利用されることが期待できる．

図2: 映像シーンへのアノテーションのモデル

図3: 映像シーン引用に基づくアノテーションのモデル

4.1 映像シーン検索

映像シーン検索とは，映像をコンテンツ単位ではなくシーン単位で検索しようとする仕組みである．我々の手法の特徴は，アノテーションから抽出されたタグを検索することによって，ビデオシーンを検索しようとしている点である．

具体的な検索プロセスは以下のとおりである．ユーザは，目的のシーンを検索するために，一つないし複数の検索クエリをタグ形式で入力する．それらのタグと一致するタグを含むアノテーションの検索を行い，一致したアノテーションをコンテンツ毎に列挙する．一致したアノテーションに対応するシーンを検索結果候補とする．

一つのコンテンツ内に多くのアノテーションが一致した場合は，検索結果候補が膨大かつ時間軸上で細切れになる危険がある．そこで，対象となるシーンが連続する，あるいは時間的に近い場合は類似するシーンである可能性が高いと考え検索結果候補を統合する．逆に，一致したアノテーションの数が少なく，また，分散しており，検索結果のシーンを特定できない場合はコンテンツ全体を検索結果候補とする．検索結果候補内に属するアノテーションの重みの合計が，その検索結果候補の重みとする．このような仕組みにより，アノテーションが多数存在する場合にも，アノテーションが少量しか存在しない場合にも，ある程度対応可能になる．検索結果候補の重みに基づき，検索結果候補のランク付けを行う．

検索結果候補の内容を理解するために，シーンの内容を表現するサムネイル画像を提示することは有効である．サムネイル画像は，検索結果候補内のアノテーションに関連付けられているシーンに属するサムネイルを候補とする．ただし，サムネイル画像が一定個数以上存在する場合には，そのサムネイル画像が属する映像シーンの重みに基づいて絞る．

ビデオシーン検索システムのインタフェースを図に示す．

検索が成功する例としては，検索したいシーンに的確なキーワードを含むアノテーションが存在する場合である．逆に，検索が失敗する例としては，検索したいシーンに的確なキーワードが含まれないなど，アノテーションの量が不足している場合が考えられる．しかしながら，人気のあるシーンやコンテンツには，より多くのアノテーションが集まりやすく，また，人気のあるシーンほど検索ニーズが高い，このようなシーンやコンテンツには自然にアノテーションが増えていくことが考えられる．すなわち，ある程度の時間が経過すれば，この問題は解決される可能性が高い．また，同じ内容を異なるタグで表現している場合にも検索に失敗する．その場合は，シソーラスを用いて類義語や語彙の上位概念・下位概念の関係を考慮する必要がある．

図4: ビデオシーン検索システム

4.2 その他の応用

映像と同期して関連性のある他のコンテンツのサムネイル画像とキーワード，及びその根拠となるビデオブログエントリーを表示することによって，ビデオ推薦を行うシステムを開発している．従来からあるソーシャルフィルタリングを用いたコンテンツ推薦システムでは，映像のシーン単位で推薦を行うのは困難であること，サンプル数が少ない場合には必ずしも精度が良くないこと，さらに，推薦となる根拠を統計的にしか示すことができないなどの欠点がある．本システムでは，ユーザが複数コンテンツを引用したビデオビデオブログエントリーを執筆した情報を用いて，統計情報に頼らない詳細なコンテンツ推薦を実現している．

また，ビデオスキミングシステムを開発している．ビデオスキミングとは，映像の重要なシーンのみを通常の速さで再生し，それ以外のシーンを早送りで再生する仕組みである．これにより，映像の内容を短時間で把握するのに適している．具体的には，ある一定時間内に収まるように，映像シーンの重みが高い順に選別を行う．