2.1.1 映像の構造化

映像コンテンツを効率よく扱うためには，映像コンテンツを機械にとっても人間にとっても分りやすい形で構造化する必要がある．映像の構造に関連する用語として，シーンやフレーム，カットやショットなどといった各種用語が存在するが，これらの用語は日常生活の中では曖昧に用いられている場合が多い．そこで，これらの映像に関する用語について整理する．図に示すように，映像コンテンツは，時間軸と連動する複数の画像列から成る．個々の画像をフレームと呼ぶ．カメラの切り替わりなどフレームの色調が大きく切り替わる境界をカットと呼び，カットから次のカットまでのフレーム列をショットと呼ぶ．さらに，映像コンテンツの意味的なまとまりかつ連続するショット列をシーンと呼ぶ．さらに，大きな意味的なまとまりを持つシーン列をシナリオと呼び，映像コンテンツは複数のシナリオから成立する．また，映像コンテンツには1つ以上の映像と連動する音声トラックが含まれている場合もある．映像コンテンツの中で扱う時間軸を特にメディア時間と呼び，一般に映像の最初のフレームを0秒とする．

しかしながら，すべての映像コンテンツはこのような単純な木構造で定義できるとは限らない．一般の映像コンテンツの中には，シーンが時間的に重複したり，複数のシナリオが同時に進行する場合もありうる．また，シーンやシナリオは作成者の主観によるところが大きく，人によって，または見方によって大きく変わる場合もあり，必ずしも一意に決定できるとは限らない．さらに，通常，これらの構造情報は映像のバイナリデータの中には含まれておらず，映像コンテンツとは別のところでこれらの情報を保持する必要があるなどの欠点も存在する．

映像の任意の部分を一意に特定することを考えた場合，このような構造情報を用いて特定する場合と，単純にメディア時間によって特定する二つの手法が考えられる．前者はシーンやシナリオ単位で映像を特定する手法であり，映像に関連付けられたこれらの構造情報が存在する場合，より意味的に映像の部分を特定することができる利点がある．その一方で，これらの構造情報は主観や目的によって変わる場合があるため客観性という点では劣る．後者は，メディア時間によって映像の部分を特定する手法であり，開始メディア時間と終了メディア時間で特定する．映像コンテンツを意味的に扱う場合には不向きであるものの，客観的に映像の部分を一意に特定できるという利点がある．映像を一意に特定することのみに重点を置く場合には，後者の手法の方が汎用性が高く優れている．

図2.1: 映像の構造化

2.1.2 映像シーンへのPermalink

映像の任意のシーンに対してアノテーションを関連付けるためには，それらのシーンに対して固有のIDを定義する必要がある．本論文では，Web上に存在する映像コンテンツを対象としているため，既存のWeb技術との親和性が高い仕組みであることが望ましい．一般にWebサイトの場合は，URI(Uniform Resource Identifier)という形式でWebサイトを一意に特定することができる．既存のWebサイトはURIが同一でも内容が頻繁に書き換えられる可能性があるため，URIとWebサイトの内容は必ずしも一致しないことが多い．しかしながら，最近はWeblogの普及に伴いPermalinkという概念が一般化しつつあり，リンク切れ防止のためURIの内容は一度公開したら原則変更しない，1つのURIには1つのコンテンツのみ存在している方が良いという考え方が定着してきた．リンク切れ防止という観点だけでなく，アノテーションという観点からもこの考え方は有用である．なぜならば，アノテーション対象の内容が変更されるとそのアノテーションとの整合性が保たれなくなるためである．そのため，Permalinkという概念はアノテーションにとって一番重要な仕組みである．この概念を映像コンテンツの，しかも内部要素に対しても適用するために，本研究では梶らによって提案されているElement Pointerの仕組みを採用した．Element Pointerは任意のコンテンツの部分要素に対してURIを関連付ける仕組みであり，それぞれのコンテンツのURIが一意であることが保証されている．

映像コンテンツ全体に対するPermalinkは以下のように，固有のIDを用いたURIを記述する．http://[server]/[content ID]

任意のシーンに対するPermalinkは，以下のように固有のIDとその時間区間を記述する．

http://server/[content_id]#epointer(urn:aps:timeline(begin,end))

また，複数の時間区間に対するPermalinkを記述する場合は，コンマで区切って複数記述する．

http://server/[content_id]#epointer(urn:aps:timeline(begin,end),urn:aps:timeline(begin,end), ...)

これらの仕組みにより，映像の任意の時間区間に対して，固有のPermalinkを記述することができる．このURIをキーとすることによって映像の任意の要素へアクセスすることが可能になる．

2.1.3 映像シーンへのアノテーション

Webコンテンツにアノテーションを関連付ける枠組みとしてRDF(Resource Definision Framework)と呼ばれる仕組みが存在する．RDFは，URIで記述可能な任意のWebコンテンツを主語，関連付けるメタ情報を目的語，主語と目的語の関連性を述語とし，主語・目的語・述語の3つ組で記述される．通常のRDFの主語に映像シーンへのPermalinkを記述することによって，RDFの仕組みを映像コンテンツに適用可能になる．アノテーションを記述するための枠組みとしては他に，MPEG-7を利用することも考えられるが，Semantic Webとの親和性や，アノテーションのためのより汎用的な枠組みであるRDFを採用することによって，映像コンテンツとWebコンテンツを統一的に扱うことが可能になる利点がある．

記述形式は以下のようなXMLになる．

<述語>目的語(アノテーション)

例として，「長尾研究室」という情報を，映像シーンの10秒から20秒まで，「place」という関係で関連付ける場合は以下のように記述する．

長尾研究室

2.1.4 映像シーンの引用

次に映像シーンの引用について提案する．本論文で述べる引用とは，任意のコンテンツの任意の要素から任意のコンテンツの任意の要素へと関連付ける行為であると定義する．引用されたコンテンツの要素を引用元と定義し，他方のコンテンツの要素を引用先と定義する．HTMLではハイパーリンクを作成することによって任意のコンテンツへのリンクを作成することが可能になりWebの発展において重大な影響を与えてきた．引用とは，ハイパーリンクと対を成す考え方であり，コンテンツの任意の要素を的確に引用できる仕組みを作成することによって，アノテーションの技術とともにさらなるWebの発展に大きな影響を技術であると考えている．しかしながら，技術的困難さから引用を支援する仕組みは今まで存在しなかった．我々が想定する引用の例としては，映像の任意のシーンを引用したブログエントリーの執筆があげられる．具体的には，映像シーンの内容を表すサムネイル画像及び映像シーンへのリンクとそれに関連するコメントの組から成ることを想定している．この場合，引用元のシーンと引用先のブログエントリーの段落を関連付けることができる．論文の引用などとは違い，引用元コンテンツ全体を引用するのではなく，引用元コンテンツの該当する箇所のみを切り取って引用する仕組みである．

映像コンテンツを引用する場合，テキストの引用などと違って，いくつか解決しなければならない問題がある．これらの問題に関する具体的なシステムは5章において詳しく述べる．アノテーションの観点から見た場合，映像シーンの引用は，映像シーンへのアノテーションを包含する情報と見なせる．また，コンテンツとコンテンツを関連づけるリンクとしての側面も持ち合わせている．

2.2.1 スキーマ型アノテーション

スキーマとは，項目とそれらの型について定義したデータ構造の1つである．リレーショナルデータベーススキーマやＸＭＬスキーマなど，データ構造の形式としては幅広く使われており直感的かつ実用的である．たとえば，映像のとあるシーンに登場する人物についてのアノテーションを作成することを想定した場合，人物スキーマというデータ構造を定義し，そのスキーマに従って情報を入力する．人物スキーマの例として，図に示すように，名前，年齢，性別，所属，現在の状態や行動の項目からなるスキーマをあげる．それぞれの項目には，文字列型，数値型などの適切な型が定義されておりそれ以外の情報を記述することができない．一般的に，一人ないし少数の専門家がこれらの項目に手作業で値を入力し，映像の部分と関連付けることによってアノテーションを作成する．

スキーマ型アノテーションの利点としては，このようなスキーマをあらかじめ定義することによって，アノテーション情報を形式的に扱うことができる，リレーショナルデータベースやXMLなどとの親和性が高い，応用目的にそったスキーマを定義することによって応用システムの開発が容易であるという利点があげられる．欠点としては，人間が情報を記述することが一般的であるため，表記ゆれや入力ミス等の人為的なミスが発生しやすいという点があげられる．

スキーマ型アノテーションを用いたシステムや研究の例としては，MPEG-7，それを記述するための関連ツールとしてMovieToolやVideoAnnExなどがあげられる．

図2.2: スキーマ型アノテーション

2.2.2 オントロジー型アノテーション

オントロジーとは，概念の関係をグラフで記述した知識ベースであり，Semantic Webの中核を成す技術として注目されている．例えば，教員という概念を表現する場合，図で示すようになる．教員という概念の下位概念には，大学教員，高校教員などが存在し，大学教員の下位概念には，教授，准教授，講師，助教などが存在する．さらに大学組織オントロジーを考えると，大学という概念の下位概念には，国立大学，私立大学が存在し，国立大学の下位概念として名古屋大学が存在し，名古屋大学の下位概念には，情報科学研究科や情報メディア教育センターなどが存在する．長尾確教授は，教員オントロジーの教授という概念を持つと同時に，大学組織オントロジーの情報科学研究科や情報メディア教育センターの概念を持つ．この長尾確というインスタンスと映像シーンを関連付けることによってアノテーションを作成する．

オントロジー型アノテーションの利点としては，概念グラフと映像コンテンツの要素と関連付けるという作業を行うだけであるので，タイプミスに由来する入力ミスや表記ゆれという問題が発生しない，概念はグラフ構造で表現されているため，概念間の関係を利用した推論や学習などの知識処理が可能であること，RDFベースで開発されたシステムとの親和性が高い点があげられる．欠点としては，オントロジーを作成することはコストが高いこと，また，高い知識をもった人でなければ正しくオントロジーを作成できないという点である．先の例は極めて分りやすいオントロジーであるが，例えば現実社会全般のオントロジーを作成することは哲学的な困難さもあり一筋縄ではいかないのが現状である．この問題を解決するためには，特定の領域と特定の目的に限定することによって作成するオントロジーの量を少なくする領域オントロジーという考え方が存在する．

オントロジー型アノテーションの例としては，我々が3章で解説するビデオアノテーションエディタがあげられる．

図2.3: オントロジー型アノテーション

2.2.3 タグ集合型アノテーション

タグ集合とは，コンテンツの閲覧者や製作者がコンテンツの分類やブックマークなどのために付与したコンテンツの内容に連想するキーワードの集合である．これらのキーワードをタグという．複数のユーザによってタグが付与されるという性質上，複数のユーザによって同一のタグが付与されることがあり，より多くのユーザによって付与されたタグほど重要視する．タグ集合型アノテーションの例としては，図で表すように，長尾先生が登場している映像シーンに対しては，ユーザがタグとして，「長尾教授」「名古屋大学」「研究紹介」「長尾研究室」「ＩＴ」「面白い」などといったタグを付与することを想定している．タグ集合を可視化したものをタグクラウドと呼ぶ．

タグ集合型アノテーションの利点としては，キーワードを付与するという簡単なアノテーションであるため，誰でも容易にタグを付与することができること，ソーシャルブックマークシステムのDel.icio.usや映像や写真共有サービスのFlickrでも実用化されている点，さらにそれらのサービスにおいて，検索やタグクラウドといった応用例が運用されている点があげられる．欠点としては，タグ集合の品質はタグを付与するユーザの数や質に大きく依存するため，場合によってはノイズが大きいこと，タグ集合という曖昧な情報記述手段であること，新しい研究分野であるため学術的な理論が確立されていない点があげられる．また，映像シーンに対してタグを付与するという習慣がないため，ユーザが映像シーンにどれだけタグを付与してくれるかが未知数という問題点もある．

タグは一般的に単語によって構成されているため，それらの単語とシソーラスを関連付けることによって，上位語，下位語などの関係を取得することが可能になり，言語的なオントロジーと関連付けることが可能になる．

タグ集合型アノテーションの例は，多くのWeb2.0型サービスで利用されており，たとえば，FlickrやYouTubeなどのコンテンツ共有サービスなどがあげられる．

図2.4: タグ集合型アノテーション

2.2.4 ユーザコメント型アノテーション

ユーザコメントとは，コンテンツに関連した情報や感想などをユーザがコミュニケーション目的によって投稿する自由コメントのことである．つまりユーザコメントをコンテンツの要素と関連付ける仕組みが，ユーザコメント型アノテーションである．ユーザコメントはタグとは違って多くの場合短い文章から成る．アノテーションの仕組みとしては一番単純な仕組みではあるものの，ユーザコメントの自然言語解析を行うことによってより多くの知識を取得できる可能性がある．利用例としては，図のように，長尾先生が登場しているシーンに対して，「名古屋大学情報科学研究科教授の長尾先生のＩＴ関連の話です．面白い．」というコメントを投稿することを想定している．

ユーザコメント型アノテーションの利点としては，誰でも簡単にコメントを投稿できること，自然言語解析技術を適用することによって何らかの意味抽出が可能であるという点があげられる．欠点としては，ユーザの自由度が高いため関連のない話題や誤字や文法的に正しくない文章が入力されるなどのノイズが多く，また，それらに高度な自然言語解析処理を適用した場合必ずしも解析結果の精度が高いとはいえない点があげられる．具体的な自然言語処理の適用例としては，ユーザコメント文からキーワード集合を抽出し，それをタグ集合として扱うことによって，間接的にユーザコメント型アノテーションをタグ集合型アノテーションとして扱うことを検討している．

これらの仕組みの具体例については4章で説明する．

図2.5: ユーザコメント型アノテーション

2.2.5 引用型アノテーション

本論文で述べる引用とは，先で述べたとおり，任意のコンテンツの任意の要素から任意のコンテンツの任意の要素へと関連付ける行為であると定義する．また，引用されたコンテンツの要素を引用元と定義し，他方のコンテンツの要素を引用先と定義する．

たとえば，テキストの引用の場合は，自身の主張を展開する上で有用な他の文献の一部を自身のテキストに引用符を付けて引用することが一般的に行われている．書評を書くことを考えた場合，引用されたテキストの内容と，引用先である自身の書評の内容には何らかの関連性があるとみるのが自然であろう．同様に，映像コンテンツに関するブログエントリーを執筆する場合には，映像の部分を適切に引用することさえできれば，その映像の部分の内容とブログエントリーの内容に何らかの関連性があると考えるのは妥当であろう．つまり，引用という行為には，多くの場合，引用元の部分と引用先の部分の内容に関連性があると仮定することができる．

引用型アノテーションとは，引用元と引用先の内容に関連性があると仮定した場合，引用先の周囲にある情報を引用元の映像コンテンツの部分要素に対してアノテーションとして捉え，関連付ける仕組みである．半ば，強引な手法であるように思われるが，5章において引用型アノテーションの有意性を示す．本論文では引用先にはブログエントリーを想定しているが，それ以外のコンテンツでも構わない．たとえば，図のように，料理番組においてある店の紹介に関するシーンを引用したブログエントリーを執筆した場合，引用された箇所に近い文を映像シーンに対するユーザコメント型アノテーションとして利用することを想定している．

引用型アノテーションの利点としては，コンテンツに関連するブログエントリーから詳細な情報をユーザコメント型アノテーションとして取得可能であること，文章内容が掲示板やチャット文よりも詳細に記述されていることが期待できる点などである．さらに，映像の部分と外部Webサイトの部分を引用によって関連付けることによって，既存のハイパーリンクによるWebネットワークよりもより詳細かつ広範囲な，部分引用に基づくWebネットワークの構築が可能になる点も重要である．これらのWebネットワークを解析することによって，コンテンツ間の関係や類似性の発見などの応用に利用可能である．

これらの仕組みの具体例については5章において説明する．

図2.6: 引用型アノテーション

3.1.1 システム構成

本システムはWeb上の映像コンテンツに対してアノテーションを作成することを想定している．

本システムは，映像コンテンツを蓄積する映像データベース，アノテーションを蓄積するアノテーションデータベース，後述するオントロジー情報を保持するオントロジーデータベース及びアノテーションを作成するビデオアノテーションエディタから成る．

アノテーション作成者は，映像データベースのコンテンツに対してビデオアノテーションエディタを用いてアノテーションの作成を行う．作成されたアノテーションは専用のアノテーションデータベースに蓄積される．オントロジー型アノテーションの作成を行うために，映像に関するオントロジーを保持した専用のデータベースを用意し，映像コンテンツの内部要素と関連付ける．アノテーションやオントロジーはXML形式で記述されるため，これらのデータベースはフリーのXMLデータベースであるXindiceを採用した．これらのデータベースは複数のユーザによって共有することを前提としており，協調的にアノテーションの作成を行うことが可能になる．

映像シーン検索などの応用アプリケーションでは，これらのアノテーションを用いて実現可能になる．

3.1.2 ビデオアノテーションエディタの機能

ビデオアノテーションエディタの機能について説明する．

主に3つの機能から成る．1つは，映像の構造に関する情報を付与する構造アノテーションを支援する仕組みである．主に映像に関する自動解析技術とその解析結果を人手によって修正するインタフェースから構成される．2つ目は，映像の内容に対して意味情報を付与する意味アノテーションを支援する仕組みである．主に人手による情報の付与であり，スキーマ型アノテーションとオントロジー型アノテーションを支援する．3つ目はアノテーションの蓄積や管理を支援する仕組みであり，アノテーション情報をＸＭＬとして出力する仕組みや外部サーバにアップロードする仕組みである．

具体的には，構造アノテーションを支援する機能として以下のものを備える．

意味アノテーションを支援する機能として以下のものを備える．

アノテーションの蓄積や管理をするための機能として以下のものを備える．

以上の機能を実現することによって，アノテーションを作成するために必要な機能を網羅する．

3.2.1 カット検出

映像コンテンツに対するカットの自動検出機能について議論する．本論文におけるカットとはカメラの切り替わりなど，フレームの画像が大きく切り替わる境界のことを言い，カットの自動検出とはカットを自動画像解析により検出する手法である．また，カットとカットで分割された映像区間をショットと呼ぶ．カット検出画面例を図に示す．

図3.2: カット検出画面

本論文で用いたカット検出のアルゴリズムは，色ヒストグラムに基づく現在のフレーム間差分と直前のフレーム間差分の比較を行い，ある閾値を超えた時点でカットとした．ここで述べるフレーム間差分とは，あるフレームとその次のフレームの色ヒストグラムの個々の値の差分の絶対値の合計のことを示す．また，フレーム間差分算出手法には，精度の高い算出手法である分割χ二乗検定法を採用した．

具体的には，Microsoft社の映像解析ライブラリであるDirectShowライブラリを用いて開発した．DirectShowではMPEG1やMPEG4，Windows Media Videoなどの多くの映像フォーマットに対応し，映像から順次フレーム情報を取得することが可能である．多くの映像フォーマットは1画素を24ビットで表現しているが，色ヒストグラムを作成するには色数が多すぎるので，RGB各色要素4ビットづつの12ビット，4096色に色数を圧縮し色ヒストグラムを作成する．また，フレーム間差分の変動が大きく連続する区間（つまり動きの激しい区間）はひとつのカットと認識するなどの工夫をしている．具体的なカット検出アルゴリズムの手順は以下のとおりである．

このままでは，動きが激しいシーンではカットが大量に誤検出してしまう．人間が知覚できないほど素早くカットが切り替わる場合にはそれをカットするのは適切ではない．そこで，連続的なカットを検出した場合，それらをカットとして認識しないような工夫を加えた．具体的なアルゴリズムは以下の手順である．

今回の実験ではn=8とした．これにより，カット情報の取得が可能になる．

カット検出の仕組みはニュース映像などカメラ映像が頻繁に切り替わるコンテンツに向いているものの，サッカー中継や講義ビデオなど同じカメラで延々と録画しつづけた映像コンテンツなどには，そもそもカットが存在しない．しかしながら，これらの映像コンテンツにおいても意味の切れ目が存在するはずであり，それらの情報を抽出することは一般に困難である．またカット検出アルゴリズムにおいて誤検出が発生する場合も考えられる．そのため，人間の手によってカット検出結果を修正する仕組みを用意する必要がある．

カット検出結果の修正手法は以下のとおりである．本来カットではないフレームに対してカットと認識した場合，そのカットを表すサムネイル画像を選択し，コンテキストメニューから「前と結合」を実行すると，そのショットと前のショットが結合されることによって修正される．本来カットであるべきフレームがカットと認識されなかった場合は，ビデオウィンドウのシークバーを操作して対応するフレームに移動し，コンテキストメニュから「このフレームをカットとする」を選択すると新しいカットが作成される．

3.2.2 ショット重要度の推定

ショットの重要度を自動処理によって計算する手法について述べる．一般に，映像コンテンツの意味内容を自動処理によって抽出することは困難であり，意味内容を考慮した重要度の推定は困難である．そこで，映像コンテンツ全体が一様に重要であると仮定し，その映像ショットの時間の長さに応じて重要度が推定できるものとした．かなり強引な手法であるものの，人間が後から修正することを前提とした場合には有用であると考えた．具体的には以下の計算式により計算する．重要度をI，ショット時間をt，ビデオコンテンツの長さをLとする．

I = \frac{t}{L}

ショット重要度の修正インタフェースについて提案する．具体的な画面例を図に示すように，ショットを表すサムネイル画像の大きさによってそのショットの重要度を表す．さらに，そのサムネイル画像をマウスで操作することによって容易に重要度を修正することが可能である．サムネイル画像の大きさとショットの重要度が対応しており，直感的に重要度の修正が可能なインタフェースである．

図3.3: 構造解析と修正画面

3.2.3 シーンの推定

一般に映像シーンは複数のショットから成る．1つのショットが1つのシーンである場合も考えられるが，映像表現手法の多様化により，1つのシーンを複数のカメラで切り替えつつ表示することが一般的に行われている．1つのシーンは1つの撮影場所で撮影されている場合が多く，環境光や背景など全体的な色味が類似している場合が多い．そのため，色味が類似し連続するショットを1つのシーンとして推定するための手法を提案する．

シーンを推定する仕組みは以下のとおりである．まず，連続するショットをとすると，とが同一のシーンであるとの判別には，ショットにおける全フレームのヒストグラムの合計を，ショットのフレーム数をのとき，とが同一シーンである度合であるは，以下の式で表す．

P_{x}＝|\frac{H_{x}}{m_{x}} - \frac{H_{x+1}}{m_{x+1}}|

が閾値以下ならば同一シーンであるとした．これによって，映像シーンの推定を行う．しかしながら，当然推定誤りが存在する可能性が高い．

そこで，シーン推定を修正できるインタフェースを提案する．図のように，重要度推定インタフェースと同じインタフェースを利用する．上下方向が時間的なつながりを示し，左右方向が構造情報を示す．マウスで左右にドラッグすることによって，多段階にサムネイル画像を左右に動かすことができる．複数のショットからなる1つのシーンは，最初のシーンのみ1つ上位の段にサムネイル画像を表示させ，残りのショットを1つ下位の段に表示することによってシーンを表現可能である．さらに，シーンを複数まとめてシナリオを構成したい場合には，最初のシーンのみを1つ上位の段に表示させ，続くシーンを1つ下位の段に表示させることによって表現する．このように階層的に表現することによって，直感的に構造を把握しつつ容易に編集可能なインタフェースである．

3.2.4 オブジェクトトラッキング

オブジェクトトラッキングとは，映像中に現れる任意のオブジェクトを時間軸方向に追跡する技術である．追跡するオブジェクトは人や動物，物やテロップなどである．オブジェクトを追跡することによって，そのオブジェクトが登場する時間範囲を特定したり，そのオブジェクトの動作を推定することが可能になる．オブジェクトトラッキングのアルゴリズムは，パターンマッチングやオプティカルフローを計算する手法などが存在するが，本研究では，パターンマッチング法を採用した．

具体的には，ユーザが任意のフレームのオブジェクトを矩形範囲で指定する．その矩形範囲の画像をキーとして，メディア時間軸に対して未来方向と過去方向にトラッキングを行う．トラッキングが失敗した時点でトラッキングを終了し，その時間範囲がオブジェクトの存在時間範囲とする．オブジェクトトラッキングの操作画面を図に示す．トラッキングした時間が正確であるかどうかを認識するために，開始フレームと終了フレームそれにその前後0.1秒のフレームを表示することにより一目で確認できるように工夫している．

図3.4: オブジェクトアノテーションの操作画面

3.3.1 映像シーンアノテーションのためのオントロジーの作成

アノテーションを付与する対象に基づき２種類のオントロジー集合を作成した．1つは，オブジェクトやその動作や状態を記述するためのオブジェクトに関するオントロジー集合であり，他方は，映像シーン全体の雰囲気や場所などを記述するためのシーンに関するオントロジー集合である．

オブジェクトに関するオントロジーの例を図に示す．オブジェクトに関するオントロジーとしては，大きく分けて，オブジェクトの種別や所属などを表すオブジェクトオントロジーと，そのオブジェクトの行為や行動を表す行動オントロジー，オブジェクトの形状や属性を表す状態オントロジーが存在する．より正確には，オブジェクトの属性として行動オントロジーと状態オントロジーが付与可能であるといえる．図は，それぞれのオントロジーを体系化したものである．本来ならば，これらのオントロジーのグラフと映像シーン中のオブジェクトとを直接関連付けることが望ましいが，我々のシステムでは関連付けインタフェースを二段階のプルダウンメニューからの選択によって実現しているため，それぞれのオントロジーのグラフの葉ノードとそれらの親ノードの組を最少単位の領域オントロジーとして分解した．具体的には，図の黒背景のノードを親とする，静止オントロジー，移動オントロジー，方向オントロジー，発声オントロジー，行動オントロジー，人物オントロジー，動物オントロジ?，植物オントロジー，食物オントロジー，機械オントロジー，形状オントロジー，画像オントロジー，アイコンオントロジー，文字オントロジーを定義した．それぞれのオントロジーの概念はその領域オントロジーの子要素のリストとなる．

同様の考え方において，シーンに関するオントロジーの例を表に示す．シーンに関する領域オントロジーには，場所オントロジー，天気オントロジー，カテゴリオントロジー，雰囲気オントロジーが含まれる．これらのオントロジーにはそれぞれ多数の概念が含まれており，たとえば，天気オントロジーには，晴れ，雨，くもり，雷，雪などが含まれている．

さらに，これらの図には記述されていないが，それぞれの概念には同義語辞書とも関連付けられており表記ゆれや同義語にも対応する．

図3.5: オブジェクトに関するオントロジー集合

図3.6: シーンに関するオントロジー集合

当然の疑問として，これらのオントロジーでは全ての映像を記述するためには役不足であると考えられるかもしれない．これらの問題を解決するためには，必要に応じて必要な概念を追加できる仕組みを用意する必要がある．たとえば，動物オントロジ?には，うさぎや亀なども追加する必要があるであろう．また，動物オントロジ?における犬や猫や哺乳類という共通の概念を持ち合わせているので，犬や猫の上位概念で動物の下位概念に哺乳類という概念を追加する必要があるかもしれない．そのために，本来ならばオントロジーを動的に追加するためのインタフェースも提供する必要があるが，本論文ではそこまでは言及していない．また，別の解決案として，特定の用途に限定した，より小さいオントロジーを作成する．特定の領域に限定したオントロジーを領域オントロジーと呼ぶ．たとえば野球映像に対象を限定したアノテーションを作成する場合，野球に関する領域オントロジーを作成する．

拡張性を考慮し，オントロジーはXML形式で蓄積する．オブジェクトに関するオントロジー集合は，objectOntology.xmlという定義ファイルに，シーンに関するオントロジー集合はsceneOntology.xmlという定義ファイルでXMLデータベースに保存される．具体的な形式は以下のとおりである．それぞれの概念には，その概念と同じ意味の同義語リストも記述することができ，文字の多様性に基づく表記ゆれや多言語の問題に対応している．

... (synonymが複数存在)... (itemが複数存在)... (ontologyが複数存在)

リスト1　objectOntology.xmlの定義ファイル形式

また，オントロジーや概念は，ユーザによって追加される場合も想定している．これは，あらかじめ用意されたオントロジーでは適切に表現できないオブジェクトやシーンがあるためである．しかしながら，単に新しい概念を追加しただけでは，コンピュータにはその概念の意味を理解できない．今回は動画コンテンツを自然言語レベルで処理することを想定しているため，新しく追加される概念に対し，新しい概念の同義語リストを列挙する形でその概念の意味を定義した．同義語リストを記述することによって，キーワード検索などで一致する可能性が広がる．現段階では複数の意味を手入力で記述しているが，同義語辞典であるシソーラスなどと連携させれば，自動入力も可能である．

オントロジー定義ファイルの記述形式には，このようなXML形式による表記だけでなく，RDFなどグラフ構造を用いた定義の表現方法が存在するが，今回はより簡略化するために採用を見送った．

3.3.2 オブジェクトと映像シーンに対するオントロジー型アノテーション

カットやオブジェクトに対してアノテーションを作成するためには，自然言語で無秩序に記述するよりも，あらかじめ登録されている概念を関連付けたほうが，意味内容が一意に決まり都合がよい．また，複数の概念を同時に関連付けることによって，より正確な意味内容を記述できる．たとえば，「若い男が話している」という概念をオブジェクトに対してアノテーションを作成する場合，「若い」「男」「話す」という3つの意味属性を同時に関連付ければよい．

オブジェクトに対するアノテーションの操作画面を図に示す．

図3.7: オブジェクトに対するオントロジー型アノテーションの操作画面

3.3.3 映像に対するスキーマ型アノテーション

次に映像全体に対して，アノテーションを付与する仕組みについて議論する．タイトルや著作権情報といった基本的な情報を入力するコンテンツタイトル情報や，アノテーションを作成した人の情報を表すアノテータ情報を付与する必要がある．これらの情報はあらかじめ用意されたスキーマに基づいてテキストで情報を入力する，スキーマ型アノテーションの形式である．それぞれのスキーマを定義し，そのスキーマに基づく入力フォームをユーザに提示する．コンテンツの書誌情報に対する既存のメタデータスキーマとしてDublin Coreが存在するのでこれを参考にした．具体的には，コンテンツタイトル情報のスキーマは以下の通りになる．

このスキーマを元にして，コンテンツタイトル入力ダイアログは図のようになる．同様にして，アノテータ情報入力ダイアログは図のようになる．両ダイアログともWindowsの標準インタフェースを用いている．

図3.8: コンテンツタイトルダイアログ

図3.9: アノテータ情報ダイアログ

3.4.1 XMLによる出力

編集結果を保存する形式としてXMLを採用した．これは，将来的にMPEG-7やRDFへの対応のしやすさと拡張性の高さを配慮したためである．XMLの利点は，拡張性の高さと機種やアプリケーションに依存しない形式であり，また，標準的なテキスト形式で記述されているため，長い時間が経過してもデータとして利用可能な永続性の高さがあげられる．具体的なフォーマット例は以下の形式である．

ローカルファイルのパスインターネット上コンテンツのURLファイルサイズ詳細情報の記述サブタイトル製作者著作権表示詳細情報の記述アノテーションをした人foo@hoge.comauthorの所属グループannotatorのHP

リスト３　出力XMLのフォーマット

このフォーマットは，主に５つの項目からなる．

VideoTracksタグとObjectsタグの中身を説明する．VideoShotsタグの中にはshotタグが存在する．ひとつのshotタグでビデオコンテンツのひとつのカットからカットまでのまとまりを示す．Objectsタグはビデオコンテンツの中に現れるオブジェクトを示す．

3.4.2 データベースへの保存

作成されたアノテーションXMLファイルは，XMLデータベースであるXindiceに蓄積される．アノテーションは他のユーザと共有され，また，アプリケーションから随時利用可能である．

3.5.1 カット検出の評価

カット検出についての評価を行う．評価に利用した映像コンテンツは，56個のニュース映像から無作為にとりだした6つのニュース映像を利用している．対象コンテンツをニュース映像のみに限定しているため，すべての種類の映像コンテンツに対してこの評価が成立するとは必ずしもいえない点には注意が必要である．実験はビデオアノテーションエディタのカット検出機能を利用して行い，人手による修正等は行わない．

具体的な評価は再現率と適合率を用いて行う．本実験における適合率とは，カットとしてシステムが認識した箇所のうち実際のカットである割合を示し，再現率とは，実際のカットのうち，システムによって検出できたカットの割合を示す．実験結果を表に示す．全体の適合率は97.2%，再現率は95.2%になる．

図3.10: 誤検出例：信号の色が時間とともに変化することにより新たなカットであると誤検出している例

図3.11: 未検出例：映像が左から右へと徐々に変わっていく例

3.5.2 意味アノテーションについての議論

次に意味アノテーションについての議論する．本来ならば，本ツールの使い勝手を評価する必要があるが，比較対象となるツールが無かったため，今後の課題としたい．次に，本ツールを用いて作成したアノテーションの質についての評価を行う．アノテーションの質に関してはアノテーションを作成する人に大きく依存するため，本ツールの客観的な評価を行うのは難しい．そこで，本ツールによって作成されたアノテーションに基づくビデオシーン検索システムを作成することによってアノテーションの評価とする．

3.5.3 アノテーションに基づく応用

アノテーションに基づく応用例として，自然言語によるビデオシーン検索システムを取り上げる．これは，自動解析技術のみでは十分な精度が達成できない例であり，本ツールによって作成されたアノテーションの有用性を示す良い例である．具体的なシステムとして，ビデオアノテーションエディタによって作成され，XMLデータベースに蓄積されたアノテーションを元に，一般的なWebブラウザを用いてビデオコンテンツを検索するシステム(図)を開発した．検索クエリーは，ユーザが入力した自然言語文から成る．

3.5.3.1 検索アルゴリズム

検索は，本研究で作られたアノテーションをXMLデータベースに登録したデータを元に処理する．データベースに登録されている情報としては，動画コンテンツに対するタイトル情報と構造アノテーション情報や意味アノテーション情報，カットとオブジェクトに対する色ヒストグラム情報などである．

これらのデータに基づき，以下のアルゴリズムを用いて検索を実現する．

図3.12: ビデオの検索画面例

3.5.3.2 評価

検索結果に対する評価を行う．本来ならば十分に多くの動画コンテンツに対してアノテーションを行う必要があるが，現段階では試作段階であり，少数のビデオコンテンツに対してのアノテーションを詳細に検討した方がよいと考えたため，３つの映像コンテンツだけにアノテーションを作成し検索を行った．アノテーションはオブジェクト及び映像シーンに対して付与し，また，検索等に耐えられるように十分な量のアノテーションを作成した．

今回，アノテーションを作成した映像コンテンツは図に示す３つであり，いずれもニュース映像である．それぞれのコンテンツに対する映像シーン検索のクエリー例に基づいて検索の有効性について議論する．

図3.13: 検索例「ウェブについて話している男」

次のクエリー例として，「ウェブについて話している若い野郎」について議論する．この例では，形態素解析に基づき，「ウェブ」・「話す」・「若い」・「野郎」とキーワードを抜き出している．「話す」，「若い」は直接概念と関連付けられ，また，「野郎」という概念は存在しないが，「男」の同義語リストの1つとして「野郎」が存在するため，「野郎」という単語は間接的に「男」という概念と対応する．このように，1つの意味属性に複数の単語が対応する例である．検索結果の例を図に示す．

図3.14: 検索例「ウェブについて話している若い野郎」

最後のクエリー例として，「暗いシーンのテレビ」について議論する．この例では，形態素解析に基づき，「暗い」・「シーン」・「テレビ」という３つのキーワードを抽出した．シーンの前に色や明度の情報をあらわす「暗い」が存在し，映像の色ヒストグラム情報を利用し，「暗い」シーンの検出も行い，その度合いに基づき加点する．検索結果は図に示している．

図3.15: 検索例「暗いシーンのテレビ」

これらの例により，適切なアノテーションが作成されている場合は，適切に映像シーン検索ができることが分かる．しかしながら，検索のために用意したアノテーションを作成することによって映像シーンの検索ができるということは，同義語情報や色情報を利用するなどの工夫はしているものの自明であり，具体的な評価については省略する．

4.2.1 システム構成

本システムの構成図を図に示す．ユーザは，ネットワークからアクセス可能な任意の映像コンテンツに対して，iVASを通してアノテーション及び閲覧を行うこととする．また，ユーザは匿名，記名に関わらずアノテーションを行うことができる仕組みである．iVASを通して閲覧したいコンテンツは，登録サーバを用いて明示的に登録する必要があるが，将来的にはコンテンツ収集サーバを用いて自動収集することを考えている．コンテンツを登録すると直ちに，カット検出サーバが連動しカット検出やヒストグラム情報の取得などの自動処理が行われる．映像アノテーションサーバによって生成されたページを通してコンテンツを閲覧しつつ，閲覧者がアノテーションを投稿する仕組みである．投稿されたアノテーションはアノテーションXMLデータベースに蓄積され，6章で述べる各種のアノテーションを利用したサービスなどで利用される．アノテーションシステムとしては，2章で述べたプロキシモデルに相当する．

図4.2: システム構成

4.2.2 想定する映像コンテンツ

アノテーションが可能な映像コンテンツは，PCからアクセスできるデジタル映像コンテンツである．図に示すように，インターネット上で公開されているWeb映像コンテンツだけでなく，個人的にHDDビデオレコーダなどで大量かつ無作為に録り貯めたTV映像などのホームネットワークに存在するコンテンツ，あるいはDVDなどのパッケージメディアコンテンツなどにも適用可能である．また，本システムはメタ情報のみを編集・蓄積するものであり，オリジナルコンテンツの編集・コピー・再配信を行うものではないため，著作権的な問題も発生しにくいと考えている．

図4.3: アノテーションを想定する映像コンテンツ

4.2.3 コンテンツ登録

映像コンテンツは，コンテンツ登録サーバを通してあらかじめ解析を行う．コンテンツ登録時に，テンプレートの選択によるアノテーション作成環境を設定でき，コンテンツに適したアノテーションを作成することができる．

4.2.4 映像の解析

Webブラウザを用いて映像へのアノテーションを行う場合，インタラクティブに映像の解析処理をすることは処理速度などの点で好ましくないので，解析を行いたいコンテンツに対してあらかじめ前処理を行っておく必要がある．そのために，投稿時にカット検出を行い，映像からカットの時刻とサムネイル画像をサーバ上に保存するプログラムとしてカット検出サーバを用意した．

カット検出のアルゴリズムは，前章と同様に，現在のフレーム間差分と直前のフレーム間の比較を行い，ある閾値を超えた時点でカットとした．また，フレーム間差分算出手法には，分割χ二乗検定法を採用した．また，フレーム間差分の変動が大きい区間（つまり動きの激しい区間）はひとつのカットと認識するなどの工夫をしている．

カット検出サーバの対象とするコンテンツは，カットが多く存在するコンテンツであり，スポーツの中継や個人で撮影したホームビデオや講演映像などはそもそもカットが多くなく，カットを基準とした映像シーンのセグメントは適切ではない．これらのコンテンツは，一定時間ごとに区切り，形式的なカットとし，アノテーションを行うこととする．

また，カット検出の過程で得られる色ヒストグラム情報もXMLデータベースに蓄積する．

今回の実験で用いたコンテンツに対するカット検出の精度を表に示す．全体の適合率は89.3％，再現率は91.7％であった．

4.3.1 アノテーション編集ページ

アノテーション編集ページのブラウザは図のようになる．画面左に次に述べる印象アノテーション用のインタフェース，中央部上部に動画閲覧画面，画面中央下部にコメントアノテーションの一覧，右側にサムネイル画像を用いたスクロール可能なシークバーを配置した．なお，カット検出直後のフレーム画像は乱れていることが多いため，カットとして検出したフレームから20フレーム後をサムネイルとして選択している．

このシークバーは，マウスのスクロールボタンによってシームレスにシーク可能なバーであり，アノテーションを行う時に頻繁に繰り返される映像のシークを直感的に支援する．基本的には閲覧することが主目的であるので，なるべく動画閲覧画面を大きくとる構成にしている．

また，コメントアノテーションの一覧は，現在のカットに関連する情報を時間軸に応じて表示している．また，後に述べる重要度に応じて，重要度の高い情報が上位に来るようにソートして表示することにより，多数の情報を効率よく表示している．

図4.4: アノテーション編集ページ

4.3.2 コメントアノテーション

コメントアノテーションは，映像内のシーンやオブジェクトに対して，テキストで情報を付加するものである．対話形式でアノテーションを行うことにより，カットの範囲や対象・種類などの情報を半ば強制的にアノテーションさせる利点がある．まず，ユーザはアノテーションしたい場面で動画上のアノテーションしたいオブジェクトのある部分をクリックする．このクリックした位置を取得することにより，オブジェクトの画面上のおおよその位置が取得可能である．次に，カット検出サーバ等であらかじめ検出されているカット単位でアノテーションしたい時間範囲を選択する．さらに，全てのアノテーションには，後の検索や要約等の機械処理をしやすくするために，コメントの対象（全体・映像・キャプション・音声・音楽・登場人物・オブジェクト・場所など），種類（名前・状況説明・補足情報・感想など）を選択肢をわかりやすく表示し，容易に選択できるようにした．さらに，他の閲覧者によって入力されたコメントアノテーションに対し，閲覧者が評価する仕組み（○・×のボタンを押す）を用意し，閲覧者によって個々のアノテーションに対する評価を行うことができるように配慮した．コメントの対象と種類のカテゴリは適宜追加・編集可能であるが，どのようなカテゴリを用意するかは今後の課題とする．具体的な例を図に示す．結果はXMLデータベースに格納される．

図4.5: コメントアノテーションの例．「この人物の名称は○○だ」という内容を投稿している．

投稿される内容はアノテーションID，アノテーションを行ったユーザ名，E-mailなどの個人情報，コンテンツID，日時などが自動的に記録される．具体的なXMLは図ようになっている．

図4.6: コメントアノテーションのXML

なお，この対話的アノテーションはXMLによって記述された設定に基づき生成されており，対話内容のカスタマイズが可能となっており，アノテーションを行う対象やアノテーション内容に応じて適切なインタフェースを提供可能となっている．

まとめると表のような情報を取得することができる．

4.3.3 印象アノテーション

印象アノテーションとは，映像コンテンツの雰囲気や閲覧者の主観的印象，例えば，面白い・緊迫・悲しいなどをマウスクリックで入力できる仕組みである．より印象深いシーンでは印象ボタンの連打度合いによって印象の強弱を表現できる．

印象アノテーションの対象となる各印象を...とする．その時，クリックした時間を中心にして，正規分布を用いて印象情報をつけるとすると，各印象は次の式でパラメータを付与する．

I_{k}(t)=\sum_{t_{i} \in 印象I_{k}に対応したクリックの時間集合}\frac{1}{2\pi\sigma} \exp(-\frac{1}{2\sigma^2}(t-t_{i})^2)

また，自分のアノテーション結果だけでなく，閲覧者全体のアノテーションの結果も棒グラフによって表示している(図)．ボタンの数は最大6個まで可能であり，これは，登録サーバで指定可能である．どのようなボタンが有効であるか，また何個必要かなどに関する詳細な検証は，コンテンツの種類なども考慮すべき点などから今後の課題とする．

図4.7: 印象アノテーションのインタフェース．印象ボタンの下に2段の棒グラフがあり，ユーザの現在の印象情報の表示と，閲覧者全員の統計的な印象情報を表示する．

4.4.1 アノテーション信頼度

不特定多数のユーザによるアノテーションを扱うとどうしても，信頼性の低い情報が混在する可能性がある．そのため，各々のアノテーションに対する信頼度を計算し，情報の選別を行う必要がある．信頼度の計算方法として，「信頼できる情報を多数入力した人の情報ほど信頼できる」という原則に基づいて次の方法で計算している．

まず，に対する単純評価を以下のように求める．おのおののアノテーションに○(good)の評価をした人の数と×(bad)の評価をした人の数とする．また，選択項目に矛盾がないか，日本語として正しい記述をしているかどうかということにより機械的に決まる評価をとする．ただし，はとなり，の値が大きいほど良いアノテーションと機械的に判断されたこととする．なお，自然言語文によるアノテーションの場合，後の検索や要約などの応用において形態素解析が重要となる場合が多い．そこで，形態素解析を行い，文全体の形態素数のうち未知語の含まれる割合（未知語率）や，文の長さ，構文解析の結果等を総合的に評価することによりを求める必要がある．

これにより，単純評価は以下の式になる．

e_{k} = s \cdot \frac{g_{k}-a \cdot b_{k}}{g_{k}+a \cdot b_{k}} + t \cdot c_{k}

は閲覧者による評価の割合，は機械による評価の割合であり，とし，機械的な評価の精度に依存しての値を大きくする．

また，は○評価と×評価の割合を補正する係数であり，すべてのアノテータが行ったすべてのアノテーションに対する評価の総数をとすると，a = \frac {g_{all}}{ b_{all}}と表す．は，の値をとる．

(4.2)は機械的な評価と人間の評価を組み合わせた式であるが，このままでは，アノテーションを行う個人（アノテータと呼ぶ）の信頼性が考慮されていない．

そこで，アノテータに対する信頼度を求める．これは今までアノテータが行った全てのアノテーションに対する○(good)評価数を，×(bad)評価数をとすると，アノテータ信頼度は，

p=d(G+B) \frac {G - a \cdot B}{G + a \cdot B}

により求める．ここで，はサンプル数が少ない場合に評価値を低く抑える関数であり

d(x) = 1-\exp(-\tau \cdot x)

とする．ここで，はどの程度評価値を抑えるかを決める定数でありである．

また，映像の時間軸にそったアノテーションをリアルタイムに閲覧者が評価する場合，刻一刻とアノテーション情報が変化するために，閲覧者が誤った○×評価をする場合も多く，閲覧者による評価が集まっていない場合にはアノテータ信頼度を重視し，閲覧者による評価が集まっている場合には閲覧者による評価を重視する必要がある．そこで，アノテーションに対する信頼度を以下のようにする．

r_{k}=(1-d(g_{k}+b_{k})) \cdot p+ d(g_{k}+b_{k}) \cdot e_{k}

これにより，アノテーション信頼度を求めることができる．は，の値をとり，値が大きいほど相対的に信頼できるコンテンツであると言える．

登録ユーザに対してはアノテータ信頼度の計算が可能であるが，匿名の書き込みの場合は，アノテータ信頼度は最低のとする．アノテータに対する信頼度を計算する意義は，機械的にアノテーションを評価するのは難しいこと，ユーザ評価が集まっていない段階ではその情報の信頼性が不明なこと，さらに，信頼性の低い人の大量書込みを防ぐこと（いわゆるアラシ対策），ユーザに信頼性を公開し，信頼される情報を入力するように暗黙的に誘導するところにあると思われる．

4.4.2 アノテーションに基づく印象距離

アノテーションによって副次的に得られる個人情報を用いた応用として，コミュニティ支援が考えられる．

既存のコミュニティ支援やコンテンツ推薦システムは，コンテンツを見たか見ていないか，あるいはコンテンツを購入したか，していないかによって形成されるものが中心である．コンテンツの意味内容に応じたコミュニティ形成支援やコンテンツ推薦を実現している仕組みは少ない．しかしながら，コンテンツの内容を加味しなければ正確なシステムの実現が難しい例が多い．例えば，サッカー番組でサッカーの試合が好きな人たちと特定のサッカー選手のみが好きな人たちとは本質的に違うコミュニティであるし，また，誰もが閲覧しているような有名な映画では単に見たというだけでは情報量が少なく，アクション部分が好きなのか，恋愛シーンが好きなのかによって属するコミュニティが異なる．そこで，印象アノテーション情報を用いて，人と人との興味やものの感じ方の近さの一つの指標となる，印象距離を求める方法を提案し，コミュニティ発見やコンテンツ推薦のための一つの指標とすることを目指す．

まず，あるコンテンツCをみた人とに関する印象距離を印象アノテーション情報を用いて，以下の式で定義する．

Dc(P_{j},P_{k})=\int (I_{pj}-I_{nj}) \cdot (I_{pk} - I_{nk})dt

ここで，は式で計算されるのポジティブな印象アノテーション情報であり，はネガティブな印象アノテーション情報，とはそれぞれ，のポジティブ印象アノテーション情報とネガティブ印象アノテーション情報を示す．

なお，印象アノテーション情報はマウスクリックの頻度に対する個人差が少なくなるように最大値1，最小値0で正規化を行う必要がある．

現在は一つのコンテンツでしか考えていないが，複数のコンテンツ間での関係を表現できればより詳細なコミュニティ形成などに応用できると考えている．

4.5.1 アノテーション信頼度に関する実験と考察

アノテーション信頼度はアノテータ信頼度と閲覧者による○×評価を元にして求める．ここで，○×評価は一般的な投票行為であり議論を挟む余地は少ない．一方，アノテータ信頼度に関しては，よく考察する必要がある．そこで，アノテータ信頼度の妥当性を考察するために，真面目グループ(A)，半分不真面目グループ(B)，不真面目グループ(C)，自由グループ(D)のアノテータそれぞれに関するアノテータ信頼度を式より求め，図に示した．なお今回の実験では，式における機械的な評価の精度による誤差を無くす為にとした．また，○の評価が×の評価に比べて4倍以上多く，式よりとした．また，閲覧者による評価数が4個で式の値がおよそ0.5になるとした．

図から分かるように，アノテータ信頼度の値はの傾向があり，これは直感と一致する．信頼度にばらつきが生じる理由は，アノテータによって真面目さの基準が異なるため，不真面目な書き込みであっても，それは映像から想起される情報であるため，内容によっては閲覧者がその書き込みを容認し×の評価をしない場合があるためである．

また，自由に書き込んだグループのアノテータ信頼度のばらつきが大きいため，アノテータ信頼度を求める意義があると考えられる．

この結果得られたアノテータ信頼度を元にして，Dグループ6人，153個のコメントアノテーションに対する式によって求めたアノテーション信頼度の値と，式の単純評価を求め妥当性を比較した．まず，筆者が主観で全てのコメントアノテーションを良い・悪いの二つに分類した．分類基準は，シーンの内容を的確に表現していない，あるいは，正しい日本語の記述ではないものを悪いとし，それ以外は良いとした．悪い分類をしたものは23個，良い分類をしたものは130個あった．このうち単純評価で明らかに間違っているもの(悪い分類なら，良い分類なら)は17個であるのに対し，アノテーション信頼度では3個と，アノテータ信頼度を考慮しない場合に比べて，間違った評価をした信頼度が減少しており，その点で改善されていると言える．

図4.8: アノテータ信頼度．数値が大きいほど信頼できるアノテータである．

4.5.2 印象距離に基づくコミュニティの視覚化に関する実験

女王様のブランチ六本木編に対して行った印象アノテーション情報26人分を式を用いてそれぞれの印象距離を求め，印象距離がより近いユーザほど近接して可視化したものを図に示す．一つの円が一つのアノテータを意味し，距離が近いアノテータほど今回のコンテンツに関しては興味が近かったことを意味する．女王様のブランチ六本木編は，アメリカ風カフェ，和風料理店，バー，ファッション，カラオケ，映画館，喫茶店，神社関連のお店や名所を順に1分程度づつ紹介していく番組である．事前アンケートにより，ファッション番組に興味があると分かっている人について，図に示すように，印象距離を見てみると比較的近い距離に密集する傾向があり，一つのコミュニティを形成していると考えられる．

図4.9: 印象距離．一つの円が一人のアノテータを意味し，距離が近いアノテータ同士ほど興味が近い．背景が灰色の円はアンケートでファッション番組に興味があると答えた人を示し，太字の名前は歴史・紀行に関する番組に興味がある事を示す．

図のように，歴史・紀行に興味がある人も印象距離が近い場合があるが，ファッションに興味がある人に比べて密集度が小さく，コミュニティを形成しているとは考えにくい．女王様のブランチのように複数の話題があるコンテンツの場合，人によって興味のもつ話題が複数に分散している場合が多く，そのために式の計算手法では全体的に印象の薄い話題が印象の強い話題でかき消されてしまう可能性があるからである．明確なコミュニティを視覚化するにはより多くの閲覧者を必要とするか，あるいは，印象距離を話題ごとに時間区間で区切って個別に考える必要があると考えられる．

今回は実験していないが，サッカーなどのコミュニティが分かりやすいコンテンツの場合には，応援するチームごとにコミュニティが形成されたり，さらにそのコミュニティの中でも応援する選手ごとにコミュニティが視覚化されると考えられる．

印象ボタンに対する問題点としては，押したいボタンがない場合の対処方法があげられる．ボタンをより多く用意する，ボタンを追加できるようにする，ポジティブな感情の時に押すポジティブボタンとその逆のネガティブボタンの二つだけにするなどが考えられるが，どれがベストなのかは今後の課題としたい．

4.5.3 アンケートによる評価

本システムは，より多くのユーザに使ってもらえてこそ意義があるシステムである．そこで，システム全体の使いやすさに関するアンケートを行った．以下にその結果を示す．アンケートは，評価実験をしてもらった後にやってもらい，5段階評価で集計をした．

母集団が大学生ということもあるが，iVASの使いやすさを示す「取っ付き易さ」の項目で多くの人が普通よりも良い項目をつけており，本システムのインタフェースはなかなか評判のよいものであった．また，iVASを使ってアノテーションをしたいかという問いに対しても同様に高評価であり，本システムが比較的多くのユーザに使ってもらえる可能性を示唆する結果となった．

5.2.1 ブログに学ぶ

ブログでは，エントリごとに，Permalink，Trackbackなどの仕組みを実装することによって異なるサイトにまたがるエントリ間のリンクや引用を可能にしている．また，XML Feedの仕組みを利用することによって，コンテンツの情報を機械が理解可能な形で積極的に配信している．さらに，エントリに対してコメント投稿機能を用意することによってユーザからのフィードバックを取得可能である．これらの仕組みを実装することによって，ブログコミュニティは急激な発展をとげることが可能になり，RSSリーダやブログ検索などの様々な応用を生み出してきた．Parker によると，ブログの仕組みを映像コンテンツに適用することによって，ビデオブログ検索やビデオブログ配信などといった高度なアプリケーションが実現できると述べている．我々は，さらにこれらの仕組みを映像コンテンツのシーンに対して適用することによって，映像シーン単位でのアノテーションや引用を実現する．これにより，既存のブログと親和性が高い，高度なアプリケーションが実現できるのではないかと考えた．

5.2.2 映像シーンとショットの定義

2.1.1章でも述べたが，映像シーンとショットの関係について改めて述べる．本研究では，図で示すように，映像は複数のショットからなるリストであると定義する．ショットは，一般に映像のカット（切れ目）から次のカットまでの時間範囲を示すが，必ずしもカットが意味的な内容の切れ目であるとは限らないので，長いショットは一定時間間隔に分割してもよいこととする．本システムでは間隔を２秒とした．また映像をWeb上でより扱いやすくするために，それぞれのショットの内容を表すサムネイル画像をあらかじめ用意する．シーンとは，複数の連続するショットからなり，意味的につながりを持っているものと定義する．1つのショットが複数のシーンに属することも許す．

図5.2: 映像のシーンとショットの定義

5.2.3 映像シーンに対するPermalink

映像の任意のシーンに対してアノテーションなどの処理を施すためには，それらのシーンに対して固有のPermalinkを記述できる必要がある．そこで，本研究では梶らによって提案されているElement Pointerの仕組みを採用した．Element Pointerは任意のコンテンツの部分要素に対してURIを関連付ける仕組みであり，それぞれのコンテンツのURIが一意であることが保証されている．

映像コンテンツ全体に対するPermalinkは以下のように，固有のIDを用いたURIを記述する．http://[server]/[content ID]

また，任意のシーンに対するPermalinkは，以下のように固有のIDとその時間区間を記述する．複数の時間区間に対するPermalinkを記述する場合は，コンマで区切って複数記述する．

http://server/[content_id]#epointer(urn:aps:timeline(begin,end),urn:aps:timeline(begin,end), ...)

これらの仕組みにより，映像の任意の時間区間に対して，固有のPermalinkを記述することができる．

5.2.4 ブログエントリーの内部要素に対するPermalink

映像シーンの場合と同様に，Weblogエントリーのパラグラフに対してもPermalinkを付与する．われわれのシステムによって生成されるWeblogエントリーは，その全てのパラグラフ(タグで囲まれるテキスト)に対して固有のIDが付与されている．そこで，http://server/blog.htmlに存在するWeblogエントリーのid="id1"のパラグラフに対しては，

http://server/blog.html#epointer(urn:weblog:para(id1))

と記述する．この仕組みにより，Weblogエントリーの任意のパラグラフに対して一意のPermalinkを記述することができる．

本論文では，映像コンテンツとWeblogエントリーのみに対してPermalinkを付与したが，画像や音楽等のコンテンツの要素に対してもPermalinkを記述することができる．このような仕組みにより，任意のコンテンツを要素単位で一意に指し示すことができる．

5.2.5 アノテーションの記述形式

一般にアノテーションは，コンテンツの属性情報や構造情報・意味情報など，検索や要約等の応用を目的としたメタ情報である。

本研究では、コンテンツにまつわるコミュニケーションや，コンテンツを引用したWeblog記事（その作成過程における編集履歴も含む）などの，主にオンライン上での収集可能なアノテーションについて扱う．

本研究で扱うコンテンツは全てWeb上に存在するものとし，アノテーションデータはRDFの枠組みを用いて記述する．

本研究で収集するアノテーションは，アノテーションの対象となるコンテンツ及びその要素を示すPermalinkと，アノテーションデータ本体の組からなる．アノテーションデータには，その内容（テキストなど）に加えて，誰が，いつ，どのツールを用いて作成したかという情報も含まれる．ユーザ情報はそのユーザの情報を示すfoafリソースへのリンクを記述することにより，複数のサーバや異なるシステム間でユーザ情報を共有する．日時情報はDublin Coreモジュールを利用している．また，それぞれのアノテーションはそれ自身がPermalinkをもつことにより，アノテーションに対するアノテーションの作成が可能になる．

これにより，Web全体を対象とした，コンテンツ及びその要素とアノテーションから成る，従来のハイパーテキストに比べて，より意味的なネットワークが構築される．

具体的には，以下のような形式となる．

User Comment.[Date]

なお，[Tool URI]とは，現時点では，アノテーションを付与するために利用したツールやアプリケーションを一意に特定するためのIDとして利用している．取得されるアノテーションの種類や品質はツールに依存するため，URIの指し先には，アノテーションの解釈や応用に役立つ，そのツールの特性を記述したツールメタデータが存在する．

5.2.6 引用の記述形式

次に，引用に基づくアノテーションを定義する．これは，二つのリソース間の関係を記述するものである．基本的な記述形式は通常のアノテーションと同一であるが，コンテンツの引用元と引用先のPermalinkを記述する必要がある．

具体的には，以下のような形式となる．

[Date]

引用元のシーン情報は，[Scene URI]に記述する．引用先の情報は，モジュールに記述する．本論文の場合は，引用先はWeblogエントリーの任意のパラグラフに該当するので，そのパラグラフへのURIを記述する．他の情報は通常のアノテーションと同一である．

図5.3: ビデオシーン引用のモデル.ユーザは，サムネイル画像を選択することによって，任意の映像シーンを引用したビデオブログパラグラフを作成可能である．ビデオブログパラグラフは，サムネイル画像・ビデオシーンへのリンク及びユーザコメントからなる．ビデオブログエントリーはこれらのパラグラフの集合である．

5.3.1 映像シーンへのコメントアノテーション

ユーザがコンテンツの任意のシーンに対して容易にコメントの付与などのアノテーションを可能にする仕組みが必要である．そのために，我々が以前の研究で作成したオンラインビデオアノテーションシステムiVASで述べたテキストアノテーションの仕組みの一部を利用する．

ユーザは，ネットワークからアクセス可能な任意の映像コンテンツに対して，Webブラウザを用いてアノテーションの投稿および共有を行う．本研究では，シーンに対してコメントを記述することをシーンコメントアノテーションと呼ぶ．図に示すように，映像の現在再生中のショットに対してコメントを付与できる簡便なインタフェースであり，映像の閲覧を継続したままアノテーションを付与可能である．

これにより，ユーザは映像コンテンツに対して，電子掲示板感覚で他のユーザとコミュニケーションを図ることが可能になると同時に，関連情報を提示したい，感動を共有したいなどという欲求を満たすことが可能になる．想定するアノテーションの内容としては，映像シーンに関連した有用情報やＵＲＬ，感想などで，比較的短いコメントである．アノテーションとして再利用が高い文章が記述されることは想定しておらず，このアノテーションをきっかけとした，次章で述べるシーン引用に基づくブログ執筆を促すことを考えている．

図5.4: シーンコメントアノテーション．ユーザは現在再生中の映像付近の任意のショットに対してコメントを付与可能である．また，現在の映像に同期したアノテーションを表示可能である．

5.3.2 映像シーン領域へのコメントアノテーション

シーン領域コメントアノテーションとは，図のように，任意の映像シーンの任意の矩形範囲に対してコメントを付与するためのインタフェースである．対象となるシーンの静止画像に対して，マウスで矩形範囲を選択した後にコメントを付与する．これにより，映像の任意のショットの矩形領域を対象としたアノテーションの付与が可能になる．このインタフェースは，映像の閲覧を一時的に停止する代わりに，より詳細で対象が明確なアノテーションを付与可能である．

これは，映像の特定領域に対してのみコメントを記述したいときに有用なインタフェースである．想定されるアノテーションの内容としては，映像上の登場人物やオブジェクトの名称の記述，テロップの書き下し，見落としがちな部分についての注釈などが考えられる．シーンコメントアノテーションよりは説明的な記述が想定される．

図5.5: シーン領域コメントアノテーション

5.3.3 映像シーンへのボタンアノテーション

次に，映像シーンに対するより簡便なアノテーションとして，２種類のボタン押下によるアノテーションを提案する．１つは，映像に対するマーキングとしての機能であり，任意のシーンに対して``チェック''を行う仕組みである．これは，次章で述べる映像シーンの引用の手がかりとして用いられ，他のユーザとの共有は行わない．２つ目は，iVASにおいて提案されたシーンボタンアノテーションである．シーンボタンアノテーションでは，映像の任意の時間に対してマウスを用いてあらかじめ用意された閲覧者の主観的な印象を表すボタンを押すことによって統計的に評価する仕組みである．本システムでは，niceとbooの２種類のボタンを用意した．インタフェースを図に示す．

本アノテーションでは，ユーザにとって興味深いシーンに対してより多くのボタンが押下されることを期待している．具体的には，面白いシーンや有用なシーン，映像的表現が面白いシーンや批判が集中しやすいシーンに対して多くのボタンが押下されると考えている．

図5.6: シーンボタンアノテーション

5.3.4 コンテンツへのアノテーション

映像シーンに対するアノテーションだけでなく，YouTubeなどの従来の動画共有サイトで一般的に行われている，コンテンツ全体に対するコメント投稿の機能も実装した．これによって取得されるアノテーションを，コンテンツコメントアノテーションと呼ぶ．また，タイトル情報などあらかじめコンテンツに埋め込まれているメタデータも，コンテンツの内容を示す重要な情報でありアノテーションとして扱う．

想定されるアノテーションとしては，コンテンツ全体に対するコメントや感想・評価などである．

5.4.1 引用シーンの選択

ユーザはコンテンツを閲覧する際，自身にとって興味のあるシーンに対してシーンコメントアノテーションやシーンボタンアノテーションなどの何らかのアノテーションを施す．しかしながら，それらのアノテーションは会話的なコメントである，コメント情報が含まれていないなど，必ずしもアノテーションとして優れているとはいえない．そこで，システムはこれらのアノテーションを施したシーンをビデオブログエントリの執筆のための引用シーン候補としてユーザに提示し，ユーザにこれらの候補をもとにしたビデオブログエントリの執筆を促す．これにより，シーンアノテーションの投稿履歴から，段階的にユーザへより説明的な記述が期待できるブログ執筆を促し，より再利用性の高いアノテーションの取得を目指す仕組みである．

5.4.2 ビデオブログエントリの編集

ユーザが，ブログなどで通常のエントリを書くのと同様に，一般的なWebブラウザを用いてビデオブログエントリの編集が可能になる仕組みを提案する．

本研究では，２つの編集インタフェースを提案する．1つ目は，連続する映像シーンを引用するのに適した編集インタフェース(図)である．これは，引用シーンをショット単位で時間的に展開させることで引用シーンの時間範囲をともなう修正・変更が可能であり，より正確にシーンを選択することが可能なインタフェースである．具体的には，シーン伸縮ボタンを押して引用シーンを時間的に前後に伸縮させることによって，正確に引用シーンを提示・選択可能であり，対応するコメントの編集も可能である．これは，シーンの流れやストーリを対象としたビデオブログエントリを記述するのに適したインタフェースであると同時に，より詳細なアノテーションを施すためのツールでもある．連続する映像シーンとブログエントリ上の対応するパラグラフ上のコメントとを関連付けることを連続シーン引用アノテーションと呼ぶ．

図5.7: 連続シーン引用アノテーションインタフェース

２つ目は，複数の非連続な映像シーンを引用するのに適した編集インタフェース(図)である．過去にユーザが施したシーンコメントアノテーションやシーンボタンアノテーションに対応するショットが右側のストックに保持されており，その中から任意のショットをドラッグアンドドロップ形式で複数選択し，その複数のショットに対してコメントを付与することが可能なインタフェースである．これは，複数の連続しないショットに対してコメントを記述することに適したインタフェースであり，シーンやストーリよりも特定のオブジェクト（たとえば特定の人物など）を対象としたビデオブログエントリを記述するのに適したインタフェースである．また，映像シーン検索機能と併用することで，他のコンテンツのシーンの引用も可能である．これによって取得されるアノテーションを非連続シーン引用アノテーションと呼ぶ．

ユーザはこの２つのインタフェースを使い分けながらビデオブログエントリを作成可能である．

ビデオブログエントリはHTML文書として表現され，任意のブログサイトに投稿可能であると同時に，アノテーションデータベースに蓄積される．

図5.8: 非連続シーン引用アノテーションインタフェース

5.4.3 複数映像コンテンツの映像シーンの引用

次に，複数の映像コンテンツの任意のシーンを直接引用するメカニズムを提案する．そのためには，我々はユーザが任意の映像コンテンツの任意のシーンに容易にアクセスでき，これらのシーンをブログエントリーなどへ引用できるインタフェースを提案する必要がある．そこで，我々は図に示す新しいインタフェースを導入して解決した．このインタフェースは，サムネイルシークバーエリアとブログ編集エリアから成る．ブログ編集エリアは前節で述べた非連続シーン引用インタフェースと同様であり，ユーザはサムネイル画像をドラッグアンドドロップすることによって編集することが可能である．

サムネイルシークバーエリアでは，ユーザが引用したい映像コンテンツに対応する複数のサムネイルシークバーが層状に表示されている．サムネイルシークバーは，左上に表示される小さなビデオウィンドウと，水平方向及び垂直方向に伸びる，現在のメディア時間を基準とした連続シーンに対応するサムネイル画像から成る．水平シークバーでは，ユーザは左右にドラッグすることによって映像をシークし，下方向にドラッグすることによってその映像シーンを引用することができる．垂直シークバーでは，より広い間隔でサムネイル画像が表示され，ユーザはそれを上下にドラッグすることによって，おおまかにビデオをシークすることが可能になる．ストリーミングビデオはタイムラグ無しにシークすることは出来ないので，ユーザはいくつかのシーンを見落としてしまうかもしれないが，全ての映像シーンをサムネイル画像によって表示しているのでユーザはこの仕組みを使うことによってこれらの問題を回避可能である．

図5.9: 複数コンテンツの任意のシーンの引用インタフェース

5.5.1 タグの抽出

アノテーションとして付与されたテキストからコンテンツやシーンの内容を表現するキーワードの抽出を行う．コンテンツと対応付けられたキーワードをタグと呼ぶ．特に，コンテンツ全体の内容を表現するタグをコンテンツタグといい，シーンの内容を表現するタグをシーンタグと呼ぶ．コンテンツタグ・シーンタグともに以下の手法によって抽出する．まず，それぞれの自由コメントを形態素解析器茶筌を用いて形態素に分割する．それぞれの形態素から，名詞・動詞・形容詞・形容動詞・未知語を抽出する．ただし，代名詞や非自立名詞・非自立動詞は除外し，未知語は固有名詞として扱った．さらに一般的に不要語と判断可能な形態素（たとえば，する，ある，なる，できる，いる，など）も除外した．それぞれの形態素の基本形をタグとする．

5.5.2 アノテーションとシーンの重み

アノテーションやシーンの重みの計算手法を議論する．ここでいうアノテーションの重みとは，そのアノテーションが対象となる映像シーンの内容をどれだけ的確に，かつ，信頼性が高く表現しているかを示す指標であり，シーンの重みとは，そのシーンがその映像の中でどれだけ重要なシーンであるかを示す指標である．本来，重要なシーンとは状況や嗜好・目的に応じて変化するものである．しかしながら，PageRank のように状況や目的を考慮しない重み付けによる検索システムであっても一定の成果をあげており，本論文ではPageRankの概念，つまり，より参照されるシーンほど重要であるという指標に基づいて重要度を算出する．

具体的には，アノテーションの重みは，アノテーション対象の粒度（つまり映像シーンの長さ），アノテータの信頼性，アノテーションタイプの信頼性から推定する．つまり，信頼できる人がより正確にアノテーションを作成できるツールを用いて，より粒度の細かい対象（コンテンツよりもシーン，長いシーンよりも短いシーン）に対するアノテーションを付与した場合に，より大きい重みを与える．本来ならばアノテーションの意味内容を加味したアノテーションの重み付けをすることが望ましいが，本論文では意味内容を考慮したテキスト解析は一般に困難であるため見送っている．

また，映像シーンの重みは，より多くの，よりアノテーションの重みが大きいアノテーションから参照されているシーンほど重要であると仮定し，それぞれのシーンを参照するアノテーションの重みの合計がその映像シーンの重みであるとする．

具体的なアルゴリズムの提案と妥当性の検証は，十分なデータが不足している，コンテンツの種類やコミュニティに依存しやすいため検証が困難などの理由から，今後の課題とし，本章ではアノテーションとシーンの重みの計算手法のコンセプトのみを提示する．

5.5.3 アノテーション構造の活用

映像シーンに対するコメントアノテーションは，図のように，対応する映像シーンとコメントとを「シーンコメントアノテーション」というラベルの付いたグラフで表現される．コメントは映像シーンに関する情報を含んでいる場合が多く，映像シーンに対するアノテーションとして利用可能である．その一方，ビデオブログエントリは，図のように，引用した映像シーンとブログエントリのパラグラフとを「シーン引用」というラベルの付いたグラフで表現され，他のシーンやコンテンツ，ブログエントリとの何らかの関連性の抽出が期待できる．

具体的には，連続シーン引用アノテーションによって選択された連続するショットからなる引用シーンでは，それに対応するコメント内容という観点に基づきシーンの連続性があると見なすことができる．また，非連続シーン引用アノテーションを用いて選択されたショットの集合は，対応するコメントの意味内容という観点に基づいて，シーンの関連性があると考えられる．さらに，1つのビデオブログエントリで複数のコンテンツを同時に引用した場合，そのビデオブログエントリの内容に基づいて，これらのコンテンツの意味的な関連性があるととらえることが可能になる．複数のコンテンツを引用したビデオブログエントリの例としては，CGアニメーション「ノラネコピッピ1話」とその元になった実写映像である「ノラネコピッピのモデルになった猫♪」を同時に引用し比較する記事などである．

図5.10: 映像シーンへのアノテーションのモデル

本システムにより，Webと映像コンテンツの垣根を越えた引用に基づく詳細なネットワークを形成する．これによりブログネットワークと映像コンテンツを統合することが可能になる．ブログと映像コンテンツの統合されたネットワークでは，コンテンツを扱う粒度がコンテンツ/エントリ単位から映像シーン/パラグラフ単位へとより詳細になり，コンテンツに関連するコミュニティが共有サイト内からWeb全体に拡大されている．さらに，コンテンツ間のリンクをナビゲーションのための1方向的なHyperlinkから引用に基づく意味的な双方向リンクへと拡張させることができる．これにより，我々の提案する仕組みはコンテンツに付随する様々な知識を抽出するためのフレームワークとして機能し，それによって収集されるデータは検索やコンテンツ推薦などの様々な応用のための基礎的データとして利用されることが期待できる．

図5.11: 映像シーン引用に基づくアノテーションのモデル

5.6.1 タグに基づく分析

タグの評価を行うために，あらかじめすべてのタグ候補に関して，そのタグが対応するコンテンツやシーンの内容を直接表現しているかどうかに基づき，筆者がタグの分類を手作業で行った結果を表に示す．有効であると判断されたタグを有効タグと呼び，1つのアノテーションに含まれる有効なタグで重複のないタグの数を平均有効タグ数という．シーンコメントアノテーションとシーン引用アノテーションはどちらも映像シーンに対するアノテーションであるが，前者の平均有効タグ数は1.51であるのに対して後者は5.96と3倍以上多い．どちらも1つの映像シーンを話題としたコメントであるため，シーン引用アノテーションの方が，より詳細な話題について記述していることが推定される．シーンコメントアノテーションやコンテンツコメントアノテーションなどよりも，ブログ上で記述されるアノテーションの方がより多くのタグが含まれている傾向がある．次に，機械的に抽出されたシーンタグのうち，どれくらいのタグがそのシーンの内容を的確に表現しているかどうかを示す割合として有効タグ精度という割合で評価する．これは，1つのアノテーションに機械的に除去できない，ノイズとなるタグがどれだけ含まれていないかを表す．すべての形態素をタグとした場合の有効タグ精度は平均20%前後であるが，前述したタグの絞り込み手法を用いると表で示すように60%前後まで向上する．この数値は決して高いとはいえない．しかしながら，有効タグは対応するシーンやコンテンツに直接関連しているかどうかという基準で選別したために，有効タグ率には映像から派生した話題に関連しているタグは反映されていない．無作為に記述されたアノテーションでない限りは，そのコンテンツを閲覧して記述したという観点から何らかの関連性はあり，派生的に関連したタグも含めれば有効タグ率はこれよりも大きくなる可能性が高い．アノテーションタイプ別の傾向として，シーンコメントアノテーションやシーン引用アノテーションなど，対象単位が映像シーンとなるものの有効タグ率が高い．これらは，映像シーンというより粒度の細かい対象について議論しているため，コメントの内容が映像シーンの内容に影響を受けやすいためであるからと考えられる．

タグの分類を手作業で行うのには多大のコストがかかることが懸念される．我々は２種類の方式でこの問題を解決することを考えている．1つは，構文解析や意図解析などといったより高度な言語処理技術を用いる手法である．人的コストがかからないという利点がある一方，Synvieで取得されるような自由コメントに対してこれらの問題を適用することは非常に困難である．２つ目は，増田らが提案した，ユーザらによって協調的にタグを選別する手法であり，費用対効果の観点から有用性が確認されている．

5.6.2 アノテーションの主観的分類

収集されたアノテーションを評価するために，それぞれのアノテーションのコメント内容に対して，以下のとおり，アノテーションの意味に基づく分類を行った．

さらに，，のカテゴリに関して，コメントの文章としての正しさに基づき，

のサブカテゴリに分類した．なお，分類は２人の評価者によって同時に行い，異なる意見が出た場合には話し合いによる調整を行った．

のアノテーションの例としては，朝顔の展示に対して映像撮影者が自身のブログで「名古屋式盆養切込みづくりの朝顔です． 蔓を伸ばさずに盆栽仕立てにしていてとてもユニークです．100年の歴史があるそうです．」と記述したコメントのように，シーンの内容を的確に表現しており言語解析などを行うことによって，より多くの知識の抽出が期待できる．のアノテーションの例としては，Webアプリケーションのデモ映像で画像のアップロードを行っているシーンに対する「画像のアップロード」というコメントのように，シーンの内容を表現しているキーワードを含んでいるが，十分に内容を表現しきれていないものである．は「私にとっての朝顔は，こういう蔓を上へ上へと伸ばしていくタイプです．」のようにシーンに対しての感想や意見を述べているものであり，は「どれだけお菓子使うんだよ！笑」のような表現であり，ともにシーンの内容に関するキーワードの抽出が期待できる．の例としては映像中に表示されるURLのキャプションに対して「リサイクルトナー専門店のようです． 著作権フリーのCG,音楽を製作されているみたいです．」．の例としては「長尾先生といえば，アノテーションの研究」などである．これらは，関連する話題について記述しており，必ずしも映像シーンの内容を直接的に表現していないが，シーンに関する補助的な情報としての利用が期待できる．の例としては「すごっ！」や「キター」など，単独では意味をなさないコメントや，「なんでこの回だけ映像がぶれてるのでしょう？ウィンドウズメディアエンコーダーという無料ソフトで，ノンインターレス化できるので是非．」など映像の品質に関する話題などが含まれる．

アノテーションタイプごとにカテゴリ分けし，集計したものを図に示す．

カテゴリに該当する，コンテンツの内容を説明・解説するためのブログエントリは，コンテンツ投稿者自身によって執筆される事例が多く含まれた．これは，自分の投稿したコンテンツを広くいろいろな人に見てもらいたいがためであると推察される．

図5.12: アノテーションタイプごとのアノテーションの質の比較

5.6.3 考察

まず，アノテーションの量の観点から考察する．ここで，アノテーションの量は，そのアノテーションを付与する手軽さや扱いやすさに関係していると仮定する．表で示すように，従来型のコンテンツ全体に対するコンテンツコメントアノテーションよりもシーンコメントアノテーションの方が投稿数が多いため，シーンコメントアノテーションはより手軽なアノテーションであったと推察できる．一見すると，コンテンツ全体に対するアノテーションの方が，シーンを選択する手間がない分手軽であるように感じられるが，シーンに対するアノテーションの方が，注目対象を限定しているため，他の閲覧者と話題を共有しやすく比較的短いコメントで内容を記述できる，些細な問題や話題でもコメントを投稿しやすいなどの理由から，より手軽に投稿可能であるためだと推察できる．

次に，アノテーションの質の観点から考察する．厳密な質の定義は応用に依存するが，ここでは，コメント内容の品質が高くシーンの内容を的確に表現し，引用シーンに関連するキーワードなどを含んでいるものとする．具体的には，の順で質が高く，また，サブカテゴリXの方がYよりも質が高いものとする．ただし，カテゴリCに属するアノテーションは直接的にシーンに関係しているとはいえないコメントであっても，シーンから派生した情報であるため無関係とはいえない．むしろ，MPEG-7などの通常のアノテーションからでは得ることが困難な重要な情報が隠れている可能性があり，決して無視することはできないと考えている．

これらの観点からみると，図で示すように，コメントアノテーションに比べて，シーン引用アノテーションの質の方が高い．特に，シーンコメントアノテーションにおいてサブカテゴリXに属する割合は11%なのに対し，シーン引用アノテーションは59%になり，より正確な文章が記述されていること，また，シーンコメントアノテーションにおいてカテゴリDに属する割合が36%も存在しているのに対して，シーン引用アノテーションの場合は4.8%であるなど，無関係なコメントや``荒し''と呼ばれるコメントが少ないなどの点で，シーン引用に基づくアノテーションの方がより質が高い傾向があるといえる．

図5.13: アノテーションを施した数および品質に基づくユーザの分布．1つの円が一人のアノテータにあたり，円の大きさが投稿したアノテーションの数にあたる．右上に行くほど質の高いアノテーションを施したユーザである．

つまり，アノテーションの質や量はアノテーションタイプに依存する．これは，閲覧者が映像を見ているという前提が成り立ち，その場限りのコミュニケーションを目的としたシーンコメントアノテーションよりも，映像コンテンツを閲覧しているとは限らない不特定多数に向けたブログエントリの執筆を目的としたシーン引用アノテーションの方がより丁寧な文章を記述する傾向があり，より質の高い情報を記述していると捉えることができる．また，掲示板よりもブログの方が一般的により良い文章が書かれている現状を反映した結果ともいえる．一見面倒で操作が多いアノテーションも，ブログを書くなどといった人間の自然な日常活動の一部として取り込むことができれば，十分な質と量をともなうアノテーションの取得が可能になることが分かる．

次に，アノテーションと人との関連性を考察する．図に示すように，良いアノテーションを施す人もいれば，そうでない人もいる．つまり，人に応じてアノテーションの質や量は異なり，ばらつきがある．そこで，サブカテゴリXのアノテーションを付与した数の割合が多い上位30%のユーザ，つまり良いアノテーションを投稿する割合が多い人を優良ユーザと定義する．図に示すように，優良ユーザがシーン引用アノテーション方式を用いて施したアノテーションのうち80%が一番質の高いカテゴリであるに分類される．これは，シーン引用アノテーション全体の平均の45%や，質の高いアノテーションを施した上位30%の人がシーンコメントアノテーションを用いて付与した平均22%よりも圧倒的に多い．

図5.14: アノテーションタイプおよびユーザごとのアノテーションの質の比較．優良ユーザとは，サブカテゴリXに属するアノテーションを施した割合が多い人，上位30\%を示す．

つまり，アノテーションの量と質は人にもアノテーションタイプにも依存する．逆にいえば，人やアノテーションタイプが，アノテーションの質の推定パラメータの1つとして利用することが可能になる．具体的なアルゴリズムは現状ではデータが十分揃っていないため今後の課題としたいが，学習アルゴリズムを用いてパラメータを動的に決定することを検討している．

次にコンテンツの内容とアノテーションの量や質の関係について述べる．縦軸をアノテーション数，横軸をコンテンツとしてアノテーション数順に並べると図のようになり，また，94のコンテンツのうち，上位12個でおよそ半分のアノテーションの投稿数を占めている．この結果から面白いコンテンツほどより多くのアノテーションが投稿されることが分かる．次に，アノテーションの多いコンテンツとそれ以外のコンテンツでのアノテーションの質について議論する．アノテーションの多い上位12件のコンテンツを人気ありとし，それ以外を人気なしとした場合の，それぞれのアノテーションタイプ別の割合を図に示す．ブログ引用の場合は人気ありのコンテンツの方がより質の高いアノテーションの傾向が認められるが，有意な差とまではいえない．そのため，アノテーションの質はアノテーションの投稿数に依存しているとは認められない．

図5.15: アノテーションの投稿数とコンテンツの関係

まとめると，YouTubeなどで実用化されているコンテンツコメントアノテーションよりも，我々がiVASで提案してきたシーンコメントアノテーションの方がより多くのアノテーションを収集することが可能であり，また，シーンコメントアノテーションよりも，本論文で提案したシーン引用アノテーションの方がより質の高いアノテーションの収集が期待できる．シーンコメント / シーン引用アノテーションを併用することによって，バリエーションに富んだ質・量とも高いアノテーションの収集が可能になる．これにより，多くのアノテーションが集まった場合は，評価が高いユーザが施したシーン引用アノテーションを重視し，あまり集まらなかった場合は，シーンコメントアノテーションの情報も活用するなど，場合によって使い分けることが可能になる．

図5.16: アノテーションの投稿数とアノテーションの質の関係

6.2.1 システムの概要

我々はシーンタグの特性を最大限に利用したタグ集合に基づくビデオ検索システムを開発した．アノテーションから生成されるシーンタグには必ずしもそのタグの内容と対応する映像シーンの内容が一致しているとは限らないという根本的な問題がある．また，全てのビデオに十分なアノテーションが付与されていない場合，前に述べた文字列マッチングのみに基づくビデオシーン検索の仕組みが上手く機能しない．

これらの問題を解決するために，タグクラウドの仕組みをビデオシーン検索に応用した．図に示すように，ユーザは全てのビデオコンテンツに含まれるシーンタグから生成されたタグクラウドの一覧から，検索したいシーンに関連したタグを選択する．これらのタグが含まれるシークバー付きのビデオ一覧が表示される．それぞれのシークバーには，その時間軸に対応するシーンタグとサムネイル画像が関連付けられており，ユーザはそれらのタグとサムネイル画像を閲覧することによって，ビデオを実際に閲覧することなくシーンの内容を把握できる．具体的なインタフェースは図に示すように，ユーザがシークバーをドラッグすると，その時間に対応するサムネイル画像とタグの一覧が同期して表示される．さらに，ユーザが興味を持ったタグをクリックすると，それらのシーンタグの時間的分布がシークバー上に表示される．これらの仕組みによってユーザが目的のシーンを発見することを支援する．

この仕組みはビデオに直接アクセスする必要がないため軽量である．また，シーンに関連するタグやその分布，サムネイル画像からユーザが総合的に検索したいシーンを探索することが可能になるので，タグのイグザクトマッチに拠らない，曖昧さを許容するインタラクティブな検索が可能であるという利点もある．

図6.2: 映像シーン検索のためのタグクラウド

図6.3: 映像シークバーとタグクラウドに基づくビデオ検索インタフェース

6.2.2 タグの選別

本ビデオシーン検索システムはシーンタグの量と質に依存する．しかしながら，映像と関連性のないアノテーションが含まれていることは容易に想像できる．それゆえ，自動生成されるシーンタグには有効ではないタグが含まれているかもしれない．実際，我々はシーンと明らかに関連性のないタグを発見した．これらのタグを自動的に選別することは一般に困難であるため，実際の応用システムを開発するためには効率よくタグの選別を行うシステムを開発する必要がある．そこで，本研究ではWebユーザが適切なシーンタグを容易に選別できるタグ選択システムを開発した．

タグ選別システムを図に示す．システムは自動的に抽出されたシーンタグを動画の閲覧中のユーザに提示する．ユーザは現在の映像シーンと関連性の高いタグを選択することによって，タグの選別を行うことが可能である．このタグを選別するのにかかる時間が，タグ選択にかかるコストである．なお，映像閲覧時だけではなく，先に述べたソーシャルブックマークをするときにも提示することを考えている．本システムはWebベースのシステムであり，多くのユーザが参加することによって，一人当たりのタグ選択にかかるコストが下がることを期待する．本実験においては，平均57%のタグが有用であると判断され選択された．

図6.4: オンラインタグ選別システム

6.2.3 実験

ビデオシーン検索に関する被験者実験を行った．実験条件は以下のとおりである．

Synvieから獲得されたタグ集合に基づき，20代?40代の男性9人が9つの検索問題に対してビデオシーン検索を行った．Synvieに投稿されたビデオコンテンツの内27個のビデオを対象とした．ビデオの平均時間長は349秒である．検索問題は，解答シーンの内容を記述した文章とそのシーンのサムネイル画像をぼかした画像からなる．検索問題文に答えとなるシーンに含まれる特徴的なキーワードが含まれていると容易に答えが見つかる可能性があるため，なるべくそれらのキーワードが含まれないように留意した．不鮮明な記憶から目的のシーンを探し出すシチュエーションを想定している．問題文の例としては，「ある動物が親子で佇んでいるシーン」，「ある人がスノーボードでコースの外にクラッシュしているシーン」などがあげられる. 正解シーンを見つけるまでの時間が検索コストとする．今回はすべての実験において正解シーンを見つけだすことができた．これは検索対象となったビデオコンテンツ数が少なく，探索的に正解となるシーンを探し出すことが可能なインタフェースであったため可能であったと推察できる．実験に用いたタグ集合としては，A: タグ選別前のタグ集合，B: タグ選別後のタグ集合，C: 比較検討用に出題者が人手で過不足無く全てのシーンにシーンタグを付与した理想的なタグ集合である．

6.2.4 議論

まず，タグ選別手法の適用による検索効率の改善について考察する．表で示すように，タグ集合Aにおける平均検索時間169秒に比べてタグ集合Bの平均検索時間145秒となり，17％の時間が短縮された．これによりタグ選択手法の適用は検索効率改善に有意であることを示した．しかしながら，理想的なタグ集合Cに基づく検索には敵わない．このままでは我々が提案した手法が必ずしも優位であるとはいえない．

次に，タグ集合BとCについて比較する．どちらも人手による明示的なコストをかけているため，コストパフォーマンスを比較する．本実験におけるコストパフォーマンスとは，タグ選別や作成にかかった平均時間とそれによる検索効率の平均改善時間の比を100倍した値である．これらはタグ作成や選別にかかわるインタフェースに大きく依存するので参考的な値ではあるものの，同様なインタフェースを用意することによって対処した．表で示すように，タグ集合Cのコストパフォーマンスは3.48であるのに対して，タグ集合Bのコストパフォーマンスは7.18である．これによって，コストパフォーマンスの観点からも，タグ選択の仕組みが有意であることが分った．

これらの結果により，Synvieから抽出されたタグが検索に利用可能であることを示した．しかしながら，実際に適用可能かどうかはどれだけアノテーションが集まるかに大きく依存するので断定的な評価は今後の課題としたい．また，タグ選別が検索効率の改善に役立つことがわかった．しかしながらすべての観点からタグ選択が優れているとはいえず，対象となるコンテンツや検索頻度等を考慮して使い分けることが重要である．

6.3.1 ビデオシーン推薦システム

ビデオシーン推薦システムとは，現在閲覧している映像の内容に基づき，関連する映像コンテンツを効果的に提示する仕組みである．具体的には，映像と同期して関連性のある他のコンテンツのサムネイル画像とキーワード，及びその根拠となるブログエントリーを表示する，図のシステムである．従来からある閲覧履歴に基づくソーシャルフィルタリングを用いたコンテンツ推薦システムでは，映像のシーン単位で推薦を行うことは困難であること，サンプル数が少ない場合には必ずしも精度が良くないこと，さらに推薦となる根拠を統計的にしか示すことができないなどの欠点がある．本システムでは，ユーザが複数コンテンツを引用したビデオブログエントリーを執筆した情報を用いて，少ないサンプル数で詳細なコンテンツ推薦を実現可能である．

図6.5: ビデオ推薦システム

6.3.2 ビデオスキミングシステム

さらに，図のような，ビデオスキミングシステムを開発している．ビデオスキミングとは，映像の重要なシーンのみを通常の速さで再生し，それ以外のシーンを早送りで再生する仕組みである．これにより，映像の内容を短時間で把握するのに適している．具体的には，映像シーンの重みや意味的な関連性に基づき再生速度を決定する．映像シーンの関連性は，重要なシーンに関連しているシーンは重要であるという考えに基づき関連する映像シーンの重みを伝播させる場合や，関連しているシーンは内容の重複があるという考えに基づき映像シーンの重みを減衰させる場合など，ユーザの目的や短縮したい時間によって使い分ける．

図6.6: ビデオスキミングシステム