2.2.1 ビデオアノテーションエディタ

オフラインビデオアノテーションを行う例として、筆者らが卒業論文で作成したビデオアノテーションエディタがある。ビデオアノテーションエディタは、オフラインビデオコンテンツに対してのアノテーションを効率よく行うためのツールである。MPEGビデオなどの動画コンテンツに対し、いかにして簡単かつ十分なアノテーションを行うかについて議論し、さらにその支援ツールおよび応用システムの実装を目的とする。具体的には、本研究で開発されたツールをもとにして得られたアノテーションデータを用いた、自然言語での意味的ビデオ検索も実現している。

本ツールによって作成されるXMLアノテーションデータには、コンピュータによって自動解析されるデータと、ユーザがツールを使って付与されるデータが含まれている。コンピュータによって自動解析されるデータには、動画像に含まれるカットの時間位置や、カラーヒストグラム情報、オブジェクトトラッキング情報などがある。ユーザーがツールを使って付与するデータには、シーンやオブジェクトに対する意味情報をあらわす意味属性情報やコメント情報などが含まれる。さらに、それぞれの意味属性は検索や要約に便利な意味内容も定義されている。つまり、解析されたデータとともに、そのデータの意味する内容も記述されており、アノテーションデータ単独で、意味内容が理解できるような仕組みになっている。そのために特定のアプリケーションに依存しにくく、永続性・独立性の高いアノテーションデータが得られるように工夫している。

ユーザが検索サーバに検索要求を出すと、検索サーバがアノテーションデータをもとにして検索を行い、検索結果をWebブラウザに表示する仕組みである。検索結果をユーザに適した形で表示するために、長尾らが開発したSemantic Transcodingも利用することを検討している。

また、このアノテーションデータを元にXMLデータベースであるXindiceを用いてデータベースを構築し、Java Servletを用いて、従来は困難だと考えられていた自然言語による動画像検索システムをも試作し、アノテーションとその利用方法についても言及することにより、より実用的なビデオアノテーションについての提案をすることができた。

我々はテレビやインターネットのストリーミング配信・ビデオ・DVD等様々な形で動画コンテンツを見て楽しんでいる。しかしながら、膨大な動画コンテンツが存在しながらそれらを検索したり要約したりすることはできない。それは、動画コンテンツ自体は単なるバイナリデータであり、動画の意味する内容が記述されていないためである。その意味内容を記述する規格としてMPEG-7が規格化されている。MPEG-7はMPEGによって規格化された動画コンテンツの意味内容を記述するための規格であり、動画圧縮を扱った既存のMPEG(MPEG-1,MPEG-2やMPEG-4)などとは違って、それ自身は動画のバイナリ情報を含んでいない。つまり、動画コンテンツに対するメタデータ（本研究ではアノテーションデータと呼んでいる）を記述する規格である。

そこで問題となるのは、いかに効率のよいアノテーション作成ツールを作るかということである。ビデオにアノテーションやインデックス情報等を付与するツールは様々なものが存在するが、Webに最適化されたアノテーションツールは少ない。MPEG-7記述ツールのように、XMLベースのツールは存在するが、高度に自動化されたツールはなく、大部分が手入力によるものであり、使い勝手が悪く試作段階のものでしかないという事実は否めない。そこで、本研究で、効率よくアノテーションをするツールとしてビデオアノテーションエディタ(図)を試作した。このツール自体は長尾らが開発したビデオアノテーションエディタを元にしているが、新たに作り直したツールである。

図2.3: ビデオアノテーションエディタ

ビデオアノテーションエディタの機能としては以下のものを備える。

1. カットの自動検出と修正機能

2. カット・シーンの重要度の推定と修正機能

3. カットの階層構造の推定と修正機能

4. カットに対する選択式手動アノテーション

5. オブジェクトトラッキング

6. オブジェクトに対する選択式手動アノテーション

7. アノテーター情報の付与

8. コンテンツ情報の付与

9. 色ヒストグラムの自動抽出

10. XML形式での保存・出力

オブジェクトトラッキングやカット検出、ヒストグラムの自動抽出等はほぼ完全に自動化されている。もちろん、ヒストグラム以外は誤検出も考えられるので、直感にあった修正機能もつけている。本来ならば、音声認識部分にも対応している必要があるが、現状ではサポートされていない。読み込める動画コンテンツの種類は、MicrosoftのDirectX8に含まれるDirectShow\footnote{Microsoft社のWindows用マルチメディア拡張API群であるDirectXに含まれるAPIの一つ。DirectShowを使うことで、動画や音声などの大容量のマルチメディアデータをストリーミング再生(データを読み込みながら同時に再生すること)することができるようになる。DirectShowを利用すれば、ハードウェアの違いを気にすることなく、動画や音声などの再生制御をアプリケーションソフトから手軽に行えるようになる。} でサポートされる形式であり、MPEG-1, MPEG-2, MPEG-4などに対応している。

これらの仕組みやツールを用いてローカルに存在するビデオコンテンツに対してアノテーションをある程度効率よく行うことが可能になる。

2.2.2 関連研究

オフラインビデオアノテーションに関連する研究についていくつか紹介をする。

まず始めに、本研究の元となった研究に長尾らが開発したVAE (Video Annotation Editor)がある。これは、MPEGコンテンツに対し XML形式のアノテーションデータを付与するツールであり、IBMのViaVoiceによる音声認識や、カット検出・オブジェクトトラッキングなどを行うことができるアノテーションツールである。

同様なツールとして、リコーが開発したMovieToolというツールが存在する。これはMPEG-7記述用のビデオアノテーション用ツールである。 MPEG-7を記述するために開発されたものであり、ビデオコンテンツに対し容易にアノテーションを行うことが可能である。特に、ビデオコンテンツをストーリ・シーン・カットといった階層構造表現も含めたMPEG-7データを記述することが可能である。また、MPEG-7スキーマを動的に読み取り解析する仕組みであるために、MPEG-7 記述の編集において利用可能なタグ候補を表示する機能や、MPEG-7の文法を定義したMPEG-7スキーマとMPEG-7記述との整合性チェックを行える、MPEG-7スキーマで定義されているすべてのメタデータを記述できる、MPEG-7スキーマの動的読み込みにより今後のスキーマの変更や個別の拡張スキーマにも対応できるなど、MPEG-7の手作業での記述の支援も行える。

また、IBMが開発したMPEG-7対応アノテーションツールであるVideoAnnEx Annotation Toolがある。これは、動画コンテンツに対して、Static Scene, Key Objects, Eventの情報を各シーンに対して意味属性を振ることができるツールである。Windows標準のツリービューを利用して、あらかじめ登録されているIDから複数選択したり、 IDを増やしたりすることができるツールである。ツリービューを利用することにより意味属性をカテゴリ分けできる利点がある一方、ツリーが大きくなるにつれどこにどの意味属性があるのか分かりにくく、また、ツリーの一部分を閉じてしまうと、そのツリー以下に意味属性のチェックが入っていても分かりにくいという弱点がある。

さらに、ビデオアノテーションに対する取り組みに対して古典的な例として、MIT(マサチューセッツ工科大学)のメディアラボでのDaivsら によって開発されたMediaStreamは、アイコンによるビジュアル言語によって映像を構造化するようになっている。このツールの特徴は、3000ものアイコンとその組み合わせによってビデオのオブジェクトにアノテーションすることができる点である。検索を考慮する場合、ビデオへの注釈を自然言語でつけるよりもアイコンを使って意味属性をふった方が分かりやすいためにこの方式を利用したと考えられる。このツールの難点は、映像をアイコンで表すために、非常に多くのアイコンが必要となる点である。開発の最終段階にはアイコンの数が6000個にもなったといい、アイコンは種類分けされてはいるもののアイコンの選択には慣れが必要であるし、そのアイコンの意味するものがアイコンだけでは分かりにくいという欠点があると考えられる。さらに、複雑なオブジェクトには複数のアイコンを組み合わせる必要があるので、複雑なオブジェクトを表現できる一方、煩雑な作業が必要になると考えられる。

以上の関連研究はいずれも手作業を伴うシステムであるが、カーネギーメロン大学のInformediaプロジェクトでは完全自動でビデオアノテーションを行うシステムを開発している。画像認識、音声認識、自然言語処理技術を統合して1000時間ものビデオ映像の自動索引付けを行うシステムである。クローズドキャプションの利用、文字・音声の自動認識を駆使してキーワード索引の自動生成を行い、キーワードにもとづくビデオ映像検索が可能になっている。また、tf-idf法(term frequency/inverse document frequency)を用いてビデオ映像の要約も実現している。実際に1000時間もの動画像に対して索引付けを行っており、非常に大規模なシステムでの自動認識と検索・要約を行っている点が興味深い。

また、アノテーションされたコンテンツの検索を効率よく行う仕組みも提案されている。是津ら が開発した時点モデルによる映像区間の合成：時刻付きオーサリンググラフに関する研究では、各時点において、テキストにより映像のキーワードを記述する方式でアノテーションを行っている。テキストを記述するだけでは複雑な検索に不向きであるが、それぞれのキーワード間に互いに関係のあるものに対して、時刻印付きオーサリンググラフという無向グラフを記述することによりその問題を解決している。さらに、その関連付けはテキストに含まれるキーワードの類似性を用いて自動的に関連付けを行っている。 このグラフを用いて、自然言語検索文による検索が行えるようになっている。検索アルゴリズムは自然言語検索文に含まれるキーワードとノードに含まれるキーワードの類似計算を行って関連のあるノードを見つける。そして、それらのノードにおいて時間的つながりを考慮しつつ、極小部分グラフを求める。この極小部分グラフが求める検索結果である。

2.2.3 問題点

以上のようにオフラインコンテンツに対するアノテーションにはいくつかの例があることが分かった。筆者らが卒業研究で作成したビデオアノテーションエディタやMITのMediaStreamなどの研究例においては、人間の手作業がある程度介在したアノテーションの手法である。詳細で確実なアノテーションができることが期待できる反面、非常に大きな人的コストがかかってしまうのが現状である。また、Informediaのようなビデオ映像に対して自動索引付けを行うようなシステムについては、音声認識や画像認識などの精度に強く依存してしまう。そのために、人的コストはかからないが、十分な精度が得られないといった問題がある。

ビデオコンテンツの解釈や認識を行う場合、機械では十分な精度が得られないという問題点がある一方、人手では作業できる量に限界があるという根本的な問題点を含んでいる。もちろん、貴重なコンテンツなどアノテーションコストを上回るほどの利益が得られる場合にはアノテーションをする価値があるため、これらの研究を続けていく意義はあると考えられる。

2.3.1 オンラインビデオコンテンツとその関連技術

本論文では、オンラインビデオコンテンツとは、インターネットを通じて配信されるビデオコンテンツ一般を指す。

ハードディスクの大容量化や携帯電話等の簡便な動画記録デバイスの大衆化、さらにはブロードバンド環境の普及に伴い、インターネット上に多数の動画コンテンツが公開されるなど、ネットワークを通してデジタルビデオコンテンツに容易にアクセス可能な環境が整備されつつある。

それに加え、ビデオコンテンツを配信?E再生する媒体・手段も多様化している。従来型のコンテンツ配信は、一部の限られたコンテンツプロバイダが、放送電波やDVDなどの流通に載せて行うものであった。現在は、インターネットの発達と共に誰もがコンテンツを容易に配信可能な環境を構築可能である。また、携帯電話やPDAなどの個人用小型端末やPCなどでネットワークからコンテンツを閲覧するという環境が整いつつある。これらの端末はインターネットに常時接続が可能であり、視聴者からのフィードバック情報を容易に取得が可能である。さらには、コンテンツプロバイダと視聴者間の1対1の通信だけでなく、視聴者対視聴者間通信も可能である。そのために、視聴者間だけでアノテーション情報やメタ情報を共有するという草の根的な活動も実現可能である。このことは、従来型のコンテンツ配信の形態が大きく変化する可能性を示唆していると言える。

また、コンピュータの計算能力の向上と共に、ビデオコンテンツのフォーマットも多様化している。ビデオCDやPCなどで採用されているMPEG-1、DVDやデジタル衛星放送などに利用されているMPEG-2、インターネット上で広く利用されているMPEG-4などがある。MPEG-4にもいくつかの派生があり、QuickTime形式、RealVideo形式、Windows Media Video形式、DivX形式などがある。さらに圧縮効率を高めた、MPEG-4の追加規格としてH.264\footnote{ISO/IEC 14496-10 MPEG-4 Part10 Advanced Video Coding/ITU-T Rec. H.264}という形式も標準化されつつある。これらの形式にも、それぞれダウンロード型配信とストリーミング型配信の二種類が存在する。ダウンロード型配信では、コンテンツの全てもしくは一部分をダウンロードしてから配信する形式であり、ストリーミング型配信ではダウンロードしながらコンテンツの配信を行う形式である。また、デジタルデータの著作権を保護する技術として、Digital Rights Management (DRM)なども標準化されつつある。これには、音声・映像ファイルにかけられる複製の制限技術などといったメータデータレベルのものから、画像や動画ファイルの電子透かしなどの技術も採用されている。

また、ネットワーク上で効率よくコンテンツ配信を行うための技術としてQuality of Service (QoS)などもある。これは、リアルタイム性を必要とするパケットを優先的に処理する技術である。さまざまな通信インフラが混在するインターネット上でQoSを実現するため、標準プロトコルRSVPの策定などの技術開発がすすんでいる。このように、着々とインターネットでコンテンツ配信を行うための環境が整いつつある。

また、ビデオコンテンツをそのまま知的処理するのは困難なため、計算機に分かりやすいメタ情報をつけるという考え方も一般化してきている。そのための規格としてMPEG-7などがある。MPEG-7は、映像の圧縮方式の規格を制定したMPEG-1/2/4などとは全く違いメタデータの記述形式である。MPEG-7はXMLで記述されており、インターネットやSemantic Webなどの技術と親和性が高い。

また、TV放送に関連するメタ情報として、iEPG (Internet Electronic ProgramGuide)などがある。これは、テレビ番組情報をインターネット上から取得可能でありTV放送コンテンツを一意に識別する手段となる。

近い将来、非常に多くのビデオコンテンツがネットワークを通して配信されるようになると考えられる。そのために、我々はオンラインビデオコンテンツの存在を無視することはできない。そこで、本研究では、このようなオンラインビデオコンテンツが日常的に利用可能である世界を想定している。

2.3.2 オンラインビデオアノテーションとは

オンラインビデオアノテーションとは、ネットワーク上に存在しているビデオコンテンツに対してアノテーションを行うことをいう。つまり、ネットワーク上に存在しているビデオコンテンツの一部分とアノテーション情報を関連付けることによって高度な知的処理を実現しようとするものである。オンラインビデオアノテーションの特徴としては、インターネットなどのネットワークに接続可能な人ならば誰でもアノテーションに参加することが可能な点が上げられる。例えば、閲覧者自身にアノテーションを促す環境を構築すれば、多くの人からのアノテーションを期待できるなど利点が大きい。

一般に、ビデオコンテンツへのアノテーションには多大な人的コストがかかり、ビデオ解析処理の高速化や精度の向上を図ってもそれほど改善されない。それは、ビデオコンテンツの深い意味情報付与には人間の高度な判断や解釈を必要とするからである。そのため、オンラインビデオアノテーションでは、人的資源の不足を補うという観点からいって有用であると言える。

しかしながら、オンラインビデオアノテーションにもいくつかの解決しなければ問題が存在する。

まず、アノテーション情報の量を確保すると同時に情報の質を確保する必要があるという一見相反する問題があげられる。閲覧者による映像コンテンツへのリアルタイム掲示板書き込みの例として、大規模匿名掲示板である2ちゃんねるの実況板がある。人気のあるTVコンテンツに対しては1分間に数十から百以上もの書き込みがあることは珍しくなく、このような匿名掲示板システムならば、アノテーションの量を確保できる可能性が高い。しかしながら、信頼性の高い良質な情報もあるが多くは信頼性の低い情報や日本語として正しくないものであり質は低い。そのために、いかにアノテーションの選別を行うかという問題がある。後に紹介するiVASでは、個々のアノテーションに対してユーザからのフィードバックを元にしたアノテーション信頼度という概念を導入することによりその問題の解決を図っている。

さらに、複数のアノテータのアノテーション情報をいかに統合するかという問題もある。Pradhanらの研究では、複数のアノテータによるビデオアノテーション間に、矛盾や不完全性が認められた場合に、これらを抽象化することで解消を図る手法を提案している。iVASでは、アノテーション信頼度付きアノテーション情報を基にして確率的な処理を行うことができ、より現実的な解決法が得られるのではないかと考えている。

2.3.3 オンラインビデオアノテーションの仕組み

オンラインアノテーション、つまりネットワークからマルチメディアコンテンツに対してアノテーションを行う仕組みについて解説する。まず、コンテンツは、ネットワークからアクセス可能な領域に置かれていると仮定する。そのコンテンツが置いてあるURL情報やコンテンツのタイトル情報、コンテンツIDなどをキーとして、コンテンツを一意に識別できるものとする。ユーザはそのコンテンツのキー及びコンテンツのメディア時間と、アノテーションの対象となる情報とを関連付けることによってアノテーションを行う。アノテーション情報には、誰が、いつ、どのコンテンツの、どの部分に対して、どのような方式でアノテーションしたかという情報も含まれており、他のユーザのアノテーション情報も含めて共有する。

Webコンテンツに対するアノテーション及びそれを共有する仕組みとして、広津らは以下の三つの方式を提案している。

1. Client model

2. Proxy model

3. Server model

Client modelはクライアント側のWebブラウザにアノテーション情報を保持し、クライアント間でデータを共有する方式である。既存のインターネットを変更することなく実現できるという利点があるものの、クライアント側に専用のウェブブラウザを用意する必要があり、またアノテーションデータの共有が比較的困難であるという欠点がある。Server modelは、サーバ側にアノテーションのための仕組みを用意する方式で、クライント側に特殊な仕組みが必要ないという利点があるものの、コンテンツがあるサーバごとにアノテーションのための仕組みを用意する必要があり、また全てのユーザをサーバごとに認識する必要があるという欠点がある。そこで、広津らはProxy modelを推薦している。Proxy modelは、ウェブコンテンツとユーザグループの間にアノテーションのためのプロキシサーバを用意することにより、プロキシサーバでアノテーション情報を管理する方式である。クライアント側にも既存のサーバ側にもアノテーションのための仕組みを用意する必要がないという利点があると述べている。

ただし、Proxy modelにもいくつか解決しなければならない問題点がある。まず、アノテーションあるなしに関わらず全てのコンテンツがプロキシサーバを経由するためプロキシサーバに大きな負荷をかけること、次に、動的にプロキシサーバを切り替えることが困難なため、一つのプロキシサーバで全てのWebコンテンツのアノテーション情報を管理しなければならないこと、さらに、プロキシサーバはユーザグループ毎に設定する仕組みであるが、アノテーション情報の二次利用を考える場合には、コンテンツごとにアノテーション情報を管理した方が効率が良いことなどが挙げられる。

いずれの方法にせよ、コンテンツの一部分とアノテーション情報を一対一に関連付け、それをユーザ間で共有可能にすることによって、オンラインアノテーションを行うことができる。

2.3.4 関連研究

最後に、オンラインビデオアノテーションに関連する研究をいくつか紹介する。ただし、筆者が調べた限りにおいて、筆者が想定するような形でのオンラインビデオアノテーションは未だ存在しない。そこで、まず、オンライン上でビデオコンテンツに対して何らかの議論や投稿が可能な関連研究について報告する。

まず、動画コンテンツに対して電子掲示板感覚で情報を付与することができるシステムとしてSceneNaviがある。これは、VOD (Video on Demand)など、インターネット上に存在している動画を閲覧しているコミュニティの間でコミュニケーションを図るツールである。動画上の任意の時点で閲覧者のコメントを関連付けるという点で、オンラインアノテーションの一つであるといえる。これらは全て一般的なWebブラウザを用いて行うことができる。また、投稿された情報を基にした検索などの応用等も考えられているようである。

次に、ストリーミングメディアコンテンツに対してアノテーションを行うシステムとしてMRAS (Microsoft Research Annotation System)がある。これは、グループ間でストリーミングメディアコンテンツに対してアノテーションを行うシステムである。任意の時点の映像に対してコメントやそのコメントに対する回答などを投稿することが可能である。さらに講義映像向けシステムでは、WebブラウザベースでPowerPointのスライド情報なども表示可能であり、参加者やTA (Teaching Assistant)らが質問の回答などを投稿できるようになっている。

3.2.1 システム構成

本システムは、図に示すように、アノテーションXML データベース、カット検出サーバ、登録・収集サーバ、ビデオアノテーションサーバ、アノテーションを用いた各種サービスサーバで構成される。ユーザは、ネットワークからアクセス可能な任意のビデオコンテンツに対して、iVASを通してアノテーション及び閲覧を行うこととする。また、ユーザは匿名、記名に関わらずアノテーションできる仕組みとなっている。iVASを通して閲覧したいコンテンツは、登録サーバを用いて明示的に登録する必要があるが、将来的にはコンテンツ収集サーバを用いて自動収集することを考えている。コンテンツを登録すると直ちに、カット検出サーバが連動しカット検出やヒストグラム情報の取得などの自動処理が行われる。閲覧者はビデオアノテーションサーバによって生成されたページを通してコンテンツを閲覧しながらアノテーションを投稿することができる。投稿されたアノテーションはアノテーションXMLデータベースに蓄積され、4章で述べる各種アノテーションを利用したサービスなどで利用される。アノテーションシステムとしては、Proxy Modelに相当する。

図3.2: システム構成

3.2.2 想定するビデオコンテンツ

アノテーションが可能なビデオコンテンツは、PCからアクセスできるデジタルビデオコンテンツである。基本的には、インターネット上で公開されているWebビデオコンテンツを対象とするが、個人的にHDDビデオレコーダなどで大量かつ無作為に録り貯めたTV映像などのホームネットワークに存在するコンテンツ、あるいはDVDなどのパッケージメディアコンテンツなどにも適用可能であると(図)。つまり、コンテンツを一意に特定できさえすればよくコンテンツの形態によらない。アノテーションデータはWeb上で共有されるため、インターネットに接続可能な環境であれば良い。また、本システムはメタ情報のみを編集・蓄積するものであり、オリジナルコンテンツの編集・コピー・再配信を行うものではないため、著作権的な問題も発生しにくいと考えている。

図3.3: アノテーションを想定するビデオコンテンツ

3.2.3 コンテンツ登録

ビデオコンテンツは、コンテンツ登録サーバを通してあらかじめ解析を行う。コンテンツ登録時に、テンプレートの選択によるアノテーション作成環境を設定でき、コンテンツに適したアノテーションを作成することができる。具体的には以下のような項目を登録可能である。コンテンツ登録ページを図に示す。

1. コンテンツのタイトル

2. コンテンツのURL

3. コンテンツの種類

4. 後述する印象アノテーションのボタンの種類

5. コンテンツの登録者の名前のE-mailアドレス

これらは手動により登録を行っているが、将来的にはコンテンツ収集サーバによりWeb上のコンテンツをRSS (RDF Site Summary)などの情報を元にして、自動収集することによりコンテンツの自動登録も検討している。

投稿されたコンテンツは以下のようなXMLの形式で保存される。

<?xml version="1.0" encoding="x-sjis-unicode" ?> 
<videoDB id="va00000006">
  <datetime>
    <date>2004-11-04</date> 
    <time>16:40:00</time> 
  </datetime>
  <media>
    <filename>news2_mini.mpg</filename> 
    <url>http://fs02/ivas/movies/news2_mini.mpg</url> 
    <title>ニュース映像</title> 
  </media>
  <author>
    <name>山本大介</name> 
    <email>yamamoto@nagao.nuie.nagoya-u.ac.jp</email> 
  </author>
  <impSelection num="6">
    <item name="楽しい" no="1" /> 
    <item name="キター" no="2" /> 
    <item name="おいしそう" no="3" /> 
    <item name="悲しい" no="4" /> 
    <item name="嫌悪" no="5" /> 
    <item name="重要" no="6" /> 
  </impSelection>
</videoDB>        

上記の例は、media要素の中のurl要素に記述してあるサイトに存在するビデオコンテンツが、iVASサーバにコンテンツIDをva00000006として登録されることを意味する。datetime要素の子要素にコンテンツの登録日時、media要素の子要素にコンテンツのタイトルなどのメディア情報、author要素の子要素に登録者情報などが記述される。さらに後に述べる印象アノテーションのために使われる、このコンテンツに特化した印象ボタン情報をimpSelection要素の子要素に列挙する。このような形式により、XMLデータベースに記述しコンテンツの管理を行う。

図3.4: コンテンツ登録画面

3.2.4 動画像の解析

Webブラウザを用いて動画のアノテーションを行う場合、インタラクティブに動画の解析処理をすることは処理速度などの点で好ましくないため、あらかじめ解析を行いたいコンテンツに対して前処理を行う必要がある。そのための事前処理としてカット検出を行い、動画からカットの時刻とサムネイル画像をサーバ上に保存するプログラムとしてカット検出サーバを用意した。

カット検出のアルゴリズムは、現在のフレーム間差分と直前のフレーム間の比較を行い、ある閾値を超えた時点でカットとした。また、フレーム間差分算出手法には、分割χ二乗検定法を採用した。また、フレーム間差分の変動が大きい区間（つまり動きの激しい区間）はひとつのカットと認識するなどの工夫をしている。

カット検出アルゴリズムとしては以下のようになる。

DirectShowの機能の一部としてあるSampleGrabberの機能を用いて動画から静止画を1フレームごとにとりだして評価を行う。数フレーム置きに行っても良いが、MPEGなどの圧縮形式は1フレームごとに前フレーム情報を利用してデコードする必要があるため、数フレームごとにやるのは効率がよくないためである。まず個々のフレームにおいてヒストグラムを生成する。本研究ではRGB要素それぞれ4ビット分合計12ビット、4096分割して生成した。ヒストグラムでの前フレームとの比較により、ある閾値以上の差が生じた場合は新たなカットとして検出するプログラムである。さらに、動画の任意での位置で右クリックのコンテキストメニューを選択することにより、カット分割・カット併合をマウスで簡単に行えるようにもした。

カット検出の具体的なアルゴリズムは次のようになる。

1. DirectShowのSampleGrabber機能を使いMPEGコンテンツから静止画をとりだす

2. RGB要素をそれぞれ4ビット合計12ビット(4096)分割をしてヒストグラムを計算する

3. 前フレームとのヒストグラムの要素ごとにの分割χ二乗検定法を用いて差分を求める

4. 3.の絶対値誤差の合計がある閾値以上になったら、カットであると認識し終了

5. メディア時間を1フレーム分進めたのち1.に戻る

このままでもカットの検出は可能であるが、動きが激しいシーンではカットが大量に誤検出してしまう。そこで、動きが激しいカットをひとつのカットであると認識するために以下の手法を用いた。

1. 上記アルゴリズムでカット検出を行う

2. 1.を繰り返し、8フレーム以内に再びカット検出を行ったら、それをカット検出とはせずに、2へ

3. 1へ飛ぶ

8フレームとしたのは、30フレーム/秒とすると、0.26秒にあたり、人間の目では、これ以上短いカットはカットと認識しない限界であると考えたからである。

カット検出サーバの対象とするコンテンツは、カットが多く存在するコンテンツであり、サッカー中継や個人で撮影したホームビデオや講演ビデオなどカットの少ないコンテンツにはカット検出が適用できない。これらのコンテンツは、一定時間ごとに区切り、形式的なカットとし、アノテーションを行うこととする。

カット検出サーバによって取得された情報は以下のようなXML形式でデータベースに保存される。

<?xml version="1.0" encoding="x-sjis-unicode" ?> 
<videoAnnotation id="va00000006">
  <media>
    <url>http://fs02/movie/news2_mini_2.mpg</url> 
    <filename>news2_mini_2.mpg</filename> 
    <length unit="sec">317.962444</length> 
    <winsize height="240" width="352" /> 
  </media>
  <movie num="58">
    <cut etime="3.704" image="t000000.jpg" no="0" stime="0" /> 
    <cut etime="8.07437" image="t000001.jpg" no="1" stime="3.704" /> 
    <cut etime="14.782" image="t000002.jpg" no="2" stime="8.07437" /> 
    <cut etime="22.089" image="t000003.jpg" no="3" stime="14.782" /> 
    <cut etime="25.526" image="t000004.jpg" no="4" stime="22.089" /> 
    <cut etime="27.9944" image="t000005.jpg" no="5" stime="25.526" /> 
    ...
    <cut etime="317.962" image="t000057.jpg" no="57" stime="317.651" /> 
  </movie>
</videoAnnotation>        

上の例では、コンテンツID va00000006のコンテンツに対して行ったカット検出結果がmovie要素の子要素であるcut要素の形で列挙されている。カットと検出された時間をstime、そのカットが終了したと判断された時間をetime、さらにそのコンテンツのサムネイル画像をimage属性によって記述する。

3.3.1 アノテーション編集ページ

アノテーション編集ページのブラウザは図のようになる。画面左に印象アノテーションインタフェース、中央部上部に動画閲覧画面、画面中央下部にテキストアノテーションの一覧、右側にサムネイル画像を用いたスクロール可能なシークバーを配置した。

このシークバーは、マウスのスクロールボタンによってシームレスにシーク可能なバーであり、アノテーションを行う時に頻繁に繰り返されるビデオのシークを直感的に支援する。このシークバーには、ビデオコンテンツのカットから20フレーム後のサムネイル画像を表示している。20フレーム後の画像をサムネイルとする理由はカット直後の画像は乱れていることが多いためである。このシークバーにより、ユーザは目的のシーンを容易に探すことが可能になり、スムーズにアノテーションをすることが可能になる。

基本的には閲覧することが主目的であるので、なるべく動画閲覧画面を大きくとる構成にしている。印象アノテーションインタフェースは、後述する印象アノテーションのためのインタフェースであり、ボタンを押すという簡便なインタフェースである。また、テキストアノテーションの一覧は、現在のカットに関連する情報を時間軸に応じて表示している。また、後に述べる重要度に応じて、重要度の高い情報が上位に来るようにソートして表示することにより、多数の情報を効率よく表示している。

図3.5: アノテーション編集ページ

3.3.2 テキストアノテーション

テキストアノテーションは、ビデオ内の連続するシーンやオブジェクトに対して、テキストで情報を付加するものである。具体的には、任意のビデオコンテンツのシーンの開始時刻・終了時刻・位置に対してテキスト情報を付与することが可能になる。

まず、ユーザはアノテーションしたい場面で動画上のアノテーションしたいオブジェクトのある部分をクリックする。このクリックした位置を取得することにより、オブジェクトの画面上のおおよその位置が取得可能である。次に、カット検出サーバ等であらかじめ検出されているカット単位でアノテーションしたい時間範囲を選択する。さらに、全てのアノテーションには、後の検索や要約等の機械処理をしやすくするために、コメントの対象（全体・映像・キャプション・音声・音楽・登場人物・オブジェクト・場所など）、種類（名前・状況説明・補足情報・感想など）の選択肢をわかりやすく表示し、容易に選択できるようにした。さらに、他の閲覧者によって入力されたテキストアノテーションに対し、閲覧者が評価する仕組み（○・×のボタンを押す）を用意し、閲覧者によって個々のアノテーションに対する評価を行うことができるように配慮した。コメントの対象と種類のカテゴリは適宜追加・編集可能であるが、どのようなカテゴリを用意するかは今後の課題とする。

具体的な例を図に示す。この例において、ユーザは「このシーンに登場する人物はジョン・バティスタだ」という内容を投稿したいとする。まずユーザは、この人物の中心付近をマウスでクリックする。すると、アノテーションを行いたい時間範囲が連続するカット単位で選択可能になる。次にアノテーションの対象となるものの種類の選択を行うが、ジョンバティスタは人物であるので、人物を選択する。次に、アノテーションの種類を選択するのだが、人物の名前を記述するために、「名称」というアイコンを選択する。最後に、この人物の名前を入力する。なお、この例ではこのコンテンツで過去に入力された人物の一覧が表示されており、該当する人物名があれば、それを選択することによってアノテーションを行うことができる。

図3.6: テキストアノテーションの例(「この人物の名称はジョン・バティスタだ」という内容を投稿している)

テキストアノテーションによって図のような情報を取得することができる。これらの情報は、後述するアノテーションを用いた応用に利用される。このようにアノテーションされた情報は、以下のようなXMLの形式でアノテーションXMLデータベースに蓄積される。

<?xml version="1.0" encoding="x-sjis-unicode" ?> 
<annotation id="an1090211400084-0" 
            object="OBJECT" type="SITUATION" vid="va00000010">
  <timecode ecut="8" etime="50.2502" scut="8" stime="44.3109" /> 
  <position x="0.44745762711864406" y="0.4762979683972912" /> 
  <annotator handle="yamamoto" id="yamamoto@nagao.nuie.nagoya-u.ac.jp" /> 
  <description>おいしそうな牛肉だ</description> 
  <date>2004-07-19</date> 
  <time>13:29:28</time> 
  <evaluation bad="1" good="2"/> 
  <semantics>
    <word class="ADJECTIVE">おいしい</word> 
    <word class="NOUN">そう</word> 
    <word class="NOUN">牛肉</word> 
  </semantics>
</annotation>        

上記の例が一つの投稿にあたる。個々のアノテーションには自動的に固有のIDが付与される。そのIDがannotationタグのid属性に当たる。アノテーションの対象がobject属性、アノテーションの種類がtype属性に当たる。また、アノテーションの対象となるコンテンツのコンテンツIDがvid属性にあたる。timecode要素において、アノテーションの対象となる時間範囲を指定でき、scut,ecut属性はカット単位でのアノテーションの対象時間範囲を示し、stime,etimeにおいて秒単位での開始時刻と終了時刻を示す。position要素のx属性とy属性において、マウスポインタがクリックされた位置を示す。また、アノテーションを行った人の情報をannotator要素で記述する。投稿内容の本文はdescriptionにおいて記述し、その情報を後の検索などで使いやすくするために日本語形態素解析器茶筌を用いて形態素解析した結果をsemantics要素の中に形態素ごとに記述をしている。また、後に述べる、評価アノテーションの結果をevaluation要素で記述している。投稿時刻と日時を、date要素とtime要素で記述している。

これらは独自のXML形式で保存されているが、容易にMPEG-7などの他のXML形式に変換可能であるため、他のアノテーションソフトとの連携することも可能である。

3.3.3 印象アノテーション

印象アノテーションとは、ビデオコンテンツの雰囲気や閲覧者の主観的印象、例えば、面白い・緊迫・悲しいなどをマウスクリックでボタンを押すという簡便なインタフェースで入力できる仕組みである。より印象深いシーンでは印象ボタンの連打度合いによって印象の強弱を表現できる。テキストアノテーションの場合は、閲覧を一時的に中断してアノテーションを施す必要があるが、印象アノテーションは閲覧しながらできるという利点がある。

印象アノテーションの対象となる各印象を...とする。その時、クリックした時間を中心にして、正規分布で印象情報をつけるとすると、各印象は以下の式でパラメータを付与する。印象のボタンを押したアノテーションの集合とすると、

(1)

ただしは印象アノテーションを行ったメディア時間である。mは定数であり、ボタンを押した時の前後の時間にもアノテーションの効果を与える。これによって、ボタンを押す間隔が短いシーンほど、印象深かったということがわかる。

また、自分のアノテーション結果だけでなく、閲覧者全体のアノテーションの結果も棒グラフによって表示している。図に示すように、それぞれの印象ボタンの下に日本の棒グラフが表示される。上の段がユーザ自身の現在の印象情報を表示し、下段では、閲覧者全員の統計的な印象情報を表示する。このインタフェースによって、ビデオコンテンツの時間軸にそって閲覧者がどのような印象を感じているかの情報を付与することができる。例えば、「おいしそう」という印象情報がある閾値以上の値があるシーンだけを集めることができれば、おいしそうなシーンのみを収集することが可能になる。なお、ボタンの数は最大6個まで可能であり、これは、登録サーバで指定可能である。どのようなボタンが有効であるか、また何個必要かといった検証はコンテンツの種類に依存することから今後の課題である。

なお、個人個人の印象アノテーション結果は以下のようなXML形式で保存される。

<?xml version="1.0" encoding="Shift_JIS" ?> 
<impressionAnnotationLog 
  email="matsumoto@nagao.nuie.nagoya-u.ac.jp" 
  name="matsumoto" vid="va00000008">
  <impressionSelection num="6">
    <item name="楽しい" no="1">
      <push time="10.11" /> 
      <push time="12.02" /> 
      <push time="16.94" /> 
      ...
    </item>
    <item name="キター" no="2">
      <push time="49.65" /> 
      <push time="50.01" /> 
      <push time="50.27" /> 
      ...
    </item>
    <item name="おいしそう" no="3">
      <push time="35.39" /> 
      <push time="36.37" /> 
      <push time="39.61" /> 
      ...
    </item>
    <item name="悲しい" no="4">
      <push time="364.36" /> 
    </item>
    <item name="嫌悪" no="5" /> 
    <item name="重要" no="6">
      <push time="290.17" /> 
    </item>
  </impressionSelection>
</impressionAnnotationLog>        

それぞれのビデオコンテンツに登録されている印象ボタンに対してその印象ボタンを押したメディア時間（秒）を記述可能である。上の例では、matsumotoがコンテンツID va00000008に対しての印象アノテーション結果を意味する。impressionSelection要素の子要素であるitem要素がそれぞれのボタンを意味し、item要素の子要素のpush要素のtime属性がそのボタンを押したメディア時間を意味する。なお、上の例は簡略化のため一部記述を省略してある。

図3.7: 印象アノテーションのインタフェース(印象ボタンの下に2段の棒グラフがあり、ユーザの現在の印象情報の表示と、閲覧者全員の統計的な印象情報を表示する)

6.1.1 オンラインビデオコンテンツのWeblog化

Weblogは、インターネット上で記事（エントリーと呼ばれる）を効率よく配信するための仕組みである。Weblogにはそれぞれのエントリーに対して、閲覧者がコメントを付ける、トラックバックでリンクを張る、更新情報をRSS(RDF Site Summary) で配信する仕組みが備わっている。これらの仕組みを用いて、各々のエントリー同士をトラックバックなどのリンクで結びつけることにより、Weblogエントリーを中心としたコミュニティを活性化することができる。本研究では、Weblogのエントリーをビデオコンテンツ（の任意のシーン）に置き換えることにより、ビデオコンテンツとそのコミュニティの活性化を促す仕組みを提案する。コンテンツをWeblog化することをWeblogizeと呼び、WeblogizeされたビデオコンテンツをVideoblogと呼ぶ。

Weblogizeのための一つ目の仕組みとして、ユーザがコンテンツに対して容易にコメントを付与できる仕組みが必要である。そこで、先に述べたiVASの仕組みを利用する。

Weblogizeのための二つ目の仕組みとして、トラックバックの仕組みをiVASに取り入れた。トラックバックとは、記事の参照先から参照元への間に自動的にリンクを張る仕組みである。通常のサイト単位の相互リンクとは違って、記事単位のリンクであるため、よりピンポイントに、コンテンツに依存したリンクを張ることができる。さらに、このリンクは人間の主観によって張られるものであり、記事内容を意識した関連性の強いリンクである。

Videoblogのトラックバックの仕組みは、Weblogと同じであり、trackback pingを送ることによって成立する。trackback pingの送り先URLは次のようになり、対象となるコンテンツのIDと関連付けたいシーンの開始時間と終了時間を指定することによってトラックバックを受け入れる。

http://[ivas server address]/tb/
   [content ID]/[begin time]-[end time]        

そのため、Videoblogは既存のWeblogには一切の改変を加えることなく、Weblogのトラックバックネットワークに参加することが可能である。

6.1.2 トラックバックに基づくビデオアノテーション

以上のように、ビデオコンテンツにトラックバックの仕組みを導入した。トラックバック元の記事内容は、トラックバックの張られているビデオコンテンツのシーンの意味内容に関連しており、アノテーションの一種として扱うことができる。もし、ユーザにとってトラックバックを張る十分な利益があれば、極めて低い人的コストでビデオアノテーションを行うことができる。そのための一つの手段として、以下の映像視聴記事作成インタフェースを提案する。

ユーザはコンテンツを閲覧する時、iVASの電子掲示板風インタフェースを用いて閲覧することにする。このインタフェースでのアノテーションは閲覧時にリアルタイムに作成することを想定しているため、必ずしも十分な内容のアノテーションを期待できない。しかしながら、そのユーザにとって良いコンテンツであった場合、後からそのコンテンツに対する評価または感想の記事を書きたいという欲求がある。もし、後で記事を書くことを前提した閲覧の場合、簡便な印象アノテーションなどは施していることが期待できる。

そこで、iVASを用いてリアルタイムにアノテーションされた情報から、映像視聴記事対象シーンを推定する。具体的には、ユーザにとって興味深かっただろうシーンを推定し、そのコンテンツに対するWeblogのエントリーを書くためのテンプレートを提供する。また、ユーザにとって興味深いシーンへのリンクと、対応するVideoblogのシーンへのトラックバックを自動的に張る。その推薦結果に基づき、ユーザはそのシーンに対する感想等の記事を記述する。

映像視聴記事対象シーンの推薦の仕組みは概ね以下の通りである。まず、ユーザがそのシーンに対してどれくらいの興味を持っているかを示す度合いとして、興味度という指標を導入する。興味度は、そのシーンに対してどの程度アノテーションを施したかに応じて興味度が高くなる。具体的には、テキストアノテーションを記述したシーンに対して興味度は高く、また印象アノテーションのボタンがたくさん押してあるシーンも興味度が高くなるようにする。そして、興味度の高い順にシーンn個を推薦する。さらに、同じビデオシーンの他のユーザの興味度と比較し、他のユーザよりもそのシーンに対して相対的に興味が高いシーンも推薦する。これは、シーンごとのアノテーションの数をある程度均等にするためである。

ユーザは、Weblogなどで通常のエントリーを書くのと同様な形式で、半自動生成されたエントリーを修正できる。この修正結果はiVASにテキストアノテーションとして反映され、検索などの各種応用の精度をあげるのに利用される。修正できる項目は以下の3つである。1つ目は、アノテーションの対象となるシーンの選択範囲の修正であり、あらかじめカット検出されたカット単位でシーンの開始カットと終了カットを修正することができる。2つ目は、テキストの修正であり、3つ目はシーンごとにエントリーを公開/非公開するかの選択である。画面例を図に示す。修正された結果は、修正前のアノテーションに対して、上書き属性のアノテーションとしてXMLデータベースに記録される。これにより、人間の手が加わったより信頼度の高いアノテーションとして保持される。

図6.1: Weblog編集画面

この仕組みを用いることにより、ビデオコンテンツとWeblogとユーザとを結びつけることが可能になった。これらの仕組みは二つの利点がある。一つはユーザが普段よくみるWeblogとビデオコンテンツとさらにそれに関連するコンテンツを結びつけることにより、コンテンツの流通の促進と活性化を促すことができる。さらに、コンテンツに対するビデオアノテーションとして、コンテンツの意味内容に基づく検索や、要約などの既存の研究などに活かすことができると考えている。