ディスカッションメディア:会議コンテンツの構造化と効率的な閲覧システム
1 はじめに
ディスカッションメディアは,人間同士の知識交換の場であるミーティングの活動から,映像・音声情報やテキスト情報,メタデータなどの実世界情報を獲得し,それらを半自動的に構造化した会議コンテンツを作成し,議論の内容を効率的に閲覧し再利用可能にする技術である.
本研究ではマルチメディア情報の知的応用として,意味内容に基づくアノテーションによってこれらのメディアを統合した会議コンテンツを作成するシステムを開発した.そして,会議コンテンツのインタラクティブな視聴を支援するシステムを構築・公開し,会議コンテンツの効率的な閲覧を可能にした.
2 会議コンテンツ生成のためのメタデータ取得
会議支援や議事録作成の研究ではミーティングブラウザのように映像や音声の自動認識技術を用いることが多い.本研究で用いるディスカッションマイニングシステムでは,複数のカメラとマイクロフォンで議論の詳細な様子を記録するとともに会議参加者がブラウザベースのツールや,議論の構造化に必要なメタデータを入力するデバイスを用いて会議コンテンツを生成していく.ディスカッションマイニングシステムのイメージを図に示す.
また本研究では発表者がMicrosoft PowerPointのスライドを用いて発表を行い,その内容に対して参加者が議論を行う会議を対象とする.スライドに含まれるテキスト内容やスライドを切り替えるタイミングなどは発表者が専用ツールを用いることによって自動的に記録される.また,会議中の発言は議論札と呼ばれる札型のデバイスを用いることで,発言者のIDと「導入(Start-up)」「継続(Follow-up)」という発言の種類,発言の開始時間,終了時間が入力される.具体的な発言内容は,書記が専用ツールを用いて記録を行う.また会議参加者はボタンデバイスによって,現在行われている議論に対する自身のスタンスを表明することができる.議論の記録はXMLとMPEG-4によるマルチメディア議事録としてデータベースに記録される.
ディスカッションマイニングでは発言者の発言のタイプを議事録構造化の視点から,「導入」と「継続」の2つに大きく分類する.発言の持つ意味については多くの議論があるが,議論の構造化とは議論のセグメンテーションであると考えている.つまり,現在行っている発言が直前の発言(あるいはいくつか前の発言)を受けてなされるものなのか(継続),それとも新しい話題の起点なのか(導入)が議事録理解に大きな影響を与えていると考える.
3 ディスカッションメディアブラウザ
データベースに蓄積された会議コンテンツは,ディスカッションメディアブラウザによって会議内容を効率的に閲覧することができる.ディスカッションメディアブラウザの構成を図に示す.
3.1 ビデオビュー
ビデオビューでは,参加者の様子を撮影したビデオ,発表者の様子を撮影したビデオ,プロジェクタから照射されたスクリーンを撮影したビデオを視聴することができる.参加者のビデオは,会議中の発言者を映し,もしくは発言者が発表者の場合には会議室全体の映像を映している.
3.2 会議内容詳細ビュー
会議内容詳細ビューでは,会議の内容をテキストを中心とした議事録で閲覧することができる議事録ビューと,会議コンテンツを構造的に俯瞰できるグラフビューを切り替えることができる.
議事録ビューは,発表時に使われたスライドのサムネイル画像と個々の発言内容で構成されている.ビデオが再生されているスライドは背景がハイライトされ,また発言が再生されている場合には,発言内容がハイライトされる.検索テーブルで検索した結果,スライドに検索語が含まれる場合には,該当するスライドや発言内容中の該当する語がハイライトされる.
グラフビュー(図)は,任意の発言を中心とした親子関係グラフと,一つの議論内の発言の関係をグラフで表現した発言グラフ,一つの会議内の議論の関係をグラフで表現した議論グラフで構成され,会議コンテンツを構造的に俯瞰できる.親子関係グラフでは,ある発言を中心としてその発言の親(派生元となる発言)やその発言の子(派生した発言)を閲覧できる.発言グラフでは,一つの議論内の発言の関係をグラフで見ることができ発言同士の関係性はリンクによって表現している.また議論グラフでは,一つの会議内の議論同士の関係をグラフで見ることができる.関連する議論同士にはリンクが張られ,関係のある議論を容易に閲覧することができる.
3.3 検索テーブル
検索は,発言者,検索対象(スライドの内容か発言の内容,あるいは両方),キーワードの3種類をキーとして入力することができる.検索結果は,議事録ビューでは該当箇所がハイライトされ,また層状シークバーでは検索バーが表示されタイムライン上で該当箇所を閲覧することができる.
3.4 層状シークバー
層状シークバーはタイムライン上に会議の構成要素を表現した情報提供ツールである.会議の構成要素ごとにバーが用意され,詳細な情報を提供し,左端が会議の開始時間,右端は会議の終了時間となっている.例えば,スライドバーは発表者がスライドを切り替えたタイミングを,議論バーは議論セグメントを,タイムラインバー上で表現している.それぞれのバーをクリックすると,該当する箇所のビデオ再生が始まる.また,キーバードバーは会議内のキーワードの出現分布をタイムラインバーで表現している.
4 まとめと今後の課題
本研究では,会議コンテンツの議論内容を効率的に共有するための仕組みとしてディスカッションメディアを提案し,会議コンテンツの構造化手法ならびにインタラクティブに視聴するシステムを構築した.
今後の課題として以下のことがあげられる.
-
視聴履歴に基づく重要箇所の発見
-
プロファイルに基づく個人適応
なお,ディスカッションメディアブラウザは http://dm.nagao.nuie.nagoya-u.ac.jp/で現在公開中である.