ディスカッションマイニングにおける発言中の指示対象の取得とその応用

1 はじめに

我々はディスカッションマイニングと呼ばれる,人間同士の知識活動の場であるミーティングの活動から,映像・音声情報やテキスト情報,メタデータなどの実世界情報を獲得し,それらを半自動的に構造化することによって,そこから再利用可能な会議コンテンツを作成する技術の研究を行っている.この研究では,獲得したメタデータを用いることで,会議コンテンツの検索・閲覧を支援するシステムを構築している.その一手法として,レーザーポインタの指示対象を利用することにより,会議コンテンツを協調的に統合・提示する方法について提案してきた.

しかし,一般のレーザーポインタの指示対象の取得は,検出精度がスクリーンに対しての座席位置などの環境に影響されることや,レーザーポインタの使用者の情報が取得できないといった問題があった.

そこで我々は,スライド内の任意のテキストの明示的な選択や,使用者の識別が可能なポインティングデバイスを開発することで,検出精度の問題を解決し,使用者の情報の取得を可能とした.本研究では,新デバイスによって取得した情報を用いた会議コンテンツの新しい検索・閲覧の手法を提案する.

2 ディスカッションマイニング

本研究では,会議コンテンツを図に示す環境下において半自動的に作成している.会議コンテンツには,発言者名,発言タイプ,発言テキスト,議論構造,発言に対する参加者のスタンス,スライド情報,発表者・発言者・スクリーン映像,ポインティング情報などが含まれ,それらは時間情報と共に構造化され議事録として保存される.ディスカッションマイニングシステムによって作成された会議コンテンツは,Webブラウザを用いて検索や閲覧が可能である.

図1: ディスカッションルーム

3 ポインタリモコンによる発言中の指示対象の取得

ディスカッションマイニングでは,図に示されるようなポインタリモコンと呼ばれるデバイスを用いて,発言タイプ(発言が直前の発言を受けているものなのか(継続),あるいは新しい話題の起点になっているものなのか(導入))や発言に対する参加者のスタンス(その発言に賛成か反対か)などの各種のメタデータの入力を行う.

図2: ポインタリモコン

また,ポインタリモコンは使用者の情報が取得可能で,スライド上の対象を明確に指示できる新しいポインティングデバイスである.使用者の情報及び指示対象は,時間情報と共に,データベースに保存される.今回新たに実現した機能は次の通りである.

【下線表示】　スクリーン上の任意のテキストに対して,下線を引くことで指示をするための機能(図).この機能は発表スライドが表示されているスクリーンに対してOCR(Optical Character Recognition)を行った結果を利用している.OCRによって取得できるテキストであれば,それが図の中のテキストであったとしても下線を引くことが可能である.
【矩形表示】　スクリーン上でマウスカーソル操作をすることにより矩形領域が表示され,その矩形領域に接触するスライド上のオブジェクトをすべて選択する機能(図).スライド上のオブジェクトに関する情報(そのオブジェクトが図か表かなどの種別,スクリーン上での座標とバウンディングボックス,何番目のアニメーションで表示されるのか等)は,MicrosoftのCOM技術によって取得・解析し,その結果をXMLとして保存して利用している.よって,この機能はPowerPointのスライドが用いられていることを前提としている.現在この機能で選択可能なスライド上のオブジェクトは,インデント単位のテキスト,グループ化された図形,JPGやBMPなどのイメージ,表,グラフ,SmartArt(Microsoft Officeで用意されている図形のテンプレート)がある.
【最後に解除された選択の復元】　上記の下線表示や矩形表示による選択が解除された場合に,その選択を各参加者が復元するための機能.一般に,一連の関連する発言において,導入の発言でスライドに対する指示が行われていた場合,それに継続する発言では,指示対象が同じであったとしても,繰り返しその対象を選択することは稀である.すなわち,暗黙的に直前の発言の指示対象を継承するものとして,指示が行われない場合が多く,その場合は発言の指示対象は曖昧になる.この機能を用いて直前の選択を簡単な操作で復元できるようにすることで,各発言の指示対象をより正確に取得できると考えられる.

図3: 下線表示による指示

図4: 矩形表示による指示

下線表示や矩形表示を用いることで直接スライド内情報への指示が可能なため,従来のレーザーポインタを用いた指示と比較して高精度に指示対象が取得可能である.

さらに,最後に解除された選択を復元する機能により,従来は暗黙的に指示対象を継承していた発言について,より正確な指示対象を取得することが可能となった.

また,レーザーポインタとは異なり,各リモコンには固有のIDが付加されているため,各指示動作を誰が行ったかの情報も取得可能であり,指示動作の開始時間(選択を確定した時間)・終了時間(選択を解除した時間)も自動的に取得しているため,それらの情報を会議コンテンツの検索・閲覧に利用することが可能である.

4 指示対象の会議コンテンツの検索・閲覧への応用

ポインタリモコンによって得られた発言中の指示対象,および使用者の情報や指示動作の開始・終了時間等を利用することで,会議コンテンツの検索・閲覧をより高度にすることが可能であると考えられる.

4.1 検索への応用

これまで,会議コンテンツの全文検索において,スライド上のテキストおよび書記が書き起こした発言のテキストのみを利用していた.ポインタの指示対象を利用することにより,例えば「このようなテキストをあの人が指示していたが,その発言が思い出せない」「こんなテキストをポインタで指示している発言を探したい」「表に対して言及している発言を探したい」といった,より意味的な検索が可能となる.図)(左)の例では,特定の人物が,スライド上の「アノテーション」というテキストに対して,下線表示か矩形表示のどちらかで指示した発言(を含む会議コンテンツ)を検索している.図(右)の例では,特定の人物が,表に対して指示を行った発言を検索している.検索画面の例で,発言者と,その発言におけるポインタの使用者の二つの項目が存在するのは,この二つは必ずしも一致しないからである.例えば,複数人が同発言内で指示を行った場合などがあげられる.

また,指示対象を用いた検索を行うだけでなく,ポインタの使用傾向を利用した検索も考えられる.例えば,ポインタを使用せずに一定時間以上発言していた場合,スライドとは直接関連のない,より一般的な内容の発言である可能性が高いので,そのような発言を探す,といった検索が可能になる.

図5: 検索画面の例

4.2 閲覧への応用

会議コンテンツにおいて,それぞれの発言は書記が書き起こしたテキストによって表現されているが,そのテキストには発言者の意図が十分に含まれていない場合がある.ポインタによる指示対象と発言を関係づけることにより,それぞれの発言に対して,スライド上のどの部分に対して話しているのかという発言者の明確な意図を表現することが可能となる.

また,指示動作の開始・終了時間は,ミーティング全体の俯瞰に役立つと思われる.具体的には,会議コンテンツをWebブラウザで閲覧する際に,タイムライン上において指示動作が行われた時間区間を表示し,それぞれの指示対象を確認することで,ミーティング全体で発言の指示対象がどのように推移していったのかを知ることが可能となる.

5 おわりに

本研究では,ポインタリモコンの機能の一部である下線表示や矩形表示を利用することによって,発言中の指示対象,特にスライド上のテキストや図形に対する指示をより正確に取得可能となった.しかしながら,ビットマップイメージやグラフなどへの指示に関しては問題点がある.それらに対しての指示は,矩形表示では基本的にその部分要素に対しての指示はできず,全体に対してしか指示ができない.この場合は,指示対象を正確に取得することは困難である.

解決法として,イメージをより細かい単位に分解する,図中に細かくキャプションを付けるなど,発表者がスライドの作成方法を工夫することにより,ある程度この問題を解決できると考えられる.理想的には,プログラムでそれらの部分要素に対しての指示を可能にすることが望ましいが,そのためにはCOMにより取得できる情報だけではなく,画像処理等による方法を含めた,より詳細なスライド情報の解析が必要になると思われる.