2.2.1 ビデオビュー

議論中の様子を閲覧するためのビデオには、参加者ビデオ、発表者ビデオ、スクリーンビデオの 3種類がある。ビデオビューはこれら3つのビデオの同時閲覧を実現している(図)。また、閲覧する環境や閲覧者の要求に合わせてビデオの表示・非表示を切り替えたり、縮小された映像では確認できないスクリーンの文字などを確認するためにビデオの拡大を行うことができる。そして、再生や停止、スキップなどのビデオ操作を行うことも可能である。

このビデオビューは後述する層状シークバーや議論内容詳細ビュー上の操作と連動しており、発言単位やスライド操作単位でのスキップ再生を行うことができる。逆にビデオビューにおけるビデオの再生時間に応じて層状シークバー内のスライダーや議論内容詳細ビューの表示が変化することで、議論全体の中でどの時点を閲覧しているのかを確認することができる。

図2.7: ビデオビュー

2.2.2 層状シークバー

ディスカッションマイニングシステムで取得したメタデータは、層状シークバーと呼ばれる図に示すコンポーネント内のタイムライン上に表現される。層状シークバーはスライダーと複数のバーによって構成される。

図2.8: 層状シークバー

スライダーの上部には現在再生されているビデオの再生時間が表示されており、再生時間に応じてタイムライン上を移動する。また、スライダーをドラッグすると、ビデオビューにそれぞれのビデオのサムネイル画像が表示され、議論中の任意の位置にアクセスすることができる。ドラッグが終了するとその時点からビデオの再生が開始される。

層状シークバーでは、ディスカッションマイニングシステムで取得したメタデータごとにタイムライン上にバーを作成することによって、様々な視点から議論全体を俯瞰することができる。スライドバーは発表者のスライド操作を表現している。色の変わり目がスライドの切替を表しており、それぞれの箇所にマウスカーソルを合わせるとその時に表示されていたスライドのタイトルを確認することができる。また、それぞれの箇所をクリックすることによって、該当するスライドの開始時間からビデオの再生が開始される。

発表中に行われた議論の情報は議論バーに表示される。議論バーは議論セグメントを単位とするアイテムから構成されており、それぞれの議論セグメントにおける単位時間当たりの発言数によって表示される色が異なる。アイテムをクリックすると、その議論セグメント内の導入発言からビデオの再生を開始する。また、それぞれのアイテムにマウスカーソルを合わせると図のように該当する議論セグメントの概要がポップアップウィンドウに表示される。議論セグメントの概要には、その議論セグメントにおける発言者のリスト、発言者数、発言数に加え、発言に含まれるキーワードが表示される。これらの情報を手がかりに、その議論セグメントではどのような内容の議論が行われていたかを把握することができる。

図2.9: 議論セグメントの概要表示

ボタンバーは、発言に対して入力されたスタンスの数を表している。バーをクリックすると該当する発言の再生を開始する。賛成ボタンを多く押された発言ほど青く、反対ボタンを多く押された発言ほど赤く表示される。また、その発言に対して押された賛成・反対ボタンの情報全てを確認することも可能である。また、マーキング情報もこのバーで確認することができる。その際、ある発言に対して押された賛成・反対の情報とマーキング情報が重なってしまう可能性がある。ボタンバーの情報は、どの発言を閲覧すればいいのかを判断するための手がかりであるという観点から捉えると、賛成・反対の情報よりも個人が「重要である」「役に立つ」と判断した情報をより重視すべきである。そのため、賛成・反対・中立の情報とマーキング情報が重なったときはマーキング情報を優先的に表示する。

検索テーブル上で行われた検索の結果は検索結果バーに表示される。ディスカッションブラウザにおける検索は、スライドや発言に対して行うことができ、スライドに関する検索結果はピンク色で、発言に関する検索結果はオレンジ色で表示される。結果をクリックすると、該当箇所がスライドの検索結果ならばそのスライドの開始時間から、発言の検索結果ならばその発言の開始時間からビデオの再生を開始する。

また、発表や議論の内容を巨視的に把握するために、層状シークバーにはキーワードバーが用意されている。キーワードバーは、発表・議論に現れたテキスト情報を形態素解析することによって得られたキーワードを表示するバーである。そのキーワードが現れている箇所がスライドならば濃い緑色、発言ならば薄い緑色によって表現される。検索結果バーと同様にクリックしたアイテムに該当する箇所がスライドか発言かによって再生を開始する時間が異なる。また、キーワードバーは設定テーブルによって、表示する数を変更することができる。

2.2.3 議論内容詳細ビュー

層状シークバーによって様々な視点から議論全体の俯瞰を行った後は議論内容詳細ビューによってその詳細を閲覧することができる。議論内容詳細ビューは、議事録ビュー (図)とグラフビュー(図)の2種類のビューから構成されており、右側のタブによってどちらかのビューを選択することで、閲覧したい内容に合わせた情報提示を実現する。

図2.10: 議事録ビュー

図2.11: グラフビュー

議論内容をテキスト中心に閲覧するには議事録ビューを利用する。議事録ビューは、発表に用いられたスライドのサムネイルや個々の発言内容を表すテキスト情報、メタデータから構成されている。スライドのサムネイルをクリックすることによって、別ウィンドウに拡大表示され、より詳細な発表内容を確認することができる。そして、個々の発言内容には書記が入力したテキストに加え、発言者ID、発言時間、その発言に対して入力されたスタンス情報、マーキングの情報が含まれる。ユーザは、これらの情報を元にビデオの閲覧を行う。また、ビデオの再生時間に対応するスライドや発言はハイライト表示され、現在閲覧している箇所を容易に把握することができる。さらに、設定テーブルで自動スクロール機能を有効にしておくことによって、再生しているスライドや発言が切り替わった時、議事録ビューは該当するスライドや発言に自動にスクロールし、フォーカスを当てる。

議事録ビューでは、個々の発言を時系列順に表示しているため、議論を順番に閲覧することには適しているが、書記が追加したリンク関係を把握することはできない。この関係を把握しやすいグラフ形式で提示するのがグラフビューである。グラフビューは、親子関係グラフ、発言グラフ、議論グラフという 3つのグラフによって構成されている。

親子関係グラフは、ある発言を中心とする発言間の関係を表現したグラフである。グラフの中央にある発言の上下には、その発言の派生元である親発言、派生先である子発言が表示されている。最上部には中央の発言が含まれている議論セグメントの導入発言が表示されているが、もし中央の発言が導入発言であるときはひとつ前の議論セグメントの導入発言が表示される。中央の発言をクリックすることによって、その発言のビデオを閲覧することができる。また、親発言や子発言、導入発言をクリックすれば、その発言が中央に移動し、その発言の親子関係が新たに表れる。これにより、発言間の関係を容易に把握することができ、テキストだけでは理解することが困難な文脈情報の理解を促すことができる。

2.2.4 検索テーブル

検索テーブルは、あいまいな手がかりをもとに閲覧者とスライドや発言を結びつける役割を果たす。同時に、検索結果に対してインタラクティブな操作を行うことによって、閲覧目的を明確にし、より具体的な閲覧対象へと閲覧者を導く手助けを行う。

検索テーブルでは、検索を行う対象(スライドか発言、もしくは両方)、その対象が発言ならば発言者名、テキストを入力することによって検索を行う。検索例を図に示す。検索を行うと該当した件数が検索テーブルの下部に表示される。また、議事録ビューや層状シークバー内の検索結果バーの該当箇所がハイライトされる。検索テーブル下部に表示された4つのボタンによって、検索で該当した箇所を移動することができる。また、同期再生ボタンを押した状態で検索結果間の移動を行ったときは、移動した先のスライドや発言のビデオ再生を開始する。

閲覧者は、検索テーブルと層状シークバー・議事録ビューとの操作を繰り返すことによって会議コンテンツの鳥瞰的・局所的な閲覧を適切に行うことができる。従来の検索に比べ、よりインタラクティブな操作を行うことで効率的に閲覧目的を達成し、内容の理解を深めることが期待される。

図2.12: 検索の例

2.2.5 設定テーブル

設定テーブルでは、ビデオの再生に関する設定と層状シークバー内のキーワードバーに関する設定を行うことができる。ある発言の再生が終了したときに「自動停止」が有効になっていれば、自動的にビデオの再生が停止される。また「自動スクロール」が有効になっているときは、再生している発言やスライドに合わせて議事録ビュー、もしくはグラフビューのハイライト箇所が自動的にスクロールされる。これらの設定をユーザが行うことによって、スムーズにビデオを閲覧するという目的と時間をかけて内容を閲覧するという目的の両方を満たすことができる。

「キーワード数」というテキストボックスに0から20までの数を入力することによって、層状シークバー内のキーワードバーの数を変更することができる。キーワードバーの数を増やすことによって発表・議論内容の概要の把握を、数を減らすことによって議事録ビューやグラフビューなどの表示領域が拡大され、詳細な議論内容の把握を促すことが期待される。

3.1.1 会議コンテンツの検索への利用

これまでのディスカッションブラウザにおける会議コンテンツの全文検索においては、スライド内のテキストおよび書記が書き起こした発言のテキストのみを利用していた。ポインタの指示対象を利用することにより、たとえば「このようなテキストをあの人が指示していたが、その発言が思い出せない」「このようなテキストをポインタで指示している発言を探したい」「表に対して言及している発言を探したい」といった、より意味的な検索が可能となる。また、指示対象を用いた検索を行うだけでなく、ポインタの使用傾向を利用した検索も考えられる。たとえば、スライド内のテキストの一部分に対して指示が行われた発言は質問である可能性が高いので、そのような発言を探す、といった検索が可能になる。

3.1.2 会議コンテンツの閲覧への利用

3.3.1 システム構成

前章の図で示したポインタリモコンには、電源ボタン、A・B・十字ボタン、マイナス・ホーム・プラスボタン、そして1・2ボタン、計12個のボタンが搭載されている。また、赤外線LEDの光点を4点まで認識することのできるIRカメラが搭載されている。

ポインタリモコンの動作原理について述べる。ポインタリモコンにはリモコン固有のID(以降、ポインタIDと呼ぶ)を割り当てることができる。本システムではミーティング参加者それぞれに一台ずつ、ポインタIDを割り当てた専用のポインタリモコンを用意する。発表スライドが表示されるメインスクリーンの上部中央には、図下部のように、赤外線LEDを並べて輝度を高めたIRバーが設置されている。これは、ポインタリモコンでスクリーンを指示する時の基準点としての役割を果たす。また、IRバーはLEDを点滅させることでスクリーン固有のID（以後、スクリーンIDと呼ぶ）を出力することが可能である。LEDが送信するスクリーンIDは図下部に示すようなIRデコーダ(LEDが送信した赤外線を受信するデバイス)を用いて認識される。そして、ポインタIDやスクリーンID、ポインタリモコンに搭載されたIRカメラが認識したカメラ座標系におけるIRバーの光点の座標をポインタサーバに送信する。ポインタサーバは受け取った座標をサーバに接続しているクライアントにUDPパケットとして送信する。このような一連の仕組みによって、「誰が、スクリーン上のどの部分を指示しているのか」を知ることができる。

ポインタサーバは、ミーティング環境に存在するポインタリモコンのデバイスの管理と、ポインタリモコンが取得したIRバーの光点の座標情報を処理し配信する機能を持つ。図にポインタサーバのシステム図を示す。ポインタサーバとポインタリモコン間の通信はBluetoothを用いて行われる。ポインタサーバでは、ミーティング環境に存在するポインタリモコンを認識するためのディテクタと呼ばれるソフトウェアが動作しており、環境内でディテクタに登録されているポインタリモコンの電源がONになると、ディテクタが自動的に検知しポインタサーバに接続される。1台のポインタサーバに接続できるポインタリモコンの最大数は理論的には7台であるが、本システムでは転送量を考慮し1台のポインタサーバに3-5台のポインタリモコンを接続する。

先に述べたとおり、ポインタサーバに接続されたポインタリモコンは、LEDバーの光点の座標、スクリーンID、ポインタIDをポインタサーバに送信する。ポインタサーバはポインタリモコンから送信されてきた情報を接続されている全てのクライアントに対して UDPプロトコルを用いて配信する。そして、ポインタサーバから送信された座標情報やIDなどの情報を処理することによって、ポインタリモコンのポインティングデバイスとしての機能を実現している。

図3.1: ポインタサーバ

3.3.2 指示対象の正確な取得のための機能

ポインタリモコンにはポインティングデバイスの機能として次のような機能がある。

1. 【ドット】　ポインタリモコンを向けた先に、単一の点を表示する機能。従来のレーザーポインタの機能に該当する。

2. 【ストローク】　スクリーンに対して、手書きの文字や図のようなポインタの軌跡を描くための機能(図)。

3. 【下線表示】　スクリーン上の任意のテキストに対して、下線を引くことで指示をするための機能。その指示対象は自動的にデータベースに登録される。

4. 【矩形表示】　スクリーン上でマウスカーソル操作を行うことにより矩形領域が表示され、その矩形領域に接触するスライド内のオブジェクトをすべて選択する機能。その指示対象は自動的にデータベースに登録される。

ポインタリモコンのBボタンを押しながらAボタンを押すことで、ポインタリモコンのモードが切り替わり、それぞれの機能を使い分けることができる。以下では特に3と4の機能の詳細を述べる。

図3.2: ストロークによるスライド内への描画

3.3.2.1 下線表示

図に示すようにスクリーン上の任意のテキストに対して、下線を引くことで指示をするための機能である。この機能は発表スライドが表示されているスクリーンに対してOCR(Optical Character Recognition)を行った結果を利用している。OCRによる認識結果は誤りを含んでいるため、スライドテキスト(発表開始前のスライドのアップロード時に解析・取得している)とのDPマッチングの結果を指示対象のテキストとしている。また、スクリーン上のスライドの表示が変更されたときに、自動的にスクリーンに対してOCRを実行し、スライド内の文字の座標を適宜計算している。したがって、OCRにより取得できるテキストであれば、それが図の中のテキストであったとしても、下線を引くための手掛かりとなる文字の座標を取得可能である。

図に示される下線表示による指示の流れを説明する。まず、図の1番目のようにポインタリモコンを向けた先に表示されるカーソルを用いて、指示を行いたいテキストの上でAボタンを押しながらなぞることによって、図の2番目のようにオレンジ色の下線が表示される。このときの状態を、仮選択状態と呼ぶ。仮選択状態では、下線表示による選択を消去してもデータベースに指示対象の情報は登録されない。すなわち、間違って選択した場合でもこの状態の段階で選択を解除すればデータベースに誤ったデータは登録されない。仮選択状態のときに、ポインタリモコンのAボタンを押すことで、図の3番目のように下線がポインタリモコン内に記録されているポインタID毎に異なる色に変化し、選択が確定された状態となる。選択が確定された状態であっても、ポインタリモコンの左右キーを用いて図の4番目のように、下線の始点および終点の変更を行うことができる。最後に、画面からカーソルを外してポインタリモコンのBボタンを押すことにより、下線が消去される。

選択が確定した下線が消去された時点で、どの発言中に、どのテキストに対して、どの参加者が下線を引いていたのかという情報が下線の座標情報、指示動作の開始時間と終了時間とともに自動的にデータベースに登録される。

図3.3: 下線表示による指示

3.3.2.2 矩形表示

図に示すようにスクリーン上でマウスカーソル操作をすることにより矩形領域が表示され、その矩形領域に接触するスライド内のオブジェクトをすべて選択する機能である。スライド内のオブジェクトに関する情報(オブジェクトのタイプやバウンディングボックス、スライドショーでの表示タイミング等)は、MicrosoftのCOM技術によって取得・解析し、その結果を保存して利用している。よって、この機能はPowerPointのスライドが用いられていることを前提としている。現在この機能で選択可能なスライド内のオブジェクトは、以下の通りである。

この機能では、単一のオートシェイプ(Microsoft Officeアプリケーションで利用できる、多角形や楕円、矢印等の図形)を選択できないようにしている。PowerPointによって作成されたスライドにおいては、オートシェイプを複数組み合わせて作成された図形が含まれる場合があり、図形全体に対して指示を行った場合にもそれぞれのオートシェイプについて選択されてしまうからである。よって、選択可能な図形の単位は、発表者がグループ化した単位に限定している。

図に示される矩形表示による指示の流れを説明する。まず、ポインタリモコンを向けた先に表示されるカーソルを用いて、スライド内でポインタリモコンのAボタンを押しながらマウスカーソルを動かすと、図の1番目のように矩形領域が表示される。マウスカーソル操作を終えたとき(Aボタンを離したとき)、この矩形領域に接触するスライド内のオブジェクトが、図の2番目のようにオレンジ色の矩形によってハイライトされる。このときの状態を、仮選択状態と呼ぶ。仮選択状態では、矩形表示による選択を消去してもデータベースに指示対象の情報は登録されない。仮選択状態で一定時間が経過すると、図の3番目のように、矩形の色がポインタリモコン内に記録されているポインタID毎に異なる色に変化し、選択が確定された状態となる。この状態になっても、再度同じ領域を選択することによって、仮選択状態に戻すことが可能である。選択が確定した状態で、スライド内のオブジェクト上でクリック(Aボタンを短時間押す動作)することにより、図の4番目のように、オブジェクトの追加選択および選択解除が可能である。最後に、画面からカーソルを外してポインタリモコンのBボタンを押すことにより、矩形が消去される。

選択が確定した矩形が消去された時点で、どの発言中に、どのような種類(表・図・グループ化された図形などの種別)のオブジェクトに対して、どの参加者が指示を行ったのかという情報が、指示動作の開始時間と終了時間とともに自動的にデータベースに登録される。

図3.4: 矩形表示による指示

3.3.3 最後に消去された下線表示や矩形表示の再表示

上記の下線表示や矩形表示が消去された場合に、Aボタンを長押しすることで、その下線表示や矩形表示を各参加者が再表示するための機能である。一般に、一連の関連する発言において、導入発言でスライドに対する指示が行われていた場合、それに継続する発言では、指示対象が同じであったとしても、繰り返しその対象を選択することは稀である。すなわち、暗黙的に直前の発言の指示対象を継承するものとして、指示が行われない場合が多く、その場合は発言の指示対象は曖昧になる。この機能を用いて直前の選択を簡単な操作で再表示できるようにすることで、各発言の指示対象をより正確に取得できると考えられる。

4.1.1 ポインタリモコンによる指示方法の妥当性

発言者がポインタリモコンの機能である、下線表示や矩形表示のみで指示を行う場合、発言者の意図と合った対象を選択できるかを検証した。言い換えれば、発言者が選択したかったスライド内の部分要素が選択できたか、ということである。ここでは発言者の意図した指示対象と選択箇所が一致した場合を適切な指示と呼ぶ。適切でない指示の例として、図の部分に対して指示がしたいにも関わらず、図の全体にしか指示できなかった場合が挙げられる。

前述した下線表示や矩形表示を用いれば、テキストに関しては大半のケースにおいて適切な選択が可能であると考えられるが、図形を矩形選択で選択する場合には、選択したい箇所が選択できないケースが起こりうる。たとえば、スクリーンショットをそのまま貼り付けたような図に対して指示を行う場合に、その図の一部分に対して矩形選択で指示を行うことは不可能である。しかし、この問題は、ミーティングの発表者が指示対象となりうる単位を意識してPowerPointのスライドを作成することで、ある程度の解決が可能であると考えた。具体的には、図の一部分にキャプションをつける行為などである。今回は、発表者が指示対象となりうる単位を意識してスライドを作成した場合に、どの程度適切な指示が行われたかを検証した。

適切な指示がどの程度可能かということを検証するにあたって、ポインタリモコンによって指示が行われていない発言に関しても、本来は指示を行うべきであった発言について調査した。指示対象を含む発言において、指示を行っていないケースがあることは望ましいことではない。特に、ポインタリモコンの仕様やユーザビリティが理由で指示動作が行われなかったケースがあるのであれば、それは改善すべき点である。

4.1.2 ポインタデータと発言内容の関連性

ポインタの使用傾向から発言の意味内容が推測可能であるかについての検証を行った。

第5章で述べる会議コンテンツの検索は、ポインタリモコンにより取得できるデータ(指示対象の情報や指示者の情報、指示動作の開始時間と終了時間)をそのままクエリとして用いるものである。

しかしそれだけではなく、ポインタリモコンの使用傾向を利用することで、より高度な会議コンテンツの検索が可能であると考えられる。具体例を挙げると、「スライド内のテキストの一部分に対して指示が行われた発言は、言葉の意味や定義を要求・確認するための質問の可能性が高い」という仮説である。もしこの仮説が正しいとすれば、特定のキーワードに関する質問を伴う発言の検索に関しては、ポインタの使用傾向が有効に利用できると言える。逆に、特定のキーワードについてコメントが行われた発言を探したいとする。このような場合には、そのキーワードの意味や定義についての質問を伴う発言が検索対象となる可能性は低いと考えられる。そのような場合に、質問に該当する発言を検索結果から除外するといったことが可能となる。

今回、実際に検証した仮説は以下のようなものである。

• 「下線表示によって、スライド内のパラグラフ(PowerPointにおけるインデントの単位)の一部分に対して指示が行われた発言で、指示対象が単一のものは、質問の可能性が高い」

• 「上記の条件に加えて、導入発言であった場合は、質問の可能性が高い」

ここでいう「質問」とは、「言葉の意味や定義を要求または確認する発言」と定義する。すなわち、何かについて問いかける発言であっても、たとえば真偽や根拠を確認するような発言はここでは「質問」とは見なさない。

また、「指示対象が単一」の定義を述べる。一つの発言において指示対象は一つとは限らず、複数の指示対象を含む場合がある。例として、スライド内の二つの指示対象を比較するような発言や、二つの指示対象について順番に話している発言が挙げられる。「指示対象が単一」である発言は、そのようなものではなく、一つの指示対象に対して言及しているものと定義する。

二つの仮説のうち、一つ目の仮説はポインタリモコンによる指示情報から取得できる情報だけを用いた場合、二つ目の仮説はそれに加えてその他の取得可能なメタデータを利用した場合の仮説である。二つ目の仮説は、単純にポインタリモコンによる指示情報から取得できる情報だけでなく、他のあらゆるデータを用いることで、より詳細な発言の内容を推測できるのではないかという考えによるものである。導入の発言であるという条件を加えたのは、議論の開始となる発言は、発表者への何らかの問いかけである可能性が高いという推測からである。

4.2.1 発表者に課したルール

発表者には、ゼミにおける発表資料、つまりPowerPointによって作成されたスライドの作成方法に関して、いくつかのルールを課した。一つは図形のグループ化の方法についてである。図形を作成する際に図形全体をグループ化すると、矩形表示機能の仕様上、グループ内の要素に指示ができなくなるため、指示対象となりうる最小の要素をグループ化するように依頼した。作成されたスライドのグループ化の最小要素を揃えるために、発表の前に筆者がスライドを確認した。もう一つはビットマップイメージのような図の部分への指示を可能にするために、図に対してキャプションなどをつけることを可能な限り行うように依頼した。図にキャプションを付けたスライドの例を示す。

図4.1: スライドの図に対するキャプション付けの例

4.2.2 発表者以外の参加者に課したルール

発表者以外の参加者には、ポインタの使用方法についてルールを課した。ポインタリモコンによる指示方法には、ドット、ストローク、下線表示、矩形表示の4つが存在するが、今回はこの4つの指示方法のうち、基本的に下線表示および矩形表示によって指示を行うように依頼した。ドットやストロークによる指示では、指示対象を正確に取得することが困難なためである。ストロークについては、スライド上に図形や矢印などを描画する場合のみ利用するよう限定した。しかし実際には、下線表示および矩形表示のどちらでも指示できないオブジェクトも存在するため（たとえばグループ化された単位のさらに内部への指示、キャプションの付いていないビットマップイメージの一部分への指示など）、その場合にのみストロークによる指示を許可した。

4.3.1 指示方法の妥当性の評価

4.1.1項で述べた内容について評価を行った。ゼミの参加者である被験者に、計7回分の会議コンテンツをディスカッションブラウザを用いて自らの発言をすべて見直してもらい、それぞれの発言を表1のように分類してもらった。

表1におけるポインタの使用とは、矩形表示または下線表示による指示のみを意味する。ストロークによって指示が行われた発言はE1に属する。適切な指示ができているかの評価に際しては、以下の式を評価指標とする。

• E1,E2,E3,E4,E5:それぞれの分類に該当する発言数

• S:総発言数

• P:下線表示・矩形表示による指示を含む発言数

(1)

(2)

(4.1)式で表わされるR1は、下線表示または、矩形表示によって指示が行われた発言(指示の必要がなかった発言は除外)のうち、意図した範囲を選択できたケースの割合を示す。この数値が高いほど、発言者が意図した範囲を選択できている、すなわち、適切な指示ができているとする。

(4.2)式で表わされるR2は、ポインタの使い勝手の理由などから指示が行われなかった発言の割合の最大値を示す。この数値が低いほど、発言の指示対象を漏れなく取得できていると考えられる。

4.3.2 ポインタと発言内容の関連性の検証

4.1.2項で述べた内容を検証した。実験期間中に行われた発言のうち、下線表示によってスライド内のパラグラフの一部分に対して指示が行われた発言で指示対象が単一なもの（および導入発言であるもの）を抽出し、4.1.2項で述べた「質問」の定義に基づき、主観的判断に基づいて発言を分類した。

4.4.1 指示方法の妥当性の評価結果と考察

被験者に発言の分類を行ってもらった結果、表2のようになった。

この結果から、(4.1)式および(4.2)式の計算を行うと、表3のようになる。

R1の値から、下線表示や矩形表示によって指示が行われた場合には、90％に近い精度でポインタリモコンの使用者の意図に合った適切な指示ができていることがわかる。ポインタリモコンによる指示が行われた場合には、その指示対象を高精度に取得することが可能であると考えられる。

R2の値から、ポインタリモコンによって指示が行われていない発言のうち、約15％の発言(65発言)について、実際には指示対象が存在したということが言える。指示対象が存在する発言のうち、E2に属する発言(43発言)については単純に忘れていたなどの理由と考えられるが、E1に属する発言(22発言)についてはポインタリモコンの使い勝手により指示対象が取得できなかったため、これについての対策を考える必要がある。E1に属する発言者の意見として特に多かったのは、「スライド全体を指示する適切な方法がない」というものである。ミーティングの参加者が発言するときに、その指示対象がスライドの一部分ではなくて、スライド全体という広い範囲について言及するケースが起こりうるが、ポインタリモコンではそのケースについては考慮していなかった。このため、ポインタリモコンにスライド全体、さらに言えば複数のスライドに対して指示を行えるような仕組みを追加する必要性があると考えられる

E1に属する発言として次に多かったのは、下線選択や矩形表示で指示を行わずに、ストロークによって指示を行ったケースである(9発言)。現状のポインタリモコンではビットマップのような図の一部分に指示を行うことはできない。今回は発表者に図にキャプションをつけてもらうなどの工夫を行ってもらったが、それでも矩形表示で選択できないようなケースが見られた。図の一部分に対して、矩形表示で指示を行えるようにするためには、画像処理などによる方法を含めた、より詳細なスライド情報の解析が必要になると考えられる。

4.4.1.1 被験者毎のポインタリモコンの使用率

図に、被験者毎の(ポインタリモコンの使用に関わらず)指示対象を含む発言の割合と、ポインタリモコンの使用率を示す。を被験者iのE1,E2に該当する発言数、を被験者iの総発言数、を被験者iの下線表示・矩形表示による指示を含む発言数とする。

で表わされるのは、各被験者が行った発言のうち、指示対象を含む発言の割合である。で表わされるのは、各被験者の全発言のうち実際にポインタリモコンによって指示が行われた割合である。

図4.2: 被験者毎の指示対象を含む発言の割合とリモコンの使用率

被験者1と、被験者11を見ると、指示対象を含む発言の割合に50％以上の差がある。この結果から、被験者1はスライドの内容に具体的に言及した発言が多く、逆に被験者11はスライドの内容とは関係性の低い、一般的な内容の発言が多いことが推測される。

また、被験者7は指示対象を含む発言数と、実際にポインタリモコンによって指示が行われた発言に大きな開きがある。被験者7は、スライド全体に言及するような発言が多いために、ポインタリモコンによって指示が行えなかった可能性がある。

このような分析を行うことで、それぞれの被験者の発言傾向を推測できると思われる。

4.4.2 ポインタと発言内容の関連性の検証結果と考察

下線表示による指示を含む発言についての詳細を表4にまとめた。

単純に下線表示によって指示を行った発言の内、質問に該当した発言の割合は、55.6％(10/18)程度でしかなかったが、これに、指示対象が単一であるという条件を加えた場合、81.8％(9/11)の発言が質問に該当した。さらに、発言タイプが導入であるという条件を付け加えた場合は、100％(9/9)の発言が質問に該当した。

上記の結果から、ポインタリモコンによって取得された情報から、発言が質問であるなどの、発言の意味的内容を推測することが可能であると考えられる。このことは、会議コンテンツの検索をより高度にするために重要であると考えられる。たとえば、「○○という語を含む発言(を含む会議コンテンツ)を探したい」といった、単なるキーワードによる検索ではない、より意味的な検索が可能になる。

また、今回ポインタリモコンにより取得したデータだけではなく、その他のメタデータを組み合わせた場合のほうが良い結果が得られた。単純にポインタリモコンにより取得可能なデータのみを用いるだけではなく、たとえば、発言時間や発言タイプ、参加者の発言に対するスタンス(同意・非同意)、マーキング情報などの、ディスカッションマイニングシステムによって取得している、発言に関する様々なデータを組み合わせることで、発言のより意味的な内容やより詳細な内部構造が取得できると考えられる。

今回収集したデータ量は仮説を検証するためには、あまり十分とは言えないため、大量のデータに基づく分析については今後の課題とする。

6.1.1 レーザーポインタ指示情報に基づく会議コンテンツの協調的提示手法の提案

大平らは、ディスカッションマイニングシステムにおいて、プレゼンテーション資料が表示されたスクリーン映像を記録するカメラと、レーザーポインタ検出用のカメラを利用することで、レーザーポインタの指示対象を取得し、会議コンテンツに含まれる、スライド情報、発言者名、発言テキストと、レーザーポインタの指示対象を、映像の再生に合わせて同期的に提示する手法を提案した。しかしながら、レーザーポインタの指示対象の取得には、検出精度がスクリーンに対しての座席位置に影響されるという問題や、指示動作の開始時間・終了時間の正確な値が取得できないといった問題があった。本研究では、ポインタリモコンという新たなポインティングデバイスを開発することで、これらの問題を解決している。

6.1.2 UPRISE

UPRISEは、教育コンテンツの統合、蓄積、および統合コンテンツに対する高度な検索機能を実現するシステムである。UPRISEでは、動画ストリームを資料スライドの切り替えタイミングによってシーンという単位に分割し、各シーンとそこで使用された資料スライドを対応づけることでそれらを統合する。また、各シーンに対して、対応する資料スライドの文字・構造情報、シーンの時間等の情報から検索用インデックスを作成することで、高度な検索を可能にしている。これに加えて、シーン検索精度を向上させるために、講師が用いたレーザーポインタの照射情報に着目し、その情報を統合した、より高度な検索を実現する手法を提案している。この研究においては、その指示対象および検索のクエリとして利用されるのはテキストのみであり、その指示対象はスライド資料中の行単位に限定している。また、テキストに対するレーザーポインタの照射情報を取り出すために、図や表を説明する際に補助的に用いるものや、複数の対象間の関係を示すものをフィルタリングにより取り除いているが、本研究においてはフィルタリングの必要はなく、行中の単語、行全体、図などの指示対象を正確に取得可能である。

6.1.3 講義における教材中の指示対象の抽出

遠隔講義や講義アーカイブにおいて、映像やスライドの組み合わせによって提供されるコンテンツを講義コンテンツと呼ぶ。講義コンテンツの利用者からの要求として、コンテンツ中の映像を見るときに講師が指示しているときの指示対象を知りたい、またアーカイブを検索するときにスライドのページ単位のような大まかな単位でなくスライド中の重要な語句や図といった講師が指示を行う個々の領域の単位で検索したい、などがある。そこで、この研究では、指示棒先端の軌跡・講師の体の位置・講師の体の向きと指示動作との関係を整理し、それに基づきセンサ情報から自動で表示スライド内の指示対象を抽出する方法を提案している。抽出した指示対象を用いることで、講師の撮影時に指示対象を捉えるようカメラを移動させたり、講義コンテンツの重要部分を検索するときに指示対象に基づいて行うことを目指している。この研究では、強調表示のように基本的に100％の成功率が要求されるような用途に関しては、本手法の指示対象の抽出精度が十分ではないため、抽出精度の向上を今後の課題としている。本研究においては、ポインタリモコンによる指示対象は会議中にも強調表示され、その指示対象は適宜修正が可能であるため、このような用途にも十分に利用可能であると考えられる。

6.2.1 TimeMachineBoard

石戸谷らは、会議の中でも目的・時間・場所・議題を問わず行われている少人数対面同期型の手軽な会議に着目し、それをカジュアルミーティングと総称して、その支援技術の研究を行っている。この研究では、カジュアルミーティングで行われる議論を柔軟に検索・再利用できる、TimeMachineBoardと呼ばれる、複数ディスプレイ環境に対応したカジュアルミーティングシステムを実現している。TimeMachineBoardでは、ホワイトボードの替わりに大型ディスプレイを利用してミーティング中の参加者に情報を提示し、ペンストローク・テキスト・イメージの位置や内容を編集できるようにすることで、会議参加者の議論内容の理解を支援している。また、本研究と類似した方法で、画面に表示されているディスプレイオブジェクトを選択して，移動・拡大縮小したり、アンダーラインを引くことができる。本研究においては、発表資料としてスライドを用いて特定の発表者が発表を行い、他の参加者が質疑を行う形式の会議を対象としているため、カジュアルミーティングよりも、事前に入念に準備された会議を対象としている。

6.2.2 ReSPoM

ReSPoMは、会議中に書かれるメモから、会議の様子を記録した一次記録の検索を行うシステムである。ReSPoMではマイクと液晶タブレットを用いて会議を行うことで、音声情報とメモ情報を自動的に記録する。その際リアルタイムに行われている発話情報とメモ情報間に記録用インタフェースを用いてリンク情報を付与する。そしてこのリンク情報をもとに検索用インタフェースを用いて会議中に使用した資料やメモ、発話の再生を行う。ReSPoMにおいては、発話情報とメモ情報について、明示的にリンクを記録している。本研究では、ミーティング中のポインティング動作から発言と発表資料間の関係を記録しているため、参加者に意識させることなく発表資料の部分と発言間のリンク情報を取得可能である。

7.2.1 図の部分要素に対しての指示

本研究では、ポインタリモコンの機能の一部である下線表示や矩形表示を利用することによって、発言中の指示対象、特にスライド内のテキストや図形に対する指示をより正確に取得可能となった。しかしながら、ビットマップイメージやグラフなどへの指示に関しては問題がある。矩形表示では、基本的にイメージの部分要素に対しての指示はできず、イメージ全体に対してしか指示ができない。この場合は、指示対象を正確に取得することは困難である。

解決法として、イメージをより細かい単位に分解する、図中に細かくキャプションを付けるなど、発表者がスライドの作成方法を工夫することにより、ある程度この問題を解決できると考えられる。理想的には、機械的にそれらの部分要素に対しての指示を可能にすることが望ましいが、そのためには、画像処理などによる、より詳細なスライド情報の解析が必要になると思われる。

7.2.2 長期的な運用に基づく評価

今回の研究で分析を行ったポインタデータは、約1ヵ月間、計7回のミーティングによって取得した。ポインタデータを分析するにあたっては、この期間と回数はあまり十分ではないと考えられる。より詳細なデータの分析を行うためには、年単位にわたる長期的なデータの収集が必要になると考えられる。

7.2.3 書記テキストの指示語と指示対象の関連付け

ポインタリモコンによる指示が行われた発言の内容を書記がテキストに書き起こす場合、その指示対象の内容が書記テキストにおいては「ここ」や「その」といった指示語によって表現されていることがある。書記テキスト内の指示語と、ポインタリモコンによって指示されたものを結びつけることによって、より発言の意味的な内容を表現できると考えられる。

7.2.4 会議中におけるポインタ情報の有効活用

本研究では、ポインタリモコンにより取得できる指示対象などの情報を取得し、会議コンテンツの検索や閲覧に応用することが主な目的であった。そこで、会議の終了後に、いかにポインタリモコンによって取得された情報を有効に活用できるかという点について論じた。

今回は会議中におけるポインタリモコンの有効活用に関してはほとんど論じていないが、ポインタリモコンの利用が、会議そのものの活発化、参加者の理解の促進などにつながる可能性があると考えている。たとえば、レーザーポインタと違い、ポインタリモコンによる指示は、その対象を強調表示しておくことが可能である。このことは、発言者が今、何について話しているのかということを他の参加者が理解するために有効であると考えられる。