会議における指示情報を用いた議論の構造化とその応用

PDF
木内 啓輔
名古屋大学 大学院情報科学研究科
土田 貴裕
名古屋大学 大学院情報科学研究科
大平 茂輝
名古屋大学 情報基盤センター
長尾 確
名古屋大学 大学院情報科学研究科

1 はじめに

近年我々は日常的な活動として会議に参加する機会が多くなってきた.その中で日々の会議の内容を後で閲覧できるよう,会議の様子を記録した議事録に対しても注目が集まっている.そして議事録をより効率的に閲覧できるよう会議で行われた議論を構造化して記録することも多く行われている.このような背景の中で我々はまず会議で行われた発言を,新しい話題を切り出すことを意味する「導入」と,直前の(あるいはいくつか前の)発言を受けて行った発言であることを意味する「継続」という二つのタイプに分類した.そして議論セグメントと呼ばれる,一つの導入発言をルートとし継続発言が連なる木構造を半自動的に生成することで議論の構造化を行っている.

しかし,この構造化では必ずしも一つのセグメントが一つの話題に対応しない場合が存在していた.それは,実際の議論では一つの継続発言内で新たな話題を追加するなどして複数の話題について触れている発言が行われ,一つの議論セグメント内で複数の話題について話されてしまっているためである.そこで本研究では,議論内で話されている話題と依存関係があると考えられる指示行為に着目し,議論を構造化する仕組みを実現した.具体的には,専用のポインティングデバイスを用いて指示行為に関する情報を取得し,その情報を用いて,議論セグメント内で同じ話題について話している発言群を見出すことで議論のさらなる構造化を行った.さらに,それらの情報を用いた議論閲覧支援の仕組みを実現した.

2 ディスカッションマイニングによる議論内容の構造化とその利用

我々は会議から映像・音声情報やテキスト情報,メタデータを獲得し,それらを統合して構造化し,再利用可能なコンテンツを作成し利用する技術であるディスカッションマイニングについて研究を行っている.その中で我々はディスカッションレコーダと呼ばれるシステムによってPowerPointを用いた会議から半自動的に議論内容を獲得し議論の構造化を行っている.具体的にはまずカメラによってスクリーンや発言者の映像をマイクによって発言者の音声情報を記録し,さらに書記によって会議中に行われた発言内容をテキスト情報として記録している.加えてポインタリモコンと呼ばれる専用のデバイスを用いて発言に関する様々なメタデータを取得している.具体的には発言者名,発言の開始・終了時間,発言に対しての賛成か反対かといったスタンスの情報に加えて,発言のタイプとして,新たな話題の切り出しを意味する「導入」か,直前の(あるいはいくつか前の)発言を受けて行った発言であることを意味する「継続」かを取得している.そして議論セグメントと呼ばれる,一つの導入発言をルートノードとし,継続発言がそれに連なるような木構造を成す発言集合を生成していくことで議論を構造化している.

ディスカッションレコーダによって取得された会議の情報はWeb上でディスカッションブラウザと呼ばれるインタフェースで効率的に閲覧できる.ディスカッションブラウザでは記録した議論を,各発言をノードとして取得した議論構造を保持した木構造を成す形で閲覧できる.そして各発言のノードには書記が入力した発言テキストをはじめとして発言のId,発言者名,発言時間,その発言に対して入力されたスタンスの情報などが表示されている.

このようにして記録し閲覧を可能にしたコンテンツも記録されたメタデータが正しくなければ効率的な閲覧は望めない.そのため筆者の所属する研究室では過去に,システムによって取得しているメタデータの評価実験を行った.我々は経験的な問題として,議論が長くなるにつれ,話題が次第にずれることがしばしば発生することが分かっている.そこで各継続発言が導入発言と強い関連にあるかを調べることで,記録している議論構造が妥当であるかを評価した.そしてその実験から,1つの議論セグメント内でも話題が推移しており,議論が長くなるほどそれが起こりやすくなることが分かった.そのためより効率的に議論内容を閲覧するためには,より細かいセグメント情報を,現在使用している発言タイプとは別の新たな手法とを組み合わせて取得することが必要となる.

3 指示情報を用いた議論の構造化

我々は会議の中で発言時に,「さっきの内容についてだが~」といったように言葉によって対象を指示するものや,指示棒やレーザポインタでスライド内の図を指しながら対象を指示するものなど様々な指示行為を行っている.その中で本研究では後者のような指示動作を伴う指示行為に着目し,指示行為から取得できるメタデータを用いて議論の構造化を行う.

そのために本研究ではまずポインタリモコンによるスライド内のオブジェクトへの指示を可能にした.具体的には以下の二つの選択機能により実現している.

  • 矩形選択:スクリーン上でマウスカーソルのドラッグ操作と同等の操作を行うことで矩形領域が表示され,その矩形領域に接触したスライド内のオブジェクトをすべて選択する機能
  • 下線選択:スクリーン上の任意のテキストに対して,下線を引くことで指示をするための機能
オブジェクトへの指示

図1: オブジェクトへの指示

前者の矩形選択で指示されたオブジェクトは独立エレメントと呼ばれる,スライド操作に依存せず指示対象の移動や拡大・縮小が可能なオブジェクトとして切り出される.こうすることで複数のスライドにまたがるオブジェクトを指示できる.さらに図の一部など矩形選択で指示できないオブジェクトはスライド内の任意の領域を独立エレメントにできるトリミングと呼ばれる機能によって,指示を行うことができる.後者の下線選択ではスクリーンに対してOCRを行いさらにDPマッチングを行った結果として取得したテキストを用いることで,矩形選択では指示できないスクリーン上の任意のテキストに対しての指示が可能になる.

またこれらの指示を行う際,指示者の操作ミスを軽減するために,指示の確定を一時的に保留状態にする機能がある.そして指示の確定した指示対象は指示者が常に分かるよう,図のように各ポインタリモコンが持つ固有の色のついた枠線や下線が表示される.また指示の状態はオブジェクトを指示している人が指示の状態を解除するまで続く.このようにして様々な指示を可能にすると同時に,指示者名や指示の開始・終了時間,オブジェクトのIdやバウンディングボックス,そしてオブジェクトに関連づいているテキスト情報や画像といったメタデータも取得している.

指示情報を用いた議論の構造化

図2: 指示情報を用いた議論の構造化

このように取得した指示情報を用いて議論の構造化を行う.具体的には同じ指示対象を参照しながら行われた発言群は,同じ話題について話されている可能性が高いと考え,それらの発言群に図のような新たなリンク情報を付与する.これにより従来の議論構造に対して,どの発言同士に強いつながりがあるのか,という情報が付与できる.ただしこのようなリンク情報を付与するためには発言を行う際,本当に自分の発言は指示対象と関係があるかを意識する必要がある.そのため本研究では発言の開始時に,指示対象を継承するかを問うダイアログをメインスクリーン上に表示している.

4 議論の構造化に関する実験と考察

我々はこれまで「同じ指示対象を参照しながら行われた発言群は一貫して同じ話題について話しており,それ以外の話題について述べることは少ない」という仮説のもとに,それらの発言群の間には強いつながりがあるとしてリンク情報を付与してきた.しかし同じ指示対象を参照していることと同じ話題が一貫して続くことの依存関係はまだ十分に検証されていない.そこで本研究では会議での各発言者に対して,導入発言と同じ話題か,継続元発言の話題を継承しているか,そして自身の発言は幾つの話題を提示しているか,という3つの項目についてアンケートを実施し,それらの回答と指示行為との相関性を見ることで仮説の妥当性の検証を行った.その結果,指示行為を伴った発言群の方が,指示行為が伴っていない発言群よりも強いつながりにある確率が有意に多いことが分かった.

5 指示情報を用いた議論の閲覧支援

議論セグメントの要約

図3: 議論セグメントの要約

本研究では取得した指示情報を用いてディスカッションブラウザでの議論の閲覧支援を行った.具体的にはまず会議中に指示されたオブジェクトの情報を書記が簡単な操作で発言テキスト内に挿入できるようにし,さらにディスカッションブラウザ上で発言テキスト内に埋め込まれたオブジェクトの情報を画像として閲覧可能にした.これにより,会議中における書記の負担を軽減すると共に,指示対象を画像として閲覧できることでより直感的な発言理解を促せる.

さらに議論のランキングとフィルタリングを可能にした.具体的にはノードとして発言を,リンクとして議論セグメントの構造と実験によって検証されたリンク情報を,活性値として発言タイプやユーザが任意に指定できるスタンス情報のようなメタデータを起用した活性拡散アルゴリズムを用いて各発言の重要度を算出してランキングする.そしてユーザが指定した圧縮率を元に発言のフィルタリングを行う.これにより,図のように議論セグメントの要約として導入発言と同等に重要度の高い発言群を取得したり,発言全体から多くの賛成を得た発言群を取得したりできる.

6 まとめと今後の課題

本研究ではディスカッションマイニングでの議論の構造化における問題点を新たな手法により解決した.具体的には会議における指示行為に関する様々なメタデータを取得し,同じ指示対象を参照し同じ話題について話しているような,強いつながりを持つ発言群にリンク情報を付与することで議論の構造化を行い,それらの情報を用いた議論の閲覧支援を行った.

今後は指示対象の種別や指示の方法といった詳細なメタデータと発言の傾向を分析することで,それらの間にある依存関係を見つけ出すことでより高度な議論の構造化を行うとともに,その構造を反映した議論の閲覧支援を目指す予定である.