ディスカッションマイニングプロジェクト

1 テーマ

ディスカッションマイニングでは、文書以外に音声や映像も含む意味構造化された議事録コンテンツを作成し、利用することを目的としています。この研究では会議を対象とし、その中における実世界の人間活動をマルチモーダルコンテンツとして扱い、アノテーションによって意味構造化を施し、柔軟な利用を可能にすることを目標としています。

具体的なテーマには次のようなものがあります。

マルチメディアを含むコンテンツへの意味的アノテーション作成支援
会議などの実世界コンテンツの収録と半自動化
マルチモーダルコンテンツの意味的検索と要約
会議コンテンツの再利用と知識発見
映像・音声などの実世界コンテンツの効果的な提示
議論の意味構造に基づく議論間の類似性の計算
議事録間の類似度による議事録集合の視覚化
あるテーマに対する議題のプライオリティの設定
FAQのような質問・応答集の自動生成
議事録コンテンツの構造化によるディスカッションオントロジーの構築

2 システム構成

ディスカッションマイニングでは、複数のカメラとマイクロフォンを用いて実世界の活動（会議風景）を収録します。また、会議のモデレータ（発表者）がMicrosoft PowerPointを用いて発表する形式の会議を対象として研究を行っています。

発表者は専用ツールを用いて、自分が発表に用いるスライドやスライドを切り替えるタイミングなどを伝達することで自動的にこれらの情報を議事録に記録していきます。また、会議の発言内容は書記が専用ツールを用いて記録していきます。

参加者は専用のツールであるリモコンデバイスを用いることで、発言の開始・終了情報、発言者のIDと発言タイプをシステムに伝達し、議論の構造化を半自動的に行います(図2)。また、参加者は他の人の発言について、リモコンデバイスのボタンを押下することによって賛成/反対のスタンスを入力することができます。

図1: リモコンデバイス

映像、音声の収録

ディスカッションマイニングでは対面式の会議を対象にしています。議論の詳細な状況はミーティングルーム内に設置された３台のカメラとマイクによって記録します。カメラは発表者を撮影するカメラ、状況にあわせた動作により参加者を撮影するカメラ、現在行われている発表のスクリーンを撮影するためのカメラがあります。また会議用マイクロフォンはミーティングルームの中央に設置され、参加者全員の音声を録音できるようになっています。

図2: ディスカッションルーム

議論の記録

議論は書記が専用ツールを用いて記録していきます。参加者はリモコンデバイスを用いて、議事録に構造（メタデータ）を付与することで支援します。具体的には、リモコンデバイスをセンサに向ける角度を変えることで自分の発言タイプを発言者IDと共にシステムに伝達します。参加者は発言する時にリモコンデバイスを適切な角度で天井付近に設置されたセンサにかざすだけです。それによって発言者IDと発言タイプがシステムに送信されます。参加者の頭上にある赤外線センサの位置から発言者の位置を知り、自動的にカメラを発言者に向けます。もちろん、複数人が同時にリモコンデバイスを利用することが可能です。時間的に重なった発言のセグメンテーションにも利用できます。

発言タイプには「導入(startup)」と「継続(followup)」の二種類があります。「導入」は新しい議論の起点として発言する際に行います。「継続」は現在進行している議論と関連する発言をする際に用います。これによって、会議における議論のセグメンテーションを行うことができ、議論解析や会議記録の映像閲覧に役立てることができます。

発言が開始すると同時に、参加者を撮影しているカメラ２台のうちどちらかが発言者の方に向きます。これにより、参加者の発言時の様子を記録することができます。発言の開始・終了時刻はシステムにより自動的に伝達されます。

発表中や他の参加者の発言中には、それぞれの参加者は自分のスタンスをリモコンデバイスのボタンによって入力することが可能です。ここで入力できるスタンスは「賛成(agreement)」「反対(disagreement)」の２種類があります。これらの情報は参加者の任意のタイミングで入力することができ、システムで集計して議事録に記録されていきます。

以上の情報はリアルタイムで議事録に追加され、書記によって編集されます。書記は手動でテキストを入力します。将来的には、音声認識技術を用いて自動化する予定です。議論の記録はXMLとMPEG-4によるマルチメディア議事録としてXMLデータベースに保存されます。

3 ディスカッション・ブラウザ

ディスカッション・ブラウザは、記録された議事録の内容をWebブラウザを用いて検索・閲覧するアプリケーションです。

3.1 検索

議事録コンテンツは日付やキーワード、発表トピックや発表形式などを基に検索を行うことができます。また、発言者や発言内容を対象とした、より詳細な検索を行うことができます。キーワードなどで検索を行って議事録を閲覧すると、検索対象となったコンテンツがハイライトされた議事録が表示されます。

図3: 検索画面

図4: 検索された議事録

3.2 議論コンテンツの閲覧

詳細な会議の様子は記録したビデオを視聴することで理解できます。しかし、実際の発言された内容などを正確に把握するためには便利ですが、いかに効率よくビデオを閲覧できるか、ということが問題になります。そこで記録した議事録コンテンツを効果的に閲覧するための仕組みが用意されています。

図5: 議事録コンテンツの閲覧画面

議事録コンテンツの閲覧画面では、タイムラインバーを操作することによって、自分の閲覧したい議論の箇所を選択し、詳細な様子を閲覧することができます。また、特定のスライドを用いて行われた発表や議論を閲覧することや、構造化された議事録から閲覧したい発言を選択することもできます。

また、議事録とビデオから会議理解に何が本質的な影響を及ぼすかについて考察を続けています。議事録にはスライド、発言内容、議論構造、発言者などといった情報が含まれていますが、この情報の組み合わせの違いに基づくビデオ提示方式の検討と効果についての評価を行っています。そしてそれぞれの情報の持つ貢献度は、ビデオや議事録の要約の際に用いられる重要度計算に反映することができると考えています。

現在のシステムでは、会議参加者が内容を短時間でより正確に思い出すシステムの構築を目標としていますが、最終的には、会議の参加者にも非参加者にも適切に会議録を提示するシステムを目指しています。

4 ゲーミフィケーションの導入

ディスカッションマイニングでは、議事録コンテンツの記録とその再利用を主なテーマとしていますが、現在はそれに加えて、会議への参加意欲の向上や議論能力の向上を目指した研究にも取り組んでいます。

ゲーミフィケーションと呼ばれる、ゲームの要素を導入することによってシステムを改善する仕組みをディスカッションマイニングのシステムに採り入れ、会議参加者のモチベーションを高めることを目指しています。

図6: ゲーム要素と会議参加

4.1 目標

会議の参加者は、会議における目標を明確に設定することで、高いモチベーションを維持しながら会議に臨むことができると考えられます。会議の参加者が自身に見合った目標を設定でき、かつ、その目標の達成が議論能力の向上につながるような目標要素を導入しています。

図7: 目標要素の一部

目標は他の会議参加者からの評価によって達成することができます。会議の参加者は専用のインタフェースを用いて他者の発言内容から、発言者の目標が達成できているかを評価します。発言者は自身の目標に対する評価点数を閲覧して、目標達成の可否を判断することができます。

4.2 フィードバック

目標の達成状況をWebブラウザを用いて確認することができます。目標の達成状況から、自分が得意とする議論能力の傾向を把握し、今後の目標設定の参考にすることが可能です。

図8: 目標の達成状況の閲覧画面

また、他の会議参加者の目標の達成状況も閲覧することができ、比較して競争心を持つ、参考にして目標を設定する、など間接的な交流によるモチベーションの向上も図っています。

ここでは、目標の達成状況だけに留まらず、会議参加者毎に様々な情報をフィードバックすることを目指しています。例えば、発言回数の推移、評価点数の詳細な履歴などです。

4.3 今後の展望

ゲーミフィケーションを導入する目的は、その活動に従事する参加者のモチベーションの向上にあります。ディスカッションマイニングに導入するゲーミフィケーションをより発展させていくとともに、その適用の幅を広げ、研究活動全般に対してもその効果を及ぼしていくことが期待されます。