A Study on Structualization of Discussion based on Pointing Information and Its Applications in Meeting
In recent years, we have many opportunities to participate in meetings at a company, seminars of a laboratory as common activities. Minutes which describe contents of the meetings have an essential role for browsing the meeting contents after meetings. And discussions held at the meetings should be recorded and structured for browsing minutes efficiently.
We have developed a system which generates meeting minutes linked with videos and audio data of discussions and metadata as hints on semantic structures of discussions. Our technology is called "Discussion Mining." We categorize statements in meetings in two types such as "Start up type" which means the statement starts discussion of new topic and "Follow up type" which means that the statement follows the previous statement continuing the discussion of the same topic. Then we segment discussions into topics based on the statement types.
However, the structuring discussions has a problem that the topic gradually diverges from the main topic as discussions continue long time. So it becomes difficult that we browse discussions quickly. The purpose of this study is to structure discussions deeply based on strength of relationships between statements. The statements which discuss the same topic as their following statements have stronger relationships between the statements and their following ones than the statements which have different topics from the topics of their following ones.
First, we developed a system to capture pointing information (objects displayed on the screen that are referred by using pointing tools such as laser pointers) that we consider that pointed objects are related to the topics. Next, we distinguish the statements which refer to the same pointed objects from the rest of the statements.
Analyzing accumulated discussion contents, we verified a hypothesis that a statement and the following statement deal with the same topic if they refer the same pointed object.
And we also developed a system to support quick browsing of discussions with pointing information. The system consists of mechanisms of filtering/ranking of statements that employs a Spreading Activation technique on the discussion structures and quick retrieval of the statements that include pointing information.
1
1.1
1.1.1
Fugure1:
Fugure2:
Fugure3:
Fugure4:
Fugure5:
1.1.2
- 導入：新たな話題の切り出しを行った発言のタイプ
- 継続：直前の(あるいはいくつか前の) 発言を受けて行った発言のタイプ
Fugure6:
Fugure7:
1.2
Fugure8:
- ビデオビュー
- スライド一覧ビュー
- 層状シークバー
- 議論内容詳細ビュー
- 検索メニュー
Fugure9:
Fugure10:
Fugure11:
Fugure12:
Fugure13:
Fugure14:
Fugure15:
Fugure16:
1.3
1.4
2
2.1
2.2
- 矩形選択 スクリーン上でマウスカーソルのドラッグ操作と同等の操作を行うことで矩形領域が表示され，その矩形領域に接触したスライド内のオブジェクトをすべて選択する機能．
- 下線選択 スクリーン上の任意のテキストに対して，下線を引くことで指示をするための機能
2.2.1
Fugure17:
- 箇条書きのテキスト
- グループ化された図形
- JPEGやBMPなどのイメージ
- オートシェイプ(Microsoft Officeアプリケーションで利用できる，多角形や楕円といった図形)
- 表・グラフ
- 仮選択 オブジェクトへの指示を一時的に保留しておく機能
- 可視化と常在化 今どのオブジェクトが誰によって指示されているかを常に表示する機能
- 独立化 指示対象をスライド操作に依存しないオブジェクトとして切り出し，オブジェクトの移動や拡大・縮小を可能にする機能
- トリミング スライド内の任意の領域を独立化させる機能
- ストローク機能と図形化 ポインタの軌跡を描画する機能とその軌跡を独立化する機能
Fugure18:
Fugure19:
Fugure20:
- 独立化させたオブジェクトが持つ情報（オブジェクトのIdやタイプ，バウンディングボックス，テキスト情報)
- 独立化させたオブジェクトの画像
- 独立エレメントの移動や拡大・縮小といった操作情報
- 独立エレメントに関連付けられたテキスト情報(独立化させたオブジェクトに含まれるテキスト情報を含む)
Fugure21:
Fugure22:
2.2.2
Fugure23:
2.3
Fugure24:
Fugure25:
2.4
Fugure26:
- ポインタリモコンのボタンを長押しすることで直前まで指示されていた独立エレメントを再選択
- スライドごとにリスト表示された独立エレメントの一覧（後述）からポインタリモコンを用いて選択することで独立エレメントを再選択
Fugure27:
2.5
3
3.1
3.2
- ディスカッションレコーダを用いた，ゼミ中に行われる指示情報
- ディスカッションブラウザ上での，各発言者に対してのアンケートによる，継続元発言と話題に関する情報
3.2.1
Fugure28:
3.2.2
Fugure29:
- 導入発言との関係を問う設問
- 継続元発言との関係を問う設問
- 発言に含まれる話題の数を問う設問
Fugure30:
Fugure31:
Fugure32:
3.3
Fugure33:
Fugure34:
Fugure35:
Fugure36:
Fugure37:
3.4
4
4.1
Fugure38:
Fugure39:
Fugure40:
Fugure41:
Fugure42:
Fugure43:
Fugure44:
Fugure45:
Fugure46:
Fugure47:
Fugure48:
4.2
Fugure49:
Fugure50:
Fugure51:
4.3
5
5.1
5.1.1
5.1.2
5.1.3
5.2
5.2.1
5.2.2
Fugure52:
5.2.3
Fugure53:
5.2.4
Fugure54: