1 はじめに

HMD (Head Mounted Display)などの身体装着型の装置を用いて拡張現実感を 実現している研究は多い。 しかし、これらの研究では体にさまざまな装置を装着するため、装置の重みなどにより 体の自由が損なわれるという問題点がある。 そこで、個人用の乗り物に装置を搭載し、搭乗者とともに移動できれば装着の不自由さを 感じることが無くなると考えられる。これを実証するために個人用の知的小型移動体を 開発した。

本研究は、その知的小型移動体上に実際に拡張現実感システムを組み込むことを目的としている。 具体的には実世界対象を認識し、その対象に対する関連情報を提示するシステムを構築した。 このシステムでは、実世界対象を認識する方法として、赤外線信号を送受信する赤外線タグ を対象に貼り付ける方法を採っており、その信号を小型移動体が読み取ることで 対象に対する関連情報を搭乗者に提示することができる。

本研究では、対象の認識結果を関連情報の提示のみに用いているが、 乗り物上にシステムを構築していることを利用して、対象まで 人を運ぶことも可能であろう。また、今後ネットワークを介して 利用できるような情報機器が増えると考えられので、 認識された対象に対してネットワーク越しに操作出来るようにすることで そのような機器を直感的に使えるようにすることなどの応用が考えられる。

2 個人用知的小型移動体AT

AT (Attentive Townvehicle)は、搭乗者である人間や、自分を取り 巻く環境に適応し、個体間通信によって協調的に動作することが可 能な個人用の乗り物である。ATの開発は物理的・情報的なインフラの 設計や実現を含めて進められ、本研究もその中の一環として 位置づけられている。 本研究以外にも複数台のAT間での連携走行の研究や、RFタグを 用いて場所や対象に関するIDを取得し、関連情報を提示する実験などが現在進められている。

ATには立ち乗り型で雲台つきカメラやタブレット型情報端末を備えた高機能なタイプAと、 立ち乗りや座り乗りまたは荷台へと変形が可能なタイプBとがあるが、 本研究ではタイプAのATを用いてシステムの実装を行った。

3 実世界対象の認識

このシステムを構築する上で、一番の鍵となるのは実世界対象の存在と方向を認識する方法である。 これまで、カメラより得られる映像から画像処理により認識する方法や、 超音波や赤外線などを発するタグを用いることで位置を 検知する方法など が考えられてきた。しかし、これらの方法は実世界に適用するには適していない、大掛かりな設備が必要であるなどの問題があった。

このシステムでは、対象に貼り付けられた赤外線を発する赤外線タグと、 カメラ映像の画像処理を組み合わせることで対象の存在と方向を読み取る。 このとき、特殊な設備を部屋の中に備え付ける必要は無い。対象に張り付けられた赤外線タグ(図)から発せられる赤外線信号は、ATに搭載されている赤外線読取装置(図)に接続された赤外線センサアレイの16個のセンサで読み取られる。センサアレイ中のセンサはそれぞれ別の方向に向けられているため、どのセンサで信号を受信したかでATから見た対象の相対的な方向を知ることができる。ただし、ここで得られるのは大雑把な方向なので、より正確な方向を得るために搭乗者提示用のカメラと同じ向きに、赤外線のみを通すフィルタをつけたもう1台のカメラを設置した。このカメラを通すと赤外線タグ上の赤外線LEDは白い点として見え、背景は黒く映る。この映像に2値化やラベル付けなどの画像処理を施すことで、対象の存在する方向の候補を得ることができる。したがって、センサアレイで読み取られたIDについて、赤外線信号を受信したセンサ方向から想定されるカメラ映像中での対象の位置と、画像処理で得られたカメラ映像中の点との距離が閾値以下に抑えられるものを 探していくことでIDと赤外線タグの位置とを対応付けることができる。

図1: システム構成図

3.1 赤外線タグと読み取り装置

赤外線タグは、8bitの固有のIDを持ち、タグ上の赤外線LEDからそのIDを送信する小型の装置(図)である。 IDは1秒間に数回程度の頻度で常に送信され続けている。それと同時に、赤外線タグは 赤外線信号の受信も同時に行い、IDに依存した特定の赤外線信号によってタグ上の可視光の LEDが点灯するようになっている。

図2: 赤外線タグ

AT上に搭載されている赤外線信号送受信装置(図)はFPGAを用いて実装されており、 16個の赤外線センサと赤外線タグに向けて赤外線信号を送信するための16個の 赤外線LEDで構成されたセンサアレイが接続されている。この装置はPCとシリアル接続で接続して使用する。 装置は、センサで読み取られた赤外線信号をデコードして得られた赤外線タグのIDをPCに送り、 タグ上の可視光LEDを点灯する場合には、PC側からIDを装置に送ることでエンコードして 赤外線信号として送信する働きをする。

図3: 赤外線送受信装置とセンサアレイ

4 関連情報の提示

本研究で製作したシステムでは、認識された実世界対象の関連情報をカメラ映像にオーバーレイして 搭乗者に提示するシステムを 実現している。本章では、実世界対象の関連情報をどのように取得し、 そして表示するかについて述べる。

第3章で述べたように、 実世界対象に貼り付けられた赤外線タグから発信される赤外線信号を ATに搭載された赤外線信号送受信装置で読み取ることで、その対象に つけられたIDを読み取る。したがって、 このIDをキーとして関連情報を取り出すことができる。

具体的には、IDをキーとしてデータベースを検索することで 引き出している。このデータベースは現在はプログラムが動作している ローカルなマシンで閉じたものになっているが、将来的には ネットワーク上のサーバに問い合わせることで対象の関連情報を検索できるようにするべきであろう。

特にATは移動体であり、屋内だけではなく屋外でも走行するため、 ネットワーク環境が整った場所だけではなく、 屋外での局所的で閉じたアドホックなネットワーク環境をも想定している。 したがって、本システムの関連情報のサーバもアドホックな ネットワーク環境を想定したものである必要があるだろう。

このようにして、IDを基にして得られた関連情報はカメラ映像にオーバーレイされ搭乗者に 提示される。しかし、カメラの視野には入らない対象もあるため、 認識されたすべての対象の関連情報は画面の脇に一覧として提示している(図)。

画面に表示された、関連情報の一覧の中の要素をダブルクリックすることで カメラの雲台を回転させ、対象がカメラ映像の中心に来るようにしている。 また注意を引くためAT側から赤外線信号を発して、対象物につけられた タグ上の可視光LEDが光るようになっている。

図4: 関連情報のオーバーレイ表示

5 終わりに

本論文では、知的移動体AT上に、赤外線信号を送受信するタグがつけられた実世界対象の位置を認識し、 その関連情報をカメラ映像上にオーバーレイして搭乗者に提示する拡張現実感システムについて述べた。 従来、拡張現実感を実現するシステムでは重い機材を持ち歩くことなどが 求められたが、移動体上に機材を搭載することでそのような不便さを感じさせない システムを構築することができた。 一方、センサが大量に必要なためシステムは比較的大きなものとなるという欠点がある。 また、赤外線センサから得られる対象のIDとカメラ映像を画像処理して得られる対象の位置 とを対応付ける処理がなされるが、ここで対応付けに失敗することがあるため 誤った位置に関連情報が提示されるという問題点がある。