1.1 研究の目的と背景

情報化社会と言われて久しい。今日では、膨大な情報をWWW (World Wide Web)などを用いることで 手に入れることができる。ここで、得られる情報の中には、 具体的な「物」と対応付けられるものも多く存在する。たとえば、 お店の情報は、物理的なお店に対応しているし、 書籍の評判も本に対応している。 また、個人の書く日記も人間という物理的な存在と対応付けられる。 しかし、現在のWWWなど、情報を扱う仕組みでは 多くの場合、情報の操作が実世界に直接影響を与えることはなく、情報の世界のみで完結している。

たとえば、情報の世界の中の何か(お店の情報など)をみて、それに深く 興味を持ったとしても情報の世界だけではそれを体験することは難しい。 古くは通信販売、最近ではWWWでの書籍販売などは 情報の中の世界と物理的な世界とをつなげるひとつの手法として定着しているが、 その手法で可能となることは限られる。 それは、その手法で対応できるのは運搬できる物に限られるためである。 つまり、おいしい料理を自宅まで運んで持ってきてもらうことは可能だが、 おいしい料理を出してくれる料理店を持ってくることはできないのである。 そこで、より一般的に、情報の世界と物理的な世界をより滑らかにつなぐ方法が 求められている。

情報と、それが参照する物理的な対象を密接に関連付けるためには、 物理的対象がもつ性質が問題となる。 それは、物理的対象を移動させる、あるいは、物理的対象の位置まで移動する 手間が無視できないということである。 通信販売やインターネットショッピングでは対象物の運搬という手段を用いたが、 本研究では移動体を用いて人間を動かすという発想で情報と実世界の関連付けの方法を探っている。 つまり、乗り物に情報処理・通信機能を持たせ、情報処理と物理的な行動を連動させる、 いわばMountable Computing (搭乗型コンピューティング)という発想である。

また、一方で、それ自身が物理的な対象である移動体を情報技術で強化し 高度な輸送手段となることが可能である。 たとえば、 搭乗者個人の嗜好や特性を蓄積していくことによって、 乗りやすい仕組みを構築することが可能になる。 また、乗り物の周囲にある実世界の対象物を認識し、個人の嗜好とを考え合わせ、 興味を持ちそうな情報を搭乗者に提示することで、 より有用な乗り物とすることが考えられる。

以上のことを考慮して、AT (Attentive Townvehicle)という小型の知的移動体を研究・開発した。 ATは、搭乗者である人間や、自分を取り巻く環境に適応し、 個体間通信によって協調的に動作することを目指した乗り物である。 ATの開発には車体の開発だけではなく、物理的・情報的なインフラの 設計や実現が不可欠となる。本研究もこのようなインフラの設計と実現の一部をなすものである。

物理的対象を運搬するのではなく、人を物理的対象まで運ぶことで 情報と実世界の関連付けをするという構想を実現させるためには、たとえば、 移動体によって人を自動的に物理的な対象物まで運ぶことが必要とされる。 もし、あらかじめ地図が与えられているのであれば、それにしたがって 移動することで目的の場所まで到達するのはそれほど困難なことではないと思われる。 しかしそれだけでは不十分である。それは真っ暗な場所で照明を使わないで 歩き回っているのと同じである。危険であるし、本当に目的の対象物が地図の示す場所にあるかも分からず、 外見が類似しているものが多数並んだ状態ではどれがその対象物かは分からない。

したがって、移動体の周囲の状況を認識することは必要不可欠である。 特に、安全に移動するための障害物の検出と、移動体の周囲に存在する対象物を 認識するような仕組みが必要とされる。 本論文では、後者の仕組みの実現について中心的に述べる。 この仕組みは、先に述べたような周囲の対象物を認識し、搭乗者に情報を 提示するする際には必須の技術となる。

これまで、実世界の対象物を認識して、その情報を利用する試みとして拡張現実感システムの研究など が盛んに行われてきた。 対象物の認識以外に、人間の位置を認識して、利用する研究としては、 赤外線を発するバッジを用いる Active Badgeや超音波を用いるBAT、 タグなどを用いないでカメラのみを用いて映像から人間の位置を認識する研究などが 行われてきた。しかし、これらのシステムは 物理環境側にセンサーを埋め込む必要があり、導入が比較的困難であると考えられる。 また、画像処理のみを用いる方法では個々の物体を厳密に識別することが困難である。 そのため、同じ形状であっても別の「物」であれば異なる種類のIDを付け それらを別のものとして扱うこと想定している本システムには適用することはできない。

一方で、人間ではなく対象物に赤外線のタグを貼り付ける研究や、 対象物に視覚的タグを貼り付け、カメラを使って対象物を認識する研究 も行われてきた。これらは、設置は比較的簡単にできるが、 それらはHMD (Head Mounted Display)などの身体装着型の装置を用いてシステムを 実現していたり、小型の液晶ディスプレイを使うことで実現され、 それを持ち歩くことが必要とされたり、また、屋外で使用することができなかったりした。 これらの研究では、体にさまざまな装置を装着するため、装置の重みや違和感などにより 体の自由が損なわれるという問題点があった。 また、利用者に対して情報を示す方法としても、これまでディスプレイに表示することや 音声で知らせるなどの方法しかなかったが、移動体上にシステムを構築したことに よって乗り物の向きを変えたり対象物の方向に向かって走るなどの 物理的行動によって情報を提示する方法も可能となる。

これらの点で、乗り物であるAT上に構築した、本システムのような対象認識システムは 有用であると期待される。

1.2 本研究で提案するシステムの概要

本研究は、知的小型移動体ATの周囲に存在する対象物を認識する手法と、 その手法を用いたアプリケーションを開発することを目的としている。 このシステムでは、実世界対象を認識する方法として、ユニークなIDを赤外線信号で 送信する赤外線タグを対象に貼り付け、赤外線センサーアレイが搭載されたATで読み取るという 方法をとっている。このとき、赤外線信号の指向性を用いて対象物の方向も読み取ることができる。

このIDを元に対象物の関連情報を得て、その情報を搭乗者の 目の前にある液晶ディスプレイに提示するなどの応用を行っている。

それ以外にこの技術の将来的な応用としては、1つには複数のATが協調して実世界の対象物の位置のマップを作る ことが考えられる。 ATは地面に設置されたRFID (Radio Frequency Identification)タグを認識ことによって、 自身のだいたいの位置を知ることができる。 そこで、その周囲を走ることによって その位置にある対象物を意識的あるいは無意識的に認識することができるのである。 さらに、その情報を複数台のAT間でネットワークを介して共有することで、 多くの対象物の位置等の情報が徐々に獲得されていく。

また、このシステムによって、 対象物の位置にATを移動させたり、人間が赤外線タグを持ち、ATを 誘導することなどが実現できる。

1.3 本論文の構成

本論文は2章以降、次のような構成になっている。 まず第2章では、本研究のプラットフォームとなっている知的移動体ATに関して述べる。 第3章では、実世界の対象物を認識する方法として赤外線タグを用いる方法を提案し、その手法を述べる。 第4章では、前章の手法を用いたいくつかの応用システムについて述べる。 第5章では関連する研究を紹介し、本研究との比較について述べる。 最後に、第6章でまとめと今後の課題について述べる。

2.1 システム構成

ATは主に軽量化を図るためアルミ材でフレームを構築し、車輪には電動車椅子用の ものを装着して、それを移動体の動力として使用している。 ATは屋内、屋外どちらでも人を乗せたまま移動できることが前提であるので、 車体は一般的な扉やエレベータの入り口を通り抜けることができる幅に抑えられ、 さらに、エレベータに乗り込めるような長さに抑えられている。

ATには立ち乗り型で、電動雲台つきカメラやタブレット型情報端末を備えた高機能な タイプA(図)と、 立ち乗りや座り乗りまたは荷台へと変形が可能なタイプBとがあるが、 本研究ではタイプAのATを用いてシステムの実装を行っている。

写真を見て分かるように、タイプAのタブレット型情報端末は、搭乗者が乗り込んだとき ちょうど見やすい位置に装備されている。 同様な機能をタイプBではPDA (Personal Digital Assistant)を用いて実現しているが、 表示面積が小さいために機能には制約がある。 ただし、PDAは小型のため、ATから降りてからも取り外して携帯することができる。 そのため、PDAの携帯時に個人情報を入力したり、行動の記録をとることで、 ATをより個人に特化した乗り物にするという応用が考えられている。

図2.1: Attentive Townvehicle (Type A)

図2.2: Attentive Townvehicle のシステム構成図

ATのシステム構成を図に示す。 以下で述べるように、ATの操作は足の左右2つのペダルによって行う。それを実現するために、 ペダルがどの程度踏み込まれているか調べるための角度センサーがそれぞれのペダルの裏側に1つずつ装備されている。 しかし、斜面ではペダルが踏み込まれていなくても、計測値からでは踏み込まれている状態と区別できないので、 斜面であることを検出するためにペダルではなく車体側に3軸の角度センサーを装備している。 この3軸角度センサーは、yaw,pitch,rollの直交する3つの軸の角度を知ることができるセンサーである。 このセンサーは、自律走行を行うときに車体の方向を知る目的にも利用される。 ほかにも、モーターに内蔵されたエンコーダを監視する装置が搭載されており、 これを用いて速度や走行距離、車輪の回転方向を検出している。

上に挙げたような、走行制御にかかわるセンサーや装置だけではなく、 このほかに、AT車体下には、地面に埋め込まれたRFIDタグを認識できるように、 RFIDタグリーダーが2個設置されている。 これは、見通しの悪い屋外や屋内などGPSの使用できない場所で、 ATの現在地を知るためのひとつの方法として使用されたり、 情報の提示のトリガーとして用いられたりする。 将来的には、UWB (Ultra Wide Band)などを用いて屋内でも詳細な位置情報を得ることが可能となると考えられる。

特に、タイプAのATには、衝突回避を実現するための超音波距離センサーや、 屋外でATの位置を知るために必要となる GPSとDGPS (Differential GPS)レシーバーが搭載されている。 超音波距離センサーは、超音波の送信機と受信機がペアになっており、 送信機から出た超音波が反射して受信機に戻ってくるまでの時間から 距離を算出するセンサーである。このセンサーは20cmから100cmまでの 距離が計測でき。障害物が50cm以内にある場合には停止する。 また、万が一障害物に衝突した場合のために、 バンパーがATの前後に設置され、その衝突を検出できるようになっている。

さらに、タイプAには個人認証を可能にする指紋センサーが搭載されている。 この指紋センサーは個人を特定し、その人に適した操作感を実現するのに使われる。 たとえば、現時点ではペダルを操作したときの加速・減速の具合を個人の熟練度に適した 状態にするのに使われている。将来的には、それだけではなく 個人の嗜好にあった情報を優先して提示するようにしたり、個人の過去の履歴から 次に行う行動を予測するなどの利用法が考えられている。

2.2 操作法

ATの走行はペダルを使って足で操作する。ペダルを前に踏み込めば前に進み、 後ろに踏み込めば後ろに進む。回転する場合にはペダルを両足で互い違いに すればよい。つまり、ATは両足だけを使って操作することができる。 この方法は、自動車のように速度はペダルを用いて調節し、 方向は手を使ってハンドルで調節するという方法では無く、 両足がペダルをどのように踏み込んだかによって速度と方向が決まるという点で ユニークである。 これは、ATでは搭乗者は情報端末を用いることが前提になっているので 手を走行のために使用するのは好ましくないからである。

3.1 赤外線タグとカメラを用いた対象位置の認識

上に述べたように、対象に張り付けられた赤外線タグ(図) から発せられる赤外線信号は、ATに搭載されている赤外線信号送受信装置(図) に接続された赤外線センサーアレイの16個のセンサーで読み取られる。 このセンサーアレイは、赤外線信号を送信するための赤外線LED、 赤外線信号を受信する赤外線センサーと、 センサーの読み取りに指向性を持たせるため、1つ1つのセンサーごとに仕切りをするための 光を通さない黒色のABS樹脂でできている。 センサーは、図のように 1つの面に8個、これを2段に重ねて配置している。

図3.2: 赤外線タグ

図3.3: 赤外線信号送受信装置とセンサーアレイ

図3.4: 赤外線センサーの配置

図を見ると分かるように、センサーアレイ中のセンサーはそれぞれ別の方向に向けられているため、 どのセンサーで信号を受信したかによってATから見た対象の相対的な方向を知ることができる。 このとき、図中のとおり上段の左側から8番から15番、下段の左側から0番から7番までセンサーに 番号をふると、下段のセンサーで信号を受信したならば水平方向での対象の角度は

\begin{displaymath} D = 11.25 + i \times 22.5 \end{displaymath}

上段のセンサーで受信したならばは

\begin{displaymath} D = 11.25 + (j-8) \times 22.5 \end{displaymath}

となる。ただし、単位は度で、方向は図の左側を0度とおき、正面を90度と置いている。 垂直方向の場合の角度は

\begin{displaymath} \begin{array}{cccc} S & = & -7.5 & (センサー0から7) \\ S & = & 7.5 & (センサー8から15) \end{array} \end{displaymath}

と仮定する。センサーは上下には2段しか並んでいないため、上下方向にはあまり正確な 方向は出ない。 しかし、水平方向と異なり、人間が対象物を見る時の垂直方向の角度の範囲はある程度 絞られおり、大抵のものはこの15度(=7.5+7.5)の範囲に入ると想像される。

上の変換式を用いれば、対象物の位置がおおよそ分かるのであるが、 対象が送信するIDをエンコードした赤外線信号は秒に数回という割合でしか発信されないため、 単純に考えると赤外線信号が出ていない瞬間には対象を認識することができない。 そこで、センサーアレイで読み取った結果に寿命を つけ、寿命が尽きるまではまだ有効な結果であると判断する方法を用いた。 現在有効な対象をリストとして保存しているが、その情報の更新手順を箇条書きで示す。

1. リストの各要素を調べ、同じセンサーで読まれた同じIDの要素がすでにあれば、その要素の生存時間を0にする
2. リストの各要素を調べ、同じセンサーで読まれた同じIDの要素が無ければ、新しい要素を作り、生存時間を0にする
3. 一定時間ごとに、生存時間を増やし寿命を超えたものをリストから削除する

これで、現在有効なデータを更新し続けることができる。 このリストの情報から、搭乗者が見ているカメラ映像の中での画面上の座標を計算する。 この座標点は、搭乗者に対象の関連情報の提示を行う際に必要となるものである。 計算するには、つぎの4つの値が必要となる。

1. 対象の方向(垂直方向の角度$D$、水平方向の角度$S$)
2. 雲台の方向(垂直方向の角度$Dr$、水平方向の角度$Sr$)
3. カメラの水平画角($Hl$)と垂直画角($Vl$)
4. カメラ映像の縦幅($height$)、横幅($width$)

使用した電動雲台つきカメラ(Sony EVI-D100)の垂直画角はズームしていないとき、仕様から65度で、 垂直画角はカメラから得られる映像の縦横比から推定され、48.8度と計算できた。 なお、ズームしたときには画角の値が変わるが、ほかの値はズーム前と変わらない。

計算の手順としては、まず、対象の方向から雲台の方向を引くことで、カメラから対象への 相対的な方向を出し、その方向がカメラ映像の中のどの座標に対応するのか計算するのである。 そのためにはまず、対象の方向を算出する必要がある。 上に書いたように、IDとそのIDを読み取ったセンサーの対はリストとして保存されているので、 初めに挙げた式から対象の方向が分かる。ただし、ATが移動したときなど、1つのIDを複数のセンサーで 読み取る場合がある、その場合には、平均を取って方向を出す。 ここで、カメラから対象への相対的な方向を(水平方向の角度), (垂直方向の角度)とすると

\begin{displaymath} \begin{array}{ccc} Dc & = & D - Dr \\ Sc & = & S - Sr \end{array} \end{displaymath}

で求められる。この方向がカメラの映像中のどの座標点に投影されるかは次の式で求められる。 左上を原点とする座標系では下向きに伸びているとき、に対応付けられるとするとは

\begin{displaymath} \begin{array}{ccc} x & = & \frac{width}{2} \times \frac{ \tan(Dc) }{ \tan(\frac{Hl}{2}) } + \frac{width}{2} \\ y & = & -\frac{height}{2} \times \frac{ \tan(Sc) }{ \tan(\frac{Vl}{2}) } + \frac{height}{2} \end{array} \end{displaymath}

で計算される。

ただし、赤外線センサーアレイによって得られる、対象の方向は大雑把なので、 より正確な方向を得るために搭乗者提示用のカメラと同じ向きに、 赤外線のみを通すフィルタをつけたもう1台のカメラを設置した。 このカメラを通すと赤外線タグ上の赤外線LEDは白い点として見え、背景は黒く映る。 この映像のフレームを切り取って画像処理を行う、手順は次のように進められる。

1. 閾値処理: 蛍光灯などからも弱い赤外線が放出されるため薄く映ってしまう。それらを 取り除くため、適当な値を閾値として閾値処理を行う。
2. 2値化: 閾値処理で得られた結果を元に、画像を明るい1の点と、暗い0の点というように 2つの値で置き換える。
3. ラベル付け: 明るい点の集まりに番号をつけていく。それらの1つ1つが対象の 存在する方向の候補となる。
4. ラベルの中心座標と面積の計算: 明るい点の集まりの1つ1つのピクセルの座標について 平均を計算することでラベルの中心座標を求める。同時に、対象までの距離を推定するために ラベルに含まれるピクセル数を計算する。

対象までの距離は、赤外線フィルタを装着したカメラで撮影した際の、赤外線LEDの点の大きさ から算出している。これは、点の大きさと対象までの距離は反比例の関係になることを利用している。 ただし、電池の消耗による赤外線LEDの輝度の低下や、 カメラに映る際のサンプリングのタイミングの問題などによって対象までの距離と画像上での点の大きさとが 対応しない場合があるため、距離の値がふらついてしまった。 そこで、次章では距離を計測する別の方法について考察を行っている。

また、この処理には搭乗者提示用のカメラとは異なる種類のカメラを用いているため、画角と カメラ映像の大きさが異なる。そのため、補正を行わないと搭乗者に提示する映像の中の どの座標点に対応するのか分からない。 そこで、画像処理に用いるこのカメラの垂直画角を、水平画角を、幅を、 高さをとおくと、座標点は次のようにして、 おおよそ搭乗者提示用カメラの座標点に変換できる。

\begin{displaymath} \begin{array}{ccc} x & = & \left(\left(\frac{x'}{width'} -\frac{1}{2}\right) \times \frac{Hl'}{Hl}+\frac{1}{2}\right) \times width \\ y & = & \left(\left(\frac{y'}{height'}-\frac{1}{2}\right) \times \frac{Vl'}{Vl}+\frac{1}{2}\right) \times height \\ \end{array} \end{displaymath}

これまでの処理からカメラ映像から画像処理を用いて対象位置の候補が得られた。 しかし、これも赤外線センサーアレイから得られるIDの情報と同じで、 常に値が得られるわけではないため、 有効な情報のリストを作り、情報に寿命をつけて管理する必要がある。 具体的には、次の手順で行う。

1. リストの各要素を調べ、その要素から得られた点までの距離が近いときには同じ点だとみなし、その要素の生存時間を0にする
2. リストの各要素を調べ、それまでの点とは遠い場合には、新しい要素を作り、生存時間を0にする
3. 一定時間ごとに、生存時間を増やし寿命を超えたものをリストから削除する

カメラでは赤外線信号を読み落とすことが多いため、情報の寿命は長めにとっている。 これは、赤外線信号の送出にかかる時間が短く、カメラのサンプリング間隔と合わないためだと考えられる。 ただし、情報の寿命を長めに取ると、ATで移動したときに古い情報がしばらく残ることになる ため好ましい方法ではない。 この問題は、赤外線タグから赤外線信号を送信する頻度を高くすることである程度避けることが できる。 しかし、赤外線タグの電池寿命が著しく短くなるというトレードオフの問題となるため、 それほど頻度をあげることはできない。

こうして得られた、対象の細かい位置の情報をセンサーアレイで 得られたIDの情報と組み合わせる必要がある。手順は次のようになる。

1. センサーアレイで得られたIDについて、推定されるカメラ画像上での座標と、 画像処理で得られた点とを比較して一定の閾値以下になっていて、一番近いものを選ぶ。
2. その点とIDが一致しているとみなす。ただし、すでにその点が別のIDと一致している 場合には近いほうを選び、遠かったほうは無効にする。

これまでの対象位置の認識手順をまとめると図のようになる。

図3.5: 対象認識手順の概要

注意すべきなのは、カメラの視野の外にある対象については細かい 位置を知ることができないという点である。 また、赤外線センサーアレイの中心と、雲台の回転の中心とは物理的な制約からずれやすい。 しかし、 位置を離しすぎると対象の方向によっては位置の認識がうまくいかなくなることがある。 特に、近距離にある対象ではそれが強く現れる。したがって、センサーアレイとカメラは 近づけて設置することが必要になる。 センサーを増やし垂直方向にもセンサーを多くつけるようになると、取り付け位置の物理的な 制約が厳しくなるため、カメラを設置する位置についての考慮が必要になる。

3.2 赤外線タグと読み取り装置

赤外線タグは、8bitの固有のIDを持ち、タグ上の赤外線LEDからそのIDを送信する小型の装置(図)である。 IDは1秒間に数回程度の頻度で常に送信され続けている。それと同時に、赤外線タグは 赤外線信号の受信も同時に行い、IDに依存した特定の赤外線信号によってタグ上の可視光の LEDが点灯するようになっている。

まだ実装は行っていないが、双方向通信が行えるためATが近づいたときだけIDの赤外線信号を 送信するようなものとすることも可能である。そのような双方向の通信をすることによって 電池の寿命を延ばすことが可能となる。 また、ここではIDを8bitにしているが、IDのビット数を大きくすることも可能である。

赤外線タグの回路は図のようになっている。 使用したマイコンはAtmel社の AT90S2313-10PC で、このマイコン用のクロスコンパイラとして gcc version 3.3.1を用いてC言語でプログラムを開発した。 遠くからでも対象の位置が分かるように するため、LEDが明るくなるようLEDに流れる電流が大きくなるような設計になっている。 電源は、単三乾電池を3本直列につないで4.5Vとして使用している。 赤外線センサには3つの端子Vs,GND,OUTがあるが、VsとGNDはそれぞれ電源端子とグラウンド端子で、 OUTが出力端子である。 タグには、ジャンパピンがつけられているが、これは赤外線を使って赤外線タグにIDを書き込むときに使用する。 誤ってIDを書き換えないようにするためである。 赤外線タグのIDはマイコン内のEEPROM (Electrically-Erasable Programmable Read-Only Memory:不揮発性の半導体メモリ) に保存されるので、電源をつないでいなくてもIDは保持される。

図3.6: 赤外線タグ回路図

ATに搭載されている赤外線信号送受信装置(図)はAltera社の FPGA (Field Programmable Gate Array) EP1C12Q240C8 を用いている。 また、回路の記述にはVerilogHDLを用い、コンパイルには Quartus II Version 3.0 Web Edition を使用した。 この装置には16個の赤外線センサーと、赤外線タグに向けて赤外線信号を送信するための16個の 赤外線LEDで構成されたセンサーアレイが接続されている。 この装置にはシリアルインタフェースが用意されており、PCとシリアル接続で接続して使用する。 装置は、センサーで読み取られた赤外線信号をデコードして得られた赤外線タグのIDをPCに送り、 タグ上の可視光LEDを点灯する場合には、PC側からIDを装置に送ることでエンコードして 赤外線信号として送信する働きをする。

3.3 赤外線通信

赤外線タグとATとの間では赤外線を用いて数バイトのコマンドを送受信している。 赤外線LEDは点灯と消灯の状態しか持たないので、モールス信号のように 点灯・消灯の組み合わせで送信するのである。そのため、 どのような形で消灯と点灯を組み合わせてコマンドを送信するかを決める必要があることが分かる。 本章では、ATと赤外線タグとがどのようにデータを通信しているかを述べる。

ATと赤外線タグとは数バイトデータを送り、そして受信しているが、それらは1バイト の送信または受信を繰り返すことで達成している。 ATが赤外線タグに向かって、可視光のLEDを点灯させたい場合には、1バイトづつ 数回に分けてコマンドを送っていくことが必要ということである。 ここで、まずはじめに 1 バイトずつの通信がどのようになされているのかをみてから、 その後に、AT-赤外線タグ間の通信の内容について見ていくことにする。

赤外線タグとATとの間でやり取りされる赤外線信号は、赤外線タグ上の リソースを最大限に使うため、PCで使われるシリアル通信と同じ形式で送受信を行う。 これは、今回使用したマイコンにはシリアル通信を行うための UART (Universal Asynchronous Receiver Transmitter)モジュールが 組み込まれているため、このモジュールを用いることで容易に効率的な 通信を行うことが期待できるためである。 なお、空中を光で通信するため、ノイズが入ることが十分考えられるので パリティつきの通信を行っている。通信速度は2400bpsとした。

パリティつきのシリアル通信で1byteを送る際の信号を図にしたものが図 である。はじめにあるスタートビットは、データを送信する前に これからデータを送信することを知らせるためにあるものである。 データビットはLSB (Least Significant Bit:もっとも小さい桁)から送信することに なっている。 パリティビットは、奇数パリティとなるように設定している。つまり、データビットと パリティビットを含めてHiになっているビット数が奇数になるように設定するのである。 こうすることで、ビットが反転するなどの障害に強くなる。

図3.7: シリアル通信

この図のLowを赤外線LEDの点灯、Hiを赤外線LEDの消灯に対応付けると 赤外線LEDとセンサーで通信が可能となる。 この割り当ては直感とは逆となっているが、ここでHiを赤外線の点灯に割り当てると、 信号を送信していない間は赤外線LEDが 点灯し続け消費電力が大きくなるためである。

一方で、赤外線センサーの中ではノイズの影響を避ける目的で、 38kHz周辺の周波数をよく通すようなバンドパスフィルタがかけられている ため38kHzの信号を使って通信を行う必要がある。このときのセンサーの出力は図 のように38kHzの部分が消えて出力される。また、 図を見て分かるように、赤外光が無いときに出力の電圧が高く、 光があるときに低い電圧が出力されるという仕様になっている。

図3.8: 赤外線センサーの入出力の関係

したがって、図のようにシリアル通信のデータを38kHzの信号に乗せたものを タグとATの間でやり取りをする。図を見ると分かるように、シリアル通信で Lowだった部分が38kHz での赤外光の点滅に変わっている。 この信号がセンサーで読み取られると、赤外光の点滅があるときにはセンサの出力電圧が 低くなり、光が無いときには出力電圧が高くなるため、センサーで読み取られた 結果は図で示したような通常のシリアル通信の信号と形状が同じとなる。

この通信方法は、Lego社のMindStormsの赤外線通信で使われている方法と 同じものである。この通信方法は、 容易にRS-232の信号と相互に変換することができるため、 PCなどと組み合わせて使うことが容易である。 その一方で、テレビなどに使われているようなリモコンが使用している 赤外線通信の方法とは異なっている。

図3.9: 赤外線通信

以上のデータ送信法に基づいて、 赤外線タグが送信するID情報のコマンドと AT側からタグ上の可視光LEDを点灯させるコマンドを表に示す。

数値は 0x で始まる16進数で書いている。 たとえばIDが1のタグを光らせる場合には 0xaa,0xee,0x11,0x01,0xfeの順に赤外線で信号を送ればよい。

最小限の通信内容しかないが、これは、対象に対する、より複雑な操作は 無線LANなどの無線通信を使うことで伝達するという方針からである。 赤外線の指向性をうまく使って対象を特定し、それに対する 複雑な情報処理が必要な場合は、通常の無線データ通信を用いるべきだろう。

4.1 関連情報の提示

搭乗者の前方に取り付けられたタブレット型情報端末に 認識された実世界の対象の関連情報を カメラ映像に重ね合わせる形式で 搭乗者に提示するシステムを実現している。 以下では、実世界対象の関連情報をどのように取得し、 そして表示するかについて述べる。

4.1.1 関連情報の取得

第3章で述べたように、 実世界対象に貼り付けられた赤外線タグから発信される赤外線信号を ATに搭載された赤外線信号送受信装置で読み取ることで、その対象に つけられたIDを読み取る。したがって、 このIDをキーとして関連情報を取り出すことができる。

具体的には、取得したIDをキーとしてローカルマシン上のデータベースを検索する。 将来的にはネットワーク上のサーバーに問い合わせることで対象の 関連情報を検索できるようにするべきであろう。

たとえば、認識した対象のIDが208で、何らかの手段でデータベースサーバーの アドレスが分かった場合、図のように、そのアドレスに対して、 決められた手順で、IDに対応した関連情報について問い合わせを行えばよい。

図4.1: サーバーへの関連情報の問い合わせ

ATは移動体であり、屋内だけではなく屋外でも走行するため、 ネットワーク環境が整った場所だけではなく、 屋外での局所的でアドホックなネットワーク環境をも想定している。 したがって、本システムの関連情報のサーバーもアドホックな ネットワーク環境を想定したものである必要があるだろう。

たとえば、インターネットにつながらないような屋外などを想定して、 局所的なアドホックな無線のネットワークと そのネットワークにつながっているサーバー を使うことによって、その近辺にある対象物に関する 関連情報を検索するのである。

この手法は、たとえば場所に局所的な情報を提供するためにも使うことができる。 これは、情報を公開するとどこからでも見られるようにする、という これまでのネットワークの目標とは違う方向性を持っている。 しかし、どこからでも見られることが常に良いこととは言えない。 そのときのためにも、このような方法が提供されるのが 望ましい。

4.1.2 情報の提示法

IDを基にして得られた関連情報は図のようなカメラ映像に 重ね合わされた形式(オーバーレイ)で搭乗者に 提示される。

図4.2: 関連情報の重ね合わせ表示

しかし、カメラの視野には入らない対象もあるため、認識されたすべての対象の 関連情報は映像を表示するウィンドウの脇に一覧として提示している。 また、映像ウィンドウ内に表示されている対象とそれ以外とを区別するために、 図のように関連情報の一覧につけられたアイコンの色を区別している。

図4.3: 認識された対象物の一覧

これら以外にも、カメラ映像の右側と下側にスライドバーを付け、 これを動かすことでカメラを上下左右に動かす機能がつけられている。

ウィンドウ内や、脇には対象物に関する名称等の簡単な情報が表示されるが、 それらの対象物に関するさらに詳細な情報を搭乗者に提示する場合、 対象物の関連情報の一覧の中の任意の要素をクリックすると その対象のより詳細な関連情報をWebブラウザを用いて 搭乗者に示す仕組みになっている。 そのとき、その対象物が画面内に映っていたときには、どの対象物なのか を示すために図のようにオーバーレイして表示 されている関連情報の部分の背景色が変化する。

図4.4: 対象選択時の関連情報提示

対象が映像ウィンドウ内に現れていない場合、その対象物がどれなのか知りたい場面も考えられるので、 表示された関連情報の一覧の中の要素をダブルクリックした時に 以下の動作が行われ、対象物の位置が分かるようになっている。

• カメラ雲台を回転し、対象がカメラの映像の中心に来るように調整
• ATから赤外線信号を送信し、対象上の赤外線タグの可視光LEDを光らせる
• カメラを2倍のズームにして対象を表示
• 詳細な関連情報があれば、それを搭乗者に示すためにWebブラウザをひらく

その時、画面は図のように表示される。 カメラのズームがそのまま変わらないのでは不便なため、 ウィンドウ内の任意の場所をクリックすることでズームを解除できるようになっている。

図4.5: ズーム時の対象物の提示

この図の例では、正しく対象が画面内に収まったが、ズームの倍率が 固定となっているため場合によっては対象物が画面からはみ出してしまう ことがありうる。 それを避けるためには、対象の大きさと対象までの距離がわかっている必要がある。

現時点では、認識された対象物をすべて画面脇に表示し、対象物が画面内に映っていたときには その対象物に対する関連情報はすべて表示する。 しかし、それでは周囲に多くの対象物が存在する場合には画面が関連情報であふれるため、 カメラ映像が見えなくなるという問題が起こる可能性がある。 その問題に対応するために、情報提示に優先順位を考え、遠くにあると認識された 対象は優先順位を低くし、近くにあると認識されたものは優先度を高くすることで、 優先順位が高いものから順に画面にあふれない程度表示するという方法が考えられる。 これは、画面脇に表示される認識された対象物のリストに対しても当てはまり、 近くにあるものを上に、遠くにあるものを下に表示する方法が考えられる。

さらに、情報提示の優先度をもとめる別の方法として、個人の過去の履歴を用いる方法が考えられる。 たとえば、毎日見て見慣れている対象物は優先度を低くし、 初めて見るものは優先度を高くする。あるいは、何度も詳細な情報を必要としたならば 高い優先度を与える、などのルールを用いるのである。

4.2 対象の遠隔操作

対象が電気製品であれば、遠隔で複雑な制御をすることが原理的には可能である。 ここでは、簡単な対象の制御を試みている。 これまで、対象に赤外線タグを貼り付けることを考えていたが、 電気製品であれば、機器に赤外線タグの機構をあらかじめ組み込んでおくことが可能であり、 電池が切れるという心配が無いため、このシステムとの親和性は高いと考えられる。

そこで、図に示すような赤外線タグ機能を内蔵した照明器具を試作し、 その照明器具をATの上から操作できるようにした。 ここでは、冷陰極管を用いて照明器具を製作している。

図4.6: 赤外線タグの機能を内蔵した照明器具

ATからも照明器具の状態を識別できたほうが都合がよいため、 状態ごとに別々のIDを用いた。つまり点灯しているときと、点灯していないときで 異なるIDを送信するようになっている。 こうすることで、部屋に入ったときに消えていた照明器具が点灯し、 部屋を出るときに照明が消えるなどの操作を自然に実現することができると考えられる。

なお、先に述べた情報提示アプリケーションを拡張して、 画面上で照明の点灯や消灯ができ、図のように 現在の状態を表示できるようにした。

図4.7: 照明器具の状態表示

ここでは、赤外線を用いて照明器具を操作を通信していたが、実際には無線通信を 使ってこの機能を実現することが好ましい。 なぜなら、赤外線で通信を行うよりは無線を用いて通信を行ったほうが 汎用性があり、通信速度もより高速である。 たとえば、将来的にATから少し離れたコーヒーメーカーを操作してコーヒーを沸かせ 出来上がったところで搭乗者を誘導するというような仕組みを 実現する場合を考えると、コーヒーメーカーのステータスの取得や操作などは 赤外線通信で実現するのには向いていない。 搭乗者がコーヒーメーカーから離れた場所で操作する場合も あるからである。

また、赤外線信号からIDを取得すれば対象物の識別は可能なため、 それ以降の処理では無線通信を用いることは可能である。無線通信を使って 対象物の操作やステータスを得るときの枠組みをどのようなものにするか という問題点があるが、 具体的には、先に述べたような、搭乗者に提示される Webブラウザから対象を操作するような方法と、 cogma (COoperative Gadgets for Mobile Appliances) のようなモバイルエージェントシステムをベースとしたミドルウェアを 用いる方法などが考えられる。

4.3 ATの誘導

本システムでは、対象の認識と同時に、ATから見た対象の方向が分かるため その対象の方向にATを移動させることも可能である。 これは、たとえば、ATからコーヒーメーカーを操作して動かし、 コーヒーが出来上がったころに、搭乗者にそれを伝え、 自動的にコーヒーメーカーの位置まで移動できるようにする場合など、 移動体としてのATの応用を考えるときには必要となる。

たとえば、コーヒーメーカーまで移動するとき、 大まかな現在位置は床に設置されているRFIDタグを 読み取ることで知ることができる。 しかし、それだけでは、どれがコーヒーメーカーなのか知らずに ATは移動するため、最終的に コーヒーメーカーから少しずれた位置に到着する可能性がある。

そこで、このシステムを使用してコーヒーメーカーを探しその位置に 正確に移動できるように補正するのである。 このほかに、人間が赤外線タグを持ち、それを持ちながら歩くことで 無人のATを誘導することなどが考えられる。 また、複数台のATを連携して動かす実験が行われているので、 赤外線タグによって複数台のATを一列に並べて誘導することなども できるようになるであろう。

本システムが対象を認識できるということは対象が発する赤外線が ATまで到達するということであるから、 その場合、ATから対象までの間には大きな障害物は存在しないと考えることができる。 そのため基本的にはATを対象物の方向に向け、そして対象物に対して直線的に動けば良い。 このとき、その経路に障害物があった場合には、 ATに接続された超音波センサーや、バンパーへの接触などによって 認識されるため停止すれば問題は無いと考えられる。

ただし、この制御を行うためには対象物までの正しい距離が 分かっていることが必要である。 しかし、カメラに映る赤外線LEDの大きさだけでは 対象物までの距離が不正確にしか分からないためその方法を 考える必要がある。

4.4 知識の構築と利用

現時点ではこのシステムは、ネットワークを介して情報を検索するが、 自ら新しい情報の生成は行わない。 しかし、 GPSやRFIDタグなどを用いてATが自らの位置を知っていることを前提とすると、 さまざまな場所を移動し、同時に対象物を認識するこのシステムは、 対象物とその位置に関する対応付けを知らない間に構築していると 考えることもできる。

さらに、複数のAT間でその情報を共有すれば情報は飛躍的に増え、 対象物の物理的な検索にも応用ができるようになるはずである(図)。

図4.8: 実世界対象と位置の対応付けと検索

ただし、対象物の位置が変わりうることも考えられるため、 関連情報として移動の頻度などをあらかじめ与えておくことで 対応することが可能である。また、認識されてから間もないものは その場所にとどまっている可能性が高いので、認識されてからの 時間を見て存在する場所の確からしさを提示することも考えられる

対象物を探すだけではなく、対象物に対する関連情報を強化する枠組みを構築する方向にも 応用を考えることが可能である。 たとえば、掲示板やアノテーションのような仕組みを用いることで搭乗者が 少しずつ対象に関する情報を補足していくのである。 ただし、乗り物に乗りながらその作業を行う必要があるので、たとえば音声入力などを用いて、 簡潔で、なおかつ短時間でその作業が行われる必要があると考えられる。 そういう意味で、このようなシステムの実現には、ユーザー入力に関するさらなる考察が必要になるであろう。

これまでは、システム全体としての知識の構築について考察を行ったが、 個人のレベルでの経験の記録とその応用を考えることもできる。 たとえば、この章のはじめに述べた対象物の関連情報を提示する アプリケーションでは、 利用者のカメラの操作や、クリックの操作などで、搭乗者が どの対象物に対して興味を持ったかが推察される。 このような搭乗者の行動を記録しておくことによって、 対象物の検索を行うなどの際には、過去に興味を持ったものが 上位にくるようにするなどの応用が考えられる。 また、移動中にも対象物の認識をすることで、 利用者がよく見ているであろう対象を推察することができる。 たとえば、搭乗者のオフィスの中にコーヒーメーカーがあれば、 ATはそのコーヒーメーカーを何度も認識するはずである。そして、 そのコーヒーメーカーは毎日見るため強く印象に残っているはずである。 この場合も、搭乗者がコーヒーメーカーを検索する際には、 オフィス内のコーヒーメーカーを先に提示するなどの工夫が 可能となる。

さらに、コーヒーメーカーの使用頻度が高くなると、コーヒーメーカーの前を 通るときにATが搭乗者に注意を促すなど、搭乗者側からではなく、環境側から 自動的に、有用と思われる働きかけを行うなどの応用が可能となる。

5.1 センサー携帯型の対象物認識手法

5.2 センサー埋め込み型の対象物認識手法

5.3 関連研究との比較

これまでに挙げた関連研究などと本システムを比較する。

ここでは、6つの点でシステムの比較を行った。その結果を、表に示す。 比較項目は以下に挙げるものである。

• 手法: その対象物の認識手法が用いている、手法を挙げている。
• 対象識別能力: 対象物や人間を区別することができるかを比べている。 EasyLivingでは個々の人が誰であるかわからないので、この能力は 無いと判断した。
• 認識主体: 対象物あるいは人間の位置を認識する場合、 ユーザーが自ら周囲の対象物を認識するのか、環境側に 埋め込まれたセンサーなどで全体を一元的に認識する方法かを 分別している。
• 精度、粒度: システムごとの対象物認識の精度や、目的としている 対象の粒度について比較を行っている。
• 機動性: システムを利用したアプリケーションを利用する際の 利用者の動きやすさを比べている。たとえば、 WalkNaviは重い機材を背負う必要があるため△である。
• コスト: 設置する際に必要とされる、導入コストを比較している。 環境側にセンサを設置する必要の無いATやUbiquitous Talker は◎とした、また、 環境側にセンサーを設置する必要がある、Active BadgeやALTAIR,BATなどは 導入に必要なセンサーの量などに応じて○または△の評価をしている。

表から明らかなように、本研究で提案しているAT上の対象物認識システムは 他の手法と比べても優位であることが分かる。

このほかに、 この表から分かることは、環境側にセンサーを埋め込む方式ではシステム側で一元的に 読み取る方式が多いという点である。これは、読み取る対象物と同じ場所にある タグが赤外線や超音波でIDを出す仕組みになっているためである。 このような仕組みは、対象物の位置が常にシステムに読み取られることになるため 物理的な検索には適しているが、人間の位置を把握ためのシステム(ロケーションシステム) としてはプライバシーの問題を意識する必要がある。

しかし、ATでも用いている手法であるが、逆にRFIDタグのように物理的環境に固定されている対象がIDを 持つ場合もある。この場合には対象物の位置をユーザー側で認識することになるため 人間の位置の把握が可能であると同時にプライバシーの管理にも適していると考えられる。 RFIDタグを用いるこのような手法で先行する研究としてはNaviGetaなどがある。

6.1 まとめ

本研究では、乗り物に情報機器を搭載し、人間がそれに乗り込むというMountable Computing (搭乗型コンピューティング)という 発想のもと、情報世界と物理世界の融合を実現するプラットフォームとして 開発を行った知的移動体AT上に、赤外線信号を送受信するタグがつけられた実世界対象の 対象物を認識し、その方向を検出する仕組みを設計・実装した。

また、その仕組みを用いたアプリケーションとして、 対象に関連する情報をカメラ映像内に重ねて搭乗者に提示する 拡張現実感システムを構築した。 従来、拡張現実感を実現するシステムでは重い機材を持ち歩くことなどが 求められたが、移動体上に機材を搭載することでそのような不便さを感じさせない システムを構築することができた。 また、移動体上にシステムを構築したことによって初めて可能になる、 この仕組みをベースにした、さまざまな新しいアプリケーションについて 考察を行った。

6.2 今後の課題

今後、改良すべき点などを挙げる。