屋内3次元地図の自動生成とWebサービス化による実世界情報の高度利用
概要
多くのユーザーが利用する施設にとって、実際に施設を利用したユーザーが持つ情報は非常に有益な情報であり、その情報を集積し、共有する事はユーザーの施設内での活動を促進させるために非常に有益である。そこで、小型無人移動体を用いて自動生成した3次元地図をWeb上で利用可能にし、ユーザーが地図にアノテーションを施すことで、実世界の情報を高度に利用する仕組みを開発した。例えば、アノテーションを含む3次元地図と小型無人移動体を用いて位置情報に基づく高度なナビゲーションシステムを実現した。さらに、地図の利用履歴をライフログ化しデータを蓄積し続けることで、日常的な人の流動などの人間の社会活動を精密に再現し、詳細に分析することが可能となる。
1 はじめに
立体的な地図は、平面的な地図よりも現実に近い形で実世界を表現する事が可能であり、地図と実世界の隔たりを軽減する事ができる。特に、複雑で大きな建物では、フロアプランの様な2次元表示よりも、その複雑さを直感的に理解しやすい3次元表示による可視化が適していると思われる。屋内の地図は現在位置や目的地の把握だけでなく、その施設の宣伝などにも利用される。そのため、頻繁に地図情報の編集や追加を行う必要があり、内装を変更した場合には地図そのものを更新する必要がある。そのため屋内の地図はできるだけ簡単に編集および更新が可能である必要がある。また、多くのユーザーが利用する施設にとって、実際に施設を利用したユーザーの感想や移動を含む様々な行動のノウハウは貴重なものであり、その情報を共有する事は、ユーザーの施設内での活動を促進するために非常に有益である。そこで本研究では、屋内の3次元地図の生成を自動化する手法、および生成された3次元地図をWeb上で利用可能にし、複数ユーザーによるアノテーション(情報付与)を可能にする手法を提案する。
3次元地図の生成手法は、レーザーレンジセンサーを用いたもの[1]や、カメラ画像を用いるもの[2]が提案されているが、前者は平面をセンシングするためセンサーデータの重ね合わせができず、3次元形状の復元が難しい。一方、後者は暗い場所や画像特徴点の少ない環境では正確に3次元地図を生成する事ができないという問題がある。そこで本研究では、RGB-Dカメラを自律走行可能な小型無人移動体(SUV: Small Unmanned Vehicle)に搭載し、SUVが環境内を走り回ることでデータの収集を行い、RGB-Dカメラのセンサーデータをもとに3次元地図の生成を行った。
2 小型無人移動体 (SUV)
SUVは、環境内を探査することで様々なデータを蓄積し、そのデータを利用することで高度なサービスを提供する事を目的とした、無人で自律走行可能な小型のロボットである。SUVの外観は図1のようになっており、対向二輪型の移動機構をベースとして、レーザーレンジセンサーとRGB-Dカメラを搭載している。SUVは一度ある環境内を走行す ると、レーザーレンジセンサーを用いてSUVが環境を認識するために必要な環境地図(2次元のセンサー地図)を生成することができる。生成された環境地図を利用して、SUVは自己位置推定や障害物の認識を行うことができる。リアルタイムに自身の位置と向きを認識することができるため、任意の経路に沿った 柔軟な自律走行が可能である。
SUVのもう一つのセンサーであるRGB-DカメラはRGB カメラに加えて、センサーから物体までの距離が計測できる深度センサーを持ち、平面上の障害物までの距離が計測できるレーザーレンジセンサーと異なり、物体 の3次元形状の認識を行うことが可能である。SUVはRGB-DカメラとしてKinect*1を搭載している。
*1 Kinect は米国Microsoft Corporation の米国およびその他の国における登録商標.
3 3次元地図生成
RGB-Dカメラを用いた3次元地図生成手法として、3次元の点群と画像特徴点の重ね合わせを行うRGBD‐ICP[3]という手法が提案されている。この手法ではRGB-Dカメラのデータのみで重ね合わせを行うため、生成した3次元地図を利用する場合、実世界の位置と3次元地図座標のキャリブレーションを行う必要がある。そこで、SUVが事前に作成した環境地図を3次元地図生成時に利用することで、環境地図と対応付けられた3次元地図を生成する。
本研究における3次元地図生成は以下の4ステップから成る。
- データ収集経路の生成
- データの収集
- センサーデータの重ね合わせ
- 3次元地図のポリゴン化
(1)はSUVを用いてデータを自動収集するため、SUVがデータ収集時に走行する経路を環境地図から自動的に生成する機能である。(2)は(1)で生成した経路に沿って実際にSUVを走行させ、RGB-Dカメラのデータとその時の位置情報を記録する。(3)は収集したデータの重ね合わせを行うことで3次元地図を生成する。重ね合わせにはフレーム間の3次元地図の点群と画像特徴点のそれぞれの対応点と、環境地図との対応点を利用することで、環境地図と対応付けられた3次元地図を生成する。センサーデータの重ね合わせによって生成した3次元地図は膨大な数の点の集合であり、データ量が大きく、扱うのが非常に困難である。そこで、(4)では建物の内装を構成する主な要素である平面を抽出しポリゴン化することで3次元地図を単純化する。実際に生成された3次元地図を図2に示す。
4 3次元地図ブラウザとその応用
生成した3次元地図をWeb上で利用可能にするため、3次元地図ブラウザを開発した。生成された3次元地図データはサーバーで管理され、3次元地図ブラウザを通じて閲覧する事ができる。3次元地図ブラウザはWebブラウザおよびiOSデバイスで利用可能である。ユーザーは3次元地図ブラウザを用いて3次元地図にアノテーションを付与し、共有する事ができる。アノテーションの内容は現在はテキストのみであるが、今後イメージやビデオにも対応する予定である。アノテーションが付与されると地図上にラベルが表示され、クリックやタップによって詳細な内容をポップアップ表示によって閲覧できる。アノテーションを閲覧する様子を図3に示す。
地図を利用する上で、現在位置は3次元地図上の自分の周囲の環境を把握するために非常に重要な情報である。そこで、現在位置を知る手段として2種類の方法を提供する。一つは、前述のSUVを案内ロボットとして用いるやり方である。SUVは環境地図を用いて自己位置推定ができるため、3次元地図ブラウザがSUVと通信し、位置情報を取得することで現在位置を把握する。もう一つは、実環境に位置情報と関連付けられたマーカーを設置して、スマートフォン等のカメラでマーカーを撮影し、現在位置を把握するやり方である。現在位置を把握する事は、単にユーザーに現在位置を認識させるだけでなく、よりよいサービスを提供する事にもつながる。例えば、現在位置にアノテーションを作成したり、周辺にあるアノテーションを推薦することが可能となる。さらに、ユーザーの行動履歴をライフログ化する事ができ、集団的な行動の傾向を調べることもできるだろう。
5 おわりに
本研究では、自律走行可能な小型無人移動体(SUV)にRGB-Dカメラを搭載し、屋内の3次元地図を自動的に生成する仕組みを実現した。さらに、生成した3次元地図をWeb上で利用可能にし、地図上の任意の場所へアノテーションの付与ができるようにした。これにより、実世界情報を集積し利用する事が可能になる。今後の課題としては、平面の抽出だけでなく、より複雑なオブジェクトのポリゴン化を行う必要がある。また、本システムを実際に運用し、どのような情報が収集できるか調査する必要がある。