指さし対象認識による個人用知的移動体の直感的な操作
概要
我々の研究室では個人用の移動機械の知能化に着目し、個人用知的移動体AT(Attentive Townvehicle)と呼ばれる乗り物の研究開発を行っている。ATは自動的に生成された周囲の環境の地図と自身のセンサー情報を利用して自己位置を推定し、自動走行を行う機能を持つ。
一方、近年のジェスチャ認識デバイスの発達に伴い、ジェスチャ認識技術が急速に発達してきている。本研究では日常的に用いられる指さし動作に着目し、搭乗者の直感に合ったATの操縦インタフェースとして、ATの搭乗者が指さしている対象を認識することで、自動走行の目的地を決定する仕組みを実現した。
1 はじめに
近年のジェスチャ認識デバイスの発達に伴い、ジェスチャ認識技術が急速に発達してきている。非接触型ユーザーインタフェースとしてのジェスチャは、ボタン等の使用より直感的であり、ジェスチャを用いた機械の操作に関する研究[1][2][3]も数多く行われている。一方、 我々の研究室では、個人用の移動機械の知能化に着目し、個人用知的移動体AT (Attentive Townvehicle)と呼ばれる乗り物の研究開発[4]を行っている。ATは自動的に生成された周囲の地図と自身のセンサー情報を利用して自己位置を推定し、自動走行を行う機能を持つ。本研究では、日常的に用いられる指さし動作とジェスチャに着目し、搭乗者の直感に合ったATの操縦インタフェースとして、搭乗者が指さしている対象をATが認識することで、自動走行の目的地を決定し、搭乗者のジェスチャを認識することでATを直感的に操縦する仕組みを実現した。
2 個人用知的移動体AT
ATは、搭乗者である人間やAT自身を取り巻く環境に適応して移動する個人用の乗り物である。ATにはレーザレンジセンサーが搭載されており、ATの周囲の障害物までの距離を取得することができる。あらかじめ自動生成された周囲の地図とレーザレンジセンサーから取得した値を利用して、現在位置から任意の場所まで自動走行を行う機能が実現されている。
本研究では、図[fig1]に示すKinectと呼ばれる深度センサーデバイスを用いることで、搭乗者の指さし動作とジェスチャを用いたATの操縦を実現した。Kinectを用いて、ATは搭乗者の骨格情報を取得できる。指さし動作とジェスチャでATの操縦を行うことにより、搭乗者はより直感に合ったATの操縦をすることが可能となる。
3 個人用知的移動体の直感的な操作
Kinectから取得した搭乗者の骨格情報を[fig2]に示す。
ATはこの情報を基に搭乗者の指さし動作とジェスチャを認識する。これにより搭乗者は直感に合った操縦が可能になる。また、搭乗者の手元にあるコンソールタブレットに認識結果を提示することで搭乗者はシステムの状態が容易に確認できる。
3.1 搭乗者の指さし対象の認識
Kinectから取得した搭乗者の骨格情報の内、手と肘と肩の関節の座標を用いることで搭乗者の指さし動作を認識する。これらの関節の座標がほぼ一直線上に並んでいる場合に搭乗者が指さしを行っていると認識する。また、あらかじめ作成された周囲の地図から自動走行の目的地となり得る場所や物体の座標を取得し、指さしが行われる対象を決定する。
搭乗者の各関節の座標をATの自己位置推定の結果を基に地図の座標系に変換し、搭乗者の手と肩の座標を結ぶ直線を搭乗者が指さしている方向とする。その方向と地図から得られた指さしの対象となる場所や物体の座標を用いることで搭乗者が何を指さしているのかを推定する。指さし動作の認識を行っている様子を[fig3]に示す。
このようにしてATは搭乗者の指さし動作を高い精度で認識し、搭乗者が指さした場所や物体に向かって自動走行を開始する。
3.2 ジェスチャによる操作
Kinectから取得した搭乗者の骨格情報を用いることで、搭乗者の動作を認識し、ジェスチャ認識を行う。搭乗者はジェスチャによってATを直感的に操縦することが可能となる。ただし、停止(緊急停止、自動走行の一時停止を含む)に関してのみ、安全のため手元にあるボタンで操作する。本研究では、搭乗者の手の動きに着目し、搭乗者が手を動かすことでATを操縦することが可能になる。
ジェスチャによって可能となるATの動作は以下の3つである。
・自動走行の開始
・障害物付近までゆっくり後退する
・その場回転
自動走行を開始するためのジェスチャはKinectに向かって手を振り下ろす動作、障害物付近までゆっくり後退するためのジェスチャはKinectに向かって突き出した手を手前に向かって引く動作、その場回転を行うためのジェスチャはKinectの前で手を水平に横切らせる動作とした。[fig4]にそれぞれのジェスチャの様子を示す。
これらのジェスチャを認識することにより、ATの直感的な操縦を実現している。
4 おわりに
本研究では、ATが自動走行の目的地を決定するために搭乗者の指さし動作を用いる仕組みと、ATの操縦インタフェースとして搭乗者のジェスチャを用いる仕組みを実現した。 これによって、搭乗者はより直感的にATを操縦することが可能となる。
今後の課題としては、指さし動作とジェスチャ認識の精度の向上と認識するまでの反応速度の改善が挙げられる。ジェスチャ動作も適宜新しい動作を追加していく必要があると思われる。また、指さし動作の認識に関しては、指さしが行われる対象を搭乗者が見える範囲の場所や物体に限定している。そのため、壁の向こう側などの遠く離れた場所を指さしても自動走行の目的地とならない。そこで、指さした先に特に目的地となる対象物が存在しなくても、指さした方向に向かって自動走行を開始するなどの対策を考える必要があると考えられる。