キネクトによるエージェントの操作(v2.0系)

Up:Tutorial?　　　Previous：眼球運動?　 Next: HMD+KINECT　　　

キネクトによるエージェントの操作
Old Version

キネクトによるエージェントの操作 †

キネクトを使ってSIGVerseの人間エージェントの体の動きを操作する方法を紹介します。

※すでにOpenNIがクライアントpcにインストールされていて、サンプルコードNiUserTrackerが動作可能であることを前提条件とします。

↑

OpenNI動作確認バージョン †

OpenNI Stable Build for Windows x86 (32-bit) v1.5.2.23 Development Edition
- ダウンロードはこちら。
PrimeSene NITE Stable Build for Windows x86 (32-bit) v1.5.2.21 Development
- 上と同じページのOpenNI Compliant Middleware Binariesを選択してダウンロード。
PrimeSense Sensor Module for OpenNI Version 5.1.0.25　
- ダウンロードはこちら。

↑

クライアント側の準備 †

キネクトにより骨格を抽出するサンプルプログラムを利用し、関節の回転データ(クオータニオン）を計算し、SIGVerseサーバにデータを送信します。

↑

ダウンロード †

KINECTサービス?からSIGNiUserTracker_<version>.zipをダウンロードします。

↑

インストール †

ダウンロードしたzipファイルを展開しSIGNiUserTracker.sigをOpenNIサンプルの実行ファイルがあるフォルダに置きます。デフォルトでは以下のフォルダです。

C:\Program Files (x86)\OpenNI\Samples\Bin\Release (※Windows7 64bitの場合）

この状態でクライアントpcにキネクトを接続しておけば準備完了です。

↑

サーバ側の準備 †

コントローラで関節データを受信し、関節を回転させます。

↑

コントローラ †

まずコントローラを作成します。

$ cd ~/sigverse-<version>/bin/NewWorld
$ emacs kinectController.cpp

kinectController.cpp

#include <string>
#include "Controller.h"
#include "Logger.h"
#include "ControllerEvent.h"

#define PI 3.141592
#define DEG2RAD(DEG) ( (PI) * (DEG) / 180.0 )

using namespace std;

class AgentController : public Controller
{
public:
  double onAction(ActionEvent &evt);
  void onRecvMsg(RecvMsgEvent &evt);
  void onInit(InitEvent &evt);

private:
  //初期位置                                                                    
  double m_posx, m_posy, m_posz;
  double m_yrot;
  double m_range;
  //データ数（関節数）最大値                                                    
  int m_maxsize;

BaseService *m_kinect;
};

void AgentController::onInit(InitEvent &evt)
{

m_kinect = connectToService("SIGKINECT",9005);

SimObj *my = getObj(myname());

// 初期位置取得                                                               
  m_posx = my->x();
  m_posy = my->y();
  m_posz = my->z();

// 初期姿勢（回転）取得                                                       
  double qw = my->qw();
  double qy = my->qy();
  m_yrot = acos(fabs(qw))*2;
  if(qw*qy > 0)
    m_yrot = -1*m_yrot;

m_range = 0.1;
  m_maxsize = 15;
}

double AgentController::onAction(ActionEvent &evt)
{
  return 10.0;
}

void AgentController::onRecvMsg(RecvMsgEvent &evt)
{

std::string sender = evt.getSender();

//自分自身の取得                                                              
  SimObj *my = getObj(myname());

//メッセージ取得                                                              
  char *all_msg = (char*)evt.getMsg();

char *msg = strtok(all_msg," ");
  if(strcmp(msg,"KINECT_DATA") == 0)
    {
      int i = 0;
      while(true)
        {
          i++;
          if(i == m_maxsize+1) break;
          char *type = strtok(NULL,":");

//体の位置                                                            
          if(strcmp(type,"POSITION") == 0)
            {
              double x = atof(strtok(NULL,","));
              double y = atof(strtok(NULL,","));
              double z = atof(strtok(NULL," "));
              //キネクト座標からSIGVerse座標への変換                            
              double gx = cos(m_yrot)*x - sin(m_yrot)*z;
              double gz = sin(m_yrot)*x + cos(m_yrot)*z;
              my->setPosition(m_posx+gx,m_posy+y,m_posz+gz);
              continue;
            }

//体全体の回転                                                        
          else if(strcmp(type,"WAIST") == 0)
            {
              double w = atof(strtok(NULL,","));
              double x = atof(strtok(NULL,","));
              double y = atof(strtok(NULL,","));
              double z = atof(strtok(NULL," "));
              my->setJointQuaternion("ROOT_JOINT0",w,x,y,z);
              continue;
            }

else if(strcmp(type,"END") == 0)  break;

//関節の回転                                                          
          else
            {
              double w = atof(strtok(NULL,","));
              double x = atof(strtok(NULL,","));
              double y = atof(strtok(NULL,","));
              double z = atof(strtok(NULL," "));
              double angle = acos(w)*2;
              double tmp = sin(angle/2);
              double vx = x/tmp;
              double vy = y/tmp;
              double vz = z/tmp;
              double len = sqrt(vx*vx+vy*vy+vz*vz);
              if(len < (1 - m_range) || (1 + m_range) < len) continue;
              my->setJointQuaternion(type,w,x,y,z);
              continue;
            }
        }
    }
}

extern "C"  Controller * createController ()
{
  return new AgentController;
}

このコントローラは人間エージェントを操作するためのものです。

このサンプルではサービスプロバイダ用にポート番号9005番を使用します。 SSH接続によりサーバに接続している場合は追加でポートフォワーディングの設定が必要となります。詳しくはサービスプロバイダの使用方法を参考にしてください。

次にMakefileを修正してコンパイルします。 (※動作手順省略）

↑

他のモデルのコントローラサンプル †

※準備中

↑

世界ファイルの作成 †

次に世界ファイルを作成します。

$ cd ..
$ emacs xml/kinectWorld.xml

kinectWorld.xml

人間のみが登場するシンプルな世界ファイルです。このサンプルではキネクトで操作できるエージェントは人間エージェントのみです。

↑

実行 †

それでは実行してみましょう。

↑

SIGVerse起動 †

まずシグバースサーバを起動します。

$ ./sigserver.sh -p 9001 -w xml/kinectWorld.xml

次にSIGViewerで起動したサーバに接続します。接続すると人間が立っているのが見えます。

↑

サービスの登録 †

SIGViewerにサービスを登録します。左上のメニューのServiceのAddを選択します。

すると以下のようなウィンドウが立ち上がるのでAddボタンを押して先ほどダウンロードしたSIGNiUserTracker.sigを読み込みます。

Service listにSIGNiUserTracker.sigが登録されたらOKボタンを押してウィンドウを閉じます。

次にメニューのService→Startをクリックし、先ほど登録したSIGNiUserTracker.sigをクリックします。

このとき必ず"START"ボタンを押す前にサービスを起動してください。

キネクトの深度画像ウィンドウが立ち上がり、サーバ側で

[SYS]  Service: "SIGKINECT" is available

と表示されればキネクトサービスの立ち上げに成功です。それでは"START"ボタンを押してシミュレーションを開始してみましょう。

キネクトの前で体を動かすと骨格が検出され、人間エージェントを操作することができるようになります。

↑

ソースコードのコンパイル †

次にクライアント側のソースコードをコンパイルする方法を説明します。コンパイルする環境はVC++2008を前提としています。

↑

ソースコード取得 †

KINECTサービス?からソースコードを取得します。

展開したフォルダの中に入っているSIGNiUserTrackerフォルダをOpenNIのサンプルコードがおかれた以下のフォルダに移動します。

C:\Program Files (x86)\OpenNI\Samples

↑

コンパイル †

次にSIGNiUserTrackerフォルダの中のソリューションファイルをダブルクリックして起動します。(※このとき必ず管理者権限で実行します）

※バージョン1.0.0の場合はコンパイルにはboostライブラリのインストールが必要です。 boostのインストール方法とVC++の設定方法は省略します。

VC++が起動したらソリューションエクスプローラの中のソリューション名を右クリックしてビルドを選択します。ビルドが成功すると以下に実行ファイルSIGNiUserTracker.exeが作成されます。

C:\Program Files (x86)\OpenNI\Samples\Bin\Release

拡張子を.exeから.sigに変えることによりSIGViewerに登録可能となります。

↑

Old Version †

キネクトによるエージェントの操作(v120330, v1.4.8)

Up:Tutorial?　　　Previous：眼球運動?　　Next: HMD+KINECT　

キネクトによるエージェントの操作(v2.0系)

recent(20)