Diff of キネクトによるエージェントの操作(v120330, v1.4.8)

http://www.sigverse.org/wiki/jp/?%E3%82%AD%E3%83%8D%E3%82%AF%E3%83%88%E3%81%AB%E3%82%88%E3%82%8B%E3%82%A8%E3%83%BC%E3%82%B8%E3%82%A7%E3%83%B3%E3%83%88%E3%81%AE%E6%93%8D%E4%BD%9C%28v120330%2C%20v1.4.8%29

[ Front page ]   [ Edit | Diff | Backup | Upload | Reload ]   [ New | List of pages | Search | Recent changes | Help ]

• The added line is THIS COLOR.
• The deleted line is THIS COLOR.
• Go to キネクトによるエージェントの操作(v120330, v1.4.8).
• Deleting diff of キネクトによるエージェントの操作(v120330, v1.4.8)

---

Up:[[Tutorial]]　　 　Previous：[[眼球運動]]　　　　
#contents
*キネクトによるエージェントの操作 [#g847337f]
キネクトを使ってSIGVerseの人間エージェントの体の動きを操作する方法を紹介します。

※すでにOpenNIがクライアントpcにインストールされていて、サンプルコードNiUserTrackerが動作可能であることを前提条件とします。
**OpenNI動作確認バージョン [#w7344684]
-OpenNI Stable Build for Windows x86 (32-bit) v1.5.2.23 Development Edition
--ダウンロードは[[こちら>http://75.98.78.94/Downloads/OpenNIModules.aspx]]。
-PrimeSene NITE Stable Build for Windows x86 (32-bit) v1.5.2.21 Development
--上と同じページのOpenNI Compliant Middleware Binariesを選択してダウンロード。
-PrimeSense Sensor Module for OpenNI Version 5.1.0.25　
--ダウンロードは[[こちら>https://github.com/avin2/SensorKinect]]。
**クライアント側の準備 [#g906fc36]
キネクトにより骨格を抽出するサンプルプログラムを利用し、関節の回転データ(クオータニオン）を計算し、SIGVerseサーバにデータを送信します。
***ダウンロード [#a9563850]

まず、以下の実行ファイルをダウロードします。

#ref(SIGNiUserTracker.exe)
　　　　(※2012/2/8更新 人間モデルMan-nii-v2.xmlに対応）

ソースコードは[[こちら>#j4c23122]]


***インストール [#m9903252]
ダウンロードした実行ファイルをOpenNIサンプルの実行ファイルがあるフォルダに移動します。デフォルトでは以下のフォルダです。

C:\Program Files (x86)\OpenNI\Samples\Bin\Release
(※Windows7 64bitの場合）

この状態でクライアントpcにキネクトを接続しておけば準備完了です。
**サーバ側の準備 [#y2f178b2]
サーバ側で関節データを受信し、コントローラで関節を回転させます。
***コントローラ [#w4aca122]
まずコントローラを作成します。

 $ cd ~/sigverse-<version>/bin/NewWorld
 $ emacs kinectController.cpp

kinectController.cpp

#highlight(cpp){{
#include <string>
#include "Controller.h"
#include "Logger.h"
#include "ControllerEvent.h"

#define PI 3.141592
#define DEG2RAD(DEG) ( (PI) * (DEG) / 180.0 )

using namespace std;

class AgentController : public Controller
{
public:
  double onAction(ActionEvent &evt);
  void onRecvMessage(RecvMessageEvent &evt);
  void onInit(InitEvent &evt);


private:
  //初期位置
  double m_posx;
  double m_posy;
  double m_posz;
  double m_range;
  //データ数（関節数）最大値
  int m_maxsize;
};

void AgentController::onInit(InitEvent &evt)
{
  SimObj *my = getObj(myname());
  m_posx = my->x();
  m_posy = my->y();
  m_posz = my->z();
  m_range = 0.1;
  m_maxsize = 15;
}

double AgentController::onAction(ActionEvent &evt)
{
  return 10.0;
}

void AgentController::onRecvMessage(RecvMessageEvent &evt)
{
  //自分自身の取得
  SimObj *my = getObj(myname());

  //メッセージ取得
  char *all_msg = (char*)evt.getString(0);

  char *msg = strtok(all_msg," ");
  if(strcmp(msg,"KINECT_DATA") == 0)
    {
      int i = 0;
      while(true)
        {
          i++;
          if(i == m_maxsize+1) break;
          char *type = strtok(NULL,":");

          //体の位置
          if(strcmp(type,"POSITION") == 0)
            {
              double x = atof(strtok(NULL,","));
              double y = atof(strtok(NULL,","));
              double z = atof(strtok(NULL," "));
              my->setPosition(m_posx+x,m_posy+y,m_posz+z);
              continue;
            }

          //体全体の回転
          else if(strcmp(type,"WAIST") == 0)
            {
              double w = atof(strtok(NULL,","));
              double x = atof(strtok(NULL,","));
              double y = atof(strtok(NULL,","));
              double z = atof(strtok(NULL," "));
              my->setAxisAndAngle(x,y,z,acos(w)*2);
              continue;
            }

          else if(strcmp(type,"END") == 0)  break;

          //関節の回転
          else
            {
              double w = atof(strtok(NULL,","));
              double x = atof(strtok(NULL,","));
              double y = atof(strtok(NULL,","));
              double z = atof(strtok(NULL," "));
              double angle = acos(w)*2;
              double tmp = sin(angle/2);
              double vx = x/tmp;
              double vy = y/tmp;
              double vz = z/tmp;
              double len = sqrt(vx*vx+vy*vy+vz*vz);
              if(len < (1 - m_range) || (1 + m_range) < len) continue;
              my->setJointQuaternion(type,w,x,y,z);
              continue;
            }
        }
    }
}

extern "C"  Controller * createController ()
{
  return new AgentController;
}
}}
このコントローラは人間エージェントを操作するためのものです。

次にMakefileを修正してコンパイルします。
(※動作手順省略）

***他のモデルのコントローラサンプル [#ra789b97]
他のモデルを使う場合はこちらを参照してください。
-[[Robot-nii.xml>キネクトによるエージェントの操作(ロボット)]]
-[[Man-nii-v2.xml>キネクトによるエージェントの操作(Man-nii-v2.xml)]]（エージェントの初期姿勢がz軸方向を向いていない場合に対応)
次にMakefileを修正してコンパイルします。
(※動作手順省略）

***世界ファイルの作成 [#wd8a8474]
次に世界ファイルを作成します。
 $ cd ..
 $ emacs xml/kinectWorld.xml

kinectWorld.xml

#highlight(xml){{
<?xml version="1.0" encoding="utf8"?>
 <world name="myworld2">

 <!--重力の設定-->
   <gravity x="0.0" y="-9.8" z="0.0"/>

 <!--エージェントMan-niiの設定-->
   <instanciate class="Man-nii.xml">

 <!--エージェント名-->
         <set-attr-value name="name" value="kinect_man"/>

 <!--C++言語の指定-->
         <set-attr-value name="language" value="c++"/>

 <!--オブジェクトファイルkinectController.soの指定-->
         <set-attr-value name="implementation"
 value="./NewWorld/kinectController.so"/>

 <!--動力学演算をfalseに設定-->
         <set-attr-value name="dynamics" value="false"/>

 <!--エージェントの位置(x,y,z)-->
        <set-attr-value name="x" value="0.0"/>
        <set-attr-value name="y" value="60.0"/>
        <set-attr-value name="z" value="0.0"/>

  </instanciate>
</world>
}}
人間のみが登場するシンプルな世界ファイルです。このサンプルではキネクトで操作できるエージェントは人間エージェントのみです。
**実行 [#scf358ac]
それでは実行してみましょう。
***SIGVerse起動 [#rebb6851]
まずシグバースサーバを起動します。

 $ ./sigserver.sh -p 9001 -w xml/kinectWorld.xml

次にSIGViewerで起動したサーバに接続します。接続すると人間が立っているのが見えます。"Send"ボタンを押しシミュレーションを開始します。

***関節データの送信 [#x7693c87]
次に先ほどダウンロードしてOpneNIサンプルの実行ファイルフォルダの中に入れたSIGNiUserTrackerをダブルクリックして実行します。
すると以下のようなコンソール画面が立ち上がります。

#ref(SIGNi_1.JPG)

接続するSIGVerseサーバのホスト名、ポート番号、操作するエージェント名の順に入力していきます。

#ref(SIGNi_2.JPG)

深度画像が表示されたらキネクトの前で以下のようなポーズをとると骨格が検出され、人間エージェントを操作することができるようになります。

#ref(./SIGNi_4.png,50%)

一つのキネクトに対して操作できるエージェントは1エージェントのみです。
複数人数の骨格を抽出した場合2人目以降は無視されます。
**ソースコードのコンパイル [#rc3b6fdb]
次にクライアント側のソースコードをコンパイルする方法を説明します。コンパイルする環境はVC++2008を前提としています。

***ソースコード取得 [#j4c23122]

以下からソースコードを取得します。
#ref(SIGNiUserTracker.zip)
(※2012/2/8更新 人間モデルMan-nii-v2.xmlに対応）

展開したフォルダの中に入っているSIGNiUserTrackerフォルダをOpenNIのサンプルコードがおかれた以下のフォルダに移動します。

C:\Program Files (x86)\OpenNI\Samples
***コンパイル [#j1513ff2]
次にSIGNiUserTrackerフォルダの中のソリューションファイルをダブルクリックして起動します。(※このとき必ず管理者権限で実行します）

VC++が起動したらソリューションエクスプローラの中のソリューション名を右クリックしてビルドを選択します。ビルドが成功すると以下に実行ファイルSIGNiUserTracker.exeが作成されます。

C:\Program Files (x86)\OpenNI\Samples\Bin\Debug

Up:[[Tutorial]]　　 　Previous：[[眼球運動]]　　

#highlight(end)

       

Site admin: inamura

PukiWiki 1.5.0 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.5.9-1ubuntu4.29. HTML convert time: 0.001 sec.