(HSR)クラウドとVRを使用したCleanupタスクの実行

Tutorial using ROS for ver.3

概要 †

人間とロボットが同じ仮想空間にログインし、人間がロボットに対して指差しでCleanup指示を出します。

人間側は、Windows＋VRデバイスを使用して仮想空間にログインします。
ロボット側は、Windows＋Ubuntu(ROS:Robot Operating System)を使用して仮想空間にログインします。

遠隔地の人間とロボット(ROS)がインターネット経由で繋がれ、同じ仮想空間でコミュニケーションを取ることが出来ます。

前提条件 †

共通の前提条件 †

人間とロボットの共通の前提条件としてネットワークを使用します。

クラウドにはPhoton Unity Networkingを使用しますが、インターネット接続時に以下のページに記載されているポート番号を使用します。
ポートが使用可能かどうかを事前に確認してください。
https://doc.photonengine.com/en-us/realtime/current/connection-and-authentication/tcp-and-udp-port-numbers

クラウドの代わりに、ローカルネットワークにPhoton Serverを立てて使用することも可能です。
Photon ServerはWindowsにのみ対応しています。
https://doc.photonengine.com/en-us/server/current/operations/requirements

※ウイルス対策ソフトが通信を遮ぎらないように注意してください。

人間(VR)側の前提条件 †

Windows環境 †

SIGVerseアセットを使用するための基本的な要件が必要です。

VRデバイス †

VRデバイスが動くシステム要件を満たす必要があります。
Oculus Quest 2 及び VIVE Cosmos にて動作確認済みです。
これら以外のVRデバイスの場合は、SteamVRバインディングを行う必要があるかもしれません。
https://valvesoftware.github.io/steamvr_unity_plugin/tutorials/SteamVR-Input.html#binding-actions

またSteamとSteamVRをPCにインストールする必要があります。
公式サイトからインストーラをダウンロードしてインストールしてください。

Oculusの場合はOculusソフトウェアもインストールする必要があります。またOculus Linkも必要です。
VIVEの場合はVIVEソフトウェアもインストールする必要があります。

ロボット(ROS)側の前提条件 †

• Windows環境とUbuntu環境
  詳細はこちらを参照。

環境構築 †

環境構築手順は、人間(VR)側とロボット(ROS)側で共通です。

クラウドを使用する場合は、4a.クラウド環境を参照してください。
ローカルサーバを使用する場合は、4b.ローカルサーバ環境を参照してください。

1. Photonアカウントの作成 †

まずPhotonのアカウントを作成する必要があります。
以下の手順で作成してください。

1. Photonの公式サイトにアクセスします。
2. Photonのアカウントを作成します。

2. Unityアセットのインポート †

必要なUnityアセットをインポートしてください。
インポートの詳細手順は以下のリンクを参照ください。
https://docs.unity3d.com/Manual/upm-ui-import.html

SteamVR Pluginのインポート †

1. 以下のページにアクセスします。
   https://assetstore.unity.com/packages/tools/integration/steamvr-plugin-32647
2. アセットをダウンロードし、インポートします。
   バージョン2.7.3で動作確認済みです。
3. [Edit]-[Project Settings...]をクリックします。
4. [XR Plug-in Management]-[Plug-in Providers]の[OpenVR Loader]にチェックを入れます。
   ※[Oculus]など別のものにチェックを入れた場合はそちらのチェックは外してください。
   ※[Initialize XR on Startup]にはチェックを入れないでください。

PUN 2 - FREE (Photon Unity Networking)のインポート †

1. 以下のページにアクセスします。
   https://assetstore.unity.com/packages/tools/network/pun-2-free-119922
2. アセットをダウンロードし、インポートします。
   バージョン2.40で動作確認済みです。
   但し、インポート時に以下のチェックは外します。他ライブラリと衝突するためです。
   • Photon/PhotonLibs/WebSocket/websocket-sharp.dll
   • Photon/PhotonUnityNetworking/Demos
   • SteamVR
     
3. [PUN Setup]ウィンドウでは、[Skip]してから[Close]してください。

3. SteamVRとPUNライブラリの使用 †

1. [SIGVerse]-[SIGVerse Settings]からSIGVerse設定画面を開きます。
2. [Define symbols Settings]の[Use SteamVR]と[Use PUN]にチェックを入れます。

4a. クラウド環境の構築 †

Photon Cloudのフリープランでは同時に20人まで接続可能です。詳細は次のページを参照してください。
https://www.photonengine.com/ja-JP/pun/pricing

クラウド環境構築手順は次の通りです。

1. Photonの公式サイトにサインインします。
2. アプリケーションIDを取得します。
   1. サインイン後のダッシュボードで、[新しくアプリを作成する]ボタンを押下します。
   2. [Photonの種別]を"Photon PUN"にし、アプリケーション名を設定します。（アプリケーション名は例えば"CleanupVR"など。）
   3. [作成する]ボタンを押下します。
   4. ダッシュボードのアプリ一覧にPUNのアプリが追加されていることを確認し、"アプリケーションID"をメモします。
      （IDは36桁でクリックすると全桁表示されます。）
      
3. PUNの設定を行います。
   1. UnityでSIGVerseプロジェクトを開きます。
   2. [Window]-[Photon Unity Networking]-[PUN Wizard]をクリックします。
   3. [Locate PhotonServerSettings]をクリックします。
   4. [Server/Cloud Settings]-[App Id PUN]の欄に前述の"アプリケーションID"を入力します。
      
4. Unityメニューの[Assets]-[Reimport All]をクリックします。
5. [Reimport]ボタンを押下してリビルドします。

4b. ローカルサーバ環境の構築 †

ローカルネットワークにPhoton Serverを立てて、クラウドの代わりにすることもできます。

1. Photonの公式サイトにサインインします。
2. Photon Serverをインストールします。
   1. Photon Serverのページにアクセスします。
   2. "Download SDK"の右のバージョン番号をクリックして、zipファイルをダウンロードします。
   3. ダウンロードしたファイルをインストールしたいディレクトリに展開します。
   4. 以下ページにアクセスし、"100 CCU"ライセンスのライセンスファイルをダウンロードします。
      https://dashboard.photonengine.com/selfhosted
   5. ダウンロードしたライセンスファイル([Mail Address].Photon-vX.free.100-ccu.license)をPhotonサーバフォルダの"\deploy\bin_Win64"フォルダにコピーします。
   6. 外部のマシンにサービスを提供する場合は、GameServer.xml.config のPublicIPAddressを設定してください。
      （ローカルマシン上でのみの利用の場合には以下の設定は行わないでください）
      \deploy\LoadBalancing\GameServer\bin\GameServer.xml.config のPublicIPAddressを設定してください。
      PublicIPAddressをブランクにするとIPアドレスは自動で認識されます。 詳細は以下URLを参照してください。
      https://doc.photonengine.com/en-us/server/current/applications/loadbalancing/application#deploying_a_game_server
3. Photon Serverを起動します。（Windowsを再起動したらPhoton Serverも再度起動する必要があります。）
   1. "\deploy\bin_Win64"フォルダの中のPhotonControl.exeをダブルクリックしてアプリを起動します。
      （Windowsタスクバーにアプリアイコンが現れます）
   2. [LoadBalancing (MyCloud)]-[Start as application]をクリックしてPhoton Serverを起動します。
4. PUNの設定を行います。
   1. UnityでSIGVerseプロジェクトを開きます。
   2. [Window]-[Photon Unity Networking]-[PUN Wizard]をクリックします。
   3. [Locate PhotonServerSettings]をクリックします。
   4. 以下の設定を行います。
      • [Use Name Server]のチェックを外す
      • [Server]にPhoton ServerのIPアドレスを入力する
      • [Port]に"5055"を入力する。
        
5. Unityメニューの[Assets]-[Reimport All]をクリックします。
6. [Reimport]ボタンを押下してリビルドします。

実行手順 †

人間(VR)側として実行する場合は、こちらの手順に従って実行してください。

ロボット(ROS)側として実行する場合は、こちらの手順に従って実行してください。

どちらから先に実行しても問題ありませんが、ローカルサーバを使用する場合は、先にPhoton Serverを起動してください。

注意 †

VMwareを使用して１つのPCで人間側とロボット側を実行しようとするとアプリが落ちるかもしれません。
ビルドした実行ファイルでロボット側を動かす場合でもVRを使用しようとするためです。(2021/07/15現在)
https://github.com/ValveSoftware/unity-xr-plugin/issues/80

解決するためには、ロボット側はUnityエディタ上で実行するか、boot.configの"xrsdk-pre-init-library=XRSDKOpenVR"を削除する必要があると思われます。

人間(VR)側の実行手順 †

起動手順 †

* ローカルサーバを使用する場合は、先にPhoton Serverを起動してください。

Windows側の起動手順 †

1. SteamVRやVRソフトウェアを起動してVRデバイスを使用できる状態にしてください。
2. こちらを参考に[Assets/SIGVerse/ExampleScenes/HSR/HsrCleanupVR(.unity)]シーンを開始します。
3. [Human]ボタンを押下して、人間としてログインしてください。
4. ロボットがログインしていない場合は、ロボットがログインするのを待ちます。

Windows (Login Screen)

実行 †

ヒューマンアバターを操作して、ロボットにCleanup指示を出してください。

基本的には次のような流れになります。

1. 把持対象を指差しながら"Pick it up!"というメッセージをロボットに送信する。
2. 届け先を指差しながら"Clean up!"というメッセージを送信する。

VRコントローラの操作方法は次の通りです。

• トリガーを引くと、アバターの手が指差し姿勢になります。
• 手前のボタンを押下すると、"Pick it up!"というメッセージをロボットに送信します。（Oculus Touchの場合はAまたはXボタン）
• 奥のボタンを押下すると、"Clean up!"というメッセージをロボットに送信します。（Oculus Touchの場合はBまたはYボタン）
• 左スティックを倒すと、アバターが倒した方向に移動します。
• 右スティックを押し込むと、"Good!"というメッセージをロボットに送信します。
• 左スティックを押し込むと、"Bad!"というメッセージをロボットに送信します。

Windows （細部は最新版とは異なる場合があります）

参考動画

ロボット(ROS)側の実行手順 †

起動手順 †

* ローカルサーバを使用する場合は、先にPhoton Serverを起動してください。

まずUbuntu側を起動します。その後 Windows側を起動してください。

Ubuntu側の起動手順 †

新しいターミナルを開き、以下のコマンドを実行します。

$ roslaunch sigverse_hsr_teleop_key teleop_key.launch

rvizも起動する場合は、以下のコマンドを実行します。

$ roslaunch sigverse_hsr_teleop_key teleop_key_with_rviz.launch

Windows側の起動手順 †

1. こちらを参考に[Assets/SIGVerse/ExampleScenes/HSR/HsrCleanupVR(.unity)]シーンを開始します。
2. [Robot]ボタンを押下して、ロボットとしてログインしてください。
3. 人間がログインしていない場合は、人間がログインするのを待ちます。

Windows (Login Screen)

実行 †

Ubuntu側の teleop_key.launch のターミナル上でHSRをキー操作することが出来ます。

ロボットを操作して机の上にあるオブジェクトの中から１つを把持し、人間が指さした場所に運んでください。

※操作方法の詳細はターミナルの表示を確認してください。

終了する際は、Unity側を停止させてからROS側を終了してください。

Ubuntu側（細部は最新版とは異なる場合があります）

Windows側 (Logged in)（細部は最新版とは異なる場合があります）

参考動画