Tutorial using ROS for ver.3

概要

人間とロボットが同じ仮想空間にログインし、人間がロボットに対して指差しでCleanup指示を出します。

人間側は、Windows+VRデバイスを使用して仮想空間にログインします。
ロボット側は、Windows+Ubuntu(ROS:Robot Operating System)を使用して仮想空間にログインします。

遠隔地の人間とロボット(ROS)がインターネット経由で繋がれ、同じ仮想空間でコミュニケーションを取ることが出来ます。

CleanupUsingCloudAndVR_Overview.png

前提条件

共通の前提条件

人間とロボットの共通の前提条件としてネットワークを使用します。

クラウドにはPhoton Unity Networkingを使用しますが、インターネット接続時に以下のページに記載されているポート番号を使用します。
ポートが使用可能かどうかを事前に確認してください。
https://doc.photonengine.com/en-us/realtime/current/connection-and-authentication/tcp-and-udp-port-numbers

クラウドの代わりに、ローカルネットワークにPhoton Serverを立てて使用することも可能です。
Photon ServerはWindowsにのみ対応しています。
https://doc.photonengine.com/en-us/server/current/operations/requirements

※ウイルス対策ソフトが通信を遮ぎらないように注意してください。

人間(VR)側の前提条件

Windows環境

SIGVerseアセットを使用するための基本的な要件が必要です。

VRデバイス

VRデバイスが動くシステム要件を満たす必要があります。
Oculus Quest 2 及び VIVE Cosmos にて動作確認済みです。
これら以外のVRデバイスの場合は、SteamVRバインディングを行う必要があるかもしれません。
https://valvesoftware.github.io/steamvr_unity_plugin/tutorials/SteamVR-Input.html#binding-actions

またSteamSteamVRをPCにインストールする必要があります。
公式サイトからインストーラをダウンロードしてインストールしてください。

Oculusの場合はOculusソフトウェアもインストールする必要があります。またOculus Linkも必要です。
VIVEの場合はVIVEソフトウェアもインストールする必要があります。

ロボット(ROS)側の前提条件

  • Windows環境とUbuntu環境
    詳細はこちらを参照。

環境構築

環境構築手順は、人間(VR)側とロボット(ROS)側で共通です。

クラウドを使用する場合は、4a.クラウド環境を参照してください。
ローカルサーバを使用する場合は、4b.ローカルサーバ環境を参照してください。

1. Photonアカウントの作成

まずPhotonのアカウントを作成する必要があります。
以下の手順で作成してください。

  1. Photonの公式サイトにアクセスします。
  2. Photonのアカウントを作成します。

2. Unityアセットのインポート

必要なUnityアセットをインポートしてください。
インポートの詳細手順は以下のリンクを参照ください。
https://docs.unity3d.com/Manual/upm-ui-import.html

SteamVR Pluginのインポート

  1. 以下のページにアクセスします。
    https://assetstore.unity.com/packages/tools/integration/steamvr-plugin-32647
  2. アセットをダウンロードし、インポートします。
    バージョン2.7.3で動作確認済みです。
  3. [Edit]-[Project Settings...]をクリックします。
  4. [XR Plug-in Management]-[Plug-in Providers]の[OpenVR Loader]にチェックを入れます。
    ※[Oculus]など別のものにチェックを入れた場合はそちらのチェックは外してください。
    ※[Initialize XR on Startup]にはチェックを入れないでください。

PUN 2 - FREE (Photon Unity Networking)のインポート

  1. 以下のページにアクセスします。
    https://assetstore.unity.com/packages/tools/network/pun-2-free-119922
  2. アセットをダウンロードし、インポートします。
    バージョン2.40で動作確認済みです。
    但し、インポート時に以下のチェックは外します。他ライブラリと衝突するためです。
    • Photon/PhotonLibs/WebSocket/websocket-sharp.dll
    • Photon/PhotonUnityNetworking/Demos
    • SteamVR
      ImportPUN.png
  3. [PUN Setup]ウィンドウでは、[Skip]してから[Close]してください。

3. SteamVRとPUNライブラリの使用

  1. [SIGVerse]-[SIGVerse Settings]からSIGVerse設定画面を開きます。
  2. [Define symbols Settings]の[Use SteamVR]と[Use PUN]にチェックを入れます。
SIGVerseSettingsSteamVRPUN.png

4a. クラウド環境の構築

Photon Cloudのフリープランでは同時に20人まで接続可能です。詳細は次のページを参照してください。
https://www.photonengine.com/ja-JP/pun/pricing

クラウド環境構築手順は次の通りです。

  1. Photonの公式サイトにサインインします。
  2. アプリケーションIDを取得します。
    1. サインイン後のダッシュボードで、[新しくアプリを作成する]ボタンを押下します。
    2. [Photonの種別]を"Photon PUN"にし、アプリケーション名を設定します。(アプリケーション名は例えば"CleanupVR"など。)
    3. [作成する]ボタンを押下します。
    4. ダッシュボードのアプリ一覧にPUNのアプリが追加されていることを確認し、"アプリケーションID"をメモします。
      (IDは36桁でクリックすると全桁表示されます。)
      PhotonAppId.png
  3. PUNの設定を行います。
    1. UnityでSIGVerseプロジェクトを開きます。
    2. [Window]-[Photon Unity Networking]-[PUN Wizard]をクリックします。
    3. [Locate PhotonServerSettings]をクリックします。
    4. [Server/Cloud Settings]-[App Id PUN]の欄に前述の"アプリケーションID"を入力します。
      PhotonServerSettingsForCloud.png
  4. Unityメニューの[Assets]-[Reimport All]をクリックします。
  5. [Reimport]ボタンを押下してリビルドします。

4b. ローカルサーバ環境の構築

ローカルネットワークにPhoton Serverを立てて、クラウドの代わりにすることもできます。

  1. Photonの公式サイトにサインインします。
  2. Photon Serverをインストールします。
    1. Photon Serverのページにアクセスします。
    2. "Download SDK"の右のバージョン番号をクリックして、zipファイルをダウンロードします。
    3. ダウンロードしたファイルをインストールしたいディレクトリに展開します。
    4. 以下ページにアクセスし、"100 CCU"ライセンスのライセンスファイルをダウンロードします。
      https://dashboard.photonengine.com/selfhosted
    5. ダウンロードしたライセンスファイル([Mail Address].Photon-vX.free.100-ccu.license)をPhotonサーバフォルダの"\deploy\bin_Win64"フォルダにコピーします。
    6. 外部のマシンにサービスを提供する場合は、GameServer.xml.config のPublicIPAddressを設定してください。
      (ローカルマシン上でのみの利用の場合には以下の設定は行わないでください)
      \deploy\LoadBalancing\GameServer\bin\GameServer.xml.config のPublicIPAddressを設定してください。
      PublicIPAddressをブランクにするとIPアドレスは自動で認識されます。 詳細は以下URLを参照してください。
      https://doc.photonengine.com/en-us/server/current/applications/loadbalancing/application#deploying_a_game_server
  3. Photon Serverを起動します。(Windowsを再起動したらPhoton Serverも再度起動する必要があります。
    1. "\deploy\bin_Win64"フォルダの中のPhotonControl.exeをダブルクリックしてアプリを起動します。
      (Windowsタスクバーにアプリアイコンが現れます)
    2. [LoadBalancing (MyCloud)]-[Start as application]をクリックしてPhoton Serverを起動します。
  4. PUNの設定を行います。
    1. UnityでSIGVerseプロジェクトを開きます。
    2. [Window]-[Photon Unity Networking]-[PUN Wizard]をクリックします。
    3. [Locate PhotonServerSettings]をクリックします。
    4. 以下の設定を行います。
      • [Use Name Server]のチェックを外す
      • [Server]にPhoton ServerのIPアドレスを入力する
      • [Port]に"5055"を入力する。
        PhotonServerSettingsForLocalServer.png
  5. Unityメニューの[Assets]-[Reimport All]をクリックします。
  6. [Reimport]ボタンを押下してリビルドします。

実行手順

人間(VR)側として実行する場合は、こちらの手順に従って実行してください。

ロボット(ROS)側として実行する場合は、こちらの手順に従って実行してください。

どちらから先に実行しても問題ありませんが、ローカルサーバを使用する場合は、先にPhoton Serverを起動してください。

注意

VMwareを使用して1つのPCで人間側とロボット側を実行しようとするとアプリが落ちるかもしれません。
ビルドした実行ファイルでロボット側を動かす場合でもVRを使用しようとするためです。(2021/07/15現在)
https://github.com/ValveSoftware/unity-xr-plugin/issues/80

解決するためには、ロボット側はUnityエディタ上で実行するか、boot.configの"xrsdk-pre-init-library=XRSDKOpenVR"を削除する必要があると思われます。

人間(VR)側の実行手順

起動手順

* ローカルサーバを使用する場合は、先にPhoton Serverを起動してください。

Windows側の起動手順

  1. SteamVRやVRソフトウェアを起動してVRデバイスを使用できる状態にしてください。
  2. こちらを参考に[Assets/SIGVerse/ExampleScenes/HSR/HsrCleanupVR(.unity)]シーンを開始します。
  3. [Human]ボタンを押下して、人間としてログインしてください。
  4. ロボットがログインしていない場合は、ロボットがログインするのを待ちます。

Windows (Login Screen)

HSRCleanupVRLogin.png

実行

ヒューマンアバターを操作して、ロボットにCleanup指示を出してください。

基本的には次のような流れになります。

  1. 把持対象を指差しながら"Pick it up!"というメッセージをロボットに送信する。
  2. 届け先を指差しながら"Clean up!"というメッセージを送信する。

VRコントローラの操作方法は次の通りです。

  • トリガーを引くと、アバターの手が指差し姿勢になります。
  • 手前のボタンを押下すると、"Pick it up!"というメッセージをロボットに送信します。(Oculus Touchの場合はAまたはXボタン)
  • 奥のボタンを押下すると、"Clean up!"というメッセージをロボットに送信します。(Oculus Touchの場合はBまたはYボタン)
  • 左スティックを倒すと、アバターが倒した方向に移動します。
  • 右スティックを押し込むと、"Good!"というメッセージをロボットに送信します。
  • 左スティックを押し込むと、"Bad!"というメッセージをロボットに送信します。

Windows (細部は最新版とは異なる場合があります)

HSRCleanupVRHuman.png

参考動画

ロボット(ROS)側の実行手順

起動手順

* ローカルサーバを使用する場合は、先にPhoton Serverを起動してください。

まずUbuntu側を起動します。その後 Windows側を起動してください。

Ubuntu側の起動手順

新しいターミナルを開き、以下のコマンドを実行します。

$ roslaunch sigverse_hsr_teleop_key teleop_key.launch

rvizも起動する場合は、以下のコマンドを実行します。

$ roslaunch sigverse_hsr_teleop_key teleop_key_with_rviz.launch

Windows側の起動手順

  1. こちらを参考に[Assets/SIGVerse/ExampleScenes/HSR/HsrCleanupVR(.unity)]シーンを開始します。
  2. [Robot]ボタンを押下して、ロボットとしてログインしてください。
  3. 人間がログインしていない場合は、人間がログインするのを待ちます。

Windows (Login Screen)

HSRCleanupVRLogin.png

実行

Ubuntu側の teleop_key.launch のターミナル上でHSRをキー操作することが出来ます。

ロボットを操作して机の上にあるオブジェクトの中から1つを把持し、人間が指さした場所に運んでください。

※操作方法の詳細はターミナルの表示を確認してください。

終了する際は、Unity側を停止させてからROS側を終了してください。

Ubuntu側(細部は最新版とは異なる場合があります)

HSRCleanupVRRobotUbuntu.png

Windows側 (Logged in)(細部は最新版とは異なる場合があります)

HSRCleanupVRRobotWindows.png

参考動画


Attach file: fileSteamVR_UnitySettingsWindow.png 378 download [Information] filePhotonServerSettingsForLocalServer.png 596 download [Information] filePhotonServerSettingsForCloud.png 588 download [Information] fileImportPUN.png 514 download [Information] fileCleanupUsingCloudAndVR_Overview.png 620 download [Information] fileSIGVerseSettingsSteamVRPUN.png 491 download [Information] fileHSRCleanupVRRobotWindows.png 820 download [Information] fileHSRCleanupVRHuman.png 841 download [Information] fileHSRCleanupVRRobotUbuntu.png 832 download [Information] fileHSRCleanupVRLogin.png 807 download [Information] filePhotonAppId.png 800 download [Information]

Front page   Edit Freeze Diff Backup Upload Copy Rename Reload   New List of pages Search Recent changes   Help   RSS of recent changes
Last-modified: 2022-07-04 (Mon) 01:40:29 (882d)