Backup of (TurtleBot3)把持する（自動把持）(No. 11)

List of Backups
View the diff.
View the diff current.
View the source.
Go to (TurtleBot3)把持する（自動把持）.
- 1 (2019-10-16 (Wed) 20:57:23)
- 2 (2019-10-16 (Wed) 21:01:22)
- 3 (2019-10-17 (Thu) 12:34:49)
- 4 (2019-10-28 (Mon) 16:21:41)
- 5 (2019-11-01 (Fri) 03:23:15)
- 6 (2020-02-04 (Tue) 15:16:29)
- 7 (2020-04-05 (Sun) 15:02:21)
- 8 (2021-08-18 (Wed) 01:05:50)
- 9 (2021-12-23 (Thu) 09:43:03)
- 10 (2021-12-23 (Thu) 17:23:01)
- 11 (2022-04-05 (Tue) 21:41:57)

TurtleBot3による把持（自動把持）の実行 †

このサンプルは、物体の自動把持を行うシンプルなサンプルです。

TurtleBot3にはOpenManipulatorが付いています。

darknet_ros(YOLO)による物体認識や、Point Cloudデータを使用しています。
またYOLOによる物体認識を行うため、Ubuntu環境にCUDAをインストールする必要があります。
CUDAをインストールしなくともCPUを使用して動かすことは可能ですが、物体認識の速度が非常に遅くなります。

操作の概略は以下の通りです。

キー操作でTurtleBot3を物体の手前まで移動する。
なるべくカラー画像の中心付近に把持対象が映るようにTurtleBot3を動かす。
番号を入力し把持する物体を指定する。

上記の操作を行うと、TurtleBot3は以下のような流れで物体の把持を試みます。

darknet_ros(YOLO)が、カラー画像を使用して物体認識を行う。
カラー画像とPoint Cloud情報を使用して、物体の3次元座標を推測する。
算出した3次元座標の位置を把持する。

Open Manipulatorの仕様は、こちらをご参照ください。
カメラの仕様は、こちらをご参照ください。

↑

Ubuntu環境の構築 †

本サンプルでは darknet_ros(YOLO)をUbuntu環境にインストールする必要があります。
まずはrosを使用しない通常のdarknetの動作確認を行うことをお勧めします。

手順は以下の通り

CUDAを使用する場合は、NVIDIAドライバをインストールします。(CUDAをインストールしなくともCPUを使用して動かすことは可能です)
CUDAを使用する場合は、こちらからダウンロードしてインストールします。
（詳細は各自のPCやNVIDIAドライバの環境に合わせて行ってください）

darknet_rosを git cloneする。
動作確認済みのコミットをチェックアウトします。

$ cd ~/catkin_ws/src
$ git clone --recursive https://github.com/leggedrobotics/darknet_ros.git
$ cd darknet_ros
$ git checkout 1027a280

darknet_rosをインストールする。
```
$ cd ~/catkin_ws
$ catkin_make -DCMAKE_BUILD_TYPE=Release
```
※GPUとCUDAの組み合わせによっては、catkin_make時に"Unsupported gpu architecture 'compute_30'"というようなエラーが出るかもしれません。
その場合は、darknet_rosのCMakeLists.txtのcompute_30に関わる行をコメントアウトすれば回避できると思われます。
※例えば NVIDIA Tesla T4の場合は、compute_30の行は削除し、compute_75を追加する必要があります。

↑

起動手順 †

まずUbuntu側を起動します。その後 Windows側を起動してください。

↑

Ubuntu側の起動手順 †

新しいターミナルを開き、以下のコマンドを実行します。

$ roslaunch sigverse_turtlebot3_open_manipulator grasping_auto.launch

↑

Windows側の起動手順 †

こちらを参考に[Assets/SIGVerse/ExampleScenes/Turtlebot3/OpenManipulator(.unity)]シーンを開始します。

↑

実行 †

Ubuntu側の grasping_auto という名前のターミナル上でキー操作を行うとTurtleBot3を操作できます。

※操作方法の詳細はターミナルの表示を確認してください。

※画像処理負荷が高いため、ロボットのカメラ画像送信間隔は1000[ms]にしています。
（もしも送信間隔を短くしたい場合は、turtlebot3_with_open_manipulator/RosBridgeScriptsにアタッチされているZEDMiniPubCameraImageControllerのSending Intervalを小さくしてください）

終了する際は、Unity側を停止させてからROS側を終了してください。

Ubuntu側（細部は最新版とは異なる場合があります）

Windows側（細部は最新版とは異なる場合があります）

Windows側 ("clock"を把持した)（細部は最新版とは異なる場合があります）