Apple Vision Pro やカメラで Wuji Hand 2 を動かす
グローブを使わず、Vision Pro・RealSense・動画の手の動きをリターゲティングしてハンドを動かします。
必要なもの
はじめる前に、そろっているか確認します。


やること
- Vision ProWi-Fi
→PCretargeting
→Hand 2Ethernet
1全体の流れ
手の動き → 20 関節の角度に変換。
- Terminal$ git clone --recurse-submodules https://github.com/wuji-technology/wuji-retargeting.git$ cd wuji-retargeting && git lfs pull$ pip install -r requirements.txt && pip install -e .
- Tracking StreamerStatusStreamingIP192.168.x.x3
IP を確認
Vision Pro の Tracking Streamer に表示されます。
- Terminal$ cd example$ python teleop_sim.py --input visionpro --ip <IP> --hand left4
まずシミュレーション
画面の手が動きについてくるか確認。
- Terminal$ python teleop_real.py --input visionpro --ip <IP> --hand left
✓
完了Vision Pro の手の動きにハンドが追従すれば完了。新規開発では Wuji Glove での遠隔操作がおすすめです。
ドキュメント