HumansXドキュメントセンター English公式サイトへ ↗

Apple Vision Pro やカメラで Wuji Hand 2 を動かす

組み合わせWuji Hand 2Apple Vision Pro

グローブを使わず、Vision Pro・RealSense・動画の手の動きをリターゲティングしてハンドを動かします。

必要なもの

はじめる前に、そろっているか確認します。

ご用意くださいApple Vision Proまたは RealSense / 動画
無料ダウンロードTracking Streamer
付属Wuji Hand 2なしでもシミュレーション可
ご用意くださいPC(Python)

やること

  1. Vision ProWi-Fi
    →
    PCretargeting
    →
    Hand 2Ethernet
    1

    全体の流れ

    手の動き → 20 関節の角度に変換。

  2. Terminal
    $ git clone --recurse-submodules https://github.com/wuji-technology/wuji-retargeting.git
    $ cd wuji-retargeting && git lfs pull
    $ pip install -r requirements.txt && pip install -e .
    2

    ソフトを入れる

    3 行コピー。

  3. Tracking Streamer
    StatusStreaming
    IP192.168.x.x
    3

    IP を確認

    Vision Pro の Tracking Streamer に表示されます。

  4. Terminal
    $ cd example
    $ python teleop_sim.py --input visionpro --ip <IP> --hand left
    4

    まずシミュレーション

    画面の手が動きについてくるか確認。

  5. Terminal
    $ python teleop_real.py --input visionpro --ip <IP> --hand left
    5

    実機で動かす

    小さな動きから。

✓

完了Vision Pro の手の動きにハンドが追従すれば完了。新規開発では Wuji Glove での遠隔操作がおすすめです。

関連ドキュメント