ドキュメント機能の実行
機能の概要：
大規模モデル＋カメラ：自然言語による対話（キーボード入力）＋あらゆる物体の認識
大規模モデル＋ロボットアーム：自然言語による対話（キーボード入力）＋タスクプランニング＋ロボットアームの動作操作
大規模モデル＋カメラ＋ロボットアーム：自然言語による対話（キーボード入力）＋タスクプランニング＋自律把持／自律積み重ね など
ロボットアームとカメラのプログラムの起動
操作動画
注意： ご自身の PC の WiFi を RDK と同じ WiFi に接続してください。
詳細な手順
- SSH でシステムにログインした後、プログラムファイルのあるフォルダに移動します。次のコマンドを入力して確定します：
ssh sunrise@ubuntu.local
cd Proj_Intelligent-Vision-Arm-Control/bin/
- プログラムファイルを実行します。次のコマンドを入力して確定します：
./start-server.sh
数秒待って正常に起動すると、次の画面が表示されます：
- PC のブラウザでカメラ映像を確認します。次の画面に表示される URL を探し、クリックするとブラウザが開いてカメラ映像を確認できます：
自然言語対話のインタラクション画面の起動
操作動画
詳細な手順
- 開いているターミナルとは別にもう 1 つターミナルを開き、SSH でシステムにログインしてプログラムのあるフォルダを開きます。次のコマンドを入力して Enter キーで確定します：
ssh sunrise@ubuntu.local
cd MA4_workspace/MA4_ws/src/mecanum_cli/
- プログラムファイルを実行します。次のコマンドを入力して Enter キーで確定し、数秒待つと音声アシスタントの画面が表示されます：
./start_ma4_keyboard.sh
- Web のインタラクション UI 画面を開きます：
アシスタント画面で Enter キーを押して確定し、次に進みます：
キーボードで「/」を入力すると選択肢が表示されます：
キーボードの矢印キーで「Web UI コントロールパネルを開く」を選択し、Enter キーで確定します：
次の画面が表示されたら Enter キーを押して次に進みます：
次の画面が表示されれば、Web UI が実行中であることを示しています：
Ctrl キーを押しながら LAN アクセス用リンクをマウスで左クリックすると、ブラウザが開いて UI 画面が表示されます：
画面に URL が表示されない場合は、次の URL をブラウザにコピーして開いてください：
http://192.168.43.17:3000/
左側に球体が表示されない場合や、上図のように入力欄に「サーバーに接続されていません」と表示される場合は、ページを再読み込みしてください：
これで、右側のメッセージ欄にキーボードでテキストを入力して、エージェントとの対話タスクを行えるようになります。
機能の実験
あらゆる物体の認識
Web 上のインテリジェント音声アシスタントで認識したい物体を指示すると、カメラの表示画面上で該当する物体がマーキングされます。例えば次のとおりです：
自然言語対話によるロボットアームの動作計画
エージェントを通じて、ロボットに一連の動作を実行させることができます。例えば：
自然言語対話によるロボットアームの自律認識操作の計画
把持と配置
自然言語により、ロボットアームが視覚と連携して物体を把持するよう指示でき、タスクを自律的に計画します。
積み重ね配置
自然言語により、ロボットアームに積み重ねタスクを行わせることができ、タスクを自律的に計画します。
エージェントのその他の機能
電卓
音楽プレーヤー
