ドキュメント機能の操作
機能の概要：
大規模モデル + カメラ：自然言語による対話（テキスト入力）+ あらゆる物体の認識
大規模モデル + ロボットアーム：自然言語による対話（テキスト入力）+ タスクプランニング + ロボットアームの動作
大規模モデル + カメラ + ロボットアーム：自然言語による対話（テキスト入力）+ タスクプランニング + 自律把持／自律積み上げ……
ロボットアームとカメラのプログラムを起動する
操作動画
注意： お使いのパソコンと RDK を同じ WiFi に接続してください。
詳細な手順
- ssh でシステムに入った後、プログラムファイルのあるフォルダに移動し、次のコマンドを入力して確定します：
ssh sunrise@ubuntu.local
cd Proj_Intelligent-Vision-Arm-Control/bin/
- プログラムファイルを実行します。次のコマンドを入力して確定します：
./start-server.sh
数秒待って正常に起動すると、次の画面が表示されます：
- パソコンのブラウザでカメラ映像を開いて確認します。次の画面に表示される URL を見つけ、マウスでクリックするとブラウザに移動してカメラ映像を確認できます：
自然言語対話インターフェースを起動する
操作動画
詳細な手順
- 開いているターミナルとは別にもう 1 つターミナルを開き、ssh でシステムに入ってプログラムのあるフォルダに移動し、次のコマンドを入力して Enter で確定します：
ssh sunrise@ubuntu.local
cd MA4_workspace/MA4_ws/src/mecanum_cli/
- プログラムファイルを実行します。次のコマンドを入力して Enter で確定し、数秒待つと音声アシスタント画面に入ります：
./start_ma4_keyboard.sh
- Web インタラクティブ UI 画面を開きます：
アシスタント画面で Enter キーを押して確定し、次のステップに進みます：
キーボードで「/」を入力するとオプションが表示されます：
キーボードの矢印キーで「Open Web UI Control Panel」を選択し、Enter で確定します：
次のページが表示されたら、Enter で確定して次のステップに進みます：
次のようなメッセージが表示されれば、Web UI が起動しています：
ctrl を押しながら LAN アクセスリンクをマウスの左ボタンでクリックすると、ブラウザに移動して UI 画面に入ります：
ページに URL が表示されない場合は、次の URL をコピーしてブラウザで開いてください：
http://192.168.43.17:3000/
左側にボールが表示されない場合や、上部の入力欄に「not connected to server」と表示される場合は、ページを再読み込みしてください：
これで、右側のメッセージ欄にテキストを入力してエージェントとの対話タスクを行うことができます。
機能実験
あらゆる物体の認識
Web 版のインテリジェント音声アシスタントに認識させたい物体を説明すると、カメラ映像内の対応する物体にマークが付きます。例は次のとおりです：
自然言語対話によるロボットアーム動作の計画
ロボットに一連の動作を実行させることができます。例：
自然言語対話によるロボットアームの自律認識・操作の計画
把持と配置
自然言語により、ロボットアームは視覚と組み合わせて物体を把持し、タスクを自律的に計画できます。
積み上げ配置
自然言語により、ロボットアームは積み上げタスクを実行し、タスクを自律的に計画できます。
エージェントのその他の機能
電卓
音楽プレーヤー
