ドキュメントAI マルチモーダルとロボットシステムの総合デバッグと実践
実験の目的
-
AI 技術である ASR（自動音声認識）、LLM（大規模言語モデル）、TTS（音声合成）を総合的に活用し、インテリジェントな音声対話を実現する。
-
YOLO アルゴリズムに基づく顔認識とインテリジェント追跡システムを実現する。
-
ロボット制御技術と運動学アルゴリズムを用いて、インテリジェントなロボットアーム制御システムを実践的に実現する。
機能要件
インテリジェント音声対話アシスタント、インテリジェント顔追跡システム、ビジョン ロボットアーム制御システムを実現します。
ハードウェアの準備
ディスプレイ * 1、Bluetooth キーボード・マウス * 1、メインコンソール * 1、カメラ 3.0*1、カメラ 2.0*1、スピーカーモジュール * 1、4 自由度ロボットアーム * 1、パン・チルトモジュール * 1、把持用ワーク
回路接続
ハードウェアモジュール
ヒント：ハードウェアモジュールの使い方
組み込み AI 開発ボード RDK_X5
Uni mega2560 拡張ボード【V1.1】使用説明書
電子モジュールの紹介
物理配線
具体的な配線・取り付け方法については、ハードウェアシステムの組み立て を参照してください。
ソフトウェア設計
モジュール化プロジェクトのソースコードとチュートリアル
AI マルチモーダルとロボットの総合プロジェクト全体設計
モジュール化プロジェクトに基づく総合実践です。
プロジェクト全体の動作デモ動画
上位機（PC）の操作画面録画
下位機（ロボット）の動作デモ
ビジョンによるカップの認識
クイック操作デモ
モジュール化設計に基づき、音声対話アシスタント ASR-LLM-TTS、インテリジェント顔追跡システム、インテリジェントビジョン ロボットアーム制御システムを実現しています。具体的な操作は次のとおりです：
ネットワークの作成と接続
スマートフォンで次のような 2.4GHz のネットワークを作成します。ネットワーク名とパスワードは下図のとおりです。
WiFi 名：UniK（注意：U と K はいずれも大文字です）
WiFi パスワード：20240912
作成すると、ルーターがこのホットスポットネットワークに自動的に接続します。
サービスと Web 画面の起動
- まずブラウザを起動します。端末で次のコマンドを入力します：
chromium-browser
コマンドを入力したら、Enter キーを押します。
システムが動作し、ブラウザが起動するまで待ちます。
- インテリジェント顔追跡システムを起動します。
Ctrl + Shift + T を押すと、新しい 端末 タブが開きます。
（1）端末からリモートアクセスします。端末で次のコマンドを入力して Enter キーを押します。
ssh sunrise@192.168.8.111
パスワードは sunrise です。パスワードを入力して Enter キーを押すとログインが完了します。
（2）インテリジェント顔追跡システムの MCP サービスを起動します。MCP サービスファイルのディレクトリに移動する必要があります。詳しいコマンドは次のとおりです：
cd Desktop/Proj_Intelligent-Face-Tracker/
ls
cd bin/
ls
./start-mcp-server.sh
上記の操作を入力すると、全体の結果は次のようになります：
- インテリジェントビジョン ロボットアーム制御システムを起動します。
Ctrl + Shift + T を押して新しい端末タブを開き、次のコマンドを入力します：
（1）端末からリモートアクセスします。端末で次のコマンドを入力して Enter キーを押します。
ssh sunrise@192.168.8.111
パスワードは sunrise です。パスワードを入力して Enter キーを押すとログインが完了します。
（2）サービスを起動します。サービスファイルのディレクトリに移動する必要があります。詳しいコマンドは次のとおりです：
cd Desktop/Proj_Intelligent-Vision-Arm-Control/
ls
cd bin/
ls
./start-server.sh
上記のコマンドを入力すると、全体の結果は次のようになります：
- AI 音声対話アシスタントを起動します。
Ctrl + Shift + T を押して新しい端末タブを開き、次のコマンドを入力します：
cd Desktop/Proj_EU03-ASR-LLM-TTS/
ls
./run.sh
上記のコマンドを入力します（全体の結果は下図のとおりです）。
サービスが正常に起動したら、次の操作に進めます。
- ブラウザで各 Web 操作画面を開きます。
（1）インテリジェント音声アシスタントを開きます。
端末に表示されたアドレス（http://192.168.8.110:3000）を選択し、右クリックで表示されるメニューから copy を選びます。
ブラウザのアドレスバーに貼り付けると、インテリジェント音声アシスタントの画面が表示されます。
（2）顔検出システムを開きます。
端末に表示されたアドレス（http://192.168.8.111:5000）を選択してコピーします。
ブラウザのアドレスバーに貼り付けます：
読み込み後の初期画面
（3）インテリジェントビジョン ロボットアーム制御システムを開きます。
端末に表示されたアドレス（http://192.168.8.111:5002）を選択してコピーします。
ブラウザのアドレスバーに貼り付けると、画面が表示されます。
以上で各サービスと Web 画面の起動が完了しました。次は機能のデモです。
音声対話アシスタント
音楽の再生、計算、インテリジェントな対話ができます。例：音声入力「音楽を再生して」。
音声によるパン・チルトとロボットアームの制御
音声入力：パン・チルトを左に 30 度回転して
結果：パン・チルトが 30 度まで回転することを確認できます。
同時に、システムが「ご主人様、パン・チルトを左に 30 度回転しました」と応答します。
インテリジェント顔追跡システム
AI 音声アシスタントに切り替え、音声入力：顔追跡を開始して
人が動くと、顔を動的に追跡して枠で表示し、パン・チルトがそれに追従して回転します。
音声入力：顔追跡を終了して
インテリジェントビジョン ロボットアーム制御システム
ビジョンによるロボットアーム制御
音声入力：ロボットアームを右に 4 センチ動かして
実際のロボットアームが移動します。
システムが移動後のロボットアームの位置を返します。
ワークの位置を取得し、インテリジェントに把持します。
ビジョンによる物体認識
- カメラの撮影範囲に鍵を置き、音声入力：鍵を検出して
- 鍵が検出されると、鍵が枠で囲まれて表示されます。
同時に、システムが音声で「ご主人様、鍵を 1 個検出しました」と結果を知らせます。
同時に、システムが音声で次のように知らせます：「ご主人様、鍵を 1 個検出しました！画面中央から右に 154 ピクセル、下に 21 ピクセルの位置にあります。サイズは 71x37 ピクセルで、見つけやすいですよ〜」
- カメラの撮影範囲にペンを置き、音声入力：ペンを検出して
ペンが検出されると、画像上に枠と位置が表示されます。
実験結果
お問い合わせ
資料のダウンロード・技術サポートについては、HumansX株式会社までお問い合わせください。