ドキュメント大規模モデルの応用実践 -- AI マルチモーダルとロボットの総合操作
実験の目的
-
ASR（自動音声認識）、LLM（大規模言語モデル）、TTS（テキスト音声変換）の AI 技術を総合的に活用し、インテリジェントな音声対話を実現します。
-
YOLO アルゴリズムに基づき、顔認識とインテリジェント追跡システムを実現します。
-
視覚モデル VLM、ロボット制御技術、運動学アルゴリズムに基づき、インテリジェントな実践型ロボットアーム制御システムを実現します。
機能要件
インテリジェント音声対話アシスタント、インテリジェント顔追跡システム、視覚ロボットアーム制御システムを実現します。
ハードウェアの準備
| No. | 名称 | 数量 | 備考 |
|---|---|---|---|
| 1 | RDK X5 | 1 | 組み込みメインボード（32GB メモリーカード付き）。事前にイメージを書き込んでおく必要があります |
| 2 | 電源ケーブル | 1 | 給電用 |
| 3 | カードリーダー | 1 | イメージシステムの書き込みに使用します |
| 4 | LAN ケーブル | 1 | ネットワーク接続用 |
| 5 | ディスプレイ（各自で用意） | 1 | 操作用 |
| 6 | キーボード・マウス（各自で用意） | 1 | メインボードの操作用 |
| 7 | イヤホン | 1 | 音声出力（左／右チャンネル）＋マイク入力に対応したもの |
| 8 | USB カメラ | 1 | 画像の取得用 |
| 9 | Arduino Mega2560 メインボード | 1 | ロボットアームの駆動用 |
| 10 | 拡張ボード | 1 | Arduino メインボードに積み重ね、周辺回路を接続します |
| 11 | 3S バッテリーボックス | 1 | Arduino メインボードおよび RDK への給電用 |
| 12 | XT30 電源ケーブル | 1 | バッテリーボックスと拡張ボードを接続します |
| 13 | メス－メス ジャンパーワイヤー | 3 | RDK と Arduino のシリアル通信接続用 |
| 14 | Type-C 電源ケーブル | 1 | バッテリーボックスの USB ポートと RDK の Type-C 電源端子を接続します |
回路接続
ハードウェアモジュール
ヒント：ハードウェアモジュールの使用説明
1.1 ハードウェアインターフェース で RDK X5 のインターフェースをすぐに把握できます
オンボード Earphone オーディオ端子 で録音・再生機能について確認できます
1.1 USB カメラの使用 《1.1 USB カメラの使用》
実機の配線
ハードウェアモジュールの説明に従って、回路接続を完了してください。
プロジェクト全体の動作デモ動画
上位機の操作画面録画
下位機の動作デモ
実験結果は参考用です：
カップの画像認識
クイック操作デモ
モジュール設計に基づき、音声対話アシスタント（ASR-LLM-TTS）、インテリジェント顔追跡システム、インテリジェント視覚ロボットアーム制御システムを実現します。具体的な操作は次のとおりです：
ネットワークの作成と接続
スマートフォンで次のような 2.4GHz のネットワークを作成します。ネットワーク名とパスワードは下図のとおりです。
WiFi 名：UniK（注意：U と K はどちらも大文字です）
WiFi パスワード：20240912
作成すると、ルーターが自動的にこのホットスポットネットワークに接続します。
サービスと Web 画面の起動
- まずブラウザを起動します。ターミナルで次のコマンドを入力します：
chromium-browser
コマンドを入力したら Enter キーを押します。
システムが動作してブラウザが起動するまで待ちます。
- インテリジェント顔追跡システムを起動します。
Ctrl + Shift + T を押すと、新しいターミナルタブが開きます。
（1）ターミナルにリモートアクセスします。ターミナルで次のコマンドを入力して Enter キーを押します。
ssh sunrise@192.168.8.111
パスワードは sunrise です。パスワードを入力して Enter キーを押すとログインが完了します。
（2）インテリジェント顔追跡システムの MCP サービスを起動します。MCP サービスファイルのディレクトリに移動する必要があります。詳細なコマンドは次のとおりです：
cd Desktop/Proj_Intelligent-Face-Tracker/
ls
cd bin/
ls
./start-mcp-server.sh
上記の操作を入力すると、全体の結果は次のようになります：
- インテリジェント視覚ロボットアーム制御システムを起動します。
Ctrl + Shift + T を押して新しいターミナルタブを開き、次のコマンドを入力します：
（1）ターミナルにリモートアクセスします。ターミナルで次のコマンドを入力して Enter キーを押します。
ssh sunrise@192.168.8.111
パスワードは sunrise です。パスワードを入力して Enter キーを押すとログインが完了します。
（2）サービスを起動します。サービスファイルのディレクトリに移動する必要があります。詳細なコマンドは次のとおりです：
cd Desktop/Proj_Intelligent-Vision-Arm-Control/
ls
cd bin/
ls
./start-server.sh
上記のコマンドを入力すると、全体の結果は次のようになります：
- AI 音声対話アシスタントを起動します。
Ctrl + Shift + T を押して新しいターミナルタブを開き、次のコマンドを入力します：
cd Desktop/Proj_EU03-ASR-LLM-TTS/
ls
./run.sh
上記のコマンドを入力します（全体の結果は下図のとおりです）
サービスが正常に起動したら、以下の操作を行えます。
- ブラウザで各 Web 操作画面を開きます。
（1）インテリジェント音声アシスタントを開きます。
ターミナルに表示されたアドレス（ http://192.168.8.110:3000）を選択し、右クリックでショートカットメニューを表示して copy を選択します。
ブラウザのアドレスバーに貼り付けると、インテリジェント音声アシスタントの画面が表示されます。
（2）顔検出システムを開きます。
ターミナルに表示されたアドレス（http://192.168.8.111:5000）を選択してコピーします。
ブラウザのアドレスバーに貼り付けます：
読み込み後の初期画面
（3）インテリジェント視覚ロボットアーム制御システムを開きます。
ターミナルに表示されたアドレス（http://192.168.8.111:5002）を選択してコピーします。
ブラウザのアドレスバーに貼り付けると、画面が表示されます。
これで関連サービスと Web 画面の起動が完了しました。次は機能のデモです。
音声対話アシスタント
音楽の再生、計算、インテリジェントな対話ができます。例：音声入力「音楽をかけて」。
音声による雲台・ロボットアームの制御
音声入力：雲台を左に 30 度回して
出力結果：雲台が 30 度まで回転することを確認できます。
同時にシステムから「ご主人様、雲台を左に 30 度まで回転しました」と応答があります。
インテリジェント顔追跡システム
AI Voice Assistant に切り替え、音声入力：顔追跡を開始
人が移動すると、顔を動的に追跡してマーキングし、雲台もそれに合わせて回転します。
音声入力：顔追跡を終了
インテリジェント視覚ロボットアーム制御システム
視覚によるロボットアーム制御
音声入力：ロボットアームを右に 4 センチ動かして
実際のロボットアームが動きます。
システムが移動後のロボットアームの位置を返します。
ワーク（物体）の位置を取得し、インテリジェントに把持します。
物体の画像認識
- 鍵をカメラの撮影範囲に置き、音声入力：鍵を検出して。
- 鍵が検出されると、鍵が枠で囲まれます。
同時にシステムから音声で結果が通知されます：「ご主人様、鍵を 1 個検出しました」。
同時にシステムから音声で次のような案内があります：「ご主人様、鍵を 1 個検出しましたよ！画面中央から右に 154 ピクセル、下に 21 ピクセルの位置にあり、大きさは 71x37 ピクセルです。すぐに見つかりますね～」。
- ペンをカメラの撮影範囲に置き、音声入力：ペンを検出して。
ペンが検出されると、画像上に枠と位置が表示されます。
実験結果
実験結果は参考用です：
情報交換・サポート
資料のダウンロード・技術サポートについては、HumansX株式会社までお問い合わせください。