ドキュメントAI 大規模モデル プロジェクト準備ガイド
本ドキュメントでは、プロジェクトの立ち上げと設定について、わかりやすく網羅的に説明します。初めてのユーザーでも設定のハードルや情報収集の手間を大幅に減らし、より早くプロジェクトを起動・実行して、機能そのものの学習と実践に集中できるようにすることを目的としています。
概要
RAI-P4 は、音声認識（ASR）、大規模言語モデル（LLM）、音声合成（TTS）、コンピュータビジョン（YOLO）、ロボットアーム制御などの AI 技術を統合した、総合的なロボットタスク計画プラットフォームです。モジュール構成を採用しており、各モジュールは独立してデプロイされます。AI 機能はクラウドサービスの API を通じて提供されるため、ローカル環境へのデプロイの複雑さが軽減されます。
プロジェクト構成の概要
RAI-P4 プラットフォーム構成
├── 🎤 ASR モジュール - 音声認識
├── 🧠 LLM モジュール - 大規模言語モデルによる対話（外部 API が必要）
├── 🔊 TTS モジュール - 音声合成（外部 API が必要）
├── 👁️ YOLO モジュール - コンピュータビジョン
└── 🦾 ロボットアーム制御 - ハードウェア制御
主要モジュールの詳細
LLM モジュール（ポート 8002）
場所：/llm/ 機能：インテリジェント対話、Function Calling によるツール呼び出し、MCP 連携
必要な外部サービス
| サービス | 用途 | 必須／任意 | 取得の難易度 |
|---|---|---|---|
| Volcengine LLM API | 中核となる対話機能 | ✅ 必須 | 易しい |
| SiliconFlow API | 視覚言語モデル（VLM）による画像認識 | ❓ 任意 | 易しい |
| Amap（高徳地図）API | 地図検索、位置情報サービス | ❓ 任意 | 易しい |
| ModelScope MCP | 拡張ツールのエコシステム | ❓ 任意 | 普通 |
主な機能
- マルチターンのインテリジェント対話、ストリーミング応答と非ストリーミング応答に対応
- Function Calling：電卓、音楽再生、ロボットアーム制御など
- MCP 連携：外部ツールやサービスとの接続
- VLM による画像理解：画像の内容を分析して質問に回答
- ️ ハードウェア制御：ロボットアームやパンチルト（PTZ）などの機器をインテリジェントに制御
TTS モジュール（ポート 8003）
場所：/tts/ 機能：高品質な音声合成（テキスト読み上げ）
必要な外部サービス
| サービス | 用途 | 必須／任意 | 設定項目 |
|---|---|---|---|
| Volcengine TTS | 音声合成 | ✅ 必須 | APP ID + Access Token |
主な機能
- 多彩な声色に対応：男性の声、女性の声、感情表現のある声など
- ⚡ リアルタイム合成：WebSocket による低遅延配信
- ️ パラメータ調整：話速、音量、声の高さを調整可能
- 多言語対応：中国語、英語、日本語の音声合成
その他のモジュール（外部 API 不要）
- ASR モジュール：ローカルで音声認識を行い、外部設定は不要
- ️ YOLO モジュール：ローカルのコンピュータビジョンで顔検出と物体認識を実行
- ロボットアームモジュール：ハードウェア制御、さまざまな動作アルゴリズムに対応
設定ファイルの説明
LLM モジュールの設定ファイル
llm/
├── .env # 主な API キーの設定
│ ├── VOLCENGINE_LLM_API_KEY # Volcengine LLM の API キー
│ └── SILICONFLOW_API_KEY # SiliconFlow VLM の API キー
├── .env.example # 設定テンプレートファイル
└── utils/mcp/config/
└── mcp_servers.json # MCP ツールサーバーの設定
└── Amap（高徳地図）API の設定
TTS モジュールの設定ファイル
tts/
├── .env # TTS サービスの設定
│ ├── VOLCENGINE_TTS_APP_ID # Volcengine のアプリケーション ID
│ └── VOLCENGINE_TTS_ACCESS_TOKEN # Volcengine のアクセストークン
└── .env.example # 設定テンプレートファイル
利用シーンと設定要件
基本的な利用シーン
| シーン | 必要なモジュール | 必須 API | 任意 API |
|---|---|---|---|
| インテリジェント対話 | LLM | Volcengine LLM | - |
| 音声アシスタント | ASR + LLM + TTS | Volcengine LLM + TTS | - |
| 画像 Q&A | LLM + YOLO | Volcengine LLM | SiliconFlow VLM |
| 地図検索 | LLM | Volcengine LLM | Amap（高徳地図）API |
| ロボット制御 | LLM + ロボットアーム | Volcengine LLM | - |
推奨される起動手順
- 初回起動：まず必須の API を設定し、基本機能を起動します。
- 機能の拡張：必要に応じて任意の API を段階的に追加します。
- 統合テスト：モジュール間の連携をテストします。
クイック設定チェックリスト
✅ 必須の設定（基本機能）
- Volcengine LLM API キー（LLM 対話）
- Volcengine TTS の APP ID と Token（音声合成）
任意の設定（拡張機能）
- SiliconFlow API キー（画像認識）
- Amap（高徳地図）API キー（地図サービス）
- MCP ツール（拡張ツール）
よくある質問
Q：任意の API を設定しないと、基本機能に影響はありますか？
A：いいえ、影響はありません。本プロジェクトはモジュール構成を採用しているため、設定されていない機能は自動的にスキップされ、他のモジュールの正常な動作には影響しません。
Q：API 呼び出しの費用はどのくらいかかりますか？
A：学習・テスト段階では、通常ごくわずかな費用（1 日あたり数円～数百円程度）で済みます。また、ほとんどのサービスには無料枠が用意されています。
Q：他の API プロバイダーに切り替えることはできますか？
A：はい、可能です。ただし、コード内の API 呼び出し部分を修正する必要があります。現在のバージョンは推奨サービスプロバイダー向けに最適化されています。
サポート
設定についてお困りの場合は、以下を参照してください。
- 各モジュールの詳細ドキュメント
.env.example設定テンプレートファイル 資料のダウンロード・技術サポートについては、HumansX株式会社までお問い合わせください。
ワークスペースのデプロイ
（HumansX サポートより提供） singleDoc# ASR_LLM_TTS ワークスペースのデプロイ