ドキュメントインタラクティブエージェント クイックスタート
インタラクティブエージェントは、大規模モデルとさまざまな入出力モジュールを統合し、物理世界とやり取りすることができます。大規模モデルはインタラクティブエージェントの中核であり、思考と意思決定を担います。本プロジェクトでは、大規模モデル技術（ASR+LLM+TTS）を活用してインタラクティブエージェントを実現します。
やり取りの例を挙げます。インタラクティブエージェントを搭載した RDK X5 ロボットに「ねえロボット、『稲花香』という曲が聴きたいな。」と話しかけたとします。
- 認識（ASR）：ロボットはマイクであなたの声を聞き取り、ASR モデルで
"稲花香"というテキストに変換します。 - 思考（LLM）：大規模モデルはテキストを受け取り、あなたの意図が
[タスク: 稲花香を流す]であることを「理解」します。 - 行動（TTS）：計画が完了すると、TTS で「かしこまりました。『稲花香』を再生します。」と応答します。
今後は制御技術と組み合わせ、ロボット（パン・チルト雲台、ロボットアームなど）を制御して、より高度なインタラクション応用も実現できます。
実行結果
音声対話アシスタント（ASR+LLM+TTS）をベースに、音声でパン・チルト雲台を回転させ、回転後の位置を音声で読み上げます。リンク（大規模モデル応用実践 - AI マルチモーダルとロボットの総合操作）をクリックして動作をご確認ください。
以下では、モジュールごとに分解して、インタラクティブエージェントの設計と実装の過程を理解していきます。
インタラクション用ハードウェア
単体のマイクで録音し、スピーカーで音声を再生することも、4 極イヤホン（マイク・再生機能付き）でやり取りすることもできます。ハードウェアの使い方はこちら：音声の録音と再生
クイック操作
まず全体像をつかみたい場合は、下のリンクから操作して動作を確認してください。
| モジュール | クイック操作 |
|---|---|
| 音声認識（ASR） | 音声認識 ASR システムの実装 |
| 意味理解（LLM） | Function-call によるパン・チルト雲台制御システムのタスク計画 |
| 音声合成（TTS） | 音声合成 TTS システムの実装 |
| 音声対話アシスタント ASR-LLM-TTS | 大規模モデル応用実践 - AI マルチモーダルとロボットの総合操作 |
ゼロからの設計
インタラクティブエージェントの全工程を分析・設計・実装したい場合は、以下の内容をご覧ください。
| 分析・設計ドキュメント | ドキュメントリンク |
|---|---|
| 音声認識（ASR） | 音声認識 ASR - 全体紹介（通義千問） |
| 意味理解（LLM） | 意味理解 LLM - 全体紹介（火山引擎） |
| 音声合成（TTS） | 音声合成 TTS - 全体紹介 |
| 音声対話アシスタント ASR-LLM-TTS | ASR-LLM-TTS 音声対話アシスタント |