ASR-LLM-TTS 音声対話アシスタント

本プロジェクトは、自動音声認識（ASR）、大規模言語モデル（LLM）、音声合成（TTS）の機能を統合した音声対話アシスタントシステムです。フロントエンドとバックエンドを分離したアーキテクチャを採用し、Web 画面でのやり取りと音声対話に対応しています。ユーザーは音声またはテキスト入力でアシスタントとやり取りでき、アシスタントは指示を理解し、ツール（電卓、音楽プレーヤー、ロボットアーム制御など）を呼び出して、自然な音声で応答します。

🌟 主な機能

🎤 音声認識（ASR）：Sherpa-NCNN によるローカル・リアルタイムの音声認識
🧠 大規模言語モデル（LLM）：火山引擎 Doubao シリーズに対応し、Function Calling をサポート
🔊 音声合成（TTS）：火山引擎 TTS サービスによるストリーミング音声合成と再生
🌐 Web 画面：Next.js ベースのモダンなフロントエンド画面で、リアルタイム対話に対応
📱 レスポンシブデザイン：モバイルとデスクトップに対応し、LAN からのアクセスをサポート
🧮 ツール群：電卓、音楽プレーヤー、ロボットアーム制御、画像認識など
🔄 双方向ストリーミング処理：LLM 出力、TTS 合成、音声再生を並行処理
⚡ リアルタイムインタラクション：WebSocket 通信による低遅延の応答

📁 プロジェクト構成

asr-llm-tts/
├── Frontend/             # 前端项目 (Next.js + TypeScript)
│   ├── docs/             # 前端详细技术文档
│   └── README.md         # 前端概览文档
├── Backend/              # 后端项目 (FastAPI + Python)
│   ├── docs/             # 后端详细技术文档
│   ├── config.yaml       # 全局配置文件
│   ├── server.py         # FastAPI 服务器入口
│   └── README.md         # 后端概览文档
├── docs/                 # 项目文档
├── run.sh                # 一键启动脚本
├── README.md             # 项目总体说明 (本文档)
└── version.md            # 版本更新记录

💡 技術概要

フロントエンドの技術スタック

フレームワーク：Next.js 15.2.4 (React 19) + TypeScript
スタイル：TailwindCSS + shadcn/ui コンポーネントライブラリ
3D レンダリング：Three.js（WebGL 3D ライブラリ）
通信：WebSocket によるリアルタイム双方向通信

バックエンドの技術スタック

フレームワーク：FastAPI + Uvicorn
音声認識：Sherpa-NCNN（ローカル）
大規模言語モデル：火山引擎 Doubao
音声合成：火山引擎 TTS

詳細な技術ドキュメントは、各モジュールの README と docs ディレクトリを参照してください。

🚀 クイックスタート

ワンクリック起動（推奨）

# 启动前后端服务
./run.sh

起動に成功したら、次の URL にアクセスします：http://localhost:3000

手動起動

# 启动后端
cd Backend
python server.py

# 启动前端
cd Frontend
npm run dev

⚙️ 設定とデプロイ

環境設定

リポジトリのクローンと依存関係のインストール
API キーの設定（Backend/.env ファイル内）
ASR/VAD モデルファイルのダウンロード

主要な設定ファイル

Backend/config.yaml - システム設定
Backend/.env - API キー設定

詳細な設定手順は ASR-LLM-TTS 音声対話アシスタントバックエンドを参照してください。

🛠️ Function Calling ツール

対応するツールの種類

🧮 電卓：基本的な数値計算
🎵 音楽プレーヤー：ローカル音楽ファイルの再生と音量調整
🤖 ロボットアーム制御：物体の把持・配置・方向移動（MCP 拡張）
👁️ 画像認識：物体検出とシーン理解
📹 カメラ制御：パン・チルト雲台の回転、顔追跡

ツールの詳細は Function Calling ツール呼び出しシステムを参照してください。

📚 関連ドキュメント

フロントエンドのドキュメント

フロントエンドの概要：

ASR-LLM-TTS 音声対話アシスタントフロントエンド

フロントエンドの詳細技術ドキュメント：

フロントエンドのアーキテクチャ設計詳解

WebSocket 通信統合ドキュメント

UI コンポーネントシステムのドキュメント

状態管理の詳解

国際化システムのドキュメント

バックエンドのドキュメント

バックエンドの概要：

ASR-LLM-TTS 音声対話アシスタントバックエンド

バックエンドの詳細技術ドキュメント：

システムアーキテクチャ設計詳解

Function Calling ツール呼び出しシステム

MCP（Model Context Protocol）統合ドキュメント

オーディオシステム技術ドキュメント

デプロイガイド

WebSocket API リファレンス

作成者

サポート窓口

資料のダウンロード・技術サポートについては、HumansX株式会社までお問い合わせください。