ASR-LLM-TTS 音声アシスタント

本プロジェクトは、自動音声認識（ASR）、大規模言語モデル（LLM）、音声合成（TTS）の機能を統合した音声対話アシスタントシステムです。フロントエンドとバックエンドを分離したアーキテクチャを採用し、Web 画面での操作と音声対話に対応しています。ユーザーは音声またはテキスト入力でアシスタントとやり取りでき、アシスタントは指示を理解してツール（電卓、音楽プレーヤー、ロボットアーム制御など）を呼び出し、自然な音声で応答します。

主な機能

音声認識（ASR）：Sherpa-NCNN を使用したローカル・リアルタイム音声認識
大規模言語モデル（LLM）：Volcano Engine の Doubao シリーズと連携し、Function Calling に対応
音声合成（TTS）：Volcano Engine の TTS サービスによるストリーミング音声合成と再生
Web 画面：Next.js ベースのモダンなフロントエンド画面で、リアルタイム対話に対応
レスポンシブデザイン：モバイルとデスクトップの両方に対応し、LAN 内からのアクセスも可能
ツールエコシステム：電卓、音楽プレーヤー、ロボットアーム制御、画像認識など
双方向ストリーミング：LLM 出力、TTS 合成、音声再生を並行処理 ⚡
リアルタイムインタラクション：WebSocket 通信による低遅延の応答

プロジェクト構成

asr-llm-tts/
├── Frontend/             # 前端项目 (Next.js + TypeScript)
│   ├── docs/             # 前端详细技术文档
│   └── README.md         # 前端概览文档
├── Backend/              # 后端项目 (FastAPI + Python)
│   ├── docs/             # 后端详细技术文档
│   ├── config.yaml       # 全局配置文件
│   ├── server.py         # FastAPI 服务器入口
│   └── README.md         # 后端概览文档
├── docs/                 # 项目文档
├── run.sh                # 一键启动脚本
├── README.md             # 项目总体说明 (本文档)
└── version.md            # 版本更新记录

技術概要

フロントエンド技術スタック

主な構成は以下のとおりです。

フレームワーク：Next.js 15.2.4（React 19）+ TypeScript
スタイル：TailwindCSS + shadcn/ui コンポーネントライブラリ
3D レンダリング：Three.js（WebGL 3D ライブラリ）
通信：WebSocket によるリアルタイム双方向通信

バックエンド技術スタック

フレームワーク：FastAPI + Uvicorn
音声認識：Sherpa-NCNN（ローカル）
大規模言語モデル：Volcano Engine Doubao
音声合成：Volcano Engine TTS

詳細な技術ドキュメントについては、各モジュールの README および docs ディレクトリを参照してください。

クイックスタート

ワンクリック起動（推奨）

起動に成功したら、次のアドレスにアクセスします。

# 启动前后端服务
./run.sh

http://localhost:3000

手動起動

⚙️

# 启动后端
cd Backend
python server.py

# 启动前端
cd Frontend
npm run dev

設定とデプロイ

環境設定

リポジトリをクローンし、依存関係をインストールします
API キーを設定します（Backend/.env ファイル内）
ASR/VAD モデルファイルをダウンロードします

主要な設定ファイル

Backend/config.yaml：システム設定
Backend/.env：API キー設定

詳細な設定手順については、以下を参照してください。

ASR-LLM-TTS 音声対話アシスタント（バックエンド）

Function Calling ツール

対応ツールの種類

電卓：基本的な数値計算
音楽プレーヤー：ローカル音楽ファイルの再生と音量制御
ロボットアーム制御：物体の把持・配置・方向移動（MCP 拡張）
画像認識：物体検出とシーン理解
カメラ制御：パン・チルト回転、顔追跡

ツールの詳細な説明については、以下を参照してください。

Function Calling ツール呼び出しシステム

技術サポート

資料のダウンロード・技術サポートについては、HumansX株式会社までお問い合わせください。