AIマルチモーダルとロボットの統合プロジェクト全体設計

プロジェクト概要

プロジェクト全体の紹介

モジュール設計と実践チュートリアル

モジュール化されたプロジェクト事例を通じて、人工知能技術とロボット技術の統合調整などの技術を一歩ずつ習得していきます。音声認識（ASR）、大規模言語モデル（LLM）、音声合成（TTS）、コンピュータビジョン（YOLO）、ロボットアーム制御を統合でき、ローカル環境への導入の複雑さを軽減するためのモジュール別チュートリアルを提供しています。必要に応じてチュートリアルをご覧ください。

AI大規模モデルの基本準備

AI大規模モデルプロジェクトの準備説明
ASR_LLM_TTS ワークスペースのデプロイ
SiliconFlow（硅基流動）APIキーの取得
Volcano Engine（火山引擎）LLM APIキーの取得
Volcano Engine（火山引擎）TTS APP ID・TTS Tokenの取得
Amap（高徳）開発者プラットフォーム API_KEY の取得
ModelScope（魔搭）コミュニティにおけるMCPツールの取得とLLMプロジェクトでの使用方法

ロボット本体の制御

ロボット本体インターフェースの全体紹介
ロボットアームのアルゴリズムインターフェース
サーボ制御通信プロトコルインターフェース
シリアル通信プロトコルインターフェース
カスタムフォント関数インターフェース
ノード管理プログラムインターフェース
ロボットアームの円弧補間制御
ロボットアームの直線補間制御

センサーの検出と制御

姿勢センサーのデータ取得
ジェスチャーによる雲台（パン・チルト）動作制御実験
ジェスチャーによるロボットアーム動作制御実験
USB-PS2コントローラーのボタンデータ取得
USB-PS2コントローラーによるロボットアーム回転制御実験

マシンビジョンの基礎

マシンビジョンの基礎概要
視覚による色認識の設計
視覚による色認識の実装
視覚による形状認識の設計
視覚による形状認識の実装

AIビジョン顔検出システム

YOLO11顔検出システム – 全体紹介
YOLO11顔検出 – システムアーキテクチャ設計
YOLO11顔検出システム – APIインターフェース説明
YOLO11顔検出システム – 設定説明
YOLO11顔検出システム – モデルデプロイ文書
YOLO11顔検出システムの実装

AIビジョン物体検出システム

YOLO11物体検出システム – 全体紹介
YOLO11物体検出システム – システムアーキテクチャ設計
YOLO11物体検出システム – APIインターフェース説明
YOLO11物体検出システム – 設定説明
YOLO11物体検出システム – モデルデプロイ文書
YOLO11物体検出システムの実装

大規模モデルの応用 – 音声のテキスト化

音声テキスト変換ASR – 全体紹介（通義千問）
音声テキスト変換ASR – アーキテクチャ設計
音声テキスト変換ASR – APIインターフェース説明
音声テキスト変換ASR – 設定説明
音声テキスト変換ASR – sherpa-onnx認識フレームワークの紹介
音声テキスト変換ASR – 設定説明
音声テキスト変換ASRシステムの実装

大規模モデルの応用 – 意味理解LLM

意味理解LLM – システムアーキテクチャ設計
意味理解LLM – APIインターフェース文書
意味理解LLM – 設定ガイド
意味理解LLM – Function Callingツールシステム
意味理解LLM – ハードウェア統合ガイド
意味理解LLM – 全体紹介（Deepseek）
Function-callによる音楽再生の実装
Function-callによる電卓ツールの実装
Function-callによる雲台制御システムのタスクプランニング
Function-callによるロボットアーム動作制御の実装
Function-callによる視覚言語モデルVLMの画像解析
MCP機能 – 天気と地図の検索

大規模モデルの応用 – 音声合成TTS

音声合成TTS – 全体紹介
音声合成TTS – アーキテクチャ設計
音声合成TTS – インターフェース説明
音声合成TTS – 設定説明
音声合成TTSシステムの実装

大規模モデルの応用・音声対話アシスタント ASR-LLM-TTS

ASR-LLM-TTS 音声対話アシスタント

ASR-LLM-TTS 音声対話アシスタントフロントエンド
フロントエンドアーキテクチャ設計の詳細
WebSocket通信統合ドキュメント
UIコンポーネントシステムドキュメント
状態管理の詳細
国際化（i18n）システムドキュメント

ASR-LLM-TTS 音声対話アシスタントバックエンド
システムアーキテクチャ設計の詳細
Function Calling ツール呼び出しシステム
MCP（Model Context Protocol）統合ドキュメント
オーディオシステム技術ドキュメント
デプロイガイド
WebSocket APIリファレンス

大規模モデルの応用・インテリジェント顔追跡システム

インテリジェント顔追跡システムの全体紹介
インテリジェント顔追跡ドキュメントナビゲーション
システムアーキテクチャ設計
APIインターフェースドキュメント
デプロイガイド
MCPサーバーの説明
コア機能の紹介
インテリジェント追跡アルゴリズムの詳細説明

大規模モデルの応用・インテリジェントビジョンロボットアーム制御システム

インテリジェントビジョンロボットアーム制御システム
ドキュメントナビゲーション
システムアーキテクチャ設計
APIインターフェースドキュメント
デプロイガイド
MCPサーバーの説明
コア機能の紹介

プロジェクト全体の実践

ASR、LLM、TTS、YOLO、ロボットアーム制御の技術を統合した総合プロジェクトです。モジュール設計の内容も参考にしてください。

総合プロジェクトでは、音声認識（ASR）、大規模言語モデル（LLM）、音声合成（TTS）、コンピュータビジョン（YOLO）、ロボットアーム制御といったマルチモーダル技術を統合して実践できます。下記のリンクをご確認ください。

AIマルチモーダルとロボットの統合デバッグと実践

サポート窓口

資料のダウンロード・技術サポートについては、HumansX株式会社までお問い合わせください。