ドキュメントインテリジェント顔追跡システムの全体紹介
RDK X5プラットフォームをベースにしたインテリジェント顔追跡システムで、YOLO11による顔検出と2自由度雲台制御を統合しています。MCPプロトコルとRESTful APIにより、AIアシスタントによる自然言語制御とWebインターフェースでのリアルタイム操作を実現します。
🚀 主な特長
- 🎯 リアルタイム顔検出: YOLO11n量子化モデルとBPUハードウェアアクセラレーションにより、約30fpsのリアルタイム性能
- 🔄 インテリジェントな対象追跡: PID制御＋カルマンフィルターによる複数対象追跡システム
- 🤖 MCPプロトコル統合: 8つのツール関数で、AIアシスタントとの自然言語インタラクションに対応
- 🌐 統合サービスアーキテクチャ: 1台のサーバーでWebサービスとMCPサービスを同時に実行
- 📱 リアルタイムWebインターフェース: MJPEG映像ストリームの表示とインタラクティブな雲台制御
- ⚙️ きめ細かな例外処理: 充実したエラー分類・捕捉・状態フィードバックの仕組み
- 🎨 動的なビジュアルフィードバック: 追跡状態をリアルタイムに可視化
📋 システム要件
- ハードウェア: RDK X5開発ボード、または互換性のあるARMアーキテクチャのプロセッサー
- OS: Ubuntu 20.04以降
- Python: 3.6以降
- 周辺機器: USBカメラ、2自由度PWMサーボ雲台
- メモリ: 2GB RAM以上
- ストレージ: 3GB以上の空き容量
🚀 クイックスタート
1. リポジトリのクローン
git clone https://github.com/your-username/Proj_Intelligent-Face-Tracker.git
cd Proj_Intelligent-Face-Tracker
2. 依存関係のインストール
# 创建虚拟环境（推荐）
python3 -m venv venv
source venv/bin/activate
# 安装依赖
pip install -r requirements.txt
3. ハードウェアの準備
# 检查摄像头设备
ls /dev/facecamera || ls /dev/video*
# 检查串口设备权限
ls -l /dev/ttyS1
sudo chmod 666 /dev/ttyS1
4. システムの起動
# 使用启动脚本（推荐）
./bin/start-mcp-server.sh
# 或直接运行
python main.py
# 传统Web模式
python main_legacy.py
5. サービスへのアクセス
- Webインターフェース: http://localhost:5000
- MCPサービス: http://localhost:8000/mcp/
- APIエンドポイント: http://localhost:5000/api/faces
- 映像ストリーム: http://localhost:5000/video_feed
📚 詳細ドキュメント
| ドキュメント | 説明 |
|---|---|
| インテリジェント顔追跡 ドキュメントガイド | ドキュメント索引とクイックナビゲーション |
| システムアーキテクチャ設計 | システムアーキテクチャとモジュール設計 |
| APIインターフェース仕様書 | RESTful APIの詳細説明 |
| デプロイガイド | 環境設定とデプロイの説明 |
| MCPサーバーの説明 | MCPプロトコル統合とツール関数 |
| 主要機能の紹介 | 顔検出と追跡アルゴリズム |
🛠️ MCPツール関数
本システムは8つのMCPツール関数を提供し、AIアシスタントによる自然言語での制御に対応しています。
検出系ツール
detect_faces()- 現在の顔検出結果を取得
制御系ツール
control_gimbal(pan, tilt)- 雲台の絶対位置を制御move_gimbal_relative(pan_offset, tilt_offset)- 雲台を相対移動reset_gimbal_position()- 雲台の位置を初期状態にリセット
追跡系ツール
start_face_tracking()- 顔の自動追跡を開始stop_face_tracking()- 顔の自動追跡を停止
状態系ツール
get_gimbal_status()- 雲台の現在の状態を取得get_system_status()- システムの稼働状態を取得
🏗️ プロジェクト構成
Proj_Intelligent-Face-Tracker/
├── face_tracker_mcp/ # MCP版本主要源代码
│ ├── main.py # 统一服务器入口
│ ├── core/ # 核心业务逻辑
│ │ ├── detection.py # YOLO11人脸检测
│ │ ├── gimbal_control.py # 云台控制
│ │ ├── exceptions.py # 异常处理
│ │ └── utils.py # 工具函数
│ ├── services/ # 服务层
│ │ ├── mcp_service.py # MCP协议服务
│ │ └── web_service.py # Web服务封装
│ ├── api/ # API接口层
│ │ └── routes.py # RESTful路由
│ └── config/ # 配置管理
├── src/ # 传统版本源代码（兼容）
├── config/ # 配置文件
├── docs/ # 文档目录
├── bin/ # 脚本目录
├── model/ # YOLO模型文件
└── logs/ # 日志目录
🔧 技術的特長
顔検出エンジン
- モデル: YOLO11n量子化モデル、320×320入力
- 高速化: Horizon BPUによるハードウェアアクセラレーション推論
- 性能: 約30fpsのリアルタイム検出、信頼度しきい値0.6
- 形式: NV12入力形式、RDK X5プラットフォームに対応
インテリジェント追跡システム
- 複数対象の管理: 対象IDの関連付けと永続的な追跡
- スコアリングアルゴリズム: 信頼度・サイズ・持続性・位置の連続性を総合評価
- 動き予測: カルマンフィルターに基づく対象位置の予測
- ブレ防止制御: 対象切替しきい値の仕組みで頻繁な切り替わりを回避
雲台制御システム
- ハードウェア: 2自由度PWMサーボ雲台
- 通信: シリアル通信 (/dev/ttyS1, 115200ボーレート)
- 制御: PIDコントローラーによる滑らかな追跡
- 範囲: 0°～270°の角度制御範囲
⚡ 性能指標
- 検出遅延: <33ms (30fps)
- 制御応答: <50ms
- メモリ使用量: <400MB
- CPU使用率: 約10% (RDK X5)
- 追跡精度: ±2°の角度精度
🛡️ 安全機能
- 角度制限: 雲台の角度範囲を厳密にチェック
- 例外捕捉: 充実したハードウェア故障検出
- 状態監視: システム状態をリアルタイムに監視
- グレースフル終了: SIGINT/SIGTERMシグナルの処理
お問い合わせ
資料のダウンロード・技術サポートについては、HumansX株式会社までお問い合わせください。