RAI-M4

自然言語理解とマルチモーダル認識に対応し、

タスク計画から実行までを一体化。

全方向移動とロボットアームを統合し、
狭小空間でも柔軟な作業を実現。

段階的に学べるモジュール構成で、

幅広い教育シーンに対応。

基礎的な画像処理から深層学習、マルチモーダル認識まで、一貫した実践学習の流れを構築。

■ OpenCVビジョン

    ・色認識、形状認識、QRコード認識、バーコード認識

    ・カラーマーカー検出（総合処理＋フィルタリング）

■ AIビジョン - YOLO

    ・YOLOモデルの導入・デプロイ

    ・データセットのアノテーション、学習、デプロイ

    ・ワーク検出

    ・顔検出

■ AIビジョン - 通義千問マルチモーダル大規模モデル

    ・通義千問マルチモーダルAPIの導入・デプロイ

    ・物体検出およびラベリング

音声インタラクション、マルチモーダル認識、ロボット実行を統合した、エンドツーエンドのAIモデル実践にフォーカス。

 ■ 音声対話インタラクション

　・音声認識（ASR）の導入・実装 - 通義千問

　・意味理解（LLM）の導入・実装 - DeepSeek

　・音声合成（TTS）の導入・実装 - 火山引擎

　・大規模モデルを活用した音声対話機能の実装

　・音声対話による電卓機能の実装

　・音声対話による音楽再生機能の実装

■ マルチモーダル視覚認識

　・通義千問マルチモーダルAPIの導入・デプロイ

　・物体検出およびラベリング

■ ロボット応用との連携

　・MCPに基づく認識・把持タスクプランニング

　・MCPに基づくナビゲーションタスクプランニング

 シャーシおよびロボットアームの運動学と制御戦略に関する実践。

■ モバイルベース制御

　・エンコーダ付きモータのPID制御

　・全方向移動ベースの運動学制御

　・全方向移動ベースのオドメトリ制御（ジャイロセンサ含む）

■ ロボットアーム本体制御

　・サーボモータの位置制御

　・ロボットアームの運動学制御

　・ロボットアームの補間軌道制御

ROSのトピック、サービス、パラメータ管理およびMoveItによるモーションプランニングなどの中核スキルを習得。

■ ROSの基礎操作

　・Topic、Service、Parameter による turtlesim の移動制御

　・パッケージ移植と実行 - キーボードによる turtlesim 制御

■ Moveit! によるロボットアーム動作計画

　・ロボットアームのURDFファイル設定

　・Moveit! によるロボットアーム運動学モデルの設定

　・RViz によるロボットアーム動作計画の実現

システムインターフェース、マッピングおよびナビゲーションの一連のプロセスを網羅し、マルチポイントナビゲーションの実践に対応。

■ 地図構築 　

    ・マッピング用プロジェクトファイルの設定 　

    ・新規地図の構築 

■ 地図ナビゲーション 　

   ・指定点ナビゲーションの実装 　

   ・自律回避ナビゲーションの実装 　

   ・複数座標ナビゲーションの実装