実験5 音声制御による四輪駆動・四輪全方向メカナムホイール搬送ロボット
実験の目的
-
音声認識モジュールのシリアル通信ブロックのデータを取得できるようになります。
-
音声認識センサーの動作原理に基づき、音声コマンドでロボットの動作を制御します。
-
実際の場面を想定し、音声制御でロボットに搬送を行わせます。
基本原理
- 機能実現のフレームワーク図

- 通信プロトコルの主な役割は、人・音声モジュール・ロボットの間の通信ルールを定めることです。音声モジュールはルールの範囲内の文を認識します。ロボットは各動作にプロトコルを設定し、そのプロトコルと音声コマンドを 1 対 1 で対応させます。
以下は、あるロボットに対応する通信プロトコルです。
| 音声入力コマンド | ロボットの応答 | ロボットの対応動作 | ロボット動作プロトコル |
|---|---|---|---|
| ウェイクアップ:「Potato Potato」 | 応答:「はい、何かお手伝いしましょうか」 | 静止 | |
| 前進 | 前進 | 前進 | 01 |
| 後退 | 後退 | 後退 | 02 |
| 左旋回 | 左旋回 | 左旋回 | 03 |
| 右旋回 | 右旋回 | 右旋回 | 04 |
| 左平行移動 | 左平行移動 | 左平行移動 | 05 |
| 右平行移動 | 右平行移動 | 右平行移動 | 06 |
| 停止 | 停止 | 停止 | 07 |
| 持ち上げ | 持ち上げ | 持ち上げ | 08 |
| 下ろす | 下ろす | 下ろす | 09 |
| つかむ | つかむ | つかむ | 10 |
| 開く | 開く | 開く | 11 |
想定シーン
スマートファクトリーにおいて、音声制御ロボットが資材を搬送します。
機能要件
音声でコマンドを話すと、ロボットはコマンドに応じて異なる動作を行います。例えば、ロボットを制御してボトル入りの水を運ばせることができます。
ハードウェアの準備
| 機器名 | 数量 | 備考 |
|---|---|---|
| ESP32 メインボード | 1 枚 | コア制御ユニット |
| Type-C データケーブル | 1 本 | PC に接続してプログラムを書き込みます |
| 2S バッテリーボックス+リチウム電池 | 1 セット | モーターに電源を供給します(モーターの定格電圧に適合) |
| 音声認識センサー | 1 | ファームウェア書き込み済み。音声入力をファームウェアに基づいて認識し、結果を出力します |
| スピーカー | 1 | 音声認識センサーに接続して音声を再生します |
プロトタイプ案
3D モデル図と組み立てマニュアルをダウンロードして、ロボットを組み立ててみましょう。
3D モデル図
四輪駆動メカナムホイールロボット(1 軸グリッパー付き)(四驱麦轮机器人带1轴夹爪1.rar)
組み立てマニュアル
リンクをクリックしてダウンロードしてください:はじめてのロボット組み立てマニュアル(第一个机器人的组装手册.pdf)
回路接続
ハードウェアモジュール
| 番号 | リンク | 重要度 | 役割 |
|---|---|---|---|
| 1 | Uni ESP32 メインボード・拡張ボード説明【V3.0】 | 必読 | 開発ボードのインターフェースをすばやく確認できます。 |
| 2 | バッテリーモジュールの使い方(必読) | 必読 | バッテリーの取り付け・接続・充電方法をすばやく理解できます。 |
| 3 | OpenBlock ソフトウェア環境の設定と使い方【V3.0】 | 必読 | ソフトウェアの概要、インストール、基本的な使い方を理解できます。 |
| 4 | 電子モジュールの紹介 | 必要に応じて | リンクをクリックして DC モーター(TT モーター)、サーボのパラメーター、音声認識モジュール を確認してください。 |
コマンドワードの生成と書き込み
まずコマンドワードを書き込み、その後グラフィカルコードで各コマンドの返り値を確認します。
-
まずファームウェアをダウンロードします:音声制御四輪駆動メカナムホイール搬送ロボット用コマンドワードファームウェア(语音控制四驱麦轮搬运机器人词条固件.rar)
-
以下のリンクをクリックしてコマンドワードを書き込みます。コマンドワード書き込みの操作手順に従い、書き込みツールを使って書き込みと音声コマンドのテストを行ってください。
実験4 音声コマンドの生成と書き込み
ヒント:コマンドワードをカスタマイズして新しいコマンドワードファームウェアを生成する場合は、上記リンク(音声認識コマンドワードの編集)を参照してください。
ピンの説明
| シャーシモーター | ESP32 ピン |
|---|---|
| モーター 1 | 13, 27 |
| モーター 2 | 14, 23 |
| モーター 3 | 26, 32 |
| モーター 4 | 18, 19 |
| グリッパー用サーボ | 33 |
| グリッパー揺動制御用サーボ | 23 |
| 音声モジュールのピン | |
| 5V | 5V |
| T | RX2(17) |
| R | TX2(16) |
| GND | GND |

実機配線
| 列 1 | 列 2 |
|---|---|
次に、スピーカーモジュール裏面の白い剥離紙をはがし、ロボット(バッテリーボックスなど)に貼り付けます。

接続後の全体イメージ:

ソフトウェアの実装
ソースコードのダウンロード
音声制御による四輪駆動メカナムホイール複合把持ロボット(语音控制四轮四驱麦轮复合抓取机器人.rar)
ブロックコード

操作手順
-
グラフィカルプログラムを書き込みます。ESP32 のバージョンを選択し、ESP32 ボードを PC の USB ポートに接続してから、接続してプログラムを書き込みます。
-
スイッチを入れ、音声でコマンドを入力して実行し、動作を確認します。
実験結果
以下の表に従って音声でコマンドを入力し、ロボットを操作して資材を搬送します。
例えば、音声で「Potato Potato」と入力して、まずロボットをウェイクアップします。
続いて音声で「前進」と入力すると、ロボットが前進を開始します。

参考デモ動画は以下のとおりです。
ドキュメント