HumansXドキュメントセンター 公式サイトへ ↗

実験5 音声制御による四輪駆動・四輪全方向メカナムホイール搬送ロボット

実験の目的

  1. 音声認識モジュールのシリアル通信ブロックのデータを取得できるようになります。

  2. 音声認識センサーの動作原理に基づき、音声コマンドでロボットの動作を制御します。

  3. 実際の場面を想定し、音声制御でロボットに搬送を行わせます。

基本原理

  1. 機能実現のフレームワーク図

  1. 通信プロトコルの主な役割は、人・音声モジュール・ロボットの間の通信ルールを定めることです。音声モジュールはルールの範囲内の文を認識します。ロボットは各動作にプロトコルを設定し、そのプロトコルと音声コマンドを 1 対 1 で対応させます。

以下は、あるロボットに対応する通信プロトコルです。

音声入力コマンド ロボットの応答 ロボットの対応動作 ロボット動作プロトコル
ウェイクアップ:「Potato Potato」 応答:「はい、何かお手伝いしましょうか」 静止 ​
前進 前進 前進 01
後退 後退 後退 02
左旋回 左旋回 左旋回 03
右旋回 右旋回 右旋回 04
左平行移動 左平行移動 左平行移動 05
右平行移動 右平行移動 右平行移動 06
停止 停止 停止 07
持ち上げ 持ち上げ 持ち上げ 08
下ろす 下ろす 下ろす 09
つかむ つかむ つかむ 10
開く 開く 開く 11

想定シーン

スマートファクトリーにおいて、音声制御ロボットが資材を搬送します。

機能要件

音声でコマンドを話すと、ロボットはコマンドに応じて異なる動作を行います。例えば、ロボットを制御してボトル入りの水を運ばせることができます。

ハードウェアの準備

機器名 数量 備考
ESP32 メインボード 1 枚 コア制御ユニット
Type-C データケーブル 1 本 PC に接続してプログラムを書き込みます
2S バッテリーボックス+リチウム電池 1 セット モーターに電源を供給します(モーターの定格電圧に適合)
音声認識センサー 1 ファームウェア書き込み済み。音声入力をファームウェアに基づいて認識し、結果を出力します
スピーカー 1 音声認識センサーに接続して音声を再生します

プロトタイプ案

3D モデル図と組み立てマニュアルをダウンロードして、ロボットを組み立ててみましょう。

3D モデル図

四輪駆動メカナムホイールロボット(1 軸グリッパー付き)(四驱麦轮机器人带1轴夹爪1.rar)

組み立てマニュアル

リンクをクリックしてダウンロードしてください:はじめてのロボット組み立てマニュアル(第一个机器人的组装手册.pdf)​

回路接続

ハードウェアモジュール

番号 リンク 重要度 役割
1 Uni ESP32 メインボード・拡張ボード説明【V3.0】​ 必読 開発ボードのインターフェースをすばやく確認できます。
2 バッテリーモジュールの使い方(必読)​ 必読 バッテリーの取り付け・接続・充電方法をすばやく理解できます。
3 OpenBlock ソフトウェア環境の設定と使い方【V3.0】 必読 ソフトウェアの概要、インストール、基本的な使い方を理解できます。
4 電子モジュールの紹介 必要に応じて リンクをクリックして DC モーター(TT モーター)、サーボのパラメーター、音声認識モジュール を確認してください。

コマンドワードの生成と書き込み

まずコマンドワードを書き込み、その後グラフィカルコードで各コマンドの返り値を確認します。

  1. まずファームウェアをダウンロードします:音声制御四輪駆動メカナムホイール搬送ロボット用コマンドワードファームウェア(语音控制四驱麦轮搬运机器人词条固件.rar)

  2. 以下のリンクをクリックしてコマンドワードを書き込みます。コマンドワード書き込みの操作手順に従い、書き込みツールを使って書き込みと音声コマンドのテストを行ってください。

実験4 音声コマンドの生成と書き込み

ヒント:コマンドワードをカスタマイズして新しいコマンドワードファームウェアを生成する場合は、上記リンク(音声認識コマンドワードの編集)を参照してください。

ピンの説明

シャーシモーター ESP32 ピン
モーター 1 13, 27
モーター 2 14, 23
モーター 3 26, 32
モーター 4 18, 19
グリッパー用サーボ 33
グリッパー揺動制御用サーボ 23
音声モジュールのピン ​
5V 5V
T RX2(17)
R TX2(16)
GND GND

実機配線

列 1 列 2

次に、スピーカーモジュール裏面の白い剥離紙をはがし、ロボット(バッテリーボックスなど)に貼り付けます。

接続後の全体イメージ:

ソフトウェアの実装

ソースコードのダウンロード

音声制御による四輪駆動メカナムホイール複合把持ロボット(语音控制四轮四驱麦轮复合抓取机器人.rar)

ブロックコード

操作手順

  1. グラフィカルプログラムを書き込みます。ESP32 のバージョンを選択し、ESP32 ボードを PC の USB ポートに接続してから、接続してプログラムを書き込みます。

  2. スイッチを入れ、音声でコマンドを入力して実行し、動作を確認します。

実験結果

以下の表に従って音声でコマンドを入力し、ロボットを操作して資材を搬送します。

例えば、音声で「Potato Potato」と入力して、まずロボットをウェイクアップします。

続いて音声で「前進」と入力すると、ロボットが前進を開始します。

参考デモ動画は以下のとおりです。