DX はたあげロボ

これまでロボットを作ったことがなかったため、「M5Stackとサーボモーターで可愛いロボットを作ってみよう」と軽く始めた制作でしたが、思いの他バックエンドの開発に手間がかかってしまい、「文字起こしの精度が出ない」、「応答が速くならない」と問題ばかり……ときには放置して気付けば1年もかかってしまいました。

それでも諦めず持てる知識を持って技術選定をやり直し、コードの1行でも速くし、測定したパフォーマンスデータとにらめっこをしてなんとか完成させることが出来ました。

まだまだピーキーなところは残りますがやっとの思いで10秒以内に旗が上がるようになったときはこみ上げて来るものがありました。

可愛いボディと可愛い表情が噛み合って可愛いロボットが出来上がり！

Maker Faire Kyoto 2024で展示を行い、多くの来場者の方に遊んでもらえて良かったねという思いでいっぱいです！！

DXはたあげロボ
かなり応答速度改善した！！
※音出ます pic.twitter.com/NXdJbWSvPp

— 津笠(Polymix🐤) @ポリマーソフト (@PolymerSoft) April 25, 2024

1. 専用のWEBページにブラウザでアクセスし、「赤上げて」のように旗上げの命令を発話
2. バックエンドのAmazon API Gatewayで入力された音声を取得
3. AWS Lambda上のPythonプログラムでAmazon S3に音声を保存
4. Amazon Transcribeを呼び出して音声データを文字データに変換
5. Amazon Bedrockで文字起こしで生じた表記揺れを吸収し、旗上げで想定される指示内容に分類
6. 得られた指示内容をAWS IoT Coreを経由してMQTTで「はたあげロボ」に伝達
7. 指示内容に応じて「はたあげロボ」のサーボモーターを制御