AIｽﾀｯｸﾁｬﾝミニマルProto化版とtoioの素敵な関係

開発中 2024.12.01 公開（2024.12.16 更新） © CC BY 4+ visibility210

開発中 © CC BY 4+

2024.12.01 公開（2024.12.16 更新） visibility210

AIｽﾀｯｸﾁｬﾝミニマルを改造してtoioと合体させてみました。
M5Stackとジョイスティックを使って、toioを動かすことができます!!

link https://scrapbox.io/M5S/AI%EF%BD%BD%EF%BE%80%EF%BD%AF%EF%BD%B8%EF%BE%81%EF%BD%AC%EF%BE%9D%E3%83%9F%E3%83%8B%E3%83%9E%E3%83%AB%E3%81%A7%E9%81%8A%E3%81%B6!!

folder アプリケーション, データサイエンス / AI / BOT, 電子工作, ロボット, リメイク / DIY, ピカピカ, レゴ

sell PlatformIO, Microbit More

動画

開発素材: ガジェット

toio

デバイス

M5Stack

M5 Atom Echo

ATOM Mate for toio

API

ｽﾀｯｸﾁｬﾝ

M5Stack Faces II

ChatGPT API

ツール

Joystick

システム構成

今回構成したシステムの図は以上のようになります。

デバイス(詳細はストーリーをご確認ください)

Atom Echo
SSD1306
Proto kit
Atom Mate for toio
toio

サービス

Google Speech to Text:音声テキスト化
ChatGPT: AI機能
VoiceVox: 発声

ストーリー

はじめに

みなさん、スタックチャン（Stack-chan）してますか? わたしは、AIｽﾀｯｸﾁｬﾝとお話しているとほっこりします。

今回、一番小さくてお安いｽﾀｯｸﾁｬﾝであるAIｽﾀｯｸﾁｬﾝミニマルを改造して遊んでいるので、そのことについて報告したいと思います。

以下、製品の価格を紹介する場合は、スイッチサイエンスの2024/11/30調べのものですので、参考にしてください。

AIｽﾀｯｸﾁｬﾝミニマルとは?

AIｽﾀｯｸﾁｬﾝ - ミニマル(AI Stack-chan Minimal)は@UtaAoyaさんが開発されているAIｽﾀｯｸﾁｬﾝの仲間です。 AIｽﾀｯｸﾁｬﾝミニマルは、AIが使えるｽﾀｯｸﾁｬﾝの中で、誰でも簡単に導入できるように、できるだけ安い価格で実現できるようにしたシステムです。

主要な構成は以下のようになります。

頭脳、マイクとスピーカー:ATOM Echo - スマートスピーカー開発キット(¥2,475)
顔表示用ディスプレイ:SSD1306
ジャンパー: Atom EchoとSSD1306接続用

むとうの改造点

この素敵なAIｽﾀｯｸﾁｬﾝをむとうが若干改造してみました。

Proto基板への組み込み

M5Stackには、ATOMICプロトキット(¥605)というAtomシリーズで自分の回路を作成するためのキットが売られています。このキットは、Atomを接続できるだけではなく、LEGO穴も提供されています。

https://twitter.com/610t/status/1860839252101304328

toio(スイッチサイエンス,¥7,128)は小型のロボットで、専用マットを使うと、位置や向きをきっちりと決めたりすることができます。その他に、フルカラーLEDが光り、音も出せるようになっています。

toioをAtomシリーズから用いるための製品として、 Atom Mate for toio(¥5,060) があります。これについているLEGO穴はATOMICプロトキットと同じ間隔のため、副作用としてProto版と接続できるようになりました。このため、AIｽﾀｯｸﾁｬﾝがtoioと合体できるのです!!

Atom Mate for toioにはバッテリーがついており、Grove端子経由でAtom Echoに給電することが可能です。これで、電源問題も解決ですね!! 手元では、Atom Mate for toioのバッテリーを使うと、90 mAh版では30分程度、160 mAh版では1時間程度、利用することができました。

https://twitter.com/610t/status/1861521531731616243

Joystickを使ってtoioを操縦する

はじめにごめんなさいなのですが、ここで紹介する構成では、Atom Echoからtoioを操作しているわけではありません。他のM5Stackシリーズからtoioを操縦するという構成になっています。

https://www.youtube.com/watch?v=-lgxvZjHF7A

M5StackToioは、M5Stackを使ってtoioを操作するためのライブラリです。このライブラリのexampleとして、Joystickでtoioを動かすプログラムが提供されています。

https://twitter.com/610t/status/1861934900271833134

むとうはこのプログラムを変更して、M5Stack Faces用ジョイスティックパネル(¥1,023;EoL)を使えるようにしました。

(2024/12/16追記) また、M5Stack用 I2Cジョイスティックユニット RGB LED付き (STM32G030)(¥836)にも対応しています。

これら3つのジョイスティックのうちで、いずれか一つが繋がっていると、そのジョイスティックを使うようになっています。これらの優先順位は以下のようになっています。

Faces Joystick

Joystick2 unit

Joystick unit

https://twitter.com/610t/status/1862033915336437960

これで、M5Stackからtoioが操縦できるようになり、AIでの応答をさせながらｽﾀｯｸﾁｬﾝをお散歩させることができます!!

(2024/12/11追記) Joystick以外にも、M5Stackシリーズの中には加速度センサー(IMU)が付いたものがあるため、これで操縦することも可能です。この例は、M5StackToioとわたくしのおまけとして紹介していますので、興味のある方はご覧ください。

https://twitter.com/610t/status/1866006985378062660

(2024/12/11追記):さらに、UIFlowから加速度センサーを使って操縦することも可能です。以下のコードを参照してください。

M5AtomシリーズからtoioをIMUで操作する

Webインタフェースでの質問と応答の表示

Webインタフェースでの表示

AIｽﾀｯｸﾁｬﾝミニマルでは、音声での質問のほかにもWebインタフェース(テキストで会話)を使って質問の入力が可能です。普段はｽﾀｯｸﾁｬﾝの答えをちゃんと聞いているのですが、時にはボーッとしていて返事を聞き逃してその内容が気になることがあります。

そこで、質問と答えの内容をこのWebインタフェースに表示して残しておけるようにしてみました。

自動質問スクリプト作成

だんだん、自分で質問を入力するのがめんどくさくなってきたので、自動で質問をし続けるスクリプトを作成してみました。

以下のようなコマンドで、ユーザー610tのPostを取得することができます。 <bearer>部分は、自分のBearer IDを使ってください。

$ curl --request GET  --url 'https://api.x.com/2/tweets/search/recent?query=from:610t' --header 'authorization: Bearer <bearer>' > tweet.json

以下のようなコードで、ランダムにPostを選んでｽﾀｯｸﾁｬﾝに尋ねることができます。192.168.11.126部分はあなたのｽﾀｯｸﾁｬﾝのIPアドレスに置き換えてください。

# coding: utf-8
import random
import json
import requests
import time

IP = '192.168.11.126'
POST_URL = 'http://'+IP+'/text_chat_set'
HEADER = {'Content-Type': 'text/plain;charset=UTF-8'}

file = open('tweet.json','r')
tweet = json.load(file)
num = len(tweet['data'])
while True:
  pos = random.randrange(num)
  msg = tweet['data'][pos]['text']
  print('msg:{}'.format(msg))
  try:
    requests.post(POST_URL, headers=HEADER, data=msg)
  except requests.exceptions.RequestException:
    print("Maybe Response Error.")
  time.sleep(60)