M5Stack Image AvatarとUnitVの連携で机の上のデジタルアシスタントを作成

動画

ストーリー

M5Stack Core2とUnitVを組み合わせて、以前から作成しているM5Stack Image Avatarを進化させてみました。UnitVで認識した自分の顔をAvatarが追尾し、おしゃべりもしてくれる机の上のデジタルアシスタントです。

らびやん氏が作成したLovyanGFXを用いているため320x240サイズのスプライトでもスムーズに描画できています。

●UnitV側の処理

1. UnitVで顔認識を行う。
2. 認識エリアの座標をUARTでCore2に転送

●M5Stack Core2側の処理

下記の処理をスレッドで行っています。

1. Avatarの描画
2. まばたき
3. 口の動き（マイクと連動することも可能）
4. UART受信データを元に視線の移動とサーボの制御

AQUESTのAquesTalkで音声合成を行うこともできます。

キャラクターはコミPo!で作成した画像からパーツを加工しています。

将来的にはM5Stack Core2のマイクで入力した音声データをUnitVに転送して音声認識システムも組み込めればと思っています。

UnitVとの連携機能がないM5Stack Image AvatarはGitHubで公開しています。

https://github.com/mongonta0716/M5Stack-Image-Avatar

メンバー

• 

  紅樹　タカオ @mongonta555

  • member