カードで強くなる!画像認識変身ベルト

© CC BY 4+ visibility385
© CC BY 4+
visibility385

「特別なアイテムを使わなくても、家にある何気ないカードで変身できる」をコンセプトに作った、画像認識を使った変身ベルトです。

動画
開発素材
システム構成
system image

(構成図は簡略化して記載)

構成としては、画像を読み取ったり認識結果からアクションを行う「変身ベルト部」と、画像分類の推論を行う「画像認識部」の2つに大きく分かれています。

変身ベルト部

カードを読み込み、画像認識結果をもとにアクションを行うドライバー部分。

Raspbery Pi 4を用いており、繋がれたWebカメラでカードを撮影します。

その他、前面のLED (NeoPixel) や音を出す部分 (DFPlayer Mini + スピーカー) 、アクションボタン、カードが挿入されたことを認識するセンサ (CdSセル) を備えています。

カード認識後に流れる音声はエーアイの「AITalk WebAPI」で事前に生成した音声データを使っています。話者は「かほ (DNN)」を使用。

その他効果音は 効果音ラボを使用。

画像認識部

読み込んだカードの画像認識を行うバックエンド部分。

Tensorflowで事前に学習させた画像分類モデルを使い、カードを認識させています。

Python + FastAPIで画像認識サーバーをたてており、変身ベルト部から送られた画像データからどのカードかを推論し、結果を返します。

今回は、ローカルネットワークに置かれたMacBook Airをサーバーマシンとしています。

ストーリー

背景

現在放送中の「仮面ライダーガッチャード」は「ケミーカード」というカードのアイテムで変身するライダーですが、カードで変身するライダーはこれまでにもいくつかありました。

私が特に思い出深いのが「仮面ライダーブレイド」です。ブレイドは、ラウズカードというアイテムで変身しますが、そのラウズカードはトランプをモチーフにしていました。

まさにトランプで変身するというスタイルや、ポーカーの役になぞらえた必殺技など、少年心をくすぐるものばかりでした。

ブレイド以外にも「龍騎」「ディケイド」などカードをアイテムにしたさまざまななライダーがでてきましたが、時を経て、何か特別なカードでなくても日常に溢れる様々なカードで変身できたら面白いと思い、実現化にチャレンジしました。

マーク1の工夫点

今回作ったものを「マーク1」としています。

マーク1はサイズが大きめですが、カメラと画像の間の距離をできるだけ短くすべく別途魚眼レンズをつけて視野角を広くしています。

画像の読み取り部分の空間は、カードが読めるように明るくしつつ、フォトレジスタによってカードが挿入されたかどうかを判別しています。

マーク1の課題点

やはりサイズが大きくなってしまいました。 なるべく小さくするように魚眼レンズも組み合わせましたがやはりまだまだ大きいです。

ハードウェアとしては他にも音が鳴らないことがあったり音量が小さいなどの課題もあります。

そして、根本の部分として、まだまだ画像認識の精度が悪いです。デモ動画ではある程度分類が上手くいったカードを選んでます。 当初はGoogleの画像認識サービスを使っていましたが、利用料がかなりかかってしまうため、自作することにしました。 今回は「EfficientNet」をベースに転移学習させてモデルを作成してますが、精度を十分に上げることが重要課題です。

この体験で改めて機械学習の奥深さを感じつつ、これからさらに試行錯誤していきたいと思います。

今後の改善

今回はカードを認識するという仕組みが構成できたので、今後は認識後のアクションを増やします。ベルトだけでなく武器も作って連動する仕組みも取り入れます。

また、トランプ以外のカードも実装できるように画像認識モデルの改善も行なっていきます。

メンバー
  • user
    しんたろ @mmclsntr

関連イベント
  • event ヒーローズ・リーグ 20232023-08-28 開催
user
ばんの @tomoki_banno

YouTubeで紹介させていただきました!
https://youtube.com/live/f1Z2rI3qJQo


同じニオイがする作品
  • event 非接触空間センサーで創る3次元センシングシステム
  • event ヒボたん 〜 移動式植物栽培ロボット 〜
  • event キャンプ感あふれるお天気グッズ「CAMP-CAN」by M5StickC PLus
  • event デジタルはちゅるーむ プロトタイプ第一弾

Proto lovers ♥
user
user
user
user

作品を登録しよう

モノづくりしている人に、つくった作品を見てもらえ、リアクションがもらえるかも?

close

目次


Proto lovers ♥
user
user
user
user